报告

华金证券：传媒行业快报：国产MoE模型优势显著，AI垂类应用迎增长

admin2024-05-10 22:30 20人已围观下载完整内容

简介投资要点事件：近日，幻方量化旗下AI公司深度求索（DeepSeek）发布全新第二代MoE大模型DeepSeek-V2。模型拥有2360亿参数，中文综合能力（Al

投资要点

事件：近日，幻方量化旗下AI公司深度求索（DeepSeek）发布全新第二代MoE大模型DeepSeek-V2。模型拥有2360亿参数，中文综合能力（AlignBench）超过GPT-4，与GPT-4-Turbo，文心4.0等闭源模型表现相近；英文综合能力（MT-Bench）与LLaMA3-70B表现相近，超过MoE开源模型Mixtral8x22B。

数据库及算法革新有望改善大模型计算成本。模型基于8.1Ttoken组成的高质量、多源预训练语料库。该语料库与前代相比增加中文数据比重以及数据质量。结构优势：DeepSeek-V2对现存模型框架进行创新提出MLA架构，大幅减少计算量和推理显存；自研Sparse结构DeepSeekMoE进一步降低计算量，两者结合最终使每token成本大幅降低。价格优势：DeepSeek-V2API定价，每百万tokens输入1元、输出2元（32K上下文），价格仅为GPT-4-Turbo近百分之一。

大模型发展路径多元化，正向推动生态建立。MoE模型（专家混合）由多个子模型（即专家）组成，每个子模型为一个局部模型，处理输入空间特定子集。MoE使用门控网络基于数据适配特定模型降低不同类型样本之间干扰。Transforer特点：主要用于处理序列到序列（Seq2Seq）任务，缺乏循环结构，使得训练AI大模型需要大量算力及时间。以GPT为例，其Transformer解码器训练过程中每天约消耗超50万度电力，训练成本以万亿美元为单位计数。搭载MoE架构的可持续新模型逐渐成为趋势。通过改变模型底层架构，调整为耗能低且训练和推理效果好的模型架构进行大模型开发。

国内AI产品部分细分领域增速显著呈现新趋势。根据AI产品榜统计，国内增速榜top5中AI搜索占据两席，360AI搜索与秘塔AI。360AI搜索4月增速为1303.09%，其核心为AI搜索功能，回答时会提供参考资料、思维导读、以及相关延展阅读；同时支持PDF文档分析、音视频分析以及网页AI整理。据头豹预计，到2027年，国内AI搜索引擎市场规模将达到329.35亿元人民币。预计市场规模复合年增长率（CAGR）将达到约32.93%。

投资建议：MoE模型更新或将引领大模型新趋势，AI产品发展有望丰富其垂类领域整体生态。建议关注相关标的：昆仑万维、捷成股份、视觉中国、中广天择、中信出版、万兴科技、因赛集团、蓝色光标、元隆雅图、天娱数科、汤姆猫、中原传媒等。

报告

华金证券：传媒行业快报：国产MoE模型优势显著，AI垂类应用迎增长

相关文章

文章评论

评论0

站点信息

点击排行

本栏推荐

标签云

猜你喜欢