×
img

华金证券:传媒行业快报:国产MoE模型优势显著,AI垂类应用迎增长

发布者:wx****42
2024-05-10
291 KB 3 页
影视 华金证券
文件列表:
华金证券:传媒行业快报:国产MoE模型优势显著,AI垂类应用迎增长.pdf
下载文档
投资要点 事件:近日,幻方量化旗下AI公司深度求索(DeepSeek)发布全新第二代MoE大模型DeepSeek-V2。模型拥有2360亿参数,中文综合能力(AlignBench)超过GPT-4,与GPT-4-Turbo,文心4.0等闭源模型表现相近;英文综合能力(MT-Bench)与LLaMA3-70B表现相近,超过MoE开源模型Mixtral8x22B。 数据库及算法革新有望改善大模型计算成本。模型基于8.1Ttoken组成的高质量、多源预训练语料库。该语料库与前代相比增加中文数据比重以及数据质量。结构优势:DeepSeek-V2对现存模型框架进行创新提出MLA架构,大幅减少计算量和推理显存;自研Sparse结构DeepSeekMoE进一步降低计算量,两者结合最终使每token成本大幅降低。价格优势:DeepSeek-V2API定价,每百万tokens输入1元、输出2元(32K上下文),价格仅为GPT-4-Turbo近百分之一。 大模型发展路径多元化,正向推动生态建立。MoE模型(专家混合)由多个子模型(即专家)组成,每个子模型为一个局部模型,处理输入空间特定子集。MoE使用门控网

加载中...

已阅读到文档的结尾了

下载文档

网友评论>