文件列表:
甬兴证券:计算机行业点评:DeepSeek开启模型平权时代,AI应用前景可期.pdf |
下载文档 |
资源简介
>
事件概述
据IT之家,近日深度求索正式发布DeekSeek-V3及DeepSeek-R1模型并同步开源,前者为6710亿参数的专家混合模型,性能比肩GPT-4o和Claude-3.5-Sonnet等世界顶尖闭源模型;后者在数学、代码、自然语言推理等任务上,性能比肩OpenAIo1正式版,其API定价为每百万输入tokens1元(缓存命中)/4元(缓存未命中),每百万输出tokens16元。
核心观点
DeepSeek-V3:FP8精度以及框架优化,助推训练成本“向下”
据《DeepSeek-V3TechnicalReport》(DeepSeek-AI,2024),针对V3模型,深度求索引入FP8混合精度训练框架(首次验证其在极大规模模型上的有效性),通过FP8计算和存储的支持,有效实现了加速训练和减少GPU内存使用;框架方面,深度求索设计了DualPipe算法,模型扩展后依然可保持固定的通信成本。V3训练经济效益优异,预训练阶段的每万亿标记仅需180KH800GPU小时;若假设H800GPU租赁价格为每GPU小时2美元,总训练成本仅为557.6万美元。
DeepSeek-R1:后训练(
加载中...
已阅读到文档的结尾了