×
img

SuperCLUE:中文大模型基准测评2024年度报告-2024中文大模型阶段性进展年度评估

发布者:wx****51
2025-01-08
27 MB 89 页
人工智能(AI)
文件列表:
SuperCLUE:中文大模型基准测评2024年度报告-2024中文大模型阶段性进展年度评估.pdf
下载文档

报告摘要• OpenAI发布o1正式版,大幅领跑全球 o1正式版的推出进一步拉大了与其他模型的差距。经12月测评,o1以80.4分大幅领跑全 球,较ChatGPT-4o-latest高10.2分,较国内最好模型高12.1分。 • 国内顶尖大模型进展迅速,较为接近ChatGPT-4o-latest 国内顶尖大模型进展迅速,其中DeepSeek-V3和SenseChat 5.5-latest取得68.3分表现出 色,超过Claude 3.5 Sonnet和Gemini-2.0-Flash-Exp,较为接近ChatGPT-4o-latest(仅 相差1.9分)。 • 国内模型在推理速度和性价比方面很有竞争力 国内模型DeepSeek-V3和Qwen2.5-32B-Instruct在推理效能方面表现出色,在高水平 能力的基础上,保持极快的推理速度。在性价比方面,DeepSeek-V3、Qwen2.5- 72B-Instruct(阿里云)在高水平能力的基础上,保持低成本的API价格。 • 端侧小模型表现惊艳 国内端侧小模型进展迅速,部分小尺寸模型表现要好于上一代的稍大尺寸模型,如 Qwen


加载中...

本文档仅能预览20页

继续阅读请下载文档

网友评论>