文件列表:
上海证券:计算机行业周报:Llama3发布,开源大模型迎重要进展.pdf |
下载文档 |
资源简介
>
市场回顾
过去一周(4.15-4.19)上证综指上涨1.52%,创业板指下跌0.39%,沪深300指数上涨1.89%,计算机(申万)指数下跌3.94%,跑输上证综指5.45pct,跑输创业板指3.55pct,跑输沪深300指数5.83pct,位列全行业第25名。
周观点
Llama-3正式发布,开源大模型迎来新进展。4月18日,Meta正式发布了开源大模型——Llama-3。据悉,Llama-3共有80亿、700亿两种参数,分为基础预训练和指令微调两种模型。Llama3的主要亮点包括:(1)基于超过15Ttoken训练,相当于Llama2数据集的7倍还多;(2)支持8K长文本,改进的tokenizer具有128Ktoken的词汇量,可实现更好的性能;(3)在大量重要基准中均具有最先进性能,Llama38B在MMLU、GPQA、HumanEval、GSM-8K等多项基准上超过谷歌Gemma7B和Mistral7BInstruct,Llama370B也在MMLU、HumanEval、GSM-8K等基准上超越了闭源的谷歌GeminiPro1.5、Claude3Sonnet;(4)新能力范畴,
加载中...
已阅读到文档的结尾了