文件列表:
华福证券:算力周跟踪:ChatGPT周访问量突破9亿,“精度感知”ScalingLaw再引关注.pdf |
下载文档 |
资源简介
>
投资要点:
本周数据中心板块超微电脑涨势一骑绝尘,GPU/CPU板块表现活跃。
(1)GPU/CPU:本周(1118-1120)除英特尔外,算力芯片板块普涨,其中英伟达+3.54%,AMD+3.33%,龙芯中科+8.95%,寒武纪+9.98%,海光信息+3.81%。英伟达将于美东时间周三盘后披露三季度财报,建议继续关注。(2)数据中心硬件:超微电脑+52.15%,先前受安永辞职影响,超微电脑股价遭遇重创,11月18日其宣布聘请了新的独立审计师BDO并提交了合规计划,增强了投资者对公司未来合规性的信心。
“精度感知”scalinglaw首次提出,AI领域低精度加速时代即将结束。
根据新智元11月17日报道,哈佛斯坦福MIT等机构研究人员发现低精度训练会降低模型的有效参数量,对此他们提出了“精度感知”scalinglaw。
要点#1:传统scalinglaw忽视精度,低精度训练有效性受限。传统的scalinglaw主要关注参数规模和数据量,但忽视了精度这一关键因素。研究发现,低精度训练不仅影响模型的有效参数量,而且在推理过程中,随着训练数据量的增加,量化带来的性能损失也会增加,特别是在模型
加载中...
已阅读到文档的结尾了