×
img

华福证券:算力周跟踪:ChatGPT周访问量突破9亿,“精度感知”ScalingLaw再引关注

发布者:wx****5d
2024-11-21
1 MB 5 页
半导体 华福证券
文件列表:
华福证券:算力周跟踪:ChatGPT周访问量突破9亿,“精度感知”ScalingLaw再引关注.pdf
下载文档
投资要点: 本周数据中心板块超微电脑涨势一骑绝尘,GPU/CPU板块表现活跃。 (1)GPU/CPU:本周(1118-1120)除英特尔外,算力芯片板块普涨,其中英伟达+3.54%,AMD+3.33%,龙芯中科+8.95%,寒武纪+9.98%,海光信息+3.81%。英伟达将于美东时间周三盘后披露三季度财报,建议继续关注。(2)数据中心硬件:超微电脑+52.15%,先前受安永辞职影响,超微电脑股价遭遇重创,11月18日其宣布聘请了新的独立审计师BDO并提交了合规计划,增强了投资者对公司未来合规性的信心。 “精度感知”scalinglaw首次提出,AI领域低精度加速时代即将结束。 根据新智元11月17日报道,哈佛斯坦福MIT等机构研究人员发现低精度训练会降低模型的有效参数量,对此他们提出了“精度感知”scalinglaw。 要点#1:传统scalinglaw忽视精度,低精度训练有效性受限。传统的scalinglaw主要关注参数规模和数据量,但忽视了精度这一关键因素。研究发现,低精度训练不仅影响模型的有效参数量,而且在推理过程中,随着训练数据量的增加,量化带来的性能损失也会增加,特别是在模型

加载中...

已阅读到文档的结尾了

下载文档

网友评论>