×
img

华鑫证券:计算机行业周报:首款Transformer专用芯片Sohu亮相,10倍于B200速度成为最快AI芯片

发布者:wx****0a
2024-06-30
1 MB 16 页
互联网 华鑫证券
文件列表:
华鑫证券:计算机行业周报:首款Transformer专用芯片Sohu亮相,10倍于B200速度成为最快AI芯片.pdf
下载文档
投资要点 算力:算力租赁价格平稳,TransformerASIC芯片Sohu计算速度超B20010倍 本周算力租赁价格环比持平。在产业动态方面,6月26日,Etched公司推出全球首款Transformer专用集成电路(ASIC)芯片Sohu。Sohu采用台积电的4nm工艺制造,只有1个核心,每张芯片配有144GBHBM3E高带宽内存,推理性能明显优于GPU和其他通用人工智能芯片,同时能耗更低。在Llama70B吞吐量中,Sohu每秒可以处理超过50万个tokens,速度超过H100的20倍,并超过英伟达今年3月推出的顶配芯片B200的10倍。同时,Sohu实现了90%以上的FLOPS利用率,相比之下使用TRT-LLM的GPU约为30%。当前,OpenAI、谷歌、亚马逊、微软、Meta等所有大型科技公司都在使用Transformer模型,市场前景广阔。Sohu的推出无疑是Transformer芯片领域的一大进步,能够为未来亿万级参数模型的运行赋能。 AI应用:科大讯飞大发布星火大模型V4.0,全面对标GPT-4Turbo 6月27日,科大讯飞正式对外发布了讯飞星火大模型V4.0,以及在

加载中...

已阅读到文档的结尾了

下载文档

网友评论>