文件列表:
山西证券:通信行业周跟踪:再论昇腾cloudmatrix384创新性,算力板块迎来业绩情绪双击.pdf |
下载文档 |
资源简介
>
投资要点
行业动向:
1)近期华为联合硅基流动发布Cloudmatrix384(以下简称CM384)技术论文,软硬协同实现推理效率大幅提升
1.1全对等互联UB总线架构充分利用内存池概念,将通信时延影响下降到最低。CM384中384个NPU和192个CPU均通过UB交换机连接,节点间通信性能接近节点内通信性能,从而可令384卡拥有全局可寻址的计算和内存能力,从而促使统一的资源池化和高效的工作负载安排。UB网络采用clos架构设计,16个机架中的L1/L2层交换机形成二层无阻塞网络,确保任意两个NPU/CPU间通信带宽恒定。CM384还引入了AIV直连机制,可以通过UB网络写入远程NPU
内存,跳过SDMA中转,使得NPU启动延迟大幅下降。
1.2CM384集成三个独特但互补的网络平面,可以适配细粒度的工作任务调配。其中一个是UB平面,全拓扑架构连接384个NPU和192个CPU,每台NPU提供392GB/s的单向带宽,UB能够实现高效细粒度并行策略例如TP和EP,并且能快速点对点访问池化内存,对于高效缓存模型权重和键值权重至关重要。第二个是RDMA平面,采用融合RDMA(RoCE)技术
加载中...
已阅读到文档的结尾了