文件列表:
国联证券:通信:CXL高速互联:破解AI时代“内存墙”新途径.pdf |
下载文档 |
资源简介
>
AI时代“内存墙”问题愈发明显
AI大模型的快速发展推动“算力”和“存力”需求快速增长,与此同时,对“运力”也提出了更高的需求,系统需要更高的带宽、更快的传输。但内存的性能提升速度远低于处理器的性能提升速度,导致处理器无法充分发挥其计算能力。“内存墙”问题由来已久,在AI时代表现的愈发明显,“算力”和“运力”之间的差距越来越大。Transformer类的模型参数的数量呈现指数增长,每两年增加410倍,而GPU内存仅以每两年2倍的速度扩展。
CXL提高内存利用效率,技术优势明显
CXL技术是一种新型的高速互联技术,旨在提供更高的数据吞吐量和更低的延迟,同时实现内存共享、提高内存利用效率,为化解“内存墙”问题提出新的解决方案。CXL通过将计算和存储分离,形成内存池,从而能动态按需配置内存资源,提升效率。CXL技术具有优势:1)CXL延迟较低,通常为10ns,而PCIe的延迟为100ns。2)CXL支持内存一致性,一致性的缺乏限制了PCIe应用程序。3)CXL地址空间可按定义缓存,PCIe则不可以。
CXL版本持续升级迭代,国际巨头纷纷加入CXL联盟
CXL历经5个版本的升级发展。CXL1.
加载中...
已阅读到文档的结尾了