Optimized Network Architectures for Large Language Model Training with Billions of Parameters（英文版）

发布者：wx****04

2023-08-17

1 MB 8 页

大数据人工智能（AI）

文件列表：

Optimized Network Architectures for Large Language Model Training with Billions of Parameters【英文版】.pdf

下载文档

资源简介

近日，MIT和Meta团队发布了名为“Rail-Only”的全新大语言模型架构设计，对专门用于训练大型语言模型的 GPU 集群的传统any-to-any网络架构提出了挑战。Rail-Only架构通过将GPU分组，组成一个高带宽互联域（HB域），然后再将这些HB域内的特定的GPU跨接到特定的Rail交换机，虽然增加了跨域通信的路由调度复杂度，但是通过合理的HB域和Rail交换机设计，整体架构可以大量减少交换机的使用，最多可以降低75%的网络通信耗费。

加载中...

已阅读到文档的结尾了

下载文档