Meta新增两大万卡集群,投入近50000块英伟达H100 GPU

集群规模与GPU型号

　　两个GPU集群的GPU数量均高达24,576块，采用英伟达当前功能最强大的H100 GPU。此前Meta的集群约有16,000块Nvidia A100 GPU，此次新增集群规模显著扩大。

　　Meta为此抢购了数千块英伟达最新推出的GPU，已成为英伟达最大的客户之一，并计划在今年年底前拥有35万块以上的Nvidia H100 GPU，用于持续构建AI基础设施。

集群用途

• 支持下一代生成式AI模型训练：包括即将推出的Llama 3。Meta工程师表示，将使用新的GPU集群对现有的AI系统进行微调，并训练更新、更强大的AI系统。Llama 3的开发工作目前正在进行中，但未透露具体发布时间。
• 助力通用人工智能（AGI）目标：从长远来看，Meta的目标是创建通用人工智能（AGI）系统，该系统在创造力方面比现有的生成式AI模型更像人类。新的GPU集群将有助于Meta实现这一目标。
• 改进PyTorch AI框架：Meta正在改进PyTorch AI框架，使其能够支持更多的GPU，以适应大规模AI工作负载的需求。

集群架构特点

• 不同架构设计：虽然两个集群的GPU数量相同，且都能以每秒400GB的端点相互连接，但它们采用了不同的架构。
  • 一个GPU集群可以通过融合以太网网络结构远程访问直接存储器或RDMA，该网络结构采用Arista Networks的Arista 7800与Wedge400和Minipack2 OCP机架交换机构建。
  • 另一个GPU集群使用英伟达的Quantum2 InfiniBand网络结构技术构建。
• 开放式GPU硬件平台：两个集群都使用了Meta的开放式GPU硬件平台Grand Teton，该平台旨在支持大规模的AI工作负载。Grand Teton的主机到GPU带宽是其前身Zion-EX平台的四倍，计算能力、带宽以及功率是Zion-EX的两倍。
• 最新开放式机架设计：采用了最新的开放式机架电源和机架基础设施，旨在为数据中心设计提供更大的灵活性。Open Rack v3允许将电源架安装在机架内部的任何地方，而不是将其固定在母线上，从而实现更灵活的配置。此外，每个机架的服务器数量也是可定制的，从而在每个服务器的吞吐量容量方面实现更有效的平衡。

存储方面

　　这两个GPU集群基于YV3 Sierra Point服务器平台，采用了最先进的E1.S固态硬盘，为大规模AI训练提供高速、可靠的存储支持。

未来规划

• Meta工程师强调，该公司致力于AI硬件堆栈的开放式创新，不断评估和改进基础设施以满足未来需求。
• Meta是最近成立的AI联盟的成员之一，该联盟旨在创建一个开放的生态系统，以提高AI开发的透明度和信任，并确保每个人都能从其创新中受益。
• Meta将继续购买更多的Nvidia H100 GPU，意味着未来还有更多、更强大的GPU集群问世。