美超微宣布了其产品组合的最新补充，以帮助加速生成式人工智能的部署。美超微的SuperCluster解决方案旨在为大型语言模型（LLM）基础设施提供基础构建块，而三款新的美超微SuperCluster解决方案现已可用于生成式人工智能工作负载。4U液冷系统或8U风冷系统是专为强大的LLM训练性能、大批量和大规模LLM推理而设计的。
第三款SuperCluster采用1U风冷美超微NVIDIA MGXTM系统，已针对云规模推理进行了优化。美超微总裁兼首席执行官查尔斯·梁表示： “在人工智能时代，计算单元现在以集群为单位进行衡量，而不仅仅是服务器数量，而且凭借我们每月5000个机架的全球制造能力，我们可以比以往更快地向客户提供完整的生成式人工智能集群。一个64节点的集群通过几个可扩展的集群构建块，使用400Gb/s NVIDIA Quantum-2 InfiniBand和Spectrum-X以太网网络，使512个NVIDIA HGX H200 GPU和72TB HBM3e互连。美超微的SuperCluster解决方案与NVIDIA AI Enterprise软件相结合，旨在为企业和云基础设施提供培训当今LLM的高达数万亿参数的生成式人工智能和LLM的基础构建块。”
NVIDIA GPU产品管理副总裁Kaustubh Sanghani表示：“NVIDIA最新的GPU、CPU、网络和软件技术使系统制造商能够加速全球市场的一系列下一代AI工作负载。通过利用NVIDIA加速计算平台和基于Blackwell架构的产品，美超微正在为客户提供他们需要的、可以轻松部署在数据中心的最先进的服务器系统。”
Supermicro 4U NVIDIA HGX H100/H200 8-GPU系统通过使用液冷技术使8U风冷系统的密度翻倍，从而降低能耗并降低数据中心的总拥有成本。这些系统旨在支持下一代基于NVIDIA Blackwell架构的GPU。Supermicro的冷却分配单元（CDU）和流形（CDM）是将冷却液体分配到Supermicro的定制直接芯片（D2C）冷板的主要动脉，使GPU和CPU保持最佳温度，从而获得最佳性能。这种冷却技术使整个数据中心的电力成本降低40%，并节省数据中心的实际空间。配备NVIDIA HGX H100/H200 8-GPU的系统适用于训练生成AI。通过NVIDIA NVLink、高GPU内存带宽和容量的高速互连GPU是运行LLM模型的关键，具有成本效益。
Supermicro SuperCluster创建了一个巨大的GPU资源池，作为一个单一的AI超级计算机。据该公司称，无论是安装一个在数万亿个令牌的数据集上从头开始训练的巨大基础模型，还是构建一个云规模的LLM推理基础设施，具有非阻塞400Gb/s结构的脊柱和叶子网络拓扑都可以无缝地从32个节点扩展到数千个节点。Supermicro表示，采用NVIDIA MGX系统设计，以NVIDIA GH200 Grace Hopper Superchips为特色，将为未来的AI集群创建一个蓝图，解决生成AI的关键瓶颈——运行大型语言（LLM）模型的GPU内存带宽和容量，以降低运营成本。256个节点的集群使云规模的高容量推理能力成为可能，易于部署和扩展。
带有5个机架的4U液冷系统或9个机架的8U风冷系统的Supermicro SuperCluster在一个可扩展的单元中拥有256个NVIDIA H100/H200 Tensor Core GPU。液冷技术可实现512个GPU和64个节点的配置，与风冷256个GPU和32个节点的解决方案占用相同的空间。一个可扩展的单元中包含20TB的HBM3（采用NVIDIA H100）或36TB的HBM3e（采用NVIDIA H200）。1:1网络为每个GPU提供高达400 Gbps的带宽，以实现GPUDirect RDMA和存储，用于训练具有数万亿参数的大型语言模型。采用NVIDIA Quantum-2 InfiniBand和NVIDIA Spectrum-X以太网平台的400G InfiniBand或400GbE以太网交换机结构，具有高度可扩展的骨干叶网络拓扑。
NVIDIA AI Enterprise 5.0软件支持新的NVIDIA NIM推理微服务，可加速大规模AI模型的部署。采用9个机架中的1U风冷NVIDIA MGX系统的超级集群，在一个可扩展的单元中包含256个GH200 Grace Hopper Superchips。高达144GB的HBM3e + 480GB的LPDDR5X统一内存适用于云规模、高容量、低延迟和高批量推理，能够在一个节点中容纳70B+参数模型。采用400G InfiniBand或400GbE以太网交换机结构，具有高度可扩展的骨干叶网络拓扑。每个节点内含高达8个E1.S NVMe存储设备。采用NVIDIA BlueField-3 DPUs和行业领先的并行文件系统选项的可定制AI数据管道存储结构，为每个GPU提供高吞吐量和低延迟的存储访问。NVIDIA AI Enterprise 5.0软件。Supermicro的超级集群解决方案针对LLM训练、深度学习和高容量、高批量推理进行了优化。客户可以获得即插即用的可扩展单元，以便在数据中心轻松部署并更快地获得结果。
