英伟达(Nvidia)目前最新、最快的GPU代号为Blackwell，它将在今年支持该公司的人工智能计划。这款芯片的性能比其前身有所提高，包括炙手可热的H100和A100 GPU。客户要求更高的人工智能性能，GPU正逐渐达到满足对更高性能GPU的需求。
英伟达负责高性能和超大规模计算的副总裁伊恩·巴克在新闻发布会上表示，具有多达576个Blackwell GPU的系统可以配对以训练数万亿参数模型。GPU拥有2080亿个晶体管，采用台积电的4纳米工艺制造。这大约是前代H100 GPU的2.5倍，是性能显著提高的第一条线索。
人工智能是一个内存密集型过程，数据需要临时存储在RAM中。GPU有192GB的HBM3E内存，与去年的H200 GPU相同。英伟达正专注于扩大Blackwell gpu的数量，以承担更大的人工智能任务。Buck表示:“这将使人工智能数据中心的规模超过10万个GPU。该GPU在单个GPU上提供每秒20千万亿次的人工智能性能。”
巴克提供了模糊的性能数字，真实的性能数字是不可用的。然而，英伟达很可能使用FP4 (Blackwell的一种新数据类型)来测量性能并达到20千万亿次的性能数字。前代H100为FP8数据类型提供了4万亿次的性能，为FP16提供了约2千兆次的性能。Buck说：“它的训练性能是Hopper的四倍，推理性能是整体的30倍，能效提高了25倍。”。
FP4数据类型用于推理，将允许以最快的速度计算较小的数据包，并更快地返回结果。AI性能更快，但精度更低。FP64和FP32提供了更精确的计算，但不是为人工智能设计的。GPU由两个封装在一起的芯片组成。它们通过一个名为NV-HBI的接口进行通信，该接口以每秒10tb的速度传输信息。Blackwell的192GB HBM3E内存由8tb /秒的内存带宽支持。
英伟达还创建了带有Blackwell GPU和Grace CPU的系统。首先，它创建了GB200超级芯片，将两个Blackwell GPU与它的Grace CPU配对。其次，该公司创建了一个名为GB200 NVL72的全机架系统，该系统具有液体冷却功能，它有36个GB200超级芯片和72个GPU以网格形式互连。
GB200 NVL72系统提供了720 PB的训练性能和1.4 EB的推理性能。它可以支持27万亿个参数模型大小。GPU通过新的NVLink互连互连，该互连具有1.8TB/s的带宽。GB200 NVL72将于今年向包括谷歌云和甲骨文云在内的云提供商推出。它也将通过微软的Azure和AWS提供。
英伟达正在与AWS合作开发一款名为Project Ceiba的人工智能超级计算机，该计算机可以提供400 EB的人工智能性能。Buck说：“我们现在已经将其升级为Grace Blackwell，支持……20000个GPU，现在将提供超过400 EB的人工智能。该系统将于今年晚些时候上线。”
英伟达还宣布了一款名为DGX SuperPOD的人工智能超级计算机，它有八个GB200系统，即576个GPU，可以提供11.5 EB的FP4人工智能性能。GB200系统可以通过NVLink互连进行连接，该互连可以在短距离内保持高速。此外，DGX SuperPOD可以将数万个GPU与英伟达Quantum InfiniBand网络堆栈连接起来。此网络带宽为每秒1800 GB。
英伟达还推出了另一款名为DGX B200的系统，其中包括英特尔的第五代至强芯片Emerald Rapids。该系统将八个B200 GPU与两个Emerald Rapids芯片配对。它也可以设计成基于x86的SuperPod系统。该系统可提供高达144 PB的AI性能，包括1.4TB的GPU内存和64TB/s的内存带宽。
DGX系统将于今年晚些时候推出。
英伟达DGX系统副总裁Charlie Boyle在接受HPCwire采访时表示，Blackwell GPU和DGX系统具有预测性维护功能，可保持最佳状态。博伊尔说：“我们每秒监测1000个数据点，看看如何以最佳方式完成这项工作。”预测性维护功能类似于服务器中的RAS（可靠性、可用性和可维护性）功能。它是系统和GPU中硬件和软件RAS功能的组合。博伊尔说：“芯片中有一些特定的新功能，可以帮助我们预测正在发生的事情。这个功能并不是查看所有GPU的数据轨迹。”
