英伟达发布史上最大的GPU芯片！盘点GTC2024上的重磅硬件产品

人工智能进入生成式AI阶段，英伟硬件大模型在给企业带来更高工作效率的达发大的点同时，也对算力提出了更高的布史要求。为了解决算力带来的上最上挑战，在今年的片盘GTC2024上，英伟达重磅发布了全新的重磅 Blackwell计算平台 。此平台包含了NVIDIA GB200 Grace Blackwell超级芯片，产品以及第二代 Transformer引擎、英伟硬件第五代NVLink 、达发大的点RAS引擎等创新技术，高防服务器布史还提供了全新的上最上NVIDIA NIM软件包 。

与此同时，片盘基于NVIDIA GB200 Grace Blackwell 超级芯片和诸多创新技术与产品 ，重磅NVIDIA还发布了更强大的产品新一代AI超级计算机——NVIDIA DGX SuperPOD
，能够用于处理万亿参数模型，英伟硬件并具有持续的正常运行时间
，以实现超大规模生成式AI训练和推理工作负载。

那么 ，被英伟达黄仁勋称之为更大GPU的NVIDIA GB200 Grace Blackwell 超级芯片，以及基于此打造的超级计算机 ，都有哪些亮眼的建站模板技术？让我们一起来看一下。

史上最大的GPU芯片

众所周知 ，大模型之所以“大” ，是因为它有着巨大的参数 。以谷歌LaMDA模型为例 ，其参数高达1370亿 。另外 ，GPT-3模型参数高达1750亿，GPT-4更是被曝包含了1.8万亿参数，而规模越大 ，对算力的需求便越多 ，源码下载如训练GPT3.5需要用到约3万颗英伟达A100芯片 。

GTC 2024上，黄仁勋以OpenAI最先进的1.8万亿参数大模型为例，介绍了其需要的算力情况  。据介绍，该模型需要几万亿的Token进行训练 ，万亿参数与数万亿的Token相乘 ，就是训练OpenAI最先进大模型所需的计算规模 。黄仁勋现场估算其计算规模为3×1025 ，如果利用一颗petaflop（每秒钟进行1000万亿次运算）量级的免费模板GPU进行运算，需要1000年的时间才能完成 。

为了解决算力问题，NVIDIA正式推出了GB200 Grace Blackwell大芯片。之所以称之为“大”，不仅表现在其拥有当前GPU中最大的晶体管数量，提供了目前最高的计算性能 ，而且其拥有目前最大的GPU物理面积。

跟往年一样，在GTC2024上黄仁勋同样对GB200 Grace Blackwell芯片进行了展示 。他从口袋里掏出一块Blackwell芯片，将它与Hopper芯片并排举起。云计算可以看到，后者明显要小一些。黄仁勋表示，我们需要更大的GPU  ，Blackwell平台就是为了应对这一挑战而构建的 。

作为当前面积最大的GPU
，GB200 Grace Blackwell芯片通过900GB/s超低功耗的片间互联 ，将两个NVIDIA B200 Tensor Core GPU与NVIDIA Grace CPU相连。它采用台积电4nm工艺 ，拥有2080亿晶体管， AI性能达到20 petaflops
。源码库相比英伟达Hopper，Blackwell GPU的AI性能提升5倍 ，片上存储提升4倍 。

除了拥有强大的计算性能之外 ，NVIDIA GB200 Grace Blackwell超级芯片还采用了以下五大核心技术 ：

1）第二代Transformer引擎 
：得益于全新微张量缩放支持，以及集成于NVIDIA TensorRT™-LLM和NeMo Megatron框架中的NVIDIA先进动态范围管理算法，Blackwell将在新型4位浮点AI推理能力下实现算力和模型大小翻倍  。

2）第五代NVLink：为了提升万亿级参数模型和混合专家AI模型的性能，最新一代NVIDIA NVLink®为每块GPU提供突破性的1.8TB/s双向吞吐量，确保多达576块GPU之间的无缝高速通信，满足了当今最复杂LLM的需求。

3）RAS引擎：采用Blackwell架构的GPU包含一个用于保障可靠性、可用性和可维护性的专用引擎 。此外，Blackwell架构还增加了多项芯片级功能，能够利用AI预防性维护来运行诊断并预测可靠性相关的问题。这将最大程度地延长系统正常运行时间，提高大规模AI部署的弹性
，使其能够连续不间断运行数周乃至数月 ，同时降低运营成本。

4）安全AI ：先进的机密计算功能可以在不影响性能的情况下保护AI模型和客户数据，并且支持全新本地接口加密协议 ，这对于医疗
、金融服务等高度重视隐私问题的行业至关重要 。

5）解压缩引擎：专用的解压缩引擎支持最新格式 ，通过加速数据库查询提供极其强大的数据分析和数据科学性能。

数据显示，Blackwell能够在拥有高达10万亿参数的模型上实现AI训练和实时LLM推理 
。

高达800Gb/s吞吐量的网络平台

除了高性能的计算芯片之外 ，随着数据量的爆炸式增长，网络连接在生成式AI时代也变得至关重要。

在GTC 2024上，NVIDIA发布了Quantum-X800 InfiniBand网络和NVIDIA Spectrum™-X800 以太网络
，以及配套的开发软件 。据了解，这是全球首批高达 800Gb/s 端到端吞吐量的网络平台，进一步加速了各种数据中心中的AI、云 、数据处理和高性能计算（HPC）应用。

Quantum-X800平台包含NVIDIA Quantum Q3400交换机和NVIDIA ConnectX-8 SuperNIC，二者互连达到了业界领先的端到端800Gb/s吞吐量，交换带宽容量较上一代产品提高了5倍
，网络计算能力更是凭借NVIDIA的SHARP™技术（SHARPv4）提高了9倍 ，达到了 14.4Tflops。

Spectrum-X800平台包含Spectrum SN5600交换机和NVIDIA BlueField-3 SuperNIC ，专为多租户环境打造，能够为多租户生成式AI云和大型企业级用户提供各种至关重要的先进功能 ，进而缩短AI解决方案的开发、部署和上市时间 。

在软件方面 ，NVIDIA提供面向万亿参数级AI模型性能优化的网络加速通信库、软件开发套件和管理软件等全套软件方案 。其中的NVIDIA集合通信库（NCCL）可将GPU的并行计算任务扩展到Quantum-X800网络，利用其基于SHARPv4的强大网络计算能力和对FP8的支持
，为大模型训练和生成式AI提供超强的性能。

处理万亿参数模型NVIDIA DGX SuperPOD AI超级计算机

基于GB200 Grace Blackwell超级芯片和最新的网络产品 ，NVIDIA在GTC 2024上还宣布推出了一台专门用于AI的超级计算机：NVIDIA DGX SuperPOD。

这台NVIDIA DGX SuperPOD计算机基于DGX GB200系统打造而成
，每个DGX GB200系统搭载36个NVIDIA GB200超级芯片，共包含36个NVIDIA Grace CPU和72个NVIDIA Blackwell GPU。并且 ，这些超级芯片通过第五代NVIDIA NVLink连接成一台超级计算机。

除第五代 NVIDIA NVLink网络外 ，DGX SuperPOD计算机还包括 NVIDIA BlueField-3 DPU 
，并将支持最新发布的 NVIDIA Quantum-X800 InfiniBand 网络 。这个架构可为计算平台中的每块GPU提供高达每秒1800 GB的带宽。

数据显示 ，在FP4精度下可提供11.5 exaflops的AI超级计算性能和240 TB的快速显存
 ，且可通过增加机架来扩展性能
。与NVIDIA H100 Tensor Core GPU相比 ，GB200超级芯片在大语言模型推理工作负载方面的性能提升了高达30倍。

考虑到功耗和散热问题 ，全新的DGX SuperPOD采用新型高效液冷机架级扩展架构，能够更好地提高散热效率，确保运行稳定性的同时，降低整体拥有成本
。

谈到超级计算机，黄仁勋表示
，NVIDIA DGX AI超级计算机是推进AI产业变革的工厂
。新一 DGX SuperPOD集NVIDIA加速计算、网络和软件方面的最新进展于一体
，能够帮助不同的行业和企业完善并生成自己的AI
。

写在最后：无论是史上最大的GPU芯片，还是能够处理万亿参数的最强计算机 ，以及拥有800Gb/s端到端吞吐量的网络平台 ，每一款产品都有着非常亮眼的参数
。可以说
，本届GTC上发布的每一款硬件产品，都吸引了大众的眼球。当然，这些产品在生成式AI应用场景下的表现如何，让我们拭目以待吧 ！