我們經(jīng)常收到的問題是 NVIDIA DGX 與 NVIDIA HGX 平臺，以及它們的不同之處。雖然名稱聽起來相似，但它們是 NVIDIA 銷售其帶有 NVLink 的 8x GPU 系統(tǒng)的不同方式。NVIDIA 的商業(yè)模式在 NVIDIA P100“Pascal”和 V100“Volta”世代之間發(fā)生了變化，那時我們看到 HGX 模型真正騰飛到 A100“Ampere”和 H100“Hopper”世代的水平。

NVIDIA DGX 與 NVIDIA HGX 有什么區(qū)別

首先，當前的 NVIDIA DGX 和 HGX 產(chǎn)品線適用于通過 NVLink 連接的 8x GPU 平臺。NVIDIA 還有其他主板，例如稱為 Redstone 和 Restone Next 的 4x GPU 組件，但主要的 DGX/HGX (Next) 平臺是使用 SXM 的 8x GPU 平臺。

這是之前我們組裝的NVIDIA Tesla P100 8x SXM2 GPU 系統(tǒng)。

DeepLearning12 初始齒輪加載

這個過程是每個制造商都會為 GPU 構(gòu)建自己的底板。然后 NVIDIA 將出售 SXM 外形規(guī)格的 GPU，然后服務器制造商將 GPU 安裝到服務器中。由于扭矩要求，安裝 GPU 很困難。

DeepLearning12 半散熱器已安裝 800

隨著 NVIDIA Tesla V100 轉(zhuǎn)向 Volta 一代，NVIDIA 添加了更多 NVLink。

NVIDIA Tesla P100 V V100 拓撲結(jié)構(gòu)

作為這個過程的一部分，NVIDIA 對整個 8x SXM GPU 平臺進行了標準化。其中包括用于主機連接（以及后來的 Infiniband 連接）的 Broadcom PCIe 交換機。

Microsoft HGX 1 拓撲

它還添加了 NVSwitch。NVSwitch 是 NVLink 結(jié)構(gòu)的交換機，允許 GPU 之間進行更高性能的通信。最初，NVIDIA 的想法是可以采用這些標準化電路板中的兩個并將它們與這個更大的交換結(jié)構(gòu)放在一起。不過，其影響是現(xiàn)在 NVIDIA GPU 到 GPU 的通信將發(fā)生在 NVIDIA NVSwitch 芯片上，而 PCIe 將具有標準化的拓撲結(jié)構(gòu)。HGX 誕生了。

NVIDIA HGX 2 雙 GPU 底板布局

以下是 2020 年服務器評測中的 8x NVIDIA V100。這也是 NVIDIA SXM 散熱器的最佳配色方案。除了制作帶 SXM3 插座的 NVSwitch 底板外，它還會安裝 GPU 和冷卻器。

Inspur NF5488M5 HGX 2 8x NVIDIA Tesla V100 SXM3 Volta 左下一個 NVIDIA Light

現(xiàn)在，服務器供應商可以直接從 NVIDIA 購買 8x GPU 組件，而不必冒著 GPU 被涂上厚層導熱膏的風險。這也意味著 NVIDIA HGX 拓撲誕生了。服務器供應商可以根據(jù)需要在其周圍放置任何金屬。他們可以配置 RAM、CPU、存儲等。所有這一切，前提是 GPU 部分是 NVIDIA HGX 底板的固定拓撲結(jié)構(gòu)。

在下一代中，NVSwitch 散熱器變得更大，GPU 失去了很好的油漆工作，但我們得到了 NVIDIA A100。

NVIDIA HGX A100 8 GPU 組件 8x A100 和 NVSwitch 散熱器第 2 面

該底板的代號是“Delta”。

NVIDIA HGX A100 8 GPU 組裝 Delta 標記

正式地，這塊主板被稱為 NVIDIA HGX。

HGX A100 主板中的 NVIDIA Tesla A100

此時，NVIDIA、其 OEM 和客戶意識到，如果功率更大，相同數(shù)量的 GPU 可以完成更多工作。有一個問題。更多的力量意味著更多的熱量。這就是我們開始看到液冷 NVIDIA HGX A100“Delta”平臺的原因。

Supermicro 液冷 Supermicro AS 4124GO NART 風冷和液冷前端

這是一個挑戰(zhàn)，因為 HGX A100 組件最初推出時附帶了“NVIDIA”空氣冷卻器。

對于最新一代的“Hopper”，散熱器必須變得更高，以適應更高功率的 GPU 以及更高性能的 NVSwitch 架構(gòu)。這里是 NVIDIA HGX H100 平臺“Delta Next”。

英偉達 DGX H100

NVIDIA 還為 HGX H100 提供了液冷選項。

HGX H100 中的 NVIDIA GTC 2022 H100

至此，我們已經(jīng)了解了多個 NVIDIA HGX 平臺。此時，值得注意的是 NVIDIA DGX 是什么。NVIDIA 從 P100 時代就有 DGX 版本，但 NVIDIA DGX V100 和 DGX A100 代使用 HGX 底板，然后圍繞 DGX 構(gòu)建服務器。NVIDIA 一直在輪換其用于每一代 DGX 的 OEM，但它們主要是固定配置。

NVIDIA DGX A100 概述

借助 NVIDIA DGX H100，NVIDIA 更進了一步。它有新的 NVIDIA Cedar 1.6Tbps Infiniband 模塊，每個模塊帶有四個 NVIDIA ConnectX-7 控制器。通過收購 Mellanox，NVIDIA 開始轉(zhuǎn)向 Infiniband，這是一個很好的例子。

NVIDIA DGX H100 Cedar 帶天橋電纜

雖然 NVIDIA DGX H100 堪稱 GPU 設計的黃金標準，但一些客戶想要更多。這就是為什么 NVIDIA 擁有一個可以與專業(yè)服務等捆綁在一起的平臺。然后它擁有 HGX H100 平臺，因此 OEM 可以進行定制。我們已經(jīng)看到了許多不同的設計。這些包括更密集的解決方案、用于更多內(nèi)核的基于 AMD 或 ARM 的 CPU 解決方案、不同的 Xeon SKU 級別、不同的 RAM 配置、不同的存儲配置，甚至不同的 NIC。

也許最簡單的思考方式是 NVIDIA DGX 系列作為 NVIDIA 的標準。它仍然圍繞 NVIDIA HGX 8x GPU 和 NVSwitch 底板構(gòu)建，但它是 NVIDIA 特定的設計。DGX 的趨勢是 NVIDIA 在網(wǎng)絡方面提供更高級別的集成，以安裝到 DGX SuperPOD 等設備中以集群 DGX 系統(tǒng)。

最后的話

借助 NVIDIA HGX 基板，該公司消除了將 8 個 GPU 鏈接到高速 NVLink 和 PCIe 交換結(jié)構(gòu)所需的大量負載工作。然后，它允許其 OEM 合作伙伴構(gòu)建自定義配置，而 NVIDIA 可以以更高的利潤為 HGX 主板定價。NVIDIA 的 DGX 目標與其許多 OEM 不同，因為 DGX 被用于追求高價值的 AI 集群和圍繞這些集群的生態(tài)系統(tǒng)。

最簡單的理解方式是：

• NVIDIA HGX是 8x GPU 和 NVSwitch 基板

• NVIDIA DGX是 NVIDIA 的系統(tǒng)品牌

NVIDIA HGX A100 和 HGX H100 自從被披露 OpenAI 和 ChatGPT 使用這些平臺以來一直是熱門商品。如果您想了解有關不同 HGX A100 平臺的更多信息，請參閱8x NVIDIA A100 為工具提供動力，也可訪問【風虎信息科研服務器】，或來電咨詢【173-1639-1579】