在COMPUTEX 2023， NVIDIA 宣布NVIDIA DGX GH200，這標(biāo)志著 GPU 的又一突破——加速計算，為最苛刻的巨型人工智能工作負(fù)載提供動力。除了描述 NVIDIA DGX GH200 體系結(jié)構(gòu)的關(guān)鍵方面外，本文還討論了如何使用NVIDIA Base Command實(shí)現(xiàn)快速部署，加快用戶入職，并簡化系統(tǒng)管理。

GPU 的統(tǒng)一內(nèi)存編程模型是過去 7 年來復(fù)雜加速計算應(yīng)用取得各種突破的基石。 2016 年， NVIDIA 推出NVLink技術(shù)和帶有 CUDA-6 的統(tǒng)一內(nèi)存編程模型，旨在增加 GPU 加速工作負(fù)載的可用內(nèi)存。

從那時起，每個 DGX 系統(tǒng)的核心都是與 NVLink 互連的基板上的 GPU 復(fù)合體，其中每個 GPU 可以以 NVLink 的速度訪問另一個的存儲器。許多具有 GPU 復(fù)合體的 DGX 通過高速網(wǎng)絡(luò)互連，形成更大的超級計算機(jī)，如NVIDIA Selene 超級計算機(jī)。然而，一類新興的萬億參數(shù)的巨型人工智能模型要么需要幾個月的訓(xùn)練，要么即使在當(dāng)今最好的超級計算機(jī)上也無法求解。

為了讓需要一個能夠解決這些非凡挑戰(zhàn)的先進(jìn)平臺的科學(xué)家們獲得力量， NVIDIA?NVIDIA Grace Hopper Superchip與 NVLink 交換系統(tǒng)，在 NVIDIA DGX GH200 系統(tǒng)中集成多達(dá) 256 GPU 。在 DGX GH200 系統(tǒng)中， GPU 共享內(nèi)存編程模型可以通過 NVLink 高速訪問 144 TB 的內(nèi)存。

與單個相比NVIDIA DGX A100 320 GB 系統(tǒng)， NVIDIA DGX GH200 通過 NVLink 為 GPU 共享內(nèi)存編程模型提供了近 500 倍的內(nèi)存，形成了一個巨大的數(shù)據(jù)中心大小的 GPU 。 NVIDIA DGX GH200 是第一臺突破 NVLink 上 GPU 可訪問內(nèi)存 100 TB 障礙的超級計算機(jī)。

NVIDIA DGX GH200 系統(tǒng)架構(gòu)

NVIDIA Grace Hopper 超級芯片和 NVLink Switch System 是 NVIDIA DGX GH200 架構(gòu)的構(gòu)建塊。 NVIDIA Grace Hopper 超級芯片結(jié)合了 Grace 和 Hopper 架構(gòu)，使用?NVIDIA NVLink-C2C以傳遞 CPU + GPU 相干存儲器模型。 NVLink 交換系統(tǒng)由第四代 NVLink 技術(shù)提供動力，將 NVLink 連接擴(kuò)展到超級芯片，以創(chuàng)建無縫、高帶寬、多 GPU 系統(tǒng)。

NVIDIA DGX GH200 中的每個 NVIDIA Grace Hopper 超級芯片都有 480 GB LPDDR5 CPU 內(nèi)存，與 DDR5 和 96 GB 快速 HBM3 相比，每 GB 的功率是其八分之一。 NVIDIA Grace CPU 和 Hopper GPU 與 NVLink-C2C 互連，以五分之一的功率提供比 PCIe Gen5 多 7 倍的帶寬。

NVLink 交換系統(tǒng)形成了一個兩級、無阻塞、fat-tree NVLink 結(jié)構(gòu)，可在 DGX GH200 系統(tǒng)中完全連接 256 個 Grace Hopper 超級芯片。 DGX GH200 中的每個 GPU 都可以以 900GBps 訪問所有 NVIDIA Grace CPU 的其他 GPU 和擴(kuò)展 GPU 存儲器。

托管 Grace Hopper 超級芯片的計算基板使用第一層 NVLink 結(jié)構(gòu)的自定義線束連接到 NVLink 交換機(jī)系統(tǒng)。 LinkX 電纜擴(kuò)展了 NVLink 結(jié)構(gòu)第二層的連接。