NVLink 和 NVSwitch技術(shù)
一、NVLink
什么是NVLink？
NVLink是英偉達（NVIDIA）開發(fā)并推出的一種總線及其通信協(xié)議。NVLink采用點對點結(jié)構(gòu)、串列傳輸，是世界首項高速 GPU 互連技術(shù)，與傳統(tǒng)的 PCIe 系統(tǒng)解決方案相比，能為多 GPU 系統(tǒng)提供更快速的替代方案。NVIDIA?NVLink? 技術(shù)通過連接兩塊 NVIDIA顯卡，能夠?qū)崿F(xiàn)顯存和性能擴展，從而滿足最大視覺計算工作負載的需求。
圖1：來源于英偉達官網(wǎng)，NVLink 橋接技術(shù)
目前NVLink已經(jīng)發(fā)展到了第四代，第四代 NVIDIA NVLink 技術(shù)可為多 GPU 系統(tǒng)配置提供高于以往 1.5 倍的帶寬，以及增強的可擴展性。單個 NVIDIA H100 Tensor Core GPU 支持多達 18 個 NVLink 連接，總帶寬為 900 GB/s，是 PCIe 5.0 帶寬的 7 倍。
?
NVIDIA DGX H100 等服務(wù)器可利用NVLink技術(shù)來提高可擴展性，進而實現(xiàn)超快速的深度學(xué)習(xí)訓(xùn)練。
NVLink 的歷史
NVLink 最初作為 NVIDIA P100 GPU 的互連通道推出，之后便與每一代新的 NVIDIA GPU 架構(gòu)同步發(fā)展。NVLink技術(shù)能夠提高系統(tǒng)的吞吐量，NVLink技術(shù)主要就是為了實現(xiàn)顯存和性能。發(fā)展歷程由P100（1代）到V100(2代)。
到A100(3代)到H100(4代)。第二代NVLink總帶寬是300GB/S，每個GPU最大鏈路數(shù)為6，第二代支持Volta架構(gòu)。關(guān)于架構(gòu)的介紹，大家可以看看前幾期的文章。第三代NVLink總帶寬是600GB/S，每個GPU最大鏈路數(shù)為12，第三代支持Ampere 架構(gòu)。第四代NVLink總帶寬是900GB/S，每個GPU最大鏈路數(shù)為18，第四代支持?Hopper架構(gòu)。
關(guān)于NVIDA GPU卡SXM和PCIe之間的差異性,大家可以看這篇帖子:
二、NVSwitch
NVLink和NVSwitch是NVIDIA推出的高速互聯(lián)技術(shù)，用于連接GPU和其他設(shè)備，如CPU、網(wǎng)絡(luò)等。相比傳統(tǒng)PCIe通信，NVLink和NVSwitch具有更高的帶寬和更低的延遲，因此在NLP大模型訓(xùn)練應(yīng)用中，它們可以提供更好的性能。
NVSwitch 是首款節(jié)點交換架構(gòu)，可在單個服務(wù)器節(jié)點中支持 8 到 16 個全互聯(lián)的 GPU。第三代 NVSwitch 能以驚人的 900GB/s 的速度互連每對 GPU。它還支持完整的多對多通信。這些 GPU 可用作單個高性能加速器，擁有高達 15 petaFLOPS 的深度學(xué)習(xí)計算性能。第一代NVSwitch，支持最多8個直連或節(jié)點中GPU數(shù)量，NVSwitch GPU之間的帶寬是300GB/S，聚合總帶寬是2.4TB/s，NVIDIA 架構(gòu)支持?Volta 架構(gòu)。第二代NVSwitch，支持最多8個直連或節(jié)點中GPU數(shù)量，NVSwitch GPU之間的帶寬是600GB/S，聚合總帶寬是4.8TB/s，NVIDIA 架構(gòu)支持?Ampere 架構(gòu)。第三代NVSwitch，支持最多8個直連或節(jié)點中GPU數(shù)量，NVSwitch GPU之間的帶寬是900GB/S，聚合總帶寬是7.2TB/s，NVIDIA 架構(gòu)支持??Hopper 架構(gòu)。
NVSwitch還能夠支持最新的DGX-2技術(shù)，相比于之前的DGX-1技術(shù)，DGX-2提速能夠達到10倍以上，在速率方面提升很高。
三、兩者如何協(xié)同工作
借助 NVSwitch，NVLink 連接可在節(jié)點間擴展，以創(chuàng)建無縫、高帶寬的多節(jié)點 GPU 集群，從而有效地形成數(shù)據(jù)中心大小的 GPU。通過在服務(wù)器外部添加第二層 NVSwitch，NVLink 網(wǎng)絡(luò)可以連接多達 256 個 GPU，并提供 57.6 TB/s 的驚人多對多帶寬，從而快速完成大型 AI 作業(yè)。
一套NVLink最多可連接8顆CPU，NVSwitch并非作為取代NVlink的技術(shù)，而是使兩組NVLink共1顆GUP能夠互相具備全速溝通通道的手段;在設(shè)計上，NVLink被加在每兩組GPU之間，兩組NVLink則通過高速通道練連接。此時NVSwitch能夠扮演每個GPU相互溝通時的通道切換角色。
NVSwitch 可連接多個 NVLink，在單節(jié)點內(nèi)和節(jié)點間實現(xiàn)以 NVLink 能夠達到的最高速度進行多對多 GPU 通信。
NVLink 和 NVSwitch 的結(jié)合使 NVIDIA 成功達到了 AI 領(lǐng)域的首個行業(yè)基準(zhǔn) MLPerf 1.1
看完別忘記給UP主，點點關(guān)注，如果還想了解更多信息，歡迎和我們在線探討。云客數(shù)字是一家專門做定制化服務(wù)器的工廠，可以提供一對一服務(wù)，如您有服務(wù)器需求，歡迎隨時聯(lián)系我們！
?Tel：18127760911
VX：Eddie18127760911?
