電子行業(yè)報(bào)告：聊聊交換機(jī)和AI有什么關(guān)系？

2023-07-26 09:21 作者:報(bào)告派 0人讀過(guò) | 我要投稿

報(bào)告出品方：信達(dá)證券

以下為報(bào)告原文節(jié)選

------

聊聊交換機(jī)：和 AI 有什么關(guān)系？

Q：什么是協(xié)議？

A：網(wǎng)絡(luò)協(xié)議為計(jì)算機(jī)網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)交換而建立的規(guī)則、標(biāo)準(zhǔn)或約定的集合。
#解析法律層面上，OSI 七層協(xié)議為國(guó)際協(xié)議。20 世紀(jì) 80 年代，為了規(guī)范化計(jì)算機(jī)之間的通信方式，從而滿足開(kāi)放式網(wǎng)絡(luò)的需求，OSI（Open System Interconnection）協(xié)議被提出，其采用了一種七層網(wǎng)絡(luò)。
? 物理層：解決了硬件之間如何通信，主要功能為定義物理設(shè)備標(biāo)準(zhǔn)（如接口類(lèi)型、傳輸速率等），從而實(shí)現(xiàn)比特流（一種以 0、1 表示的數(shù)據(jù)流）的傳輸。
? 數(shù)據(jù)鏈路層：主要功能為幀編碼和誤差糾正控制。具體工作為接受來(lái)自物理層的數(shù)據(jù)，并封裝為幀，然后傳輸?shù)缴弦粚?。同樣也可以將?lái)自網(wǎng)絡(luò)層的數(shù)據(jù)拆為比特流傳輸給物理層。之所以能實(shí)現(xiàn)糾錯(cuò)的功能，是因?yàn)槊繋艘獋鬏數(shù)臄?shù)據(jù)外，還包括校驗(yàn)信息。
? 網(wǎng)絡(luò)層：在節(jié)點(diǎn)之間創(chuàng)建邏輯電路，通過(guò) IP 尋找地址（在網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)都有一個(gè)IP）。這一層傳輸?shù)臄?shù)據(jù)以包為單位。
? 傳輸層：負(fù)責(zé)監(jiān)督數(shù)據(jù)傳輸?shù)馁|(zhì)量，若發(fā)生丟包，則應(yīng)該重新發(fā)送。
? 會(huì)話層：主要功能為管理網(wǎng)絡(luò)設(shè)備的會(huì)話連接。
? 表示層：主要負(fù)責(zé)數(shù)據(jù)格式轉(zhuǎn)換、加密等。
? 應(yīng)用層：提供應(yīng)用接口，可以為用戶直接提供各種網(wǎng)絡(luò)服務(wù)，完成各種網(wǎng)絡(luò)工作。

事實(shí)層面上，TCP/IP 協(xié)議為國(guó)際協(xié)議。在 OSI 七層協(xié)議七層模型建立之前，TCP/IP 協(xié)議簇便已開(kāi)始運(yùn)行，且因特網(wǎng)在當(dāng)時(shí)已覆蓋了，借因特網(wǎng)的助力，盡管 OSI 七層模型在法律層面是國(guó)際標(biāo)準(zhǔn)，但 TCP/IP 成為了事實(shí)上的國(guó)際標(biāo)準(zhǔn)。TCP/IP 是包含各種協(xié)議的協(xié)議簇，這些協(xié)議可以大致分為四層，即應(yīng)用層、傳輸層、網(wǎng)絡(luò)層、數(shù)據(jù)鏈路層，實(shí)際上，TCP/IP協(xié)議可以理解做 OSI 七層協(xié)議的優(yōu)化版。

OSI 引入了服務(wù)、接口、協(xié)議、分層的概念，TCP/IP 借鑒了 OSI 的這些概念建立 TCP/IP模型。TCP/IP 涉及的協(xié)議數(shù)量眾多，其中傳輸層的 TCP、UDP 較有代表性。
? TCP（輸出控制協(xié)議，Transmission Control Protocol）：用于在 IP 之上確保數(shù)據(jù)包的可靠傳輸，是一種面向連接的、可靠的、基于字節(jié)流的協(xié)議。TCP 連接的過(guò)程可以視為三次握手，首先，客戶端向服務(wù)端發(fā)送連接請(qǐng)求報(bào)文段，然后，如果同意連接，則會(huì)發(fā)送一個(gè)應(yīng)答，最后，當(dāng)客戶端收到連接同意的應(yīng)答后，還要向服務(wù)端發(fā)送一個(gè)確認(rèn)報(bào)文?？蛻舳税l(fā)完這個(gè)報(bào)文段后便進(jìn)入 ESTABLISHED 狀態(tài)，服務(wù)端收到這個(gè)應(yīng)答后也進(jìn)入 ESTABLISHED 狀態(tài)，此時(shí)連接建立成功。之所以是三次握手，是因?yàn)橐ＷC可靠性。
? UDP（用戶數(shù)據(jù)包協(xié)議，User Datagram Protocol）：是一種面向無(wú)連接的、不可靠的協(xié)議。UDP 沒(méi)有握手過(guò)程，只是源源不斷的進(jìn)行傳輸，UDP 無(wú)法恢復(fù)丟失的數(shù)據(jù)包。
但相對(duì)于 TCP，效率更高。
由于 HPC 對(duì)于網(wǎng)絡(luò)高吞吐、低時(shí)延的要求，TCP/IP 逐步過(guò)渡到 RDMA。TCP/IP 有幾個(gè)主要的缺點(diǎn)：

? 其一，存在數(shù)十微秒的時(shí)延。由于 TCP/IP 協(xié)議棧在傳輸時(shí)，需要多次上下文切換，并依賴(lài) CPU 進(jìn)行封裝，因此時(shí)延較長(zhǎng)。
? 其二，CPU 負(fù)載嚴(yán)重。TCP/IP 網(wǎng)絡(luò)需要主機(jī) CPU 多次參與協(xié)議棧內(nèi)存拷貝，CPU負(fù)載與網(wǎng)絡(luò)帶寬相關(guān)系數(shù)過(guò)大。
RDMA(遠(yuǎn)程內(nèi)存直接訪問(wèn)技術(shù)，RemoteDirect Memory Access)：能直接通過(guò)網(wǎng)絡(luò)接口訪問(wèn)內(nèi)存數(shù)據(jù)，無(wú)需操作系統(tǒng)內(nèi)核的介入。這允許高吞吐、低延遲的網(wǎng)絡(luò)通信，尤其適合在大規(guī)模并行計(jì)算機(jī)集群中使用。

RDMA 未規(guī)定全部協(xié)議棧，但是對(duì)具體的傳輸提出了較高的要求：例如不輕易丟、吞吐量大、延時(shí)低等等。RDMA 中包含不同的分支，其中， Infiniband 專(zhuān)為 RDMA 設(shè)計(jì)，從硬件級(jí)別保證可靠傳輸，技術(shù)先進(jìn)，但是成本高昂。而 RoCE 和 iWARP 都是基于以太網(wǎng)的RDMA 技術(shù)。

Q：數(shù)據(jù)中心架構(gòu)中，交換機(jī)有什么用？
A：交換機(jī)是一種用于電信號(hào)轉(zhuǎn)發(fā)的網(wǎng)絡(luò)設(shè)備。在數(shù)據(jù)中心中，負(fù)責(zé)將數(shù)據(jù)轉(zhuǎn)發(fā)等職能。
#解析交換機(jī)和路由器工作的層次不同。交換機(jī)（Switch）工作在數(shù)據(jù)鏈路層，基于 MAC（網(wǎng)卡的硬件地址）識(shí)別，能完成封裝轉(zhuǎn)發(fā)數(shù)據(jù)包功能，允許不同的設(shè)備間相互通信。路由器(Router)亦稱(chēng)選徑器，工作在網(wǎng)絡(luò)層，實(shí)現(xiàn)相互連接，基于 IP 實(shí)現(xiàn)尋址，將不同的子網(wǎng)絡(luò)相連接。

傳統(tǒng)的數(shù)據(jù)中心往往使用三層架構(gòu)，即接入層、匯聚層、核心層，而在小型的數(shù)據(jù)中心中，可以忽略匯聚層的存在。其中，接入層通常直接與服務(wù)器相連，常用的接入交換機(jī)常為T(mén)OR（Top of Rack）交換機(jī)。匯聚層是網(wǎng)絡(luò)接入層和核心層的 “中介（中間層）”。核心交換機(jī)為進(jìn)出數(shù)據(jù)中心的包提供轉(zhuǎn)發(fā)，并為匯聚層提供連接性。

傳統(tǒng)的三層網(wǎng)絡(luò)有較為顯著的缺點(diǎn)，并且隨著云計(jì)算的發(fā)展，這些缺點(diǎn)愈發(fā)突出：? 帶寬浪費(fèi)：每組匯聚交換機(jī)管理一個(gè) POD（Point Of Delivery），每個(gè) POD 內(nèi)都是獨(dú)立的 VLAN 網(wǎng)絡(luò)。匯聚交換機(jī)和接入交換機(jī)之間通常使用 STP（Spanning Tree Protocol，生成樹(shù)協(xié)議）。STP 使得對(duì)于一個(gè) VLAN 網(wǎng)絡(luò)只有一個(gè)匯聚層交換機(jī)可用，其他的匯聚層是被阻塞的，同時(shí)這也導(dǎo)致匯聚層無(wú)法水平拓展。
? 故障域大：由于 STP 的算法，網(wǎng)絡(luò)拓?fù)渥兏鼤r(shí)需要重新收斂，容易發(fā)生故障。
? 時(shí)延較長(zhǎng)：隨著數(shù)據(jù)中心的發(fā)展，東西向流量大幅增加，而三層架構(gòu)間服務(wù)器之間的通信需要層層經(jīng)過(guò)交換機(jī)，造成了較大的時(shí)延，且核心交換機(jī)和匯聚交換機(jī)的工作壓力不斷擴(kuò)大，性能升級(jí)也造成成本的上浮。
葉脊架構(gòu)優(yōu)勢(shì)明顯，具有扁平化設(shè)計(jì)、低延遲、具有帶寬高等特點(diǎn)。葉脊網(wǎng)絡(luò)（leaf-spine）使得網(wǎng)絡(luò)扁平化，其中葉交換機(jī)相當(dāng)于傳統(tǒng)的接入層交換機(jī)，脊交換機(jī)類(lèi)似核心交換機(jī)。
葉和脊交換機(jī)之間通過(guò) ECMP（Equal Cost Multi Path）動(dòng)態(tài)選擇多條路徑。當(dāng) Leaf 層的接入端口和上行鏈路都沒(méi)有瓶頸時(shí)，這個(gè)架構(gòu)就實(shí)現(xiàn)了無(wú)阻塞（Non blocking）。因?yàn)镕abric 中的每個(gè) Leaf 都會(huì)連接到每個(gè) Spine，所以，如果一個(gè) Spine 出現(xiàn)問(wèn)題，數(shù)據(jù)中心的吞吐性能只會(huì)有輕微的下降（SlightlyDegrade）。

Q：英偉達(dá)交換機(jī)=IB 交換機(jī)？
A：不是。英偉達(dá) Spectrum 和 Quantum 平臺(tái)，同時(shí)布局了以太網(wǎng)和 IB 交換機(jī)。
#解析英偉達(dá) Spectrum 和 Quantum 平臺(tái)，同時(shí)布局了以太網(wǎng)和 IB 交換機(jī)。IB 交換機(jī)主要由廠商 mellanox 運(yùn)營(yíng)，英偉達(dá)于 2020 年成功將其收購(gòu)。此外，英偉達(dá) Spectrum 平臺(tái)的交換機(jī)主要基于以太網(wǎng)，旗下產(chǎn)品不斷迭代，2022 年發(fā)布的 Spectrum-4 是 400G 交換機(jī)產(chǎn)品。

Spectrum-X 針對(duì)生成式 AI 所設(shè)計(jì)，優(yōu)化了傳統(tǒng)以太網(wǎng)交換機(jī)的限制。NVIDIA SpectrumX 平臺(tái)的兩個(gè)關(guān)鍵元素是 NVIDIA Spectrum-4 以太網(wǎng)交換機(jī)和 NVIDIA BlueField-3 DPU。
Spectrum-X 的主要優(yōu)勢(shì)包括：

? 將 RoCE 擴(kuò)展用于 AI 和自適應(yīng)路由（AR），以實(shí)現(xiàn) NVIDIA 集合通信庫(kù)（NCCL）的最大性能。NVIDIA Spectrum-X 能夠在超大規(guī)模系統(tǒng)的負(fù)載和規(guī)模下實(shí)現(xiàn)高達(dá) 95% 的有效帶寬。
? 利用性能隔離來(lái)確保在多租戶和多作業(yè)環(huán)境中，一個(gè)作業(yè)不會(huì)影響另一個(gè)作業(yè)。
? 確保在出現(xiàn)網(wǎng)絡(luò)組件故障時(shí)，網(wǎng)絡(luò)架構(gòu)能夠繼續(xù)提供最高性能。
? 與 BlueField-3 DPU 同步，實(shí)現(xiàn)最佳 NCCL 和 AI 性能。
? 在各種人工智能工作負(fù)載下保持一致和穩(wěn)定的性能，這對(duì)實(shí)現(xiàn) SLA 至關(guān)重要。

在組網(wǎng)方式中，IB 還是以太網(wǎng)是個(gè)重要的問(wèn)題。目前的市場(chǎng)中，以太網(wǎng)占據(jù)了絕大部分的市場(chǎng)份額，但是在一些大規(guī)模的運(yùn)算場(chǎng)景中，IB 又一枝獨(dú)秀。ISC 2021 超級(jí)計(jì)算大會(huì)上，在 TOP10 的系統(tǒng)中 IB 占據(jù)了 70%的份額，在 TOP100 中 IB 占據(jù) 65%的份額。隨著考慮范圍越來(lái)越大，IB 的市場(chǎng)份額越來(lái)越低。

Spectrum 和 Quantum 平臺(tái)針對(duì)不同的應(yīng)用場(chǎng)景。在英偉達(dá)的設(shè)想中，AI 應(yīng)用場(chǎng)景可大致分為 AI 云和 AI 工廠，在 AI 云中可以使用傳統(tǒng)以太網(wǎng)交換機(jī)和 Spectrum-X 以太網(wǎng)，而在 AI 工廠中則需要使用 NVLink+InfiniBand 的方案。

Q：英偉達(dá) SuperPOD 如何理解？
A：SuperPOD 是服務(wù)器集群，通過(guò)將多個(gè)計(jì)算節(jié)點(diǎn)相連，以提供較大的吞吐性能。
#解析以英偉達(dá) DGX A100 SuperPOD 為例，英偉達(dá)官方推薦的配置中使用的交換機(jī)為 QM9700，能提供 40 個(gè) 200G 端口。由于其采用的架構(gòu)為胖樹(shù)（不收斂）架構(gòu)。在第一層中， DGX A100 服務(wù)器共有 8 個(gè)接口，分別接入 8 個(gè)葉交換機(jī)，20 臺(tái)服務(wù)器組成一個(gè) SU，因此共需8*SU 臺(tái)服務(wù)器，第二層架構(gòu)中，由于網(wǎng)絡(luò)不收斂，且端口速率一致，因此脊交換機(jī)提供的上行端口要大于等于葉交換機(jī)的下行端口。因此，1 個(gè) SU 對(duì)應(yīng) 8 臺(tái)葉交換機(jī)和 5 臺(tái)脊交換機(jī)，2 個(gè) SU 對(duì)應(yīng) 16 臺(tái)葉交換機(jī)和 10 臺(tái)脊交換機(jī)，依此類(lèi)推。此外，當(dāng) SU 數(shù)量增至 6 個(gè)以上時(shí)，官方推薦加入一層核心層交換機(jī)。