在前幾篇文章中我們提到了人工智能的三大要素是數(shù)據(jù)，算法和算力。那么我們反過(guò)來(lái)考慮一下,要把我們手頭的工作通過(guò)AI來(lái)協(xié)助完成 我們還缺少什么？單位上的數(shù)據(jù)已經(jīng)存的硬盤(pán)都快放不下了；各大互聯(lián)網(wǎng)寡頭也不斷的推出自己的AI算法；而現(xiàn)在人工智能應(yīng)用普遍化的恰恰是算力！引進(jìn)AI系統(tǒng)環(huán)境來(lái)解決當(dāng)前地信行業(yè)的對(duì)人力資源的依賴(lài)，必須要構(gòu)建好合理的AI硬件環(huán)境。

打造需要的AI硬件環(huán)境，首先我們要對(duì)硬件做一個(gè)簡(jiǎn)單的了解，早在第二次世界大戰(zhàn)期間，計(jì)算機(jī)之父約翰·馮·諾依曼就提出的計(jì)算機(jī)硬件的架構(gòu)，即輸入設(shè)備、輸出設(shè)備、存儲(chǔ)設(shè)備、運(yùn)算器、控制器五部分組成。

我們通過(guò)馮諾依曼架構(gòu)對(duì)AI服務(wù)器的硬件進(jìn)行具體的分析，在AI服務(wù)器中輸入設(shè)備和輸出設(shè)備我們大都可以采用web界面的形式進(jìn)行輸入輸出，而web的底層硬件是網(wǎng)卡，那么我們可以得出的第一塊我們需要的硬件就是合適的網(wǎng)絡(luò)傳輸設(shè)備--網(wǎng)卡。

服務(wù)器網(wǎng)卡和家用主機(jī)主板上的網(wǎng)口類(lèi)似，但不同的是服務(wù)器上通常使用的是10G萬(wàn)兆光網(wǎng)卡，光卡使用時(shí)衰減比較小即使設(shè)備間隔很遠(yuǎn)也不會(huì)因?yàn)樗p導(dǎo)致輸入輸出慢的問(wèn)題。同時(shí)相較于電口，光卡發(fā)熱小，配對(duì)設(shè)備價(jià)格較低工作性能更加穩(wěn)定。目前各家服務(wù)器廠商大多都會(huì)在服務(wù)器主板上集成2個(gè)網(wǎng)口，如果我們對(duì)網(wǎng)絡(luò)環(huán)境有其他需求，也可以在額外選配增加網(wǎng)口來(lái)滿(mǎn)足我們的詳細(xì)需求。

說(shuō)完了輸入輸出設(shè)備，接下來(lái)我們?cè)賮?lái)聊下存儲(chǔ)。存儲(chǔ)可以說(shuō)是地信行業(yè)的一個(gè)命門(mén)，無(wú)論是做數(shù)據(jù)處理工作還是做AI平臺(tái)的解譯訓(xùn)練，我們的原材料和產(chǎn)出都依賴(lài)存儲(chǔ)設(shè)備來(lái)進(jìn)行保存?；蚴欠旁谝苿?dòng)硬盤(pán)或者整體存放在一臺(tái)nas設(shè)備中，而在AI服務(wù)器中數(shù)據(jù)的存儲(chǔ)和對(duì)訓(xùn)練解譯任務(wù)的數(shù)據(jù)預(yù)處理更是對(duì)存儲(chǔ)有了更高一步的要求。

服務(wù)器和平時(shí)使用的工作站和家用電腦使用的存儲(chǔ)都是一樣的，都是使用硬盤(pán)作為直接存儲(chǔ)設(shè)備，我們接下來(lái)會(huì)從兩個(gè)方面來(lái)解決存儲(chǔ)問(wèn)題。

?首先看磁盤(pán)性能，硬盤(pán)目前可以根據(jù)存儲(chǔ)介質(zhì)分為機(jī)械硬盤(pán)和固態(tài)硬盤(pán)，也可以根據(jù)磁盤(pán)接口分為IDE、SATA、SCSI和光纖通道四種，IDE接口硬盤(pán)多用于家用產(chǎn)品中，也部分應(yīng)用于服務(wù)器，SCSI接口的硬盤(pán)則主要應(yīng)用于服務(wù)器市場(chǎng)，而光纖通道只在高端服務(wù)器上，價(jià)格昂貴。SATA是比較流行的硬盤(pán)接口類(lèi)型，市場(chǎng)上最普及的接口類(lèi)型，在IDE和SCSI的大類(lèi)別下，又可以分出多種具體的接口類(lèi)型，又各自擁有不同的技術(shù)規(guī)范。具備不同的傳輸速度，比如ATA100和SATA；Ultra160 SCSI和Ultra320 SCSI都代表著一種具體的硬盤(pán)接口，各自的速度差異也較大。?

由于磁盤(pán)的存儲(chǔ)容量和寫(xiě)入速度，從情理上我們更偏向于服務(wù)器上全部使用M.2接口的固態(tài)硬盤(pán)，但隨之而來(lái)的是高昂的價(jià)格，一塊1T的固態(tài)價(jià)格在600-1500不等，雖然滿(mǎn)足了高性能的磁盤(pán)需求但后期維護(hù)費(fèi)用和存儲(chǔ)風(fēng)險(xiǎn)來(lái)講，很是劃算不來(lái)。

再來(lái)談?wù)?strong>磁盤(pán)存儲(chǔ)陣列。服務(wù)器和家用電腦在存儲(chǔ)上最大的不同就是服務(wù)器主板上通常會(huì)集成raid卡，那么什么是raid卡，簡(jiǎn)單講就是講多塊硬盤(pán)虛擬合并為一塊大的硬盤(pán)并通過(guò)硬件或者軟件的形式將其中的一塊設(shè)置為備份，?但同時(shí)因?yàn)樵黾恿藗浞輽C(jī)制的原因，根據(jù)不同的raid形式，會(huì)至少一張盤(pán)的容量作為數(shù)據(jù)備份空間。

綜上考慮，推薦AI服務(wù)器使用多張機(jī)械存儲(chǔ)或單張固態(tài)+nas聯(lián)動(dòng)的形式來(lái)滿(mǎn)足AI服務(wù)器的存儲(chǔ)需求，減少數(shù)據(jù)丟失的風(fēng)險(xiǎn)，降低硬件成本，同時(shí)可以聯(lián)動(dòng)多臺(tái)服務(wù)器形成集群部署，提供更強(qiáng)大的算力減少任務(wù)訓(xùn)練時(shí)間或者同時(shí)對(duì)多個(gè)任務(wù)進(jìn)行解譯訓(xùn)練。

接下來(lái)就是對(duì)于控制器和運(yùn)算器的要求了，對(duì)于家用臺(tái)式機(jī)和普通服務(wù)器來(lái)說(shuō)這兩者可以說(shuō)是一個(gè)東西--CPU，自己給自己安排工作，但目前來(lái)講CPU的性能暫時(shí)無(wú)法滿(mǎn)足AI平臺(tái)的算力，所以目前大多AI服務(wù)器使用GPU作為AI芯片提供算力，讓我們一項(xiàng)一項(xiàng)的來(lái)了解他們

首先說(shuō)CPU，相信很多人都聽(tīng)過(guò)這樣一句話CPU是計(jì)算機(jī)的大腦，不同的CPU(大腦)也造就了不同的IQ，不同的是這顆大腦可以通過(guò)認(rèn)為定義的一些參數(shù)來(lái)判斷這臺(tái)計(jì)算機(jī)的IQ(性能)。例如核心數(shù)、線程數(shù)、PCLE通道、倍頻、主頻等，但AI服務(wù)器部署依賴(lài)一定的CPU指令集，一般服務(wù)器推薦Intel至強(qiáng)系列CPU，工作站推薦Intel i9 10代以上，CPU Intel i7 11代以上CPU或者AMD R9系列。

緊接著就是目前最令人頭疼的問(wèn)題--GPU，由于前兩年比特幣引領(lǐng)的挖礦熱潮，導(dǎo)致顯卡價(jià)格的大幅度增加甚至于溢價(jià)達(dá)到了200%，雖然目前國(guó)家將“挖礦”這一特殊行業(yè)按下了暫停按鈕，但仍舊存在炒幣囤卡等負(fù)隅頑抗的行為，目前購(gòu)買(mǎi)顯卡的話不如先等等。

言歸正傳，顯卡作為AI服務(wù)器最核心的部分直接關(guān)系到我們模型訓(xùn)練的效率和訓(xùn)練結(jié)果的質(zhì)量，高性能的顯卡不僅可以在訓(xùn)練時(shí)滿(mǎn)足大量樣本的處理工作和學(xué)習(xí)，還在一定的程度上優(yōu)化模型訓(xùn)練結(jié)果，就深度學(xué)習(xí)而言，目前NVIDIA顯示是最適合作為深度學(xué)習(xí)的顯卡，沒(méi)有之一。

那么我們應(yīng)該如何選擇顯卡那？ 這需要我們先具體了解一下顯卡的種類(lèi)。

目前我們可以將顯卡分為三大類(lèi)：

面向游戲娛樂(lè)領(lǐng)域：如GeForce RTX? 3090、GeForce RTX? 3080等。

面向?qū)I(yè)設(shè)計(jì)和虛擬化領(lǐng)域：如NVIDIA RTX? A6000、NVIDIA? T1000等。

面向深度學(xué)習(xí)、人工智能和高性能計(jì)算領(lǐng)域：如NVIDIA A100 Tensor Core GPU等。

不同的應(yīng)用場(chǎng)景上我們需要不同的顯卡，就AI服務(wù)器而言推薦以下幾款顯卡：

對(duì)于個(gè)人用戶(hù)，英偉達(dá)消費(fèi)級(jí)的GeForce系列是首選。

比較經(jīng)濟(jì)的選項(xiàng)有：

GeForce RTX 2080 Ti：1200美元，11GB顯存，Turing微架構(gòu)（支持Tensor Core）

Titan RTX：2500美元，24GB顯存， Turing微架構(gòu)（支持Tensor Core）

GeForce RTX：3090 TI 24GB顯存 ??Ampere?架構(gòu)

需要注意的是，這些消費(fèi)級(jí)顯卡對(duì)多卡并行支持不好，默認(rèn)情況，他們不支持多卡間直接通信，如果我們希望卡1和卡2之間相互通信，那么數(shù)據(jù)會(huì)先從卡1的顯存通過(guò)PIC-E總線拷貝回主存，再?gòu)闹鞔嫱ㄟ^(guò)PCI-E拷貝到卡2的顯存，這樣顯然非常浪費(fèi)時(shí)間，不利于多卡之間的通信。2080 Ti和Titan RTX對(duì)于多卡之間PCI-E通道的P2P（Peer-to-Peer）通信支持并不好，但并不意味著他們不支持NVLink，用戶(hù)可以通過(guò)購(gòu)買(mǎi)NVLink橋接器來(lái)構(gòu)建多卡之間的通信通道。有人稱(chēng)這個(gè)問(wèn)題是這兩款GPU的設(shè)計(jì)缺陷，也有人認(rèn)為英偉達(dá)有意為之，為的是讓有多卡并行計(jì)算需求的人去購(gòu)買(mǎi)Telsa系列GPU。

企業(yè)級(jí)

數(shù)據(jù)中心的GPU產(chǎn)品更貴，適合企業(yè)級(jí)用戶(hù)，它們的顯存更高，也可以更好地支持多卡并行。

Quadro RTX 6000：4000美元，24GB顯存，Turing微架構(gòu)（支持Tensor Core）

Quadro RTX 8000：5500美元，48GB顯存，Turing微架構(gòu)（支持Tensor Core）

Telsa V100：16或32GB顯存兩個(gè)版本，PCI-E和NVLink兩個(gè)版本，Volta微架構(gòu)（支持Tensor Core）

Telsa V100S：32GB顯存，PCI-E總線，Volta微架構(gòu)（支持Tensor Core）

企業(yè)級(jí)的GPU一般都必須插到服務(wù)器或工作站上，這些服務(wù)器和工作站本身也不便宜，尤其是支持Telsa平臺(tái)的服務(wù)器在十萬(wàn)元級(jí)別。當(dāng)然，這里沒(méi)有考慮機(jī)房建設(shè)、電費(fèi)等成本。

2020年5月英偉達(dá)GTC 2020上發(fā)布了新一代Ampere微架構(gòu)以及Telsa A100顯卡，A100顯卡的人工智能訓(xùn)練和推理能力更強(qiáng)，而且單個(gè)A100可以被分割成最多7個(gè)獨(dú)立GPU來(lái)處理各種計(jì)算任務(wù)。

有多卡并行訓(xùn)練任務(wù)的朋友，建議選擇支持NVLink的Telsa系列顯卡。

小結(jié)

如果進(jìn)行深度學(xué)習(xí)研究，GeForce RTX 2080 Ti（11GB）可能是起步標(biāo)配；Titan RTX（24GB）是個(gè)不錯(cuò)的選項(xiàng)，兼顧了價(jià)格、顯存和計(jì)算性能。對(duì)于企業(yè)級(jí)用戶(hù)，Quadro RTX 8000（48GB）、Telsa V100（32GB）等顯卡適合深度學(xué)習(xí)領(lǐng)域的前沿研究人員。2021年下半年，英偉達(dá)新的計(jì)算平臺(tái)即將出貨，新產(chǎn)品一方面會(huì)帶來(lái)更強(qiáng)大的性能，另一方面也會(huì)使現(xiàn)有產(chǎn)品降價(jià)。