機(jī)器學(xué)習(xí)和人工智能應(yīng)用有多種類型——從傳統(tǒng)的回歸模型、非神經(jīng)網(wǎng)絡(luò)分類器和以 Python SciKitLearn 和 R 語言的功能為代表的統(tǒng)計模型，到使用 PyTorch 和 TensorFlow 等框架的深度學(xué)習(xí)模型. 在這些不同類型的 ML/AI 模型中，也可能存在顯著差異。“最佳”硬件將遵循一些標(biāo)準(zhǔn)模式，但您的特定應(yīng)用程序可能有獨特的最佳要求。

我們的建議將基于典型工作流程的一般性。請注意，這主要針對用于編程模型“訓(xùn)練”而不是“推理”的 ML/DL 工作站硬件。

處理器（中央處理器）

在 ML/AI 領(lǐng)域，GPU 加速在大多數(shù)情況下主導(dǎo)性能。但是，處理器和主板定義了支持該平臺的平臺。還有一個現(xiàn)實是，必須花費大量精力進(jìn)行數(shù)據(jù)分析和清理以準(zhǔn)備在 GPU 中進(jìn)行訓(xùn)練，而這通常是在 CPU 上完成的。當(dāng)板載內(nèi)存 (VRAM) 可用性等 GPU 限制需要時，CPU 也可以作為主要計算引擎。

什么 CPU 最適合機(jī)器學(xué)習(xí)和人工智能？

推薦的兩個 CPU 平臺是 Intel Xeon W 和 AMD Threadripper Pro。這是因為它們都提供了出色的可靠性，可以為多個視頻卡 (GPU) 提供所需的 PCI-Express 通道，并在 CPU 空間中提供出色的內(nèi)存性能。我們通常建議使用單路 CPU 工作站來減少跨多 CPU 互連的內(nèi)存映射問題，這可能會導(dǎo)致將內(nèi)存映射到 GPU 的問題。

更多的 CPU 內(nèi)核會使機(jī)器學(xué)習(xí)和 AI 更快嗎？

選擇的內(nèi)核數(shù)量將取決于非 GPU 任務(wù)的預(yù)期負(fù)載。根據(jù)經(jīng)驗，建議每個 GPU 加速器至少有 4 個內(nèi)核。但是，如果您的工作負(fù)載具有重要的 CPU 計算組件，那么 32 甚至 64 個內(nèi)核可能是理想的選擇。在任何情況下，16 核處理器通常被認(rèn)為是此類工作站的最低要求。

機(jī)器學(xué)習(xí)和 AI 與 Intel 或 AMD CPU 配合使用效果更好嗎？

這個領(lǐng)域的品牌選擇主要是偏好問題，至少如果您的工作負(fù)載以 GPU 加速為主。但是，如果您的工作流程可以從英特爾 oneAPI AI 分析工具包中的某些工具中獲益，則英特爾平臺會更可取 。

為什么推薦 Xeon 或 Threadripper Pro 而不是更“消費者”級別的 CPU？

對 ML 和 AI 工作負(fù)載提出此建議的最重要原因是這些 CPU 支持的 PCI-Express 通道數(shù)量，這將決定可以使用多少 GPU。Intel Xeon W-3300 和 AMD Threadripper Pro 3000 系列都支持足夠的 PCIe 通道用于三個或四個 GPU（取決于主板布局、機(jī)箱空間和功耗）。此類處理器還支持 8 個內(nèi)存通道，這會對 CPU 密集型工作負(fù)載的性能產(chǎn)生重大影響。另一個考慮因素是這些處理器是“企業(yè)級”的，并且整個平臺在持續(xù)的重計算負(fù)載下可能很健壯。

顯卡 (GPU)

自 2010 年代中期以來，GPU 加速一直是推動機(jī)器學(xué)習(xí)和人工智能研究快速發(fā)展的驅(qū)動力。2019 年底，Don Kinghorn 博士 撰寫了一篇博文 ，討論了 NVIDIA 在該領(lǐng)域產(chǎn)生的巨大影響。對于深度學(xué)習(xí)訓(xùn)練，圖形處理器提供了比 CPU 更顯著的性能提升。

哪種類型的 GPU（顯卡）最適合機(jī)器學(xué)習(xí)和人工智能？

NVIDIA 在 GPU 計算加速方面占據(jù)主導(dǎo)地位，毫無疑問是標(biāo)準(zhǔn)。他們的 GPU 將是最受支持和最容易使用的。還有其他加速器，例如一些高端 AMD GPU、來自不同制造商的 FPGA，以及其他具有潛力的新興 ML 加速處理器——但它們目前的可用性和可用性將排除我們推薦它們的可能性。

機(jī)器學(xué)習(xí)和 AI 推薦使用哪些顯卡？

幾乎所有 NVIDIA 顯卡都可以工作，更新和更高端的型號通常提供更好的性能。幸運的是，大多數(shù)具有 GPU 加速的 ML / AI 應(yīng)用程序在單精度 (FP32) 下運行良好。在許多情況下，使用具有混合精度的 Tensor 核心 (FP16) 可為深度學(xué)習(xí)模型訓(xùn)練提供足夠的準(zhǔn)確性，并提供比“標(biāo)準(zhǔn)”FP32 顯著的性能提升。大多數(shù)最新的 NVIDIA GPU 都具有此功能，但低端卡除外。

NVIDIA 的 GeForce RTX 4080 和 4090 等消費類顯卡可提供非常出色的性能，但由于其散熱設(shè)計和物理尺寸，可能難以在具有兩個以上 GPU 的系統(tǒng)中進(jìn)行配置。RTX A5000 和 A6000 等“專業(yè)”NVIDIA GPU 質(zhì)量高，往往具有更多板載內(nèi)存，并且在多 GPU 配置中運行良好。特別是 RTX A6000，其 48GB VRAM，推薦用于處理具有“大特征尺寸”的數(shù)據(jù)，例如更高分辨率的圖像、3D 圖像等。

機(jī)器學(xué)習(xí)和 AI 需要多少 VRAM（顯存）？

這取決于模型訓(xùn)練的“特征空間”。GPU 上的內(nèi)存容量有限，ML 模型和框架受到可用 VRAM 的限制。這就是為什么在訓(xùn)練之前進(jìn)行“數(shù)據(jù)和特征縮減”是很常見的原因。例如，訓(xùn)練數(shù)據(jù)的圖像通常分辨率較低，因為像素數(shù)量成為限制性關(guān)鍵特征維度。然而，盡管存在這些限制，該領(lǐng)域還是取得了巨大的成功！每個 GPU 8GB 的內(nèi)存被認(rèn)為是最小的，并且肯定是許多應(yīng)用程序的限制。12 到 24GB 相當(dāng)普遍，并且在高端視頻卡上很容易獲得。對于更大的數(shù)據(jù)問題，NVIDIA RTX A6000 上可用的 48GB 可能是必需的——但通常不需要。

多個GPU會提高機(jī)器學(xué)習(xí)和人工智能的性能嗎？

一般是的。在我們推薦的配置中，我們默認(rèn)使用多個顯卡，但此提供的好處可能會受到您正在進(jìn)行的開發(fā)工作的限制。所使用的框架或程序必須支持多 GPU 加速。幸運的是，多 GPU 支持現(xiàn)在在 ML 和 AI 應(yīng)用程序中很常見——但如果您在沒有現(xiàn)代框架的情況下進(jìn)行開發(fā)工作，那么您可能不得不自己實施它。

另請記住，像 NVIDIA RTX 3090 或 A5000 這樣的單個 GPU 可以提供顯著的性能，并且可能足以滿足您的應(yīng)用程序。在工作站中擁有 2 個、3 個甚至 4 個 GPU 可以提供驚人的計算能力，甚至可能足以解決許多大型問題。還建議在進(jìn)行開發(fā)工作時至少有兩個 GPU，以啟用多 GPU 功能和縮放的本地測試——即使“生產(chǎn)”作業(yè)將被卸載到單獨的 GPU 計算集群。

機(jī)器學(xué)習(xí)和 AI 在 NVIDIA 或 AMD 上運行得更好嗎？

為了使 AMD GPU 可用于該領(lǐng)域，正在做一些工作，英特爾很快就會進(jìn)入該領(lǐng)域，但實際上 NVIDIA 占據(jù)主導(dǎo)地位，并且在計算 GPU 背后進(jìn)行了十多年的成功、密集的研究和開發(fā)工作。

機(jī)器學(xué)習(xí)和人工智能需要“專業(yè)”顯卡嗎？

不會。NVIDIA GeForce RTX 3080、3080 Ti 和 3090 是適合此類工作負(fù)載的出色 GPU。但是，由于散熱和尺寸限制，“pro”系列 RTX A5000 和高內(nèi)存 A6000 最適合具有三個或四個 GPU 的配置。從歷史上看，現(xiàn)代 ML/AI 是在 NVIDIA 游戲 GPU 上開發(fā)的，它們在開發(fā)工作站中仍然很常見。對于要求最嚴(yán)苛的工作負(fù)載，出色的 NVIDIA 計算 GPU A100 可用于機(jī)架式配置。它們非常昂貴，但性能驚人。

使用多個 GPU 進(jìn)行機(jī)器學(xué)習(xí)和 AI 時是否需要 NVLink？

NVIDIA 的 NVLink 在一對 GPU 之間提供直接的高性能通信橋梁。這是否有益取決于問題類型。對于訓(xùn)練多種類型的模型，不需要它。但是，對于任何具有“歷史”組件的模型，例如 RNN、LSTM、時間序列，尤其是 Transformer 模型，NVLink 可以提供顯著的加速，因此推薦使用。請注意，并非所有 NVIDIA GPU 都支持 NVLink，而且它只能橋接兩張卡。

內(nèi)存（隨機(jī)存取存儲器）

ML/AI 系統(tǒng) CPU 端的內(nèi)存容量和性能當(dāng)然取決于正在運行的作業(yè)，但可能是一個非常重要的考慮因素，并且有一些最低限度的建議。

機(jī)器學(xué)習(xí)和人工智能需要多少 RAM？

第一條經(jīng)驗法則是 CPU 內(nèi)存量至少是系統(tǒng)中總 GPU 內(nèi)存量的兩倍。例如，具有 2 個 GeForce RTX 3090 GPU 的系統(tǒng)將具有 48GB 的總 VRAM – 因此系統(tǒng)應(yīng)配置為 128GB（96GB 是兩倍，但 128GB 通常是最接近的可配置數(shù)量）。

第二個考慮因素是需要多少數(shù)據(jù)分析。通常需要（或至少希望）能夠?qū)⑼暾臄?shù)據(jù)集拉入內(nèi)存以進(jìn)行處理和統(tǒng)計工作。這可能意味著大內(nèi)存需求，多達(dá) 1TB（或很少甚至更多）的系統(tǒng)內(nèi)存。這是我們建議使用工作站和服務(wù)器級處理器的原因之一：它們比消費類芯片支持更多的系統(tǒng)內(nèi)存。

存儲（硬盤）

存儲是“超出您的想象”可能是個好主意的領(lǐng)域之一。此處的最低要求類似于 CPU 內(nèi)存要求。畢竟，您的數(shù)據(jù)和項目必須可用！

哪種存儲配置最適合機(jī)器學(xué)習(xí)和人工智能？

建議盡可能使用快速 NVMe 存儲，因為當(dāng)數(shù)據(jù)太大而無法放入系統(tǒng)內(nèi)存時，數(shù)據(jù)流速度可能成為瓶頸。從 NVMe 暫存作業(yè)運行可以減少作業(yè)運行速度減慢。NVMe 驅(qū)動器通常提供高達(dá) 4TB 的容量。

與用于暫存作業(yè)的快速 NVMe 存儲一起，更傳統(tǒng)的基于 SATA 的 SSD 提供更大的容量，可用于超過典型 NVMe 驅(qū)動器容量的數(shù)據(jù)。8TB 通?？捎糜?SATA SSD。

盤片驅(qū)動器可用于歸檔存儲和非常大的數(shù)據(jù)集?，F(xiàn)已提供 18TB+ 容量。

此外，上述所有驅(qū)動器類型都可以配置為 RAID 陣列。這確實增加了系統(tǒng)配置的復(fù)雜性，并且可能會用完主板上本來可以支持額外 GPU 的插槽——但可以允許 10 到 100 TB 的存儲空間。

總結(jié)

機(jī)器學(xué)習(xí)和人工智能的硬件配置要求很高的，可能配置起來可以流暢進(jìn)行運算和設(shè)計的電腦都需要上萬元，而且還不能根據(jù)你后期的需求來彈性的安排硬件，最終花大價錢搞定的電腦不到2年就要再去更換，如果是企業(yè)遇到這種需要大批量采購電腦的情況，用完之后再有業(yè)務(wù)需求需要彈性擴(kuò)容的情況，那之前的硬件投入的資金就要浪費掉了，為了避免浪費以及低成本高效率的辦公，企業(yè)和個人都選擇贊奇云工作站，隨開隨用，按需收費，高效一鍵上云，企業(yè)客戶量多從優(yōu)，優(yōu)惠多多，幫助企業(yè)節(jié)省成本，一定要試試。

上贊奇云工作站不需要復(fù)雜的安裝和部署，就能隨時隨地享受到行業(yè)領(lǐng)先配置的機(jī)器，高畫質(zhì)穩(wěn)定輸出作品，減少本地配置時間和成本投入，完全不同擔(dān)心電腦卡頓、運行不動等問題。

贊奇云工作站軟件中心囊括SketchUp、3ds Max、AE、Unreal Engine、Illustrator、CAD、Houdini、Lumion等，滿足不同領(lǐng)域設(shè)計師們的軟件差異性需求，并且能在高性能算力的支持下更順暢的運行各類設(shè)計軟件。

更方便的是，贊奇超級云盤彈性擴(kuò)容、分級管理、盤符掛載等特征，還能幫助員工們建立內(nèi)部共享素材數(shù)據(jù)庫，提高內(nèi)部素材傳輸效率和利用率，也能隨時掌握團(tuán)隊成員的工作完成進(jìn)度。

此外，基于域控的安全策略，還可以免受病毒攻擊，并且提供自動多副本可靠性機(jī)制。就算本地電腦中毒或出現(xiàn)故障情況，也不會引起數(shù)據(jù)丟失，助力設(shè)計師們高效作品創(chuàng)作。

注：去贊奇云工作站官網(wǎng)地址zanqicloud.com/找在線客服有優(yōu)惠價，可免費試用云電腦，企業(yè)客戶優(yōu)惠多多哦。