AI引爆算力需求，思騰推出支持大規(guī)模深度學(xué)習(xí)訓(xùn)練的高性能AI服務(wù)器
近日人工智能研究公司OpenAI公布了其大型語言模型的最新版本——GPT-4，可10秒鐘做出一個網(wǎng)站，60秒做出一個游戲，參加了多種基準(zhǔn)考試測試，它的得分高于88%的應(yīng)試者；隨后百度CEO李彥宏宣布正式推出大語言模型“文心一言”，作為百度全新一代知識增強(qiáng)大語言模型，其能夠與人對話互動、回答問題、協(xié)助創(chuàng)作、高效便捷地幫助人們獲取信息、知識和靈感。
隨著這些應(yīng)用AIGC應(yīng)用的發(fā)布，人工智能變成了街頭巷尾人們熱議的話題，英偉達(dá)CEO黃仁勛在2023年GTC開發(fā)者大會上發(fā)表了主題演講時表示：“我們正處于AI的iPhone時刻?！?/strong>可見AIGC技術(shù)對社會的變革性影響，同時也引爆了AI行業(yè)對訓(xùn)練和推理的大模型需求。
思騰合力是一家人工智能基礎(chǔ)架構(gòu)解決方案供應(yīng)商，公司成立于 2009年，在成立之初就一直致力于AI 行業(yè)，是英偉達(dá)的精英級合作伙伴，擁有自主品牌AI服務(wù)器及通用服務(wù)器，適用于深度學(xué)習(xí)訓(xùn)練及推理等場景，尤其是思騰合力自有產(chǎn)品IW4221-8GRs，一款專為AI大模型計算打造的新型GPU集群，接下來給大家介紹一下這款服務(wù)器的那些讓人不可抗拒的優(yōu)點(diǎn)：
第一 天花板級的算力配置
英偉達(dá)是行業(yè)翹楚，而A800又是英偉達(dá)的明星產(chǎn)品，其算力更是行業(yè)望其項(xiàng)背的存在，思騰合力IW4221-8GRs這款產(chǎn)品，單臺服務(wù)就搭載了8個擁有第三代NVIDIA Tensor Core的A800 GPU，單機(jī)可提供 5PFLOPS 的 AI 計算性能，比傳統(tǒng)的雙路 CPU 服務(wù)器提高 300 倍。
任意兩個 GPU 之間可以直接進(jìn)行數(shù)據(jù) P2P 交互，GPU 間 P2P 通信速率為 400GB/s；具備更高的帶寬和更低的延遲，可以依據(jù)不同需求完成GPU-GPU節(jié)點(diǎn)內(nèi)部的高速互聯(lián)，同時還能在GPU-CPU甚至CPU-CPU之間形成高速互聯(lián)，特別是GPU與CPU之間的直接互連，提高了系統(tǒng)整體的性能和可擴(kuò)展性。
搭載2顆Intel 高性能CPU原本，在CPU與GPU的極致配合下原本要花費(fèi)10小時的雙精度模擬過程縮短到4小時之內(nèi)，多任務(wù)處理不卡頓，高效完成訓(xùn)練/推理任務(wù)，支持大規(guī)模的深度學(xué)習(xí)模型、高性能計算任務(wù)和機(jī)器學(xué)習(xí)工作負(fù)載。
第二 算力資源高效利用合理分配
運(yùn)用英偉達(dá)的MIG技術(shù)可擴(kuò)展 GPU 的應(yīng)用范圍，單張A800卡最多可被劃分為7個實(shí)例，每個實(shí)例均完全獨(dú)立于各自的高帶寬顯存、緩存和計算核心；且能為每項(xiàng)工作負(fù)載提供適當(dāng)規(guī)模的?GPU 實(shí)例，最終優(yōu)化利用率并使數(shù)據(jù)中心投資充分發(fā)揮成效。
憑借?MIG能確定性延遲和吞吐量，在單個?GPU 上同時運(yùn)行推理、訓(xùn)練和高性能計算 (HPC) 工作負(fù)載；每個?MIG 實(shí)例借助專用于計算、內(nèi)存和緩存的硬件資源，從而能夠提供穩(wěn)定可靠的服務(wù)質(zhì)量 (QoS) 和有效的故障隔離。
第三 極致的擴(kuò)展性
單臺服務(wù)器集成8通道內(nèi)存控制器，32個內(nèi)存插槽，速率最高支持3200，內(nèi)存容量可擴(kuò)展至4TB，最大支持 8 個熱插拔 NVMe SSD 和 2 個 SATA 總線 M.2 SSD，10個PCIe 4.0 x16插槽，2個PCIe 4.0 x16插槽(PCIe 4.0 x8速率)，1個OCP3.0插槽，最大支持 10 個 100G/200G 可遠(yuǎn)程直接內(nèi)存訪問（RDMA）高速網(wǎng)卡；用戶可根據(jù)實(shí)際需求進(jìn)行擴(kuò)展，極大的提高的機(jī)器適用性。
第四 超強(qiáng)兼容性
X86 CPU 市場占有率超過90%，NVIDIA目前占據(jù)整個獨(dú)立顯卡市場的多達(dá)88％，上層軟硬件應(yīng)用基本與他們兼容為基礎(chǔ)而進(jìn)行開發(fā)，所以國內(nèi)外主流軟硬件及AI框架、工具、應(yīng)用程序等都兼容。
第五 全方位的安全呵護(hù)
整機(jī) 6U 標(biāo)準(zhǔn)尺寸，3+3 冗余供電設(shè)計，使其適用于 更廣泛的數(shù)據(jù)中心部署環(huán)境，為客戶提供極高的可靠性和穩(wěn)定性；支持可信平臺模塊（TPM 2.0）和可信密碼模塊（TCM），可提供高級加密功能。
支持Intel可信執(zhí)行技術(shù)（Trusted Execution Technology），可基于硬件抵御惡意軟 件攻擊；支持 Intel SGX 技術(shù)（Software Guard Extensions），允許應(yīng)用運(yùn)行在自己的獨(dú)立空間中，避免關(guān)鍵代碼和數(shù)據(jù)被惡意竊取或修改；支持基于數(shù)字簽名的固件更新機(jī)制，防止非授權(quán)固件的更新；?支持 UEFI 安全引導(dǎo)，保護(hù)系統(tǒng)免受惡意啟動加載程序的侵害；支持 BIOS 分級密碼保護(hù)，保證系統(tǒng)啟動及管理安全；支持BIOS Secure Flash及Lock Enable（BLE）功能，消減惡意軟件對 BIOS Flash 區(qū)域的攻擊；支持 BMC、BIOS 雙鏡像機(jī)制，在檢測到固件被破壞后進(jìn)行恢復(fù)；支持 BMC 安全啟動，防止 BMC 被惡意篡改；?支持靈活的 BMC 訪問控制策略，提高 BMC 管理安全性。
第六 簡約不簡單的運(yùn)維管理
技術(shù)人員可以通過 BMC Web 管理界面、故障診斷 LED 等指引設(shè)備進(jìn)行整機(jī)管理，并 可通過前面板上的 UID 指示燈標(biāo)記有故障的機(jī)器，快速找到已經(jīng)發(fā)生故障（或者即將 發(fā)生故障）的組件，從而簡化維護(hù)工作、加快解決問題的速度，并且提高系統(tǒng)可用性；通過 BMC 監(jiān)控系統(tǒng)參數(shù)，提前發(fā)出告警信息，使技術(shù)人員能夠采取相應(yīng)措施，保證機(jī)器穩(wěn)定運(yùn)行；?配備 ISPIM 智能管理軟件，實(shí)現(xiàn)服務(wù)器的集中管理，支持設(shè)備部件級資產(chǎn)管理、智能監(jiān)控告警、自動巡檢、故障診斷與報修、能耗管理、固件升級/配置等功能，實(shí)現(xiàn)服務(wù)器全生命周期管理。
