當(dāng) AI 服務(wù)器對散熱技術(shù)需求變高!為何趨勢從“氣冷”走向“液冷”

英偉達(NVIDA)執(zhí)行長黃仁勛今年在 COMPUTEX 2023,特地為美超微(SUPERMICRO)董事長梁見后的演說站臺,雙鴻董事長林育申指出,舞臺上所展示的服務(wù)器產(chǎn)品,幾乎都是雙鴻做的水冷散熱模組,而雙鴻布局水冷散熱模組多年,正好為這股 AI 浪潮搶占先機,但是 AI 服務(wù)器對散熱要求越來越高,為何趨勢從「氣冷」走向「液冷」?
高速運轉(zhuǎn)使散熱從“氣冷”走向“液冷”
從散熱技術(shù)來說,林育申指出,目前散熱模組是以含有熱導(dǎo)管技術(shù)的主被動混合式散熱技術(shù)為主,熱管散熱模組是將風(fēng)散、散熱片、熱導(dǎo)管等元件設(shè)計組合而成,能使內(nèi)部電子零組件享有均溫散熱的運作環(huán)境,使電子設(shè)備運作更趨穩(wěn)定,但是現(xiàn)在下游終端電子產(chǎn)品走向多功能與輕薄化,使得散熱模組廠轉(zhuǎn)而設(shè)計以均熱板、熱導(dǎo)管為主的散熱解決方案。
目前散熱模組分為「氣冷散熱」和「液冷散熱」兩種,其中氣冷散熱就是用空氣作為媒介,透過熱接口材料、均熱片(VC)或熱導(dǎo)管等中間材料,由散熱片或風(fēng)扇與空氣對流進行散熱,而「液冷散熱」則是透過,或浸沒式散熱,主要就是透過與液體熱對流散熱,進而使晶片降溫,但是隨著晶片發(fā)熱量的增加與體積的縮小,芯片熱設(shè)計功耗(TDP)的提高, 氣冷散熱逐漸不敷使用。
隨著ChatGPT的崛起,生成式AI更是帶動服務(wù)器的出貨上揚,連帶要求散熱模組的規(guī)格升級,推動散熱模組走向液冷方案升級,以滿足服務(wù)器對散熱性和穩(wěn)定性的嚴格要求,林育申指出,雙鴻從氣冷散熱技術(shù)開始,早在10年前就透過IBM技轉(zhuǎn)液冷散熱技術(shù),并提供水冷背門,讓客戶可以不用改變現(xiàn)有的數(shù)據(jù)中心基礎(chǔ)建設(shè),就能直接加掛水冷背門到機柜使用。
2025年將走向氣冷、液冷并行時代
受到AI應(yīng)用帶動相關(guān)半導(dǎo)體技術(shù)發(fā)展,ChatGPT的GPT-3導(dǎo)入更是讓AI算法參數(shù)量成長到1750億,使得GPU運算力要成長百倍目前業(yè)界多以液冷中的單相浸沒式冷卻技術(shù),解決高密度發(fā)熱的服務(wù)器或零件散熱問題,但仍有600W的上限值,因為ChatGPT或更高階的服務(wù)器散熱能力須高于700W才足以因應(yīng)。
隨著物聯(lián)網(wǎng)、邊緣運算、5G應(yīng)用的發(fā)展,數(shù)據(jù)AI帶動全球算力進入高速成長期,下一代的散熱模組設(shè)計,主要有兩大方向,ㄧ是使用3D均熱板(3DVC)升級現(xiàn)有散熱模塊,二是導(dǎo)入液冷散熱系統(tǒng),改用液體當(dāng)作熱對流介質(zhì),提升散熱效率,因此2023年液冷測試案量顯著增加,但是3DVC終究只是過渡方案,預(yù)估2024年到2025年將進入氣冷、 液冷并行的時代。
根據(jù)研究機構(gòu)TrendForce的統(tǒng)計,2022年搭載GPGPU(General Purpose GPU)的AI服務(wù)器出貨量比重約1%,但是2023年受到ChatGPT應(yīng)用的帶動,預(yù)期AI服務(wù)器出貨量將成長38.4%,整體2022年到2026年的AI服務(wù)器出貨量年復(fù)合成長率達29%。
「液冷」散熱將成 AI 芯片主流
由于新一代服務(wù)器TDP提升到接近氣冷散熱的極限,因此電子科技大廠紛紛開始測試液冷散熱,或增加散熱空間,像是英特爾(Intel)的Eagle Stream、超微(AMD)的Genoa TDP 350-400W就達氣冷極限,使得液冷散熱成為AI芯片主流,像是NVIDA H100的TDP就達700W,氣冷采3DVC,普遍需4U以上空間, 并不符合高密度部署架構(gòu)。
以散熱系統(tǒng)占數(shù)據(jù)中心總耗能約33%來看,減少總用電量降低電力使用效率(Power Usage Effectiveness)的方式,包含改善散熱系統(tǒng)、信息設(shè)備,并使用再生能源,而水的熱容量是空氣的4倍,因此導(dǎo)入液冷散熱系統(tǒng),液冷板只需要1U的空間,根據(jù)NVIDIA測試,若要達到相同算力,液冷所需的機柜量可減少66%、能耗可減少28%、 PUE可由1.6降到1.15,并可提升運算效能。
美超微都用雙鴻散熱模組的關(guān)鍵
液冷又分為「水冷」和「油冷」,目前使用最大量的為水冷,林育申指出,現(xiàn)在 AI 服務(wù)器幾乎都采用水冷散熱方案,像是 NVIDIA GH100 的 TDP 超過 700W 就必須使用水冷散熱,雖然目前占雙鴻營收比重仍小,但是 AI 服務(wù)器與傳統(tǒng)服務(wù)器的平均銷售單價(ASP)相差達 10 倍,因此將有助于雙鴻下半年產(chǎn)品結(jié)構(gòu)的轉(zhuǎn)變,預(yù)估 2023 年 AI 服務(wù)器將可占到 5~10%。
林育申指出,能讓SUPERMICRO采用NVIDIA GH100 GPU的AI服務(wù)器,其水冷散熱模組幾乎都是由雙鴻供應(yīng)主要的關(guān)鍵,就在于雙鴻耕耘水冷散熱解決方案已經(jīng)超過10年,由于導(dǎo)入水冷的困難就在于成本和漏水,但是雙鴻以研究水冷超過10年的經(jīng)驗,已經(jīng)可以逐步克服漏水的問題,而雙鴻布局水冷散熱模組多年,正好為這股AI浪潮搶占先機。
林育申強調(diào),高速運算導(dǎo)致TDP不斷提升,AI服務(wù)器對散熱的要求越高,傳統(tǒng)熱導(dǎo)管散熱已接近極限,勢必要導(dǎo)入水冷散熱模組,目前雙鴻已有不少客戶導(dǎo)入,包括SUPERMICRO、META,以目前的產(chǎn)業(yè)市況來看,雖然水冷散熱導(dǎo)入得比預(yù)期快,但是要在2023年全面導(dǎo)入水冷還不太可能,預(yù)估應(yīng)該要到2024年,并將在2025年迎來大爆發(fā)。