ChatGPT能成為如今火遍全球的頂流模型，少不了背后超強(qiáng)的算力。

數(shù)據(jù)顯示，ChatGPT的總算力消耗約為3640PF-days（即假如每秒計(jì)算一千萬(wàn)億次，需要計(jì)算3640天）。

微軟砸下大幾億美元，專門(mén)為訓(xùn)練ChatGPT打造了一臺(tái)超算——上萬(wàn)張英偉達(dá)A100芯片打造，甚至專門(mén)為此調(diào)整了服務(wù)器架構(gòu)，只為給ChatGPT和新必應(yīng)AI提供更好的算力。

不僅如此，微軟還在Azure的60多個(gè)數(shù)據(jù)中心部署了幾十萬(wàn)張GPU，用于ChatGPT的推理。

有網(wǎng)友感慨：果然還是得靠錢(qián)生錢(qián)啊~

還有網(wǎng)友調(diào)侃，微軟數(shù)據(jù)中心服務(wù)器終于多了個(gè)新用途：

雖然不是真的，不過(guò)想象微軟數(shù)據(jù)中心的某些服務(wù)器用途，可能一半是Xbox的xCloud，另一半是ChatGPT。

微軟為什么花數(shù)

億美元打造超級(jí)算力？

事實(shí)上，這臺(tái)超算并非最近才開(kāi)始打造。

據(jù)微軟表示，他們給OpenAI提供這臺(tái)超算已經(jīng)有3年之久，而ChatGPT也正是基于這臺(tái)超算提供的算力訓(xùn)練的。

這是因?yàn)?，OpenAI在最初商量與微軟合作時(shí)，曾經(jīng)就算力方面的事情進(jìn)行過(guò)協(xié)商。

OpenAI認(rèn)為，如果微軟想給自己提供算力，就必須在Azure云計(jì)算平臺(tái)上“騰出”一部分巨大的算力單獨(dú)給它們使用，且確保它們不與Azure提供的其他服務(wù)產(chǎn)生沖突。

微軟答應(yīng)了這一條件，特意給OpenAI提供了一臺(tái)超算，用于各種大模型訓(xùn)練。

△圖源：微軟

當(dāng)然，微軟也不是白白給OpenAI提供超算服務(wù)的，背后肯定有自己的考量。

其一，吸引更多企業(yè)來(lái)使用Azure訓(xùn)練自己的大模型。微軟執(zhí)行副總裁Scott Guthrie表示：

雖然它是OpenAI的定制版，但同樣具備某種通用性，任何企業(yè)都可以基于這種方式來(lái)訓(xùn)練自己的大語(yǔ)言模型。

其二，直接在Azure中提供OpenAI模型服務(wù)（Azure OpenAI Service）。

此前包括GPT-3、Codex和DALL·E 2等模型，都已經(jīng)接入Azure。

至于納德拉1月份立的“要把ChatGPT加入Azure服務(wù)”flag，目前也已經(jīng)實(shí)現(xiàn)。

官網(wǎng)還特意給ChatGPT相關(guān)服務(wù)貼了個(gè)高亮標(biāo)簽：

這波屬實(shí)是微軟用ChatGPT，再次宣傳了一波自己的云服務(wù)（手動(dòng)狗頭）。

當(dāng)然，基于英偉達(dá)A100打造的超算也不是微軟Azure的最新技術(shù)。

據(jù)微軟表示，他們還將基于英偉達(dá)H100和網(wǎng)絡(luò)技術(shù)，推出Azure最新的AI虛擬機(jī)產(chǎn)品。

微軟贏麻了！

微軟負(fù)責(zé)戰(zhàn)略合作伙伴關(guān)系的高管Phil Waymouth指出，OpenAI訓(xùn)練模型所需要的云計(jì)算基礎(chǔ)設(shè)施規(guī)模，是業(yè)內(nèi)前所未有的。

呈指數(shù)級(jí)增長(zhǎng)的網(wǎng)絡(luò)GPU集群規(guī)模，超過(guò)了業(yè)內(nèi)任何人試圖構(gòu)建的程度。

微軟之所以下定決心與OpenAI 合作，是因?yàn)閳?jiān)信，這種前所未有的基礎(chǔ)設(shè)施規(guī)模將改變歷史，造出全新的AI，和全新的編程平臺(tái)，為客戶提供切實(shí)符合他們利益的產(chǎn)品和服務(wù)。

現(xiàn)在看來(lái)，這幾億美元顯然沒(méi)白花——寶押對(duì)了。

在這臺(tái)超算上，OpenAI能夠訓(xùn)練的模型越來(lái)越強(qiáng)大，并且解鎖了AI工具令人驚嘆的功能，幾乎開(kāi)啟人類第四次工業(yè)革命的ChatGPT，由此誕生。

非常滿意的微軟，在1月初又向OpenAI狂砸100億美元。

可以說(shuō)，微軟突破AI超算界限的雄心，已經(jīng)得到了回報(bào)。而這背后體現(xiàn)的，是從實(shí)驗(yàn)室研究，到AI產(chǎn)業(yè)化的轉(zhuǎn)變。

目前，微軟的辦公軟件帝國(guó)已經(jīng)初具規(guī)模。

ChatGPT版必應(yīng)，可以幫我們搜索假期安排；Viva Sales中的聊天機(jī)器人可以幫營(yíng)銷人員寫(xiě)郵件；GitHub Copilot可以幫開(kāi)發(fā)者續(xù)寫(xiě)代碼；Azure OpenAI 服務(wù)可以讓我們?cè)L問(wèn)OpenAI的大語(yǔ)言模型，還能訪問(wèn)Azure的企業(yè)級(jí)功能。

國(guó)內(nèi)云服務(wù)廠商現(xiàn)狀如何？

那么，國(guó)內(nèi)云廠商是否會(huì)因?yàn)镃hatGPT被帶動(dòng)起來(lái)一波？

事情并不如想象中簡(jiǎn)單。

目前來(lái)看，國(guó)內(nèi)公開(kāi)表示擁有1萬(wàn)張英偉達(dá)A100的企業(yè)只有幻方量化。

據(jù)幻方官網(wǎng)顯示，2022年3月由于需要發(fā)展量化金融業(yè)務(wù)，他們構(gòu)建了一個(gè)名為螢火二號(hào)的AI集群，擁有一萬(wàn)張英偉達(dá)A100。

至于其他企業(yè)，據(jù)《財(cái)經(jīng)十一人》介紹，國(guó)內(nèi)GPU持有量超過(guò)1萬(wàn)張的企業(yè)不超過(guò)5家，即使規(guī)模最大的企業(yè)也不超過(guò)5萬(wàn)枚，而且這里面有不少都是英偉達(dá)中低端數(shù)據(jù)中心芯片。

顯然，相比微軟能給ChatGPT投入大量算力、或是像Facebook和谷歌一樣動(dòng)輒能采購(gòu)幾千上萬(wàn)張GPU，算力是國(guó)內(nèi)廠商做ChatGPT的另一大難點(diǎn)。

在以ChatGPT為代表的大模型技術(shù)上，軟硬件都還有不少難關(guān)要攻克。

聲明：本文由入駐搜狐號(hào)的作者撰寫(xiě)，除搜狐官方帳號(hào)外，觀點(diǎn)僅代表作者本人，不代表搜狐立場(chǎng)。

圖文來(lái)源網(wǎng)絡(luò)侵刪