GPU Utils最近總結(jié)了一個(gè)關(guān)于英偉達(dá)H100顯卡在AI訓(xùn)練中的應(yīng)用文章。里面透露總結(jié)了一些當(dāng)前的主流廠商擁有的顯卡數(shù)量以及一些模型訓(xùn)練所需的顯卡數(shù)。文章主要描述的是H1000的供應(yīng)與需求，也包含H100的性能描述，本文主要總結(jié)一下里面提到的顯卡數(shù)相關(guān)統(tǒng)計(jì)供大家參考。

• H100簡(jiǎn)介以及常見(jiàn)的H100、GH200s、DGC GH200s、HGX H100s的區(qū)別

• GPT-4/Falcon等模型訓(xùn)練用到的GPU數(shù)量

• OpenAI、特斯拉等廠商擁有的GPU數(shù)量

H100簡(jiǎn)介以及常見(jiàn)的H100、GH200s、DGC GH200s、HGX H100s的區(qū)別

首先還是簡(jiǎn)單介紹一下這里涉及到的顯卡基本知識(shí)。H100是目前全球性能最高的專業(yè)級(jí)顯卡，特別適合用來(lái)訓(xùn)練大語(yǔ)言模型這種超大規(guī)模參數(shù)的大模型。速度很快。在16-bit訓(xùn)練上，比A100快2.3倍，在16-bit的推理上比A100快3.5倍。

當(dāng)然，與H100經(jīng)常一起出現(xiàn)的還有H100s, GH200s, DGX GH200s, HGX H100s, 和 DGX H100s這些名稱，其基本區(qū)別如下：

• H100 = 一個(gè)H100 GPU

• HGX H100 = Nvidia 的服務(wù)器參考平臺(tái)，OEM廠商可用其構(gòu)建一個(gè)包含4塊GPU或8塊GPU服務(wù)器。由像Supermicro這樣的第三方OEM廠商制造。

• DGX H100 = Nvidia官方的H100服務(wù)器，配備8個(gè)H100 GPU。Nvidia是唯一的供應(yīng)商。

• GH200 = 1x H100 GPU加上1x Grace CPU。

• DGX GH200 = 256個(gè)GH200，預(yù)計(jì)于2023年末推出。很可能僅由Nvidia提供。

也就是說(shuō)，H100只是一個(gè)顯卡，但是嘗試可以創(chuàng)建服務(wù)器，包含4個(gè)或者8個(gè)H100一起互聯(lián)，用以提供給大模型訓(xùn)練等。這里還有一個(gè)注意的Grace CPU，這是英偉達(dá)自己基于ARM開發(fā)的服務(wù)端CPU。

這里帶有GH的表示配備了英偉達(dá)Grace CPU的服務(wù)器，DGX則表示是英偉達(dá)自己供應(yīng)的帶有GPU的服務(wù)器。

GPT-4/Falcon等模型訓(xùn)練用到的GPU數(shù)量

這篇博客中還介紹了一些模型訓(xùn)練使用的GPU數(shù)量，當(dāng)然這些數(shù)據(jù)原文都有參考文獻(xiàn)和出處，我們就不列舉了。

• GPT-4：可能由1萬(wàn)到2.5萬(wàn)塊A100訓(xùn)練

• Falcon-40B：384個(gè)A100訓(xùn)練

• Inflection用了3500個(gè)H100訓(xùn)練了一個(gè)等價(jià)于GPT-3.5的大模型

• LLaMA-1：2048個(gè)A100

• GPT-5：可能需要3萬(wàn)到5萬(wàn)個(gè)H100（存疑）

OpenAI、特斯拉等廠商擁有的GPU數(shù)量

• Meta由2.1萬(wàn)塊A100

• Tesla由7000塊A100

• StabilityAI有5000塊A100

• GPC有2.5萬(wàn)塊H100

• Azure有1-4萬(wàn)塊H100

• CoreWeavw有3.5-4萬(wàn)塊H100

• OpenAI可能有5萬(wàn)塊H100

• Infection希望有2.2萬(wàn)塊H100

• Meta已經(jīng)有2.5萬(wàn)塊H100，但是希望再買1萬(wàn)塊

來(lái)源：數(shù)據(jù)學(xué)習(xí) 作者：小木

A100\H100在中國(guó)大陸基本上越來(lái)越少，A800目前也在位H800讓路，如果確實(shí)需要A100\A800\H100\H800GPU，建議就不用挑剔了，HGX 和 PCIE 版對(duì)大部分使用者來(lái)說(shuō)區(qū)別不是很大，有貨就可以下手了。

無(wú)論如何，選擇正規(guī)品牌廠商合作，在目前供需失衡不正常的市場(chǎng)情況下，市面大部分商家是無(wú)法供應(yīng)的，甚至提供不屬實(shí)的信息，如果是科研服務(wù)器的話首選風(fēng)虎云龍科研服務(wù)器，入圍政采，品質(zhì)和售后服務(wù)都有保障。

歡迎交流 陳經(jīng)理【173-1639-1579】

多年來(lái)一直專注于科學(xué)計(jì)算服務(wù)器，入圍政采平臺(tái)，H100、A100、H800、A800、RTX6000 Ada，單臺(tái)雙路192核心服務(wù)器有售，

多年來(lái)一直專注于科學(xué)計(jì)算服務(wù)器，入圍政采平臺(tái)，H100、A100、H800、A800、RTX6000 Ada，單臺(tái)雙路192核心服務(wù)器有售。