更加期待下半年的GeForce新品了

英偉達(dá)不管你怎么看他不爽，他終歸是地球上的第一AI巨頭。在剛才結(jié)束的GTC2022中，英偉達(dá)CEO黃仁勛的主題演講上，帶來了新一代的，基于Hopper架構(gòu)的H100數(shù)據(jù)中心加速器。

?基于GH100 GPU?

官方白皮書數(shù)據(jù)，全新英偉達(dá)GH100 GPU，并非基于之前傳聞中的臺(tái)積電N5工藝，而是使用更為先進(jìn)的N4工藝。整個(gè)芯片面積為814mm2，相比GA100甚至更小，但是卻集成了800億晶體管，并且采用了更高頻率設(shè)計(jì)。

完整規(guī)格的GH100 GPU規(guī)格，包含了總計(jì)8個(gè)GPC圖形集群，72個(gè)TPC紋理集群，144個(gè)SM流式多處理器，共計(jì)18432個(gè)FP32 CUDA核心（這也和目前傳聞中AD102完整版完全吻合），專用于AI訓(xùn)練的第四代張量核心TensorCore為每組SM配備4個(gè)，共計(jì)576個(gè)。顯存方面最大支持6個(gè)HBM3或HBM2e堆棧，6144bit顯存位寬，L2緩存提升到60MB，并且支持第四代NVLink和PCIe Gen5。

不過，GH100是面向人工智能、數(shù)據(jù)分析等負(fù)載構(gòu)建的，而不是圖形處理，SXM5版和PCIe H100所使用的GH100 GPU中，只有兩個(gè)TPC具有圖形處理能力。

?H100 SXM5 加速器?

GH100 GPU用于兩個(gè)款式的加速卡上，分別為SXM5版和PCIe5版，SXM協(xié)議更多用在密集計(jì)算的數(shù)據(jù)中心上，規(guī)格也更高一些。大概是受制于良率，即便是高規(guī)格的SXM5版也并不是滿血的GH100核心。

H100 SXM5使用的H100 GPU規(guī)格為66個(gè)TPC紋理集群，SM數(shù)量下降到132組，而CUDA數(shù)量也是下降到16896個(gè)（但相比于目前的GA100豈止于翻倍），張量核心為528個(gè)。顯存方面，H100 SXM5啟用5個(gè)HBM3堆棧，共計(jì)80GB，顯存位寬為5120Bit。L2緩存也下降到50MB，對(duì)比A100依然有25%提升。

?H100 PCIe5 加速器?

PCIe版更多用于小型企業(yè)，雖然但是，PCIe版的性能也是不容小覷。PCIe版采用進(jìn)一步縮減的GH100 GPU，SM數(shù)量下降到114組，CUDA數(shù)量下降到14592個(gè)，張量核心則縮減到了456個(gè)。顯存方面，啟用的是5個(gè)HBM2e堆棧，容量與SXM5版相同，為80GB 5120Bit位寬，L2緩存大小一致。

?碾壓性的性能對(duì)比?

白皮書揭露了新的H100兩款FP32算力，這也是我們這些一般用戶可以關(guān)注一下的指標(biāo)。132組SM/16896CUDA的SXM5版本，F(xiàn)P32單精度算力為60TFlops，根據(jù)CSDN一篇文章提供的公式：?jiǎn)尉壤碚摲逯?FP32 cores*GPU頻率*2，可以推出工作頻率約為1775MHz。而本世代的A100加速卡的GA100核心工作頻率為1410MHz，頻率提升近26%。GeForce產(chǎn)品使用的GPU往往會(huì)給到更高的頻率，下一代RTX 40有望2G起步？

在算力方面，H100 SXM5對(duì)比現(xiàn)在的A100在多個(gè)項(xiàng)目中都超過200%的提升，最低的FP16半精度運(yùn)算也有50%的性能提升，可謂是碾壓級(jí)。

而在演講上，老黃更是直接帶來了H100在三種負(fù)載下對(duì)比A100的效率提升，訓(xùn)練Transformer模型從5天縮短到了19小時(shí)，而在結(jié)合了英偉達(dá)多項(xiàng)尖端軟硬件條件下，整個(gè)模型訓(xùn)練從7天縮短到了20小時(shí)，效率足足提升9倍。

雖然英偉達(dá)數(shù)據(jù)中心加速器系列和我們普通消費(fèi)者太過遙遠(yuǎn)，但是新的GH100 GPU的規(guī)格很難不讓人揣測(cè)下半年發(fā)布的Ada Lovelace架構(gòu)。如此程度的規(guī)格、性能提升，接下來真的很可能達(dá)到如同GTX 900到GTX 10系，甚至超過那一代的提升幅度，總之做足準(zhǔn)備，敬請(qǐng)見證。

作者深知自身水平不夠?qū)I(yè)，如果文中有錯(cuò)誤敬請(qǐng)諒解，本文資料來自GTC2022主題演講和英偉達(dá)HOPPER架構(gòu)白皮書，可以前往英偉達(dá)中國(guó)官網(wǎng)數(shù)據(jù)中心頁(yè)查看官方白皮書。