英偉達(dá)宣布，針對(duì)大型語言模型訓(xùn)練（LLM）設(shè)計(jì)，推出全新的H100 NVL計(jì)算加速卡。其搭載了兩個(gè)基于Hopper架構(gòu)的H100芯片，頂部配備了三個(gè)NVLink連接器，在服務(wù)器里使用了兩個(gè)相鄰的PCIe全長(zhǎng)插槽。

英偉達(dá)去年就推出了H100，擁有800億個(gè)晶體管，相比上一代的A100，有著六倍的性能提升以及兩倍的MMA改進(jìn)。其采用了CoWoS 2.5D晶圓級(jí)封裝，單芯片設(shè)計(jì)，以臺(tái)積電（TSMC）為英偉達(dá)量身定制的4N工藝制造。這次雙GPU版本除了更高的計(jì)算性能，更大的顯存容量也是其優(yōu)勢(shì)之一，提供了188GB的HBM3顯存。

H100 NVL計(jì)算加速卡的FP64計(jì)算性能為134 teraFLOPS，TF32計(jì)算性能為1979 teraFLOPS，F(xiàn)P8計(jì)算性能為7916 teraFLOPS，INT8計(jì)算性能為7916 teraFLOPS，是H100 SXM的兩倍。其具有完整的6144位顯存接口（每個(gè)HBM3堆棧為1024位），顯存速率可達(dá)5.1Gbps，意味著最大吞吐量為7.8TB/s，是H100 SM3的兩倍多。由于大型語言模型訓(xùn)練需要更大的緩沖區(qū)和更高的帶寬，所以更大的顯存肯定會(huì)對(duì)運(yùn)算有所影響。

據(jù)了解，H100 NVL計(jì)算加速卡的功耗略高于H100 PCIe（350W）的兩倍或以上，在700W至800W之間。英偉達(dá)計(jì)劃在今年下半年推出H100 NVL計(jì)算加速卡，不過暫時(shí)沒有進(jìn)一步提供任何的細(xì)節(jié)。