英偉達(dá)發(fā)文介紹“黃氏定律”:GPU 推理性能十年提升 1000 倍,無懼摩爾定律影響
10月1日消息,英偉達(dá)宣布了“黃氏定律(Huang's Law)”,在人們對(duì)摩爾定律的未來進(jìn)行討論時(shí),該定律提出了 GPU 推理性能在過去十年內(nèi)將提升 1000 倍的觀點(diǎn)。

根據(jù)最新的一篇文章稱,“黃氏定律”意味著在“單芯片推理性能”中看到的加速不會(huì)逐漸消失,而是會(huì)繼續(xù)出現(xiàn)。


Dally 最近在 Hot Chips 2023 會(huì)議上的演講中展示了一張圖表,顯示過去十年 GPU AI 推理性能增長了 1000 倍。他指出,與摩爾定律不同,工藝縮小對(duì)黃氏定律的進(jìn)展幾乎沒有影響。
Dally回顧了如何通過改變英偉達(dá)GPU底層數(shù)字處理來實(shí)現(xiàn)16倍的增長。Nvidia Hopper架構(gòu)的引入,使用Transformer引擎,帶來了另一個(gè)重大推動(dòng)。據(jù)稱,Hopper通過動(dòng)態(tài)組合8位和16位浮點(diǎn)與整數(shù)數(shù)學(xué),實(shí)現(xiàn)了12.5倍的性能飛躍,并且節(jié)省了能源。

Dally認(rèn)為,盡管摩爾定律的效益逐漸減少,但他相信"黃氏定律"仍將持續(xù)存在。
“黃氏定律”意味著在“單芯片推理性能”中看到的加速不會(huì)逐漸消失,而是會(huì)繼續(xù)出現(xiàn)。根據(jù) Dally 在 Hot Chips 2023 會(huì)議上的演講,過去十年 GPU AI 推理性能增長了 1000 倍,而工藝縮小對(duì)黃氏定律的進(jìn)展幾乎沒有影響。盡管摩爾定律的收益減少,但 Dally 相信“黃氏定律”仍將繼續(xù)存在。