[轉(zhuǎn)載]華人大神出手 AMD顯卡AI“煉丹”能力追上來了:RTX 4090八成性能
快科技8月13日消息,除了玩游戲,NVIDIA的顯卡還在AI加速上遙遙領(lǐng)先,不僅科技巨頭都在搶A100/H100等顯卡,GeForce游戲卡也是普通人搞AI煉丹的選擇,AMD顯卡在這方面落后不少。
好消息是AMD現(xiàn)在也能追上來了,深度學(xué)習(xí)領(lǐng)域的華人大神、OctoML CTO陳天奇帶領(lǐng)團隊在AMD顯卡上做出了大模型推理的方案,這意味著業(yè)界又有NVIDI之外的選擇,不用為N卡搶破頭、加價而困擾了。

根據(jù)他的優(yōu)化算法,在Llama2的7B和13B大模型中,用RX 7900 XTX顯卡也能跑出讓人滿意的性能,性能已經(jīng)達到了RTX 4090顯卡82%或者RTX 3090 Ti顯卡的94%水平。

不僅是性能追上來了,AMD顯卡的性價比也要高得多,RX 7900 XTX跟其他兩款顯卡都是24GB顯存,但只要999美元,RTX 4090、RTX 3090 Ti分別是1599、1999元,價格高出60-100%。
當(dāng)然,RX 7900 XTX現(xiàn)在的價格早就松動了,實際售價比999美元便宜不少,而N卡價格一直堅挺。

究其根底,A卡在AI煉丹能力上的提升,尤其是RX 7900 XTX這樣的游戲卡能有質(zhì)變,還是AMD最近在ROCm軟件生態(tài)上的改進,以前后者對游戲卡及Win平臺的支持很差,4月份開始不僅支持Windows系統(tǒng),也加入了對RX 7900及工作站顯卡的支持。
同時AMD還發(fā)布了ROCm HIP SDK,允許開發(fā)者將針對CUDA平臺開發(fā)的代碼輕松遷移到AMD平臺,這有是陳天奇等大神可以在AMD顯卡上推動AI能力提升的基礎(chǔ)。
本視頻轉(zhuǎn)載自:快科技
文章作者:憲瑞
文章原鏈接:
https://news.mydrivers.com/1/928/928788.htm

