作者／ IT時(shí)報(bào)記者 范昕茹

編輯／ 錢立富 孫妍

當(dāng)?shù)貢r(shí)間8月8日，在美國洛杉磯舉行的計(jì)算機(jī)圖形學(xué)專業(yè)會(huì)議SIGGRAPH 2023上，身著經(jīng)典皮衣的英偉達(dá)CEO黃仁勛宣布推出新一代AI超級(jí)芯片DGX GH200 Grace Hopper。

據(jù)了解，GH200采用了英偉達(dá)的Hopper GPU架構(gòu)，并與ARM的Grace CPU架構(gòu)結(jié)合起來，比H100數(shù)據(jù)中心系統(tǒng)容納更多內(nèi)存和更大帶寬，即141GB的HBM3e內(nèi)存，以及每秒5TB的帶寬。

大模型熱潮持續(xù)，英偉達(dá)再度迭代AI芯片產(chǎn)品，不斷強(qiáng)化自己在行業(yè)內(nèi)的“統(tǒng)治力”。而在國內(nèi)AI芯片市場，受地緣政治等影響，AI芯片一片難求，在倒?fàn)敗皾M天飛”、賣家亂報(bào)價(jià)的情形下，國內(nèi)大模型廠商急需國產(chǎn)方案來替代。

01 倒?fàn)敗皾M天飛” A800單卡售價(jià)12萬元

“A800有貨，想要的直接點(diǎn)擊購買”“A800現(xiàn)貨，支持驗(yàn)貨”……國內(nèi)掀起大模型浪潮后，英偉達(dá)A800成為暢銷貨。用于售賣閑置物品的閑魚，如今已經(jīng)化身A800芯片二手市場。留言區(qū)還有人指路，抖音上某賬號(hào)有貨，100塊。

面對(duì)《IT時(shí)報(bào)》記者的詢價(jià)，賣家們顯得尤為積極，在溝通過的4、5位賣家中，每位都表示手頭有全新現(xiàn)貨，但庫存不多，僅有30、40片左右。這些賣家的報(bào)價(jià)普遍在11萬元以上，低至11.15萬元，高至11.5萬元。相比于今年4月份的價(jià)格，A800單片價(jià)格上漲了1萬元左右。

“你最好今天就訂，明天說不定就沒貨了?！币晃毁u家在電話里催促《IT時(shí)報(bào)》記者交定金。

“今天已經(jīng)有7、8個(gè)人來問過了。”看記者有些猶豫，另一位賣家說道。為了讓記者相信他手頭確實(shí)是現(xiàn)貨，賣家特意拍了包裝好的視頻，表示拍下就發(fā)貨，“今天拍，明天就可運(yùn)到”。

“只有服務(wù)器廠家才有卡，其他只是二道販子，單純吆喝而已。”一位芯片渠道商這樣形容國內(nèi)A800芯片市場的現(xiàn)狀。

另一位賣家也告訴記者，最近英偉達(dá)的A100、A800十分緊俏，來詢價(jià)的人特別多，但真正下單的少，大多是炒貨的。他表示：“如果需要找貨，需要談價(jià)錢，再簽合同交定金?！备鶕?jù)貨量多少，定金從30%到50%不等，貨量越大，定金越高?！爸拔覀兙陀龅竭^，有人訂了貨后又不要了，我們怎么辦？為了規(guī)避風(fēng)險(xiǎn)?！弊罱K，這位賣家報(bào)價(jià)A800單片10.7萬元，但到貨需要等2個(gè)月。

相比水漲船高的A800單片行情，A100服務(wù)器整機(jī)的價(jià)格浮動(dòng)并不大。在該賣家的朋友圈記者看到，2周前，安裝有8塊A100芯片的服務(wù)器，售價(jià)在每臺(tái)140萬——145萬元之間。但服務(wù)器的貨源依舊緊缺，賣家告訴記者：“前幾天到貨10臺(tái)服務(wù)器，一個(gè)星期之內(nèi)就被上海買家訂完了”。

2天后，該賣家又聯(lián)系記者，稱A100芯片有貨，而且打折銷售，只需5萬元一塊，因?yàn)槭嵌值?，保質(zhì)期還有1年半。他還表示，全新的A800芯片也有，但相比兩天前，價(jià)格上漲了1萬多元，12萬元一塊，“價(jià)格上漲是因?yàn)橐娜硕?，但貨很少”?/p>

實(shí)際上，在這一輪大模型熱潮中，即便是服務(wù)器廠商，也面臨著“地主家沒有余糧”的尷尬局面。記者詢問多家云服務(wù)廠商，其中兩家規(guī)模較大的云廠商表示，暫時(shí)沒有存貨。另一位服務(wù)器經(jīng)銷商則表示，8月騰訊云將上架部分A800的卡，可以提前預(yù)定，但數(shù)量和價(jià)格都未曾透露。

早在今年4月舉行的業(yè)績電話會(huì)議上，臺(tái)積電方面表示，AI相關(guān)需求“爆單”，要到2024年底才能完全解決AI芯片的供應(yīng)短缺問題。根據(jù)中國臺(tái)灣地區(qū)媒體《電子時(shí)報(bào)》的報(bào)道，由于臺(tái)積電先進(jìn)封裝產(chǎn)能不足，英偉達(dá)正在考慮將部分GPU中使用的2.5D封裝交給其他供應(yīng)商。

臺(tái)積電日前宣布，規(guī)劃斥資近900億元新臺(tái)幣在中國臺(tái)灣地區(qū)竹科銅鑼科學(xué)園區(qū)設(shè)先進(jìn)封裝晶圓廠，新工廠預(yù)計(jì)2026年底建成，2027年第三季度開始量產(chǎn)。但遠(yuǎn)水解不了近渴，在芯動(dòng)力科技有限公司相關(guān)負(fù)責(zé)人看來，考慮到地緣政治形勢短期內(nèi)很難改變，自主可控成為新一代芯片的要求，國內(nèi)訓(xùn)練芯片短缺的情況可能會(huì)持續(xù)2至3年。

02 生態(tài)、性能有差距 國產(chǎn)芯片替代成本或更高

英偉達(dá)芯片全線缺貨，用國產(chǎn)芯片來替代是更好的方案嗎？

“國產(chǎn)芯片更貴?！睂?duì)于這個(gè)問題，一位芯片渠道商回答道。

盡管在價(jià)格方面，國產(chǎn)GPU芯片有一定的優(yōu)勢，但英偉達(dá)在計(jì)算方面建立的完善生態(tài)，讓大多數(shù)廠家對(duì)英偉達(dá)的芯片趨之若鶩，而對(duì)改換國產(chǎn)芯片躊躇不前。

在今年的世界人工智能大會(huì)上，一家國產(chǎn)GPU廠商銷售人員就透露，目前國內(nèi)第一批大模型廠商使用的基本都是英偉達(dá)A100、A800的芯片，因?yàn)橛ミ_(dá)構(gòu)建了完善的CUDA生態(tài)?！叭绻阌脩T了這個(gè)生態(tài)，”該銷售人員說，“貿(mào)然換一個(gè)生態(tài)，意味著你的學(xué)習(xí)成本、試錯(cuò)成本、調(diào)試成本都會(huì)增加，自然沒人會(huì)想要換了”。

縱觀國內(nèi)AI芯片第一梯隊(duì)的海光、華為和寒武紀(jì)等廠商，除了海光的DCU產(chǎn)品深算系列采用了兼容通用的“類CUDA”環(huán)境，華為的昇騰系列采用了自研的達(dá)芬奇架構(gòu)，大模型廠商在使用相關(guān)芯片時(shí)，需要提前針對(duì)軟硬件進(jìn)行調(diào)配和優(yōu)化。寒武紀(jì)的產(chǎn)品雖然包含了云端和邊端芯片，但由于其ASIC的芯片架構(gòu)，在使用時(shí)也需要提前進(jìn)行調(diào)試，對(duì)通用性計(jì)算而言，ASIC芯片的成本優(yōu)勢并不明顯。而對(duì)于第二梯隊(duì)的燧原、昆侖芯、天數(shù)等公司來說，生態(tài)建設(shè)更是不得不面對(duì)的難題。

生態(tài)和易用性已經(jīng)將一部分小型大模型廠商拒之門外，性能更是許多廠商猶豫不決的原因所在。無論走通用GPU路線，還是走ASIC芯片路線，國內(nèi)芯片廠商在性能上都對(duì)標(biāo)英偉達(dá)芯片。但是，單片性能接近是否意味著整體計(jì)算性能達(dá)到英偉達(dá)算力水平？

和過去PC時(shí)代不同，大模型訓(xùn)練需要巨大的算力，并非一兩顆芯片所能支撐。在當(dāng)下的大模型浪潮中，芯片集群成了行業(yè)解決算力問題的一大方向。

“芯片集群并不是單純做加法，1+1不一定等于2。”中國信通院華東分院人工智能與大數(shù)據(jù)事業(yè)部副主任常永波說，“在芯片行業(yè)，1+1往往小于2?！庇捎谠谟?jì)算過程中，數(shù)據(jù)需要在芯片之間互通，這就要求芯片之間保持高帶寬，以減少算力的損耗。而且，如何在計(jì)算過程中提高芯片的算效，也是各大芯片廠商面臨的難點(diǎn)之一。凡此種種，都意味著單顆芯片的紙面算力和實(shí)際算力之間存在差距。

目前，國產(chǎn)芯片在算力上和英偉達(dá)的AI芯片仍然存在差距，這意味著，想要達(dá)到同樣的算力，需要企業(yè)購置更多的芯片。對(duì)企業(yè)而言，就意味著更多的成本支出。“打個(gè)不恰當(dāng)?shù)谋确?，就好像你原來用iPhone，突然換成了一臺(tái)國產(chǎn)手機(jī)?！币晃恍酒u家解釋說，“為了達(dá)到同樣的性能，你得買好幾臺(tái)國產(chǎn)手機(jī)，成本自然就上去了?！?/p>

03 國產(chǎn)化方案箭在弦上 AI算力需求結(jié)構(gòu)將改變

盡管在目前的AI算力芯片市場上，英偉達(dá)仍是很多大模型廠家的第一選擇，但這樣的局面或?qū)⒏淖儭?/p>

“今年，一些公共服務(wù)平臺(tái)，尤其是涉及到政府機(jī)構(gòu)、學(xué)校、中小企業(yè)的這種公共服務(wù)平臺(tái)，已經(jīng)開始使用國產(chǎn)AI芯片?！背Ｓ啦ǜ嬖V記者，國內(nèi)已經(jīng)開始構(gòu)建AI芯片國產(chǎn)化生態(tài)。

今年3月，《科技部辦公廳關(guān)于開展國家新一代人工智能公共算力開放創(chuàng)新平臺(tái)申報(bào)工作的通知》明確表示，公共算力平臺(tái)應(yīng)使用自主研發(fā)的人工智能計(jì)算芯片，并優(yōu)先采用自主研發(fā)的系統(tǒng)軟件。對(duì)于混合部署的公共算力平臺(tái)，基于自主研發(fā)芯片的算力標(biāo)稱值占全部系統(tǒng)算力標(biāo)稱值的比值應(yīng)不低于 60%。公共算力平臺(tái)應(yīng)優(yōu)先使用國產(chǎn)開發(fā)框架，使用率應(yīng)不低于60%。

今年6月2日，《臨港新片區(qū)加快構(gòu)建算力產(chǎn)業(yè)生態(tài)行動(dòng)方案》發(fā)布，其中提出：到2025年，臨港新片區(qū)將形成以智算算力為主、基礎(chǔ)算力和超算算力協(xié)同的多元算力供給體系，算力產(chǎn)業(yè)總體規(guī)模突破100億元。

同一天，中國電信臨港公共智算服務(wù)平臺(tái)暨國產(chǎn)GPU聯(lián)合創(chuàng)新基地啟動(dòng)。首批國產(chǎn)GPU廠商華為、燧原、天數(shù)、寒武紀(jì)、沐曦等宣布入駐。在今年的世界人工智能大會(huì)上，中國電信相關(guān)負(fù)責(zé)人表示，國產(chǎn)GPU聯(lián)合創(chuàng)新基地將面向開發(fā)者或開發(fā)企業(yè)在模型算法算力的需求，搭建異構(gòu)國產(chǎn)算力開發(fā)環(huán)境。同時(shí)，基地還將與國產(chǎn)GPU廠家一起提升國產(chǎn)GPU芯片的性能和兼容性。未來，基地也會(huì)拿出機(jī)架，免費(fèi)提供給國產(chǎn)GPU廠商使用，進(jìn)行專業(yè)的測評(píng)服務(wù)，推動(dòng)國產(chǎn)GPU的商業(yè)化和產(chǎn)業(yè)化。

在常永波看來，這一輪AI芯片的短缺，主要還是由于短時(shí)間內(nèi)大模型的集體爆發(fā)。由于大部分廠商的大模型都處在前期訓(xùn)練階段，對(duì)訓(xùn)練算力的需求非常大，加之AI算力產(chǎn)能不足，最終導(dǎo)致AI芯片的供需失衡。但隨著大模型發(fā)展進(jìn)入應(yīng)用推理階段，大模型訓(xùn)練帶來的龐大算力需求未必能夠一直持續(xù)。

“從目前來看，如果說大模型公司的需求70%是訓(xùn)練算力，那么30%是推理算力，”常永波說，“3、5年之后，大模型訓(xùn)練需求就會(huì)退潮，變成30%的訓(xùn)練算力加70%的推理算力?！钡侥菚r(shí)，AI芯片的算力需求結(jié)構(gòu)將顯著改變。

在目前“缺芯”狀態(tài)下，常永波認(rèn)為，國內(nèi)大模型廠商可以在不是特別商業(yè)化的場景多給國產(chǎn)芯片機(jī)會(huì)，支持國產(chǎn)芯片廠商技術(shù)迭代，共同營造生態(tài)，共同成長。

排版／ 季嘉穎

圖片／ 英偉達(dá) 閑魚 東方IC

來源／《IT時(shí)報(bào)》公眾號(hào)vittimes