拋棄英偉達(dá)算力集群！特斯拉正著手打造下一代AI計算集群

2023-03-20 15:24 作者:149號公路 0人讀過 | 我要投稿

不知道什么時候開始，某魚上出現(xiàn)了大批之前英偉達(dá)專門為特斯拉定制的GPU圖形計算卡，并且正在以骨折價拋售。

這些不尋常的跡象，似乎印證了特斯拉正在逐漸拋棄英偉達(dá)的算力集群，著手打造下一代，自研程度更高的算力集群。

早在之前的AI DAY上，特斯拉就透露出不少關(guān)于下一代人工智能的構(gòu)想，其中特斯拉未來的全自動駕駛，在設(shè)計上都更趨向于“World Model”，也就是世界模型方向。

而這之中最關(guān)鍵的部分，就是實現(xiàn)“經(jīng)驗積累”，通過大量的數(shù)據(jù)模型，來解決現(xiàn)實中可能發(fā)生的問題。目前特斯拉的解決方案，與其他品牌基本相同，回傳特斯拉車主的行車視頻，讓電腦進(jìn)行分析學(xué)習(xí)，并對其中所有駕駛的可能性進(jìn)行建模，整個過程就是一個窮盡所有可能性的過程。當(dāng)然理論上來說，永遠(yuǎn)無法窮盡所有的可能性，只能無限接近。

特斯拉這種“窮盡所有的可能性”的建模方式，就是基于海量數(shù)據(jù)的處理與學(xué)習(xí)。之前特斯拉要完成以上的數(shù)據(jù)收集整合，依靠的就是英偉達(dá)GPU圖形計算卡組成算力集群中，一萬個GPU專門用來訓(xùn)練自動駕駛的神經(jīng)網(wǎng)絡(luò)。

這一整套基于英偉達(dá)的神經(jīng)網(wǎng)絡(luò)計算群，已經(jīng)是目前算力頂尖的超級計算機(jī)群，不過，即便是擁有這樣的超級算力，在遇到特斯拉這種需要大量視頻數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的使用場景，仍然會感到吃力。

換句話來說，英偉達(dá)的學(xué)習(xí)訓(xùn)練GPU算力群，已經(jīng)不能滿足特斯拉的實際需求，從某種程度上來說，已經(jīng)限制了特斯拉自動駕駛的發(fā)展?；蛟S，這時候有人會說，既然算力不夠，那就繼續(xù)增加GPU的數(shù)量和規(guī)模，問題不就解決了嗎？

當(dāng)然，問題并沒有這么簡單，計算集群的規(guī)模和數(shù)量并不能完全等同于計算效能，越大型的神經(jīng)網(wǎng)絡(luò)，對計算集群的利用效能利用率就越低，大號神經(jīng)網(wǎng)絡(luò)無法在一塊GPU上訓(xùn)練，只能多塊GPU分工，而多塊GPU之間需要通訊，傳輸數(shù)據(jù)，這就會嚴(yán)重?fù)p耗計算效能，嚴(yán)重時甚至可能損失80%以上的計算效能。因此。為提升計算效能，特斯拉才要搞自己的超算集群——Dojo。

特斯拉Dojo的設(shè)計思路主要可以分為三個方面，首先是加大算力集群的密度，根據(jù)前段時間AI DAY上的信息爆料，1個Dojo機(jī)箱中將有兩個大的GPU顯卡，每個大GPU顯卡由6塊小顯卡組成，而每塊小顯卡上又有25片DOJO晶片，也就是說一個Dojo機(jī)箱集成了300個Dojo晶片計算單位。從其賬面數(shù)據(jù)來看，Dojo機(jī)箱是目前一般商用機(jī)箱的10倍，計算集群的密度提升以后，減少了數(shù)據(jù)在不同機(jī)箱間傳輸?shù)膿p耗，也就提升了計算效能。

除此之外，為了避免海量數(shù)據(jù)進(jìn)出系統(tǒng)造成的瓶頸，特斯拉用自家開發(fā)的通訊協(xié)議，以網(wǎng)卡的形式連接了起來，在不同單位之間建立了通訊捷徑，使由數(shù)據(jù)傳輸導(dǎo)致的計算延遲比現(xiàn)有算力集群降低了三十倍，單塊計算單位在實際訓(xùn)練中的計算效能超過了原來的兩倍。

最后一個也是最關(guān)鍵的部分，就是對編譯器的優(yōu)化，也就是由編程語言轉(zhuǎn)換為機(jī)器語言的部分，這也會極大的影響計算程序的效率，給Dojo開發(fā)和優(yōu)化編譯器是目前最大的難點，也是目前特斯拉Dojo團(tuán)隊工作的重中之重。

如果順利的話，特斯拉的Dojo只需4個Dojo機(jī)箱，1200個晶片就能提供現(xiàn)階段72個機(jī)箱，4000個GPU所提供的算力。照此數(shù)據(jù)計算，只需兩個Dojo集群，特斯拉就能取代現(xiàn)有的14000個GPU顯卡組成的計算集群，而這樣的Dojo集群，特斯拉計劃組建7個，等同于70000個GPU組成計算集群的算力。