【day1】煉丹第一步:割肉買顯卡(5張P40)

這條評論,拿圖靈架構(gòu)以前的矩陣核心懟我之前,先回答:
1.在tf或torch里,如何開啟混合精度計算?(這是最主流的兩個深度學(xué)習(xí)包,如果你是百度的,也可以加個飛槳,當(dāng)然也包括周邊的一些輔助性三方包,比如scify,torchvision之類的)
2.顯存對于深度學(xué)習(xí)的意義
3.什么是ECC
4.買兩張10G顯存的卡,能不能在CUDA接口中識別為單張20G顯存的卡?如果需要別的辦法,請注明。
如果你的目標(biāo)是訓(xùn)練或科研,建議不要受前面矩陣核心評論的干擾,這樣配很好。
首先,無腦下FP16的后果他們很可能不知道,模型打死不收斂,到后面算loss的時候,你會看著一堆的NAN一臉懵。
確實很“快”,但是結(jié)果算不對的快又有什么意義呢?
這就是為什么圖靈架構(gòu)及以前的一些“矩陣核心”的卡看起來性價比很高,實際上也就V100比較主流,最大的原因還是V100這玩意雙精度能到7T,16G原裝拆機卡大概也就4k這樣,保一年含稅。
不然你看看圖靈架構(gòu),除了T4,基本都被開除NV籍了,T10/T40僅供云游戲服務(wù)器。
如果想要用矩陣核心加速單精度,你必須使用安培架構(gòu)以上的卡,安培架構(gòu)24G至少3090,也是老礦骨之一。
比單精度,不好意思,P40這單精度已經(jīng)有11T以上了,跟2080一個水準(zhǔn)。如果單精度還是不行,這邊建議直接入MI50,拿雙精度算。
至于推薦2080ti改22G顯存,你幫UP改好,保修至少一年,知道嗎,至少一年,你能做到這一點你再來懟我的評論。事實上,正經(jīng)服務(wù)器買卡開頭都是保三年。但就是這種個人煉丹爐,你也不能騙一波就跑,改裝就是沒有原裝穩(wěn)。人家P40還帶原生的ECC呢,這點怎么頂?
穩(wěn)定性一個天上一個地下。
五張1200那就是6k,這個價位真沒什么好選的,就P40,沒錯的。我這兩個月訂顯卡,含稅也這個價,就是正經(jīng)P40。如果還爆NAN就收幾張MI50或者P100,也可以一張V100。
最后,我教你怎么改。板子找能塞5張雙槽的板,不好找,但四張的好找,華擎X399太極,華碩X399ZE都可以。
按順序把四張卡前胸貼后背插上去,接好供電。
然后每兩張卡收兩個10cm的暴力扇(五千轉(zhuǎn)都用不到,看情況,買小4p能調(diào)速的),你會發(fā)現(xiàn)這玩意會很完美地貼合的了前一張卡的防塵罩前端和后一張卡的PCB背板。
就你想的這樣,直接膠槍伺候,一個扇子粘在機箱內(nèi)端,另一個粘在機箱外面,注意兩個扇子的風(fēng)道方向相同就行。
接下來裝好其他東西,進bios,有些板子的sysfan不會自動上電,要手動開,把轉(zhuǎn)速調(diào)到你能接受的范圍。
進系統(tǒng),裝CUDA,配環(huán)境,跑程序,觀察溫度。如果一直撞在90度,就調(diào)大風(fēng)扇轉(zhuǎn)速,5K轉(zhuǎn)還壓不住就找老板換卡。如果一直五六十度(我之前壓兩張300W的K80,兩千多轉(zhuǎn)就這個成績了,這玩意才250W一張),就往下拉轉(zhuǎn)速,滿載溫度在80度左右是最好的。
這樣,這臺機子就完成了,如果你有閑心情,可以想方設(shè)法找帕斯卡這一代的NVLINK(注意,必須是P40或P100/GP100用的,有區(qū)別,游戲卡的NVLINK不橋顯存),極其稀有,但如果能一兩百收到,你將獲得一套神機,但沒有也沒關(guān)系,湊合湊合也能用。