寫(xiě)在前面

本文中所有的內(nèi)容僅供參考，本人并不對(duì)任何產(chǎn)生的后續(xù)問(wèn)題負(fù)任何責(zé)任。

基于Lora的訓(xùn)練數(shù)據(jù)集正在制作中，比我想象的要更花時(shí)間，因此訓(xùn)練部分的教程可能需要到下周才能出了。在這篇中主要還是針對(duì)一些亂七八糟的問(wèn)題進(jìn)行整理。

我使用的是華碩ROGZ590的主板，這個(gè)板子很有意思，從第10代開(kāi)始，核顯不再支持非UEFI模式啟動(dòng)，也就是CSM/Legacy兼容模式，也不再支持MBR分區(qū)表。因此有三種解決辦法，一種是增加一個(gè)亮機(jī)卡以開(kāi)啟CSM模式，但并不推薦這種做法，因?yàn)橛械臅r(shí)候計(jì)算卡的設(shè)置并不支持CSM模式，會(huì)給后續(xù)的環(huán)境設(shè)置造成不必要的麻煩。第二種解決辦法是從制作UEFI模式的啟動(dòng)盤(pán)，并事先把要安裝系統(tǒng)的硬盤(pán)改為GPT分區(qū)表，此時(shí)電腦將以純UEFI模式啟動(dòng)。第三種辦法是我采用的最簡(jiǎn)單粗暴的方法，直接找一個(gè)SATA的SSD安裝系統(tǒng)作為系統(tǒng)盤(pán)。

在之前的文章下有人詢問(wèn)關(guān)于兩張M40的效率。在Vicuna等LLAMA系模型中，提供了使用多卡推理的條件。在運(yùn)行多卡推理的模型中雙顯卡推理確實(shí)是一個(gè)值得考慮的選擇，但我并不推薦兩張M40交火計(jì)算（我知道交火是A卡的術(shù)語(yǔ)，但為了避免和后面的內(nèi)容混淆進(jìn)行更多的解釋，請(qǐng)?jiān)试S我在文章中這么稱呼兩張顯卡在一個(gè)主板上的情況）原因是M40并不支持SLI，雖然從外部可以看到M40是保留有SLI接口的，但這只是老黃不想重新畫(huà)板的偷懶。M40并不支持通過(guò)SLI橋接。（如果我說(shuō)錯(cuò)了請(qǐng)及時(shí)糾正我）這意味著顯存并不會(huì)因?yàn)槟氵M(jìn)行雙卡交火而直接疊加，同時(shí)運(yùn)算效率上實(shí)際是1+1<2的一個(gè)情況。其次，選擇M40只是因?yàn)樗谖覍?xiě)這篇文章的時(shí)候本體的溢價(jià)不高。M40的TDP是250W，P40也是250W但運(yùn)算效率卻比M40更高，從電費(fèi)角度來(lái)看你如果是為了提升效率更應(yīng)該直接考慮購(gòu)買P40而不是兩張M40。順便一提，支持SLI的最新消費(fèi)顯卡是3090，因此3090值得考慮進(jìn)行雙卡SLI橋接，但我沒(méi)那么多錢，這部分留給一個(gè)有緣人測(cè)試完后把效果分享給大家。如果你想要上雙卡，請(qǐng)務(wù)必計(jì)算你的整機(jī)功耗，雙卡M40需要大概在1250W左右的電源，三卡則需要上到1650W（真 國(guó)家電網(wǎng)合作伙伴）電源過(guò)載是一件非常危險(xiǎn)的事情，請(qǐng)不要這樣干。

在訓(xùn)練模型之前，你應(yīng)該下載烤機(jī)軟件對(duì)整機(jī)的穩(wěn)定性進(jìn)行測(cè)試。尤其是專業(yè)卡的用戶，你必須在開(kāi)始煉丹前對(duì)你的機(jī)器散熱進(jìn)行充分的檢查。訓(xùn)練模型或者推理時(shí)圖像卡是滿功率運(yùn)轉(zhuǎn)的，發(fā)熱量驚人，而進(jìn)行模型訓(xùn)練：例如訓(xùn)練Lora等又需要長(zhǎng)時(shí)間運(yùn)行。因?yàn)閷I(yè)卡本身并不帶有散熱，所以DIY改造的散熱的穩(wěn)定性至關(guān)重要。圖像卡過(guò)熱可能會(huì)導(dǎo)致機(jī)器死機(jī)，發(fā)生錯(cuò)誤，甚至起火。

你能看到這里說(shuō)明屏幕前的你也是個(gè)技術(shù)型人才，應(yīng)該不會(huì)干出那種把電腦或者顯卡當(dāng)作老婆的傻事。但以防萬(wàn)一我還是要說(shuō)一下：進(jìn)行模型訓(xùn)練，尤其是大語(yǔ)言模型的Lora訓(xùn)練，是非常消耗設(shè)備的，請(qǐng)勿長(zhǎng)時(shí)間用你的老婆機(jī)，存有重要數(shù)據(jù)的機(jī)器，價(jià)格昂貴的機(jī)器進(jìn)行模型的訓(xùn)練。你的家里不會(huì)有專業(yè)的服務(wù)器機(jī)房的環(huán)境，進(jìn)灰，潮濕都是難免的事情。所以當(dāng)你的圖像卡不幸報(bào)廢了的話也請(qǐng)以平常心對(duì)待。為了你的錢包著想，也不要用那種溢價(jià)很高的二次元花嫁卡信仰卡進(jìn)行長(zhǎng)時(shí)間的訓(xùn)練。電腦只是一個(gè)工具，一個(gè)消耗品。

本文中如有錯(cuò)誤或疏漏，歡迎私信我或在下方評(píng)論區(qū)留言，我會(huì)修正或補(bǔ)充