寫在前面

本文中所有的內(nèi)容僅供參考，本人并不對任何產(chǎn)生的后續(xù)問題負(fù)任何責(zé)任。

ChatGPT的爆火出圈點(diǎn)燃了人們對人工智能的興趣，前段時間清華開源了自己的模型ChatGLM-6B，得益于量化技術(shù)使其能夠運(yùn)行在家用消費(fèi)級顯卡上，極大地降低了門檻，使本地部署成為了可能。本篇文章將真正意義上的從頭教學(xué)，從裝機(jī)開始教你組建自己的機(jī)器并訓(xùn)練自己的模型。特別鳴謝：秋葉aaaki 以及所有制作一鍵包的人們，在本教程中使用?秋葉aaaki 的一鍵包進(jìn)行部署

硬件部分

現(xiàn)在你可能有了那么一點(diǎn)時間，口袋里正好也有了一點(diǎn)點(diǎn)零花錢，而你又恰好對本地部署感興趣，那么你需要一臺合適而又廉價(jià)的機(jī)器來進(jìn)行使用以及訓(xùn)練模型。在本篇教程中我不會推薦你具體去買哪家的什么配件，因?yàn)槲也]有收廠家的廣告費(fèi)，一切靠你自己或者圖吧老哥。那么事不宜遲，立刻開始：

ChatGLM（以及其他語言模型）并不強(qiáng)制性的需要你使用GPU進(jìn)行運(yùn)算，如果你的電腦大于32G，而你又沒有心儀的顯卡選擇，你可以考慮試試使用CPU進(jìn)行運(yùn)算，據(jù)說速度會慢，但好處是在這篇文章編寫的時候，內(nèi)存可比顯存便宜多了。

如果你決定使用CPU進(jìn)行運(yùn)算，那么我推薦使用intel9代及以上的CPU（AMD的U我沒有試過，等一個有緣人的反饋），對于CPU運(yùn)算來說，CPU的好壞決定了運(yùn)算的速度。

如果你決定使用GPU進(jìn)行運(yùn)算，那么你會有很多選擇，最新的量化技術(shù)允許GLM運(yùn)行在大于4G顯存的顯卡上，但我認(rèn)為選擇一個顯存容量高于12G的顯卡會極大地提升你的用戶體驗(yàn)。如果你的預(yù)算恰好非常充裕，那么你可以選擇3090及以上的高端游戲顯卡作為你的訓(xùn)練卡，這類顯卡往往有著非常好的運(yùn)算能力。但如果你和我一樣預(yù)算只能用捉襟見肘來形容的話，那么你不妨可以參考我的解決方案：使用一張老舊的專業(yè)卡。

主流的老舊專業(yè)卡包括K80，M40（24G版）（下文簡稱M40），P40，P100等，其中P100具有半精度浮點(diǎn)計(jì)算能力，這可以使它的訓(xùn)練或推理速度更快，不過它的顯存只有16G，還請自行取舍。而K80雖然也有24G顯存，但是它基于過于老舊的Kepler2.0架構(gòu)，與GT720相同，基于性價(jià)比等原因并不推薦使用。M40與P40這兩張卡都有著24G顯存，其中M40基于Maxwell架構(gòu)，單精度浮點(diǎn)能力為7Teraflops，雙精度浮點(diǎn)能力為0.2Teraflops。P40基于Pascal架構(gòu)，單精度浮點(diǎn)能力為12Teraflops，在訓(xùn)練與推理上比M40更快，但由于在我寫這篇文章的時候市場中P40的價(jià)格已經(jīng)漲到1000+了，而M40價(jià)格是400+。因此我選擇了M40進(jìn)行機(jī)器的搭建。

至此，用于推理及訓(xùn)練模型的核心部件已經(jīng)選擇完畢，剩下的部分請依靠自己的錢包的能力自行搭配，在下一篇中我將詳細(xì)說明顯卡的注意事項(xiàng)與配置方式。

作為本章的最后，我在此附上我的配置僅供參考：

主板：Z690A（850）

CPU：i3-10100（560）

顯卡：M40（470）

內(nèi)存：16g（160）

硬盤：512g（180）

電源：650w（300）

共計(jì)：2520 元

本文中如有錯誤或疏漏，歡迎私信我，我會修正或補(bǔ)充