????這兩天嘗試按網(wǎng)上的許多教程把LLaMA的模型嘗試部署到本地，算是之前ChatGPT火爆而一直沒(méi)能?chē)L試的補(bǔ)償性嘗鮮。不得不說(shuō)，這新出現(xiàn)的AI確實(shí)令我很驚訝，和以前的xx助手完全不在一個(gè)級(jí)別上，部署并試驗(yàn)成功之后有點(diǎn)小興奮，算是隨便寫(xiě)點(diǎn)日記之類(lèi)的娛樂(lè)一下。

????本人不是相關(guān)專(zhuān)業(yè)的（其實(shí)是完全不沾邊的地科生），搗鼓這個(gè)就是閑暇時(shí)間自?shī)首詷?lè)放松，如果有什么誤導(dǎo)性的內(nèi)容，大家可以在評(píng)論或者私信指出。

????

??????在個(gè)人電腦上部署GPT-3級(jí)別的NLP模型應(yīng)該主要面臨的就是系統(tǒng)資源短缺的問(wèn)題，譬如裝載文件需要的大顯存的缺失（甚至頂級(jí)消費(fèi)級(jí)顯卡也顯得無(wú)能為力）。剛開(kāi)始本人準(zhǔn)備把NeoX-20B下載下來(lái)進(jìn)行玩耍，結(jié)果看了又看發(fā)現(xiàn)需要的顯存大小完全超出了那可憐的2070的能力范圍，但是又不甘心用參數(shù)過(guò)少的模型，找來(lái)找去發(fā)現(xiàn)了LLaMA.cpp這個(gè)神器。

????這個(gè)具體實(shí)現(xiàn)形式不太清楚，但是按照說(shuō)明步驟意義做下來(lái)，輔以設(shè)置48G的虛擬內(nèi)存（頁(yè)面文件）（我本機(jī)的物理內(nèi)存只有16G），居然勉強(qiáng)把30B參數(shù)的文件裝載了進(jìn)去（雖然生成token速度慢得令人發(fā)指）。這個(gè)LLaMA.cpp簡(jiǎn)單說(shuō)就是沒(méi)有好顯卡，只要硬盤(pán)空間夠，就可以裝載運(yùn)行，當(dāng)然如果大量依賴(lài)虛擬內(nèi)存的話(huà)速度會(huì)遠(yuǎn)不如正常裝載。

????再就是目前按正常渠道流出的LLaMA/Alpaca似乎不支持流暢的中文對(duì)話(huà)，但是據(jù)我所知已經(jīng)有人推出了基于此的微調(diào)模型，大家可以搜索一下，應(yīng)該也開(kāi)源了。