自從OpenAI發(fā)布了ChatGPT后，印象中離我們生活很遠(yuǎn)的AI一下子就來(lái)到了我們面前。各種類似的AI技術(shù)也如雨后春筍般迸發(fā)。之前小編一直在向大家講解用于AI畫圖的Stable?Diffusion，那么文字方面的AI該如何在本地進(jìn)行部署呢？今天小編就為大家介紹一下清華大學(xué)的ChatGLM2大語(yǔ)言模型的本地化操作。

與Stable?Diffusion一樣，使用ChatGLM2模型需要提前搭建好運(yùn)行環(huán)境與UI界面。不過(guò)相比SD來(lái)說(shuō)，大語(yǔ)言模型需要的依賴非常多，體積也很巨大。好在我們可以在github上下載oobabooga一鍵安裝包來(lái)實(shí)現(xiàn)。下載地址：https://github.com/oobabooga/one-click-installers

下載完畢后將壓縮包解壓至本地，找到里面的start_windows.bat批處理文件，雙擊運(yùn)行。

程序會(huì)自動(dòng)從網(wǎng)絡(luò)上下載所需文件。

進(jìn)行到牽絆部分時(shí)會(huì)提示使用哪種設(shè)備運(yùn)行AI，這時(shí)候我們?cè)谔崾痉墟I入A選擇使用NVIDIA顯卡計(jì)算。之后經(jīng)過(guò)漫長(zhǎng)等待后所有文件下載安裝完畢就好了，一定要有耐心。如遇到錯(cuò)誤可優(yōu)化網(wǎng)絡(luò)進(jìn)行重試。

一切就緒后，控制臺(tái)會(huì)輸出webUI的IP地址，默認(rèn)為本地127.0.0.1:7860。因?yàn)樾【幍腟table?Diffusion也在運(yùn)行因此oobabooga的端口順序到了7861。

將地址輸入瀏覽器地址欄并回車后，就能進(jìn)入oobabooga的webUI界面。接下來(lái)就是下載清華大學(xué)ChatGLM2的步驟了。

進(jìn)入https://huggingface.co/開源模型下載網(wǎng)站搜索chatglm2就能找到對(duì)應(yīng)模型。

進(jìn)入ChatGLM2模型的頁(yè)面后點(diǎn)擊上方Files?and?versions選項(xiàng)卡，再將下方的所有文件進(jìn)行下載。

將下載好的模型文件放入oobabooga目錄下的models文件夾中（F:\one-click-installers-main\text-generation-webui\models

），這時(shí)建議在該文件夾中新建一個(gè)文件夾并改名為chatglm2，再將文件放入chatglm2文件夾中。

接下來(lái)就是模型的加載了。oobabooga?webUI頁(yè)面中點(diǎn)擊model選項(xiàng)卡，將模型選擇為chatglm2-6b后再將load?in?8bit和trust?remote?code兩個(gè)選項(xiàng)打鉤，最后點(diǎn)擊上方的load按鈕。嘔吼！報(bào)錯(cuò)了是不是？錯(cuò)誤代碼是不是這個(gè)？AttributeError:?'ChatGLMTokenizer'?object?has?no?attribute?'tokenizer'

如果報(bào)錯(cuò)就需要對(duì)transformers進(jìn)行更新，在oobabooga文件目錄中的地址欄輸入CMD并回車，就能在該目錄開啟CMD控制臺(tái)。

接下來(lái)將pip?install?transformers==4.33.2輸入進(jìn)去并回車，待4.33.2版本transformers安裝完畢后關(guān)掉控制臺(tái)再重新加載模型即可。

一般更新完transformers后加載ChatGLM2模型就不會(huì)有任何問(wèn)題了。如果是其它模型，可能需要的transformers版本不一樣，還需要到模型網(wǎng)站或是github尋找所需要的版本號(hào)進(jìn)行手動(dòng)更新。

接下來(lái)就是ChatGLM2的使用實(shí)戰(zhàn)了，回到oobabooga?webUI的chat選項(xiàng)卡就能通過(guò)文字來(lái)使用聊天功能了。

比如問(wèn)ChatGLM2一些數(shù)學(xué)題，用AI輔導(dǎo)孩子功課實(shí)在太簡(jiǎn)單了。

比如讓ChatGLM2為出游做一個(gè)詳細(xì)的規(guī)劃，北京三日游安排的還挺合理。

更厲害的是，ChatGLM2還能夠輕松完成代碼的便攜工作，這對(duì)于程序員來(lái)說(shuō)可就太方便了，一些簡(jiǎn)單但是耗時(shí)的代碼完全可以交給AI去完成了。

大語(yǔ)言模型通過(guò)oobabooga部署在本地不僅會(huì)占用大量的硬盤空間，運(yùn)行時(shí)還會(huì)占用很高的GPU資源與顯存空間。因此小編建議大家使用機(jī)械革命曠世16?Super游戲本。憑借著GeForce?RTX4080筆記本電腦GPU能夠提供相當(dāng)高的迭代速度，12GB的大容量顯存對(duì)于大語(yǔ)言模型來(lái)說(shuō)簡(jiǎn)直就是絕配。曠世16?Super游戲本標(biāo)配了32GB的高頻DDR5?5600內(nèi)存，配合酷睿i9?13900HX處理器以及1TB的固態(tài)硬盤能夠成就更多可能。

另外值得一提的是曠世16?Super還可以搭配第2代冰河分體式水冷散熱器使用，在高強(qiáng)度的AI運(yùn)算中能夠讓GeForce?RTX4080筆記本電腦GPU以更低溫度、更高頻率運(yùn)行，從而實(shí)現(xiàn)更快的迭代速度，AI運(yùn)算效率大大提升。關(guān)于AI，小編也是正在學(xué)習(xí)中，后續(xù)還會(huì)為大家?guī)?lái)更多精彩內(nèi)容，最后的最后，還是那句老話：祝大家玩得愉快！