Llama2 text-generation-webui智能聊天機(jī)器人中文版本地安裝教程
智能聊天機(jī)器人可能很多人都用過，比如ChatGPT和谷歌Bard等，這兩個是比較優(yōu)秀的智能聊天機(jī)器人，但是由于網(wǎng)絡(luò)等原因，我們使用起來比較麻煩，前段時間Meta開源了Llama2，我們可以在本地自己部署智能聊天程序無限使用了，下面講一下Meta Llama2 text-generation-webui本地電腦安裝部署和云端部署教程，由于Llama2原版模型對中文不是太友好，我們使用FlagAlpha優(yōu)化的中文模型Llama2-Chinese，github項目地址：https://github.com/FlagAlpha/Llama2-Chinese
本地電腦部署
首先打開text-generation-webui項目地址：https://github.com/oobabooga/text-generation-webui，作者提供了一鍵安裝快捷方式，支持Windows、Linux、macOS系統(tǒng)，這里以Windows系統(tǒng)NVIDIA顯卡為例，先下載oobabooga-windows.zip文件到本地電腦，
解壓縮文件，雙擊運(yùn)行start_windows.bat文件，系統(tǒng)將自動下載并安裝text-generation-webui程序，
開始時會讓你選擇GPU，輸入A然后回車?yán)^續(xù)安裝，如果你是AMD顯卡就輸入D，如果你是其它系統(tǒng)則需要下載適用于其它系統(tǒng)的一鍵安裝程序，
如果你中間遇到錯誤無法自動完成安裝可能就是你的網(wǎng)絡(luò)連接問題，可開啟全局科學(xué)上網(wǎng)解決，成功安裝完成后會輸出一個訪問地址：http://127.0.0.1:7860/，
這時候還是無法使用，你需要先去下載模型文件，官方原版模型也支持中文提問，但是回答結(jié)果是英文，盡管你要求用中文回答，它也可能會摻雜一些英文信息，對于中文用戶來說不是太友好，這里我們用Llama2-Chinese中文模型，回答結(jié)果是中文的，而且作者也針對中文進(jìn)行了微調(diào)，
如果你的顯卡顯存在12G以下則下載7b版本，12G以上可以嘗試使用13b版本，我將兩個版本上傳到了百度網(wǎng)盤，網(wǎng)盤鏈接：https://pan.baidu.com/s/1_vUAu3gptXXkWHxAR5MZig?pwd=1alc
提取碼：1alc
如果你想體驗官方版的話，以下是Llama2中文社區(qū)分享的迅雷云盤下載鏈接：
Llama2-7B官網(wǎng)版本：https://pan.xunlei.com/s/VN_kR2fwuJdG1F3CoF33rwpIA1?pwd=z9kf
Llama2-7B-Chat官網(wǎng)版本：https://pan.xunlei.com/s/VN_kQa1_HBvV-X9QVI6jV2kOA1?pwd=xmra
Llama2-13B官網(wǎng)版本：https://pan.xunlei.com/s/VN_izibaMDoptluWodzJw4cRA1?pwd=2qqb
Llama2-13B-Chat官網(wǎng)版本：https://pan.xunlei.com/s/VN_iyyponyapjIDLXJCNfqy7A1?pwd=t3xw
Llama2-7B Hugging Face版本：https://pan.xunlei.com/s/VN_t0dUikZqOwt-5DZWHuMvqA1?pwd=66ep
Llama2-7B-Chat Hugging Face版本：https://pan.xunlei.com/s/VN_oAV4BpKFgKLto4KgOhBcaA1?pwd=ufir
Llama2-13B Hugging Face版本：https://pan.xunlei.com/s/VN_yT_9G8xNOz0SDWQ7Mb_GZA1?pwd=yvgf
Llama2-13B-Chat Hugging Face版本：https://pan.xunlei.com/s/VN_yA-9G34NGL9B79b3OQZZGA1?pwd=xqrg
Llama2-70B-Chat Hugging Face版本：https://pan.xunlei.com/s/VNa_vCGzCy3h3N7oeFXs2W1hA1?pwd=uhxh#
將Llama2-Chinese-7b-Chat.7z壓縮文件下載到本地放入models文件夾內(nèi)，解壓文件，然后在瀏覽器地址欄里打開http://127.0.0.1:7860/，點擊頁面頂部model選項卡，點擊model后面刷新按鈕，點擊下拉列表選擇模型，點擊load按鈕載入模型，如果出現(xiàn)提示memory相關(guān)錯誤就是爆顯存了，可勾選load-in-4bit重新點擊load按鈕，提示“Successfully loaded Llama2-Chinese-7b-Chat”即表示模型導(dǎo)入成功，可點擊頂部chat選項卡進(jìn)行倆天對話。在input里輸入提問內(nèi)容，然后點擊generate按鈕發(fā)送。
模型參數(shù)越大程序智能度越高，70B>13B>7B，相應(yīng)的對設(shè)備性能要求也越高。如果電腦配置比較低的話可使用Google colab云端一鍵部署。
谷歌colab云端部署
github項目地址：https://github.com/camenduru/text-generation-webui-colab，如果是Google colab免費(fèi)用戶的話，建議使用7b版本，再大的話可能會有錯誤，
點擊左側(cè)藍(lán)色的【open in colab】按鈕可直接打開Google colab筆記本，然后點擊代碼左側(cè)的三角號按鈕開始執(zhí)行代碼。
等看到輸出兩個鏈接后，可點擊下面這個長的鏈接打開頁面進(jìn)行體驗，模型是已經(jīng)自動下載完成了的，注意在使用過程中不能關(guān)閉Google colab代碼運(yùn)行頁面。
不想自己折騰想直接體驗的話可以訪問下面鏈接，Llama2中文社區(qū)在線體驗鏈接：https://chinese.llama.family/，
總的來說Llama2智能化程度相比ChatGPT、谷歌Bard還是低了一些的，而且現(xiàn)在Bard也支持中文了，感覺挺好用的，不比ChatGPT差。如果喜歡研究大語音模型的可以去搞一搞。
原文：https://dyss.top/1135
