1.前言

5月18日更新:V1版正式發(fā)布，啟動(dòng)程序改成圖形化界面了，v1版視頻教程請(qǐng)看我最新視頻?[AI對(duì)話]懶人包v1發(fā)布 圖形化啟動(dòng)界面(oobabooga/text-generation-webui)可用chatglm/rwkv/vicuna

前天做了個(gè)text-generation-webui的懶人包，為了節(jié)省空間，并沒有內(nèi)置任何模型。

因?yàn)槭?span style="text-decoration: line-through;">第一次做這種懶人包，所以我也不確定懶人包的穩(wěn)定性。因此如果成功運(yùn)行了或運(yùn)行失敗請(qǐng)?jiān)谠u(píng)論區(qū)反饋一下，感激不盡！

如果看不懂圖文教程，在網(wǎng)盤里有視頻教程，可以查閱。

本地跑模型最少也要6G顯存左右(7b量化模型)，如果顯存不夠，可以查閱文章最后部分的pre_layer選項(xiàng)，即讓一部分運(yùn)算交給顯卡，一部分運(yùn)算交給CPU。

如果你顯存不足6G，或者是A卡/者核顯用戶可以使用llama.cpp，text-generation-webui內(nèi)置了llama.cpp，只需要下載對(duì)應(yīng)的ggml格式模型即可使用cpu推理。

至于怎么加載ggml模型，這里有個(gè)教程視頻

沒有N卡怎么進(jìn)行AI對(duì)話?(加載ggml模型/llama.cpp)使用text-generation-webui

2.下載鏈接

網(wǎng)盤我附帶了一些量化模型，如果hugging face下載的速度過慢，可以從網(wǎng)盤下載解壓。

夸克網(wǎng)盤鏈接：

我用夸克網(wǎng)盤分享了「[懶人包@coyude]text-generation-webui」，點(diǎn)擊鏈接即可保存。打開「夸克APP」，無(wú)需下載在線播放視頻，暢享原畫5倍速，支持電視投屏。
鏈接：https://pan.quark.cn/s/27ec3cde648a

百度網(wǎng)盤鏈接：

鏈接：https://pan.baidu.com/s/1AXwX7U2RAdV10H8YEitBwA?pwd=1e2r?
提取碼：1e2r

3.啟動(dòng)器界面展示(丑

4.可能出現(xiàn)的錯(cuò)誤

①下載模型的時(shí)候，給的用戶名+倉(cāng)庫(kù)名不對(duì)，導(dǎo)致無(wú)法下載。

例如我輸入114514(，會(huì)提示requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: 錯(cuò)誤，這是請(qǐng)?jiān)贖ugging face上復(fù)制正確的用戶名+倉(cāng)庫(kù)名

②加載模型的時(shí)候爆顯存

例如出現(xiàn)“CUDA out of memory.”

選擇加載量化模型或加載更小參數(shù)的模型。比如加載的是原版13B模型，那就嘗試加載13B 4bit模型，或者7B模型

還有一種方法，如果你加載的是GPTQ量化模型的話，請(qǐng)調(diào)GPTQ parameters參數(shù)的pre_layer參數(shù)

這個(gè)70的意思是，有70%的運(yùn)算是在你顯卡進(jìn)行運(yùn)行，剩下30%的運(yùn)算在你的CPU上。

或者....你可以使用CPU推理，但是速度很慢。也可以使用下載ggml模型進(jìn)行cpu推理。

當(dāng)然，最有用的方法是花錢升級(jí)顯卡(

大致教程已經(jīng)結(jié)束，目前懶人包還算是出于測(cè)試階段，有問題請(qǐng)及時(shí)反饋，非常感謝！

③如果你加載的是vicuna等llama衍生模型，最好使用英文對(duì)話，因?yàn)檫@些模型的中文能力并不強(qiáng)。

④chat模式使用時(shí)最好在下方gallery選擇example的角色卡進(jìn)行對(duì)話。當(dāng)然如果你要玩角色扮演的話，肯定要自己去捏角色的。

這篇專欄的第三步介紹了一個(gè)捏角色網(wǎng)站，可以查看[AI對(duì)話]使用KoboldAI和tavernai進(jìn)行無(wú)限制對(duì)話(數(shù)據(jù)私有化/可以NSFW)

⑤如果要拿來(lái)玩角色扮演，最好使用agn-ai或tavernai來(lái)調(diào)用tgwebui的api（啟動(dòng)tgwebui的時(shí)候選擇模式2或4，或者自定義啟動(dòng)參數(shù)的時(shí)候加上--api）

如何部署agn-ai和tavernai？我這里也有兩篇專欄

agn-ai:[Agn-AI]用Agn-AI與AI老婆對(duì)話(調(diào)用openai/claude/text-generation-webui/kob

tavernai:[AI對(duì)話]使用KoboldAI和tavernai進(jìn)行無(wú)限制對(duì)話(數(shù)據(jù)私有化/可以NSFW)

5.更新日志

懶人包V1.3.2++版本更新[6.6]：

1.給SillyTavern補(bǔ)上角色卡。

2.添加“打開懶人包環(huán)境.bat”文件，方便在啟動(dòng)器無(wú)法啟動(dòng)懶人包環(huán)境的用戶激活懶人包環(huán)境

啟動(dòng)器V1.6版本更新[6.6]:?

1.修改啟動(dòng)參數(shù)關(guān)于GPTQ參數(shù)和Bitsandbytes參數(shù)設(shè)置

2.更新管理處新增“打開環(huán)境”按鈕，方便用戶對(duì)懶人包環(huán)境進(jìn)行修改。

懶人包V1.3.2版本更新[6.3]：

1.更新text-generation-webui和環(huán)境依賴。 2.給懶人包安裝上AutoGPTQ。一種新的加載GPTQ量化模型方式(以前的方法是GPTQ-for-LLaMa)。經(jīng)過測(cè)試使用AutoGPTQ加載模型比GPTQ-for-LLaMa加載的文本生成速度要快。目前不清楚使用AutoGPTQ加載模型能不能解決帕斯卡架構(gòu)顯卡使用GPTQ-for-LLaMa加載模型出現(xiàn)亂碼(胡言亂語(yǔ))的問題？??有興趣的可以嘗試一下。?

啟動(dòng)器V1.5版本更新[6.3]:?

1.啟動(dòng)參數(shù)中新增啟用AutoGPTQ選項(xiàng) 2.激活conda環(huán)境改為cd conda+call .\\Scripts\\activate.bat

懶人包V1.3.0更新[6.1]：?

1.將內(nèi)置的TavernAI替換成SillyTavern。另外為了保證可移植性，在首次使用SillyTavern或Agn-ai前都必須先點(diǎn)擊更新按鈕(安裝依賴)，方能運(yùn)行使用。?

PS：為了方便各位調(diào)用openai的api(gpt模型)，我依舊將SillyTavern TavernAI和Agn-AI的openai的api服務(wù)器都自動(dòng)修改成我用vercel搭建的反代理服務(wù)器 (點(diǎn)擊更新按鈕即可觸發(fā))?

2.懶人包中GPTQ環(huán)境重新配置，使用了tgwebui的readme上建議的 precompiled wheels(GPTQ-for-LLaMa-Wheels)?

啟動(dòng)器V1.4更新[6.1]：?

?1.將內(nèi)置的TavernAI替換成SillyTavern。 2.刪除QtCore.QCoreApplication.setAttribute(QtCore.Qt.AA_EnableHighDpiScaling) 因?yàn)樵谀承└逥PI屏幕下窗口過大。

懶人包V1.2.0更新[5.28]：

1.內(nèi)置了TavernAI和Agn-AI，均存放在tools文件夾中

PS：為了方便各位調(diào)用openai的api(gpt模型)，我將TavernAI和Agn-AI的openai的api服務(wù)器都設(shè)置成我用vercel搭建的反代理服務(wù)器

2.懶人包環(huán)境改conda環(huán)境

1.重新編輯功能合集頁(yè)面，新增TavernAI和Agn-AI的對(duì)應(yīng)功能選擇以及有用網(wǎng)站。

2.添加QtCore.QCoreApplication.setAttribute(QtCore.Qt.AA_EnableHighDpiScaling)

解決在高分辨率+高縮放比下的排版錯(cuò)誤問題（應(yīng)該）

舊版啟動(dòng)程序在4K屏幕下字體顯示不全(尤其是API那個(gè)選項(xiàng)）

新版啟動(dòng)程序在4K屏幕下字體顯示完整

懶人包V1.0.8更新[5.21]：

1. 將bitsandbytes中的libbitsandbytes_cuda116.dll更改為libbitsandbytes_cuda117.dll

2. tgwebui內(nèi)置了幾張tavernai上推薦的角色卡(主要都是碧藍(lán)檔案)以及自己寫的一張貓貓卡(neko)

啟動(dòng)器V1.1更新[5.21]：

1. 啟動(dòng)參數(shù)新增兩個(gè)選項(xiàng)：①是自動(dòng)分配 ②是讓用戶選擇啟動(dòng)環(huán)境，可以選擇懶人包環(huán)境/本機(jī)環(huán)境/Conda環(huán)境。這樣即使用戶不使用懶人版環(huán)境，也可以使用這個(gè)啟動(dòng)器來(lái)調(diào)用自己的python環(huán)境或conda環(huán)境（用tgwebui的一鍵安裝腳本安裝的conda環(huán)境）來(lái)啟動(dòng)。增強(qiáng)啟動(dòng)程序的泛用性(bushi

   ③將自定義參數(shù)修改為追加參數(shù)，設(shè)置該選項(xiàng)不再導(dǎo)致當(dāng)前設(shè)置頁(yè)面的所有設(shè)置失效。

????

2.更新管理處新增兩個(gè)選項(xiàng)：①更新依賴，即進(jìn)行pip install -r requirements.txt操作 ②版本回退，用于版本更新后遇到兼容問題時(shí)，進(jìn)行版本回退(每次只回退上一個(gè)版本)??

3.新增功能合集頁(yè)面，點(diǎn)擊即可打開對(duì)應(yīng)網(wǎng)頁(yè)，不過目前還沒有想好加什么(?