前言

????我對(duì)LLM（large language models）等AI相關(guān)方面知識(shí)一竅不通，只知道如何加載調(diào)用模型，所以接下來(lái)的文章可能會(huì)出現(xiàn)許多錯(cuò)誤，請(qǐng)見(jiàn)諒。

? ? 經(jīng)過(guò)本人的初略測(cè)試，Vicuna和gpt4-x-alpaca(Alpaca GPT4)均可用于角色扮演（也可搭配TavernAI，可參考我的上一個(gè)專欄），并且可以NSFW。

? ??普通colab用戶只能加載vicuna-13B模型，gpt4-x-alpaca-13b模型需要colab pro用戶方能使用(主要是普通用戶分配的12GRAM不夠，如果萬(wàn)能的網(wǎng)友們有什么其他方法請(qǐng)?jiān)趯谠u(píng)論區(qū)細(xì)說(shuō)）

? ? 本教程需要可以訪問(wèn)Colab的魔法和一定的英語(yǔ)基礎(chǔ)對(duì)話能力。

[AI角色對(duì)話]使用KoboldAI與AI貓娘無(wú)限制對(duì)話(數(shù)據(jù)私有化/可以NSFW)

? LLaMA模型發(fā)布，引爆了ChatGPT 平替狂潮。?LLaMA是由Facebook母公司Meta發(fā)布的全新人工智能大型語(yǔ)言模型，在生成文本、對(duì)話、總結(jié)書(shū)面材料、證明數(shù)學(xué)定理或預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)等任務(wù)上方面表現(xiàn)良好。LLaMA模型支持20種語(yǔ)言，包括拉丁語(yǔ)和西里爾字母語(yǔ)言，目前看原始模型并不支持中文。截至目前為止，已經(jīng)出現(xiàn)了許多以Llama模型為基礎(chǔ)的衍生模型，其中比較著名的是stanford_alpaca和最近的新秀Vicuna。

? 本文章主要圍繞如何通過(guò)在colab平臺(tái)上使用text-generation-webui來(lái)加載Vicuna13b和gpt4-x-alpaca-13b模型（均為4Bit量化版）

? 關(guān)于Vicuna13b模型和gpt4-x-alpaca-13b模型的介紹大家可以自行百度或谷歌搜索。據(jù)說(shuō)Vicuna13b在GPT4看來(lái)比較接近ChatGPT的水平。

Vicuna模型的訓(xùn)練數(shù)據(jù)基于GPT3.5

gpt4-x-alpaca模型的訓(xùn)練數(shù)據(jù)基于GPT4

正文

簡(jiǎn)單寫(xiě)了個(gè)個(gè)colab腳本，如果大伙們想要使用穩(wěn)定使用的話，完全可以去autodl等平臺(tái)上租個(gè)服務(wù)器來(lái)跑這個(gè)腳本

打開(kāi)colab腳本鏈接：https://colab.research.google.com/drive/1Cqs2RDJyZugq6kCVuJrV8V1Vm1huOP1H

注冊(cè)并登錄。

本筆記本只有三個(gè)代碼格，一個(gè)是安裝text-generation-webui和GPTQ-for-LLaMa及其環(huán)境依賴，二是下載vicuna-13B模型或gpt4-x-alpaca模型，三是運(yùn)行text-generation-webui

每一歌代碼格的左側(cè)都有一個(gè)播放按鈕，那是運(yùn)行按鈕。依次點(diǎn)擊三個(gè)按鈕即可，耐心等待。

第一個(gè)代碼塊會(huì)要求你授權(quán)谷歌云盤(pán)，請(qǐng)同意授權(quán)。

需要注意的是，如果你想直接在text-generation-webui上對(duì)話，而不使用TavernAI的話，請(qǐng)將chatmode選擇為yes。效果如下圖：

如果你要使用TavernAI的話，請(qǐng)選擇為no。

當(dāng)?shù)谌齻€(gè)代碼塊的輸出界面出現(xiàn)藍(lán)色鏈接時(shí)，就代表可以使用了。一個(gè)是text-generation-webui的鏈接，另一個(gè)api鏈接(如果chatmode為no的話）

這個(gè)api鏈接可以直接在TavernAI上連接，類(lèi)似于KoboldAI的api,可看我上面的專欄鏈接了解更多。

如圖所示，API鏈接以“Starting KoboldAI compatible api at”開(kāi)頭，text-generation-webui的鏈接以“Running on public URL”開(kāi)頭。

如果直接在text-generation-webui上對(duì)話的話，打開(kāi)以“Running on?public URL”開(kāi)頭的鏈接。否則復(fù)制以“Starting KoboldAI compatible api at”開(kāi)頭的鏈接，粘貼到TavernAI上，然后連接即可。

什么是TavernAI?可以參考我文章開(kāi)頭的專欄的鏈接，我認(rèn)為T(mén)avernAI的界面要比text-generation-webui的要好。如何安裝TavernAI和捏角色卡的教程都在我的上一期專欄里面了，請(qǐng)查閱。

至此，教程結(jié)束。

相關(guān)補(bǔ)充請(qǐng)看評(píng)論區(qū)置頂。