ChatRWKV 新手本地部署筆記
ChatRWKV是由PENG Bo訓(xùn)練的語言模型，目前有對話和寫作兩種模型。
作者GitHub首頁
https://github.com/BlinkDL
下面是ChatRWKV 本地部署教程
預(yù)先準(zhǔn)備
1.按win，輸入cmd，回車
在命令行中輸入
nvidia-smi
保證cuda版本大于等于11.7
如果滿足要求，進(jìn)行下一步；
如果不滿足要求，請更新顯卡驅(qū)動。
檢查電腦有無Python 3.10，直接win，然后輸入py應(yīng)該就會出現(xiàn)；
如果沒有Python3.10，瀏覽器輸入網(wǎng)址
https://www.python.org/ftp/python/3.10.10/python-3.10.10-amd64.exe
下載后安裝即可
第一步：下載項目和模型
用Git或者直接下載zip的方式下載項目
項目地址：https://github.com/BlinkDL/ChatRWKV
在該網(wǎng)址下載模型
https://huggingface.co/BlinkDL
名稱含義，舉例：RWKV-4-Raven-7B-v7-ChnEng-20230404-ctx2048
RWKV為模型名稱
4表示第四代RWKV
Raven表示模型系列，Raven適合與用戶對話，testNovel更適合寫網(wǎng)文
7B表示參數(shù)數(shù)量，B=Billion
v7表示版本，字面意思，模型在不斷進(jìn)化
ChnEng表示該模型的語料為大部分中文（60%）和少部分英文（40%）
至于ctx，我也不清楚(′。＿。｀)
具體細(xì)節(jié)見網(wǎng)址
https://zhuanlan.zhihu.com/p/618011122
下載完模型后，把模型放到chatrwkv/model目錄下，沒有這個文件夾就新建一個
第二步：搭建環(huán)境
cd到項目目錄，然后創(chuàng)建虛擬環(huán)境
切換到儲存項目的盤符
cd到項目目錄
也可以直接在項目根目錄下在路徑框內(nèi)輸入cmd
然后進(jìn)入環(huán)境
打開資源管理器，查看項目目錄，會新增一個文件夾，文件夾名稱就是你給虛擬環(huán)境取的名字
（之后每當(dāng)你想啟動此環(huán)境，就需要在此目錄下執(zhí)行.\環(huán)境名稱\Scripts\activate）
然后執(zhí)行以下命令：
如果無法下載請用魔法或者換源，具體百度
第三步：設(shè)置
接下來，返回根目錄，進(jìn)入v2文件夾，打開chat.py
這一部分決定了顯存占用和內(nèi)存占用，純GPU運(yùn)算是最快的，具體請根據(jù)自己的硬件水平進(jìn)行調(diào)節(jié)，我的顯存為8g，在關(guān)閉cuda編譯的情況下無法運(yùn)行7b模型。
詳見下圖
這里兩行，上面不用管，下面的["RWKV_CUDA_ON"] = '1'時，為開啟cuda編譯模式，會提升推理速度，并且降低顯存占用，但是打開可能報錯，沒有技術(shù)就老老實(shí)實(shí)設(shè)置成0吧
這兩個參數(shù)表示模型載入后使用的prompt，上面表示加載Chinese-2.py，prompt的位置在v2\prompt\default下,你可以根據(jù)需要自行修改prompt
這里的代碼決定了你運(yùn)行的模型，請在
args.MODEL_NAME =
后面填寫模型路徑
注意用/而不是\
這一部分，詳見
https://zhuanlan.zhihu.com/p/609154637
最后一步
設(shè)置完成后，就可以開始運(yùn)行程序了！在項目根目錄下新建一個bat文件，把以下代碼修改后復(fù)制進(jìn)去，ctrl+s保存，然后雙擊bat。（要是愿意繼續(xù)手打代碼，不用bat也不是不行）
如果提示CUDA out the memory，跳轉(zhuǎn)到教程第三步，根據(jù)圖14繼續(xù)調(diào)整。
參考文檔：
開源1.5/3/7B中文小說模型：顯存3G就能跑7B模型，幾行代碼即可調(diào)用 -?PENG Bo
https://zhuanlan.zhihu.com/p/609154637
發(fā)布幾個RWKV的Chat模型（包括英文和中文）7B/14B歡迎大家玩 -?PENG Bo
https://zhuanlan.zhihu.com/p/618011122
ChatRWKV懶人版python包 -?漂浮的金鏈子
https://zhuanlan.zhihu.com/p/612879065
