wenda聞達(dá)懶人包踩坑記——model/lora-450,Error building extension 'wkv_cuda
wenda最新版(6.9)如果你使用的是GLM6B,如果你沒(méi)有自己的lora模型,使用默認(rèn)config.yml,在模型啟動(dòng)時(shí)會(huì)報(bào)以下錯(cuò)誤

請(qǐng)把config.yml配置文件中第96行注釋掉

還有如果你想使用RWKV請(qǐng)注意你的CUDA版本,一定要使用作者提供的cuda_11.8.0_522.06,不然會(huì)報(bào)錯(cuò)


另外一定不要使用作者提供的chatglm-6b-int4(v1.1英文增強(qiáng)版)模型
使用這個(gè)模型來(lái)啟動(dòng)GLM6B會(huì)報(bào)錯(cuò)

想要使用GLM6B請(qǐng)到這里下載模型:THUDM/chatglm-6b at main (huggingface.co)
如果不會(huì)下載請(qǐng)運(yùn)行以下命令:
git lfs install
git clone https://huggingface.co/THUDM/chatglm-6b
下載完成后把chatglm-6b文件夾移動(dòng)到wenda/mode文件夾下
請(qǐng)注意要修改config.yml配置文件的第91行,把cuda fp16改成適合自己顯存的參數(shù),不然會(huì)爆顯存

標(biāo)簽: