【防坑指南】手把手演示本機部署langchain+chatGLM本地知識庫

這個月一直在加班,好多留言沒來得及回復,抱歉了。我也是剛開始學習這塊,很多問題也需要摸索,不一定都能解答,這個視頻只是把我的學習經(jīng)驗拿出來給大家分享的,有些朋友遇到的問題我也沒遇到過,只能是一起探討學習,然后把遇到問題的解決方案共享給大家。
最近和水友探討遇見比較多,并且找到解決方案的,總結(jié)一下分享出來:
①關于text2vec這塊,安裝失敗
因為項目作者使用了GanymedeNil/text2vec-large-chinese這個模型。我在部署的時候,模型是自動下載的。這里就有一些水友反饋說下載失敗,遇到這個問題的朋友可以自己上huggingface下載上述模型,地址傳送門:https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main
模型下載完之后,可以在放在項目文件夾下,于此同時,需要在model_config.py配置文件里,修改一下text2vec的地址,根據(jù)你自己模型放的文件夾修改一下。
比如,我放在model文件夾下了,文件夾路徑是model/GanymedeNil/text2vec-large-chinese,那就改成這個路徑就可以了。
運行的時候,可能會提示:No sentence-transformers model found with name model/GanymedeNil/text2vec-large-chinese. Creating a new one with MEAN pooling
可以忽略這個提示,功能是可以正常使用的。
②pycocotools安裝失敗
解決方案找了一個,傳送門:https://blog.csdn.net/shaojie_45/article/details/116119227
可以自行去嘗試
③paddle安裝報錯
視頻里提到了,我原先安裝的是python3.11的版本,后來使用conda新建虛擬環(huán)境,選擇python版本為3.10就不報錯了。
④chatglm-6b-int4模型找不到
有水友反饋說遇到這個問題,后來發(fā)現(xiàn)是因為沒有下載chatglm模型的問題導致的。chatglm-6b-int4模型下載,可以上官方下載,我也放了一個云盤鏈接,可以自行下載
傳送門:https://www.123pan.com/s/sBl7Vv-Ur8gv.html?提取碼:ZvSu
其他問題有補充的話,也可以在置頂評論下添加。希望能對各位水友有幫助~