可在線運行的notebook:在kaggle網(wǎng)站搜索 Llama-2-Chinese-13b-chat 即可查看
首先需要安裝項目所需依賴:
接著使用8比特量化方式加載模型:(若電腦性能較好可以不選擇量化)
現(xiàn)在嘗試向模型進行提問吧。微調(diào)的13b的模型相較于7b的模型在中文能力上有了較大的提升
?