可在線運(yùn)行的notebook鏈接:在kaggle網(wǎng)站搜索
首先需要安裝模型量化包,因?yàn)樵撃P捅容^吃顯存:
接著使用四比特量化加載該模型:
最終我們即可和模型進(jìn)行對話: