可在線運(yùn)行的notebook鏈接:在kaggle網(wǎng)站搜索:
首先需要安裝模型量化資源包:
接著使用四比特量化該模型:(量化模型可以節(jié)省顯存)
最終我們向模型進(jìn)行提問: