可在線運行的notebook：在kaggle網(wǎng)站搜索

Baichuan2-7B-Chat-4bits

首先需要安裝所需依賴：

接著將模型克隆到本地。這里不直接加載模型是因為會報錯，可能是個bug。同時我這里下載的是7B的量化模型，若你的電腦性能較好可以下載其他模型：

下載模型到本地后即可加載模型：（注意下載模型到本地后修改模型地址）

最后我們嘗試一下模型推理：