可在線運行的notebook示例：在kaggle網(wǎng)站搜索 YuLan-Chat-2-13b-fp16??

首先需要安裝模型的量化包：（若你的電腦性能較好可以不進行量化）

接著加載量化后的模型：

現(xiàn)在你可以輸入向模型提問的問題：

模型將會進行推理：

最后你可以得到模型的回復：