可在線運行的notebook示例：在kaggle網(wǎng)站搜索 XVERSE-13B

首先需要安裝模型量化的工具包：（模型量化主要是用于性能較低的電腦）

接著使用4比特量化加載模型：

然后這里使用one-shot方式提問深圳的景區(qū)有哪些。使用這種方式提問是因為該模型是一個預(yù)訓(xùn)練模型，而非對話模型。官方只發(fā)布了預(yù)訓(xùn)練模型，后續(xù)可能會發(fā)布對話模型，大家可以期待一下。