可在線運(yùn)行的notebook：在kaggle網(wǎng)站搜索：

openbuddy-mistral-7b-v13.1

首先安裝魔搭社區(qū)包：

接著使用bf16精度加載該模型：

最后我們就可以進(jìn)行模型推理了，注意這里有一長(zhǎng)串的限制輸出指令，應(yīng)該可以剔除掉。