可在線(xiàn)運(yùn)行的notebook示例：

首先需要安裝關(guān)于量化的依賴(lài)：

接著加載4比特量化后的模型，以及設(shè)置與Llama對(duì)應(yīng)的提問(wèn)模板：

最后，你可以向模型進(jìn)行提問(wèn)了。這里使用英文提問(wèn)關(guān)于人生的意義的問(wèn)題：