可在線運行的notebook示例:在kaggle網(wǎng)站搜索 Qwen-7B-Chat
首先需要安裝依賴:
接著使用4比特量化加載模型:(這里注意添加要 ?fp16=True)
然后你就可以向模型進行提問了: