notebook鏈接:
首先安裝依賴包:
接著使用8比特量化加載模型(GPU性能受限,性能較好電腦可以不量化):
然后設(shè)置問答模板:
最后,你可以嘗試跟Llama2對話了,但我個人認為它的中文能力很一般,推薦使用英文對話。