目前來(lái)看最顯著的提升是減少了顯存占用，對(duì)普通用戶消費(fèi)級(jí)顯卡比較友好。此測(cè)試在筆記本1060/ 6G 上進(jìn)行。

使用langchain-chatglm (版本 ?3fd47b0d404dedf7213a3b209b564a2163d8ff76 (HEAD -> master, tag: v0.1.13) )來(lái)加載官方int4量化模型，使用本地知識(shí)庫(kù)，回答一個(gè)問(wèn)題后，顯存占用只達(dá)到4.4G。