用C++進(jìn)行ChatGLM的CPU推理
項(xiàng)目鏈接:
如何運(yùn)行?
首先克隆倉(cāng)庫(kù):
接著編譯項(xiàng)目(每一行為一個(gè)命令,逐個(gè)運(yùn)行):
然后從以下鏈接下載模型到build文件夾:
下載完模型后,確認(rèn)終端路徑在build文件夾下,即可開始推理:
若出現(xiàn)killed錯(cuò)誤,則先運(yùn)行以下命令再進(jìn)行推理(每一行為一個(gè)命令,逐個(gè)運(yùn)行):
演示圖片:

標(biāo)簽: