【前言】

本專欄文章適用于AMD顯卡在本地部署ChatGLM2-6B模型，該模型是由清華大學(xué)
THUDM 開源的項目。

本人實測中文對話上，對比ChatGPT3.5還是有一定差距。但是該項目優(yōu)勢是開源，可以在消費(fèi)級顯卡上本地運(yùn)行，而且可用較低顯存訓(xùn)練微調(diào)模型，滿足個人定制化需求。

【環(huán)境準(zhǔn)備】

系統(tǒng)要求：Linux （推薦Ubuntu22.04）
顯卡要求：4G顯存以上（本人未測試4G，一般推薦6G及以上）

首先要保證顯卡驅(qū)動已經(jīng)正確安裝，測試方法為在終端中輸入：

rocm-smi

需要有GPU信息出現(xiàn)。如果還不會安裝Ubuntu22.04和顯卡驅(qū)動，請使用我之前開發(fā)的Stable-Diffusion啟動器一鍵安裝顯卡驅(qū)動。如果顯卡是7900，請查看個人首頁7900專欄文章手動安裝顯卡驅(qū)動。

【部署步驟】

首先在主目錄任意文件夾中打開終端，將項目clone到本地后進(jìn)入項目文件夾：

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

創(chuàng)建虛擬python環(huán)境并激活：

sudo apt install python3.10-venv
python3 -m venv venv
source venv/bin/activate

激活成功后，用戶名前方會有 (venv) 字樣，代表已經(jīng)激活python虛擬環(huán)境：

安裝項目運(yùn)行所需的pytorch和其他組件(pytorch根據(jù)顯卡不同選擇版本)：

//rx7000 rx6000
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm5.6

//rx5000
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.4.2

pip3 install -r requirements.txt

最后，需要下載ChatGLM2的模型文件。有兩種模型：

1、標(biāo)準(zhǔn)的ChatGLM2-6B模型，大約需要13G顯存

2、ChatGLM2-6B-int4模型需要至少4G顯存

模型在線拉取需要有魔法網(wǎng)絡(luò)。Linux中一般使用下面這個軟件，并啟用TUN模式開啟魔法，下載模型時請使用全局Global模式，不然容易出錯：

16G及以上顯卡：

如果你的顯卡顯存為16G或以上，保證魔法網(wǎng)絡(luò)環(huán)境較好的情況下，在虛擬環(huán)境中直接運(yùn)行：

python web_demo.py

即可自動下載需要的相關(guān)模型。耐心等待下載完成后，即可自動進(jìn)入對話頁面。以后每次啟動，在項目文件夾內(nèi)部運(yùn)行這兩個命令即可啟動：

source venv/bin/activate
python web_demo.py

16G以下顯卡：

如果顯存不夠13G，需要編輯項目中的 web_demo.py 文件，將該文件第7行改為：

model = AutoModel.from_pretrained("THUDM/chatglm2-6b-int4",trust_remote_code=True).cuda()

保存后。以后每次啟動項目需要先激活虛擬環(huán)境，然后根據(jù)顯卡型號選擇啟動命令：

source venv/bin/activate

//rx7000
python web_demo.py

//rx6000 rx5000
HSA_OVERRIDE_GFX_VERSION=10.3.0 python web_demo.py

//rx Vega
PYTORCH_ROCM_ARCH=gfx906 HCC_AMDGPU_TARGET=gfx906 python web_demo.py

啟動后，需要保證魔法環(huán)境開了全局模式，會自動下載一個3.9G的模型文件，完成后即可正常運(yùn)行。

另外，如果你的內(nèi)存小于16G，也請使用之前的stable-diffusion啟動器開啟虛擬交換內(nèi)存(命令行開啟也可以)，不然會有錯誤提示。