1、官網(wǎng)和源代碼

官網(wǎng)：

https://chatglm.cn/

github官網(wǎng)：

https://github.com/THUDM/ChatGLM2-6B

huggingface官網(wǎng)：

https://huggingface.co/THUDM/chatglm2-6b

2、教程開始：

======硬件最低需求=====================================================

1.不同量化等級的模型，對硬件要求不同，windows/linux均可。

2.N卡配置比較簡單，推薦使用N卡。（A卡目前可使用ROCm在linux中部署）

3.顯存要求：

+++++++++++++++++++++++++

模型 ???????????? ????????量化 ????????顯存要求

ChatGLM2???? ???????FP16 ????????13G

ChatGLM2 ???????????INT4 ???????????6G

ChatGLM2-32k ????FP16 ????????20G?

ChatGLM2-32k ????INT4 ?????????11G

++++++++++++++++++++++++++

======準(zhǔn)備工作=========================================================

1.安裝vscode，用于編輯代碼：https://code.visualstudio.com/

>>>打開插件庫，安裝中文語言包

>>>安裝markdown all in one，用于看md文件

2.安裝cuda v11.8：https://developer.nvidia.com/cuda-11-8-0-download-archive

3.安裝python，注意勾選添加至系統(tǒng)變量PATH：https://www.python.org/downloads/

4.安裝pytorch： pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

>>>打開powershell或cmd

>>>執(zhí)行nvidia-smi

>>>執(zhí)行

python

import torch

torch.cuda.is_available()

>>>查看pytorch和cuda是否正常運(yùn)行

5.安裝git：https://git-scm.com/downloads

6.安裝git-lfs：https://git-lfs.com/

>>>打開git bash

>>>執(zhí)行g(shù)it lfs install

======環(huán)境部署=========================================================

1.創(chuàng)建空文件夾，打開git?bash

2.git clone https://github.com/THUDM/ChatGLM2-6B.git

3.進(jìn)入ChatGLM2-6B文件夾，安裝依賴

>>>cd?ChatGLM2-6B

>>>pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

4.下載相應(yīng)模型文件

>>>打開git bash

>>>執(zhí)行g(shù)it lfs install 確認(rèn)lfs正常

>>>git clone https://huggingface.co/THUDM/chatglm2-6b

5.修改 web_demo.py 、web_demo2.py文件

>>>修改模型地址為本地目錄

>>>修改代碼使其可以局域網(wǎng)訪問

6.打開powershell或cmd，輸入：

python web_demo.py?

或 streamlit run web_demo2.py

具體流程可看我發(fā)布的教程視頻：https://www.bilibili.com/video/BV16p4y1g7UE