從零開(kāi)始本地部署ChatGLM2-6B（windows）
1、介紹（來(lái)自Github和網(wǎng)頁(yè)資料）：
ChatGLM2-6B 是清華大學(xué) KEG 實(shí)驗(yàn)室和智譜 AI 公司于 2023 年共同訓(xùn)練的語(yǔ)言模型開(kāi)發(fā)的的中英雙語(yǔ)對(duì)話(huà)大模型 ChatGLM-6B 的第二代版本，模型對(duì)話(huà)流暢、部署門(mén)檻較低。其中6B版本是開(kāi)源的，可自由部署。在線(xiàn)版為130B模型。
ChatGLM2-6B 是開(kāi)源中英雙語(yǔ)對(duì)話(huà)模型?ChatGLM-6B?的第二代版本，在保留了初代模型對(duì)話(huà)流暢、部署門(mén)檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，ChatGLM2-6B 引入了如下新特性：
更強(qiáng)大的性能：基于 ChatGLM 初代模型的開(kāi)發(fā)經(jīng)驗(yàn)，我們?nèi)嫔?jí)了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了?GLM?的混合目標(biāo)函數(shù)，經(jīng)過(guò)了 1.4T 中英標(biāo)識(shí)符的預(yù)訓(xùn)練與人類(lèi)偏好對(duì)齊訓(xùn)練，評(píng)測(cè)結(jié)果顯示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等數(shù)據(jù)集上的性能取得了大幅度的提升，在同尺寸開(kāi)源模型中具有較強(qiáng)的競(jìng)爭(zhēng)力。
更長(zhǎng)的上下文：基于?FlashAttention?技術(shù)，我們將基座模型的上下文長(zhǎng)度（Context Length）由 ChatGLM-6B 的 2K 擴(kuò)展到了 32K，并在對(duì)話(huà)階段使用 8K 的上下文長(zhǎng)度訓(xùn)練。對(duì)于更長(zhǎng)的上下文，我們發(fā)布了?ChatGLM2-6B-32K?模型。LongBench?的測(cè)評(píng)結(jié)果表明，在等量級(jí)的開(kāi)源模型中，ChatGLM2-6B-32K 有著較為明顯的競(jìng)爭(zhēng)優(yōu)勢(shì)。
更高效的推理：基于?Multi-Query Attention?技術(shù)，ChatGLM2-6B 有更高效的推理速度和更低的顯存占用：在官方的模型實(shí)現(xiàn)下，推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對(duì)話(huà)長(zhǎng)度由 1K 提升到了 8K。
更開(kāi)放的協(xié)議：ChatGLM2-6B 權(quán)重對(duì)學(xué)術(shù)研究完全開(kāi)放，在填寫(xiě)問(wèn)卷進(jìn)行登記后亦允許免費(fèi)商業(yè)使用。
2、官網(wǎng)和源代碼
官網(wǎng)：
https://chatglm.cn/
github官網(wǎng)：
https://github.com/THUDM/ChatGLM2-6B
huggingface官網(wǎng)：
https://huggingface.co/THUDM/chatglm2-6b
3、教程開(kāi)始：
======硬件最低需求=====================================================
1、不同量化等級(jí)的模型，對(duì)硬件要求不同，windows/linux均可。
2、N卡配置比較簡(jiǎn)單，推薦使用N卡。（A卡目前可使用ROCm在linux中部署）
3、顯存要求：
+++++++++++++++++++++++++
模型 ???????????? ????????量化 ????????顯存要求
ChatGLM2???? ???????FP16 ????????13G
ChatGLM2 ???????????INT4 ???????????6G
ChatGLM2-32k ????FP16 ????????20G?
ChatGLM2-32k ????INT4 ?????????11G
++++++++++++++++++++++++++
======準(zhǔn)備工作=========================================================
1、安裝vscode，用于編輯代碼：https://code.visualstudio.com/
>>>打開(kāi)插件庫(kù)，安裝中文語(yǔ)言包
>>>安裝markdown all in one，用于看md文件
2、安裝cuda v11.8：https://developer.nvidia.com/cuda-11-8-0-download-archive
3、安裝python，注意勾選添加至系統(tǒng)變量PATH：https://www.python.org/downloads/
4、安裝pytorch： pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
>>>打開(kāi)powershell或cmd
>>>執(zhí)行nvidia-smi
>>>執(zhí)行
python
import torch
torch.cuda.is_available()
>>>查看pytorch和cuda是否正常運(yùn)行
5、安裝git：https://git-scm.com/downloads
6、安裝git-lfs：https://git-lfs.com/
>>>打開(kāi)git bash
>>>執(zhí)行g(shù)it lfs install
======環(huán)境部署=========================================================
1、創(chuàng)建空文件夾
2、git clone https://github.com/THUDM/ChatGLM2-6B.git
3、安裝依賴(lài)
>>>pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple
4、下載相應(yīng)模型文件
>>>打開(kāi)git bash
>>>執(zhí)行g(shù)it lfs install 確認(rèn)lfs正常
>>>git clone https://huggingface.co/THUDM/chatglm2-6b
5、修改 web_demo.py 、web_demo2.py文件
>>>修改模型地址為本地目錄
>>>修改代碼使其可以局域網(wǎng)訪(fǎng)問(wèn)
6、打開(kāi)powershell或cmd，輸入：
python web_demo.py?
或 streamlit run web_demo2.py
具體流程可看我發(fā)布的教程視頻：https://www.bilibili.com/video/BV16p4y1g7UE
