MiniGPT-4有多神奇，我就不贅述了，大家可以自行搜索一下。這個語言模型的成熟度號稱強過ChatGPT，但限于只能使用本地數(shù)據(jù)，所以知識方面是他的短板。廢話不多說，開始安裝。

1、先確認一下自己的機器是否能安裝這個軟件，官方網(wǎng)站上介紹這個軟件要求Linux系統(tǒng)，Nvidia顯卡至少12G顯存。是不是一下子勸退好多人？經(jīng)我測試，windows上是可以安裝的，需要避一個坑，后面會介紹。但是12G Nvidia顯卡，這個條件是必不可少的，如果這個不達標，就先買一張顯卡吧。

2、基礎軟件安裝。先把AI軟件需要用到的軟件都裝一遍。我安裝的版本如下：

Python 3.10

Cuda 11.8

Git，這個對版本要求沒那么敏感，找個最新的裝一下就行了

AnaConda，這個也上最新版的，用來創(chuàng)建Python的虛擬環(huán)境

3、打開https://github.com/Vision-CAIR/MiniGPT-4，對照官網(wǎng)上的步驟開始安裝。

先用這個命令把代碼拉到一個目錄，我們假設這個目錄是D:\MiniGPT-4。我們進入到這個目錄，執(zhí)行以下命令：

git clone https://github.com/Vision-CAIR/MiniGPT-4.git

有時候沒科學上網(wǎng)，可能下載會有問題，所以可以替換成以下命令來下載

git clone https://ghproxy.com/https://github.com/Vision-CAIR/MiniGPT-4.git

4、進入D:\MiniGPT-4目錄，執(zhí)行以下代碼

conda env create -f environment.yml

然后進入虛擬環(huán)境，我這邊就直接輸入命令

activate minigpt4

提示符會顯示(minigpt4)D:\MiniGPT-4

5、這一步需要下載幾個特別大的文件，按照官網(wǎng)指示，打開下面這個鏈接

https://github.com/Vision-CAIR/MiniGPT-4/blob/main/PrepareVicuna.md

先執(zhí)行一下這個命令

git lfs install

然后下載一下這個項目，如果你的顯卡有24G顯存就下載這個

git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0

如果只有12G顯存就下載這個

git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0?

同上，如果沒有科學上網(wǎng)就用這個地址

git clone https://ghproxy.com/https://huggingface.co/lmsys/vicuna-7b-delta-v0?

6、這一個步驟還要下載幾個大文件，按照官網(wǎng)指示的方法是很難下載到文件的，因為要提交申請表，通過了才能下載，我試了一下，對方根本不應答。所以我找到了另外一個網(wǎng)站，可以直接下載：

https://ipfs.io/ipfs/Qmb9y5GCkTG7ZzbBWMu2BXwMkzyCKcUjtEKPpgdZ7GEFKm/

請在D:\MiniGPT-4目錄下創(chuàng)建一個LLAMA的目錄，然后把這個網(wǎng)站上的文件都按照目錄結(jié)構下載下來，不要少下載文件。12G顯存就只要下載7B那個目錄，24G顯存就只要下載13B那個目錄，另外30B和65B目錄就不要下載了，這兩個目錄里的文件超級大，估計需要更大的顯存支持，效果應該也會更好。

7、轉(zhuǎn)換LLAMA模型，使用的命令如下：

python C:/ProgramData/anaconda3/envs/minigpt4/Lib/site-packages/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir D:/MiniGPT-4/LLAMA?--model_size 7B --output_dir D:/MiniGPT-4/LLAMA-7B-weights

其中convert_llama_weights_to_hf.py路徑是在conda minigpt4環(huán)境中安裝transformers的路徑中，一般來說就是上述的路徑，如果安裝anaconda時指定過目錄的，請自行調(diào)整。

執(zhí)行完后，會在LLAMA-7B-weights下生成可以最后使用的模型文件目錄，其中有兩個文件也是很大的。

8、這一步是個大坑，按官網(wǎng)的指令，怎么也下載不了FastChat組件，即使FastChat組件湊巧裝成功了，但其依賴的組件還是裝不成功，我試了數(shù)十次，始終不行。

我換用pip命令直接安裝，但注意這里一定要指定版本

pip install fschat==v0.1.10

未科學上網(wǎng)用這個命令

pip install fschat==v0.1.10 -i https://mirrors.aliyun.com/pypi/simple/

還要再安裝依賴的組件transformers，命令如下：

pip install transformers

或

pip install transformers -i https://mirrors.aliyun.com/pypi/simple/

這樣就順利避過一個大坑

9、執(zhí)行以下命令，構造本項目適配的模型文件

執(zhí)行命令前，先在D:/MiniGPT-4下，再建一個名叫vicuna_weights的目錄

python -m fastchat.model.apply_delta --base D:/MiniGPT-4/LLAMA-7B-weights/? --target D:/MiniGPT-4/vicuna_weights/? --delta D:/MiniGPT-4/vicuna-7b-delta-v0/

目錄千萬不要寫錯

這過程中似乎有幾個組件會報錯，提示版本不對，按要求用pip命令指定版本安裝即可，其中PyTorch安裝會麻煩一些，我特別說一下。PyTorch及PyTorchVision和PyTorchAudio這一組都必需與當前虛擬環(huán)境中的Python版本一致，還需要與系統(tǒng)中安裝的Cuda版本一致?？梢缘揭韵戮W(wǎng)站中去下載whl文件來安裝，一定要注意對應的版本和操作系統(tǒng)。我下載的是以下三個文件：

torch-2.0.0+cu118-cp39-cp39-win_amd64.whl

torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl

torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl

然后用pip install命令分別安裝這三個組件

pip install torch-2.0.0+cu118-cp39-cp39-win_amd64.whl

pip install torchaudio-2.0.0+cu118-cp39-cp39-win_amd64.whl

pip install torchvision-0.15.0+cu118-cp39-cp39-win_amd64.whl

安裝完成后，會在D:/MiniGPT-4/vicuna_weights中生成若干文件，其中有兩個還很大。

10、在上一步驟中還會遇到一個組件bitsandbytes提示安裝版本不適配，這個從官網(wǎng)的解釋看，該組件只支持Linux。不過不要緊，高手總會有辦法，網(wǎng)上能找到一個高手自制的windows版本，https://github.com/Keith-Hon/bitsandbytes-windows

使用

pip install git+https://github.com/Keith-Hon/bitsandbytes-windows.git

或者

pip install git+https://ghproxy.com/https://github.com/Keith-Hon/bitsandbytes-windows.git

命令進行安裝，完美解決

11、然后打開D:/MiniGPT-4/minigpt4/configs/models/minigpt4.yaml這個文件，把第16行中的路徑換成D:/MiniGPT-4/vicuna_weights，保存。

12、通過官網(wǎng)鏈接下載prerained_minigpt4_7b.pth文件，放在D:/MiniGPT-4目錄下

13、打開D:/MiniGPT-4/eval_configs/minigpt4_eval.yaml文件，把第11行中的路徑換成D:/MiniGPT-4/prerained_minigpt4_7b.pth

14、現(xiàn)在在虛擬環(huán)境中執(zhí)行以下命令，啟動程序

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml? --gpu-id 0

后臺會打印訪問地址，一般來說就是http://127.0.0.1:7860

用瀏覽器打后，就可以跟AI離線聊天了