Mini GPT-4 7B 整合包 12G顯存可用 支持中文 支持圖文對話

前段時間up的方法沒有成功,似乎是torch的時候出了點問題,后面到處找材料理解,現(xiàn)在大概搞明白了安裝的皮毛,最終選擇了搭建虛擬環(huán)境,因為還有很多ai需要不同的cuda,python和torch。所以如果將來受不了其他模型的誘惑,而網(wǎng)上又沒有傻瓜包,就要面臨自己部署,并舍棄這個minigpt4的抉擇,所以建議大家用虛擬環(huán)境。
這次的安裝總結(jié):這些大數(shù)據(jù)模型,基本上離不開torch,cuda,python三件套。torch和cuda的版本深度綁定,基本上處于一一對應(yīng),亂用容易不行。而torch叫做pytorch說明又和python的版本深度掛鉤,在不同的ai中,python也需要特定的版本,所以如果自己部署,必須用到conda這個東西,這是個虛擬環(huán)境制造機,用來容納不同版本的python,想用哪個的時候調(diào)用哪個環(huán)境。同時也可以在調(diào)用的環(huán)境中安裝不同版本的torch和cuda,多說一句,在conda中用命令安裝torch時,官方的命令會順便安裝對應(yīng)的cuda,所以命令行是很不容易出錯的方式,但是網(wǎng)絡(luò)是個問題。
所以順序是先安裝conda,再創(chuàng)建特定版本python的虛擬環(huán)境,最后激活該環(huán)境,并通過conda安裝torch,安裝torch的命令行去torch官網(wǎng)復(fù)制(會順便帶上安裝cuda的命令),需要選擇選項后復(fù)制。這些搞定后,就基本了解安裝這些環(huán)境的思路了。
具體操作:
1. conda推薦用miniconda,地址是https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/。最新的安裝包好像并沒有自動添加環(huán)境變量,所以安裝后分別添加這三行環(huán)境變量 C:miniconda C:miniconda\Scripts C:miniconda\Library\bin。關(guān)于環(huán)境變量這玩意,我的理解是類似于超級快捷方式的東西,系統(tǒng)的powershell和cmd這些可以不用打開特定文件夾的情況下只通過輸入命令運行特定的程序,因為路徑已經(jīng)提前規(guī)劃好了。所以 添加就很好理解,因為在下面要使用conda這個命令的時候,powershell是不知道conda這玩意在哪的,所以要提前和電腦說一下。
2.打開powershell
運行一下這個:./conda init --all
創(chuàng)建名為py3109的虛擬環(huán)境(命名隨便都行): conda create --name py3109 python=3.10.9 (創(chuàng)建虛擬環(huán)境的同時安裝了python3.10.9)
激活conda的虛擬環(huán)境:conda activate py3109
3.去這個網(wǎng)站:https://pytorch.org/get-started/locally/,選擇conda,python,cuda11.7,選完以后會出現(xiàn)下面的這個命令
在powershell里面輸入并回車(安裝pytorch):conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
4.完事以后cd到minigpt文件夾:cd I:\MiniGPT-4
按作者要求安裝: .\install.ps1
打開minigpt: .\start.ps1
5.以后每一次都需要先激活一下虛擬環(huán)境:conda conda activate py3109
再去按照up要求cd并打開模型。
為啥要自建的虛擬環(huán)境打開?
虛擬環(huán)境py3109里面包含了 cuda11.7 torch 2.0.1 和python 3.10.9
base環(huán)境里面只有 python3.9.16,所以無法運行
另附一些命令
conda list :查看conda里面的東西
python :進入python環(huán)境
quit() : 退出python環(huán)境
conda deactivate py3109 : 退出py3109環(huán)境
以后打開powershell都會自動加載base環(huán)境,這是是因為用了這個代碼:./conda init --all (大概是每次自動把conda加載到powershell,所以一開powershell自動進入base環(huán)境,但是對powershell其他功能沒影響)
個人理解: base環(huán)境也是一個虛擬環(huán)境,只是官方替你搞好的一個環(huán)境,因為c盤里面找不到python3.9.16,似乎還是在conda里面。
沒有任何python基礎(chǔ),完全是依靠半猜半推理,安裝這玩意真費勁。