## 【背景】

目前很多公司由于數(shù)據(jù)安全的問題，不能使用OpenAI的GPT，同時(shí)也沒有必要非得使用如此泛用化的GPT。很多公司因此有訓(xùn)練自己的離線GPT的需求，這樣的GPT只需要具備專業(yè)知識(shí)即可。

要使這個(gè)成為可能，首先就需要能夠讓GPT的Model在本地運(yùn)行。

## 【工具】

GPT4ALL就是這樣一個(gè)應(yīng)運(yùn)而生的工具。

官網(wǎng)地址：https://gpt4all.io/index.html

如果官網(wǎng)速度慢，可以下我存的百度：

鏈接：https://pan.baidu.com/s/1QodbiPxnK0RSYDcDc65sPg?pwd=dff3?

提取碼：dff3?

--來自百度網(wǎng)盤超級(jí)會(huì)員V7的分享

## 【部署方法】

1. 第一種部署方法最簡(jiǎn)單，在官網(wǎng)首頁(yè)下載對(duì)應(yīng)平臺(tái)的可執(zhí)行文件，直接運(yùn)行即可。這種方式的優(yōu)點(diǎn)在于方便，配有UI，UI集成了包括Model下載，訓(xùn)練等在內(nèi)的所有功能。缺點(diǎn)是這種方法只能本機(jī)使用GPT功能，個(gè)人培訓(xùn)個(gè)人的GPT，學(xué)習(xí)和實(shí)驗(yàn)的成分多一些，如果要拿這個(gè)能力做局域網(wǎng)應(yīng)用，還是需要?jiǎng)e的部署方式。

2. 第二種推薦的部署方式就是Python部署。這里有幾個(gè)注意點(diǎn)，如果你用的Anaconda+Pycharm，注意保證GPT相應(yīng)的編譯器環(huán)境是3.8以上的，不然install package會(huì)報(bào)錯(cuò)。且Anaconda需要是64位。我一開始64位OS裝了32bitAnaconda也會(huì)報(bào)錯(cuò)。這兩個(gè)坑避免了，install會(huì)順利。

注意還需要在首頁(yè)下載model的bin文件，推薦默認(rèn)的3.5版本，免費(fèi)可商用。其它還有很多別的模型，自行研究即可。

## 【python部署命令】

python部署的具體命令(可以命令行一步一步執(zhí)行)：

先是Pycharm的Terminal中

```

pip install nomic

pip install gpt4all

```

接著在PythonConsole中：

```

import gpt4all //看看是否成功導(dǎo)入

dir(gpt4all)//查看相關(guān)的模塊是否都安裝了

from gpt4all import GPT4All//開始驗(yàn)證Prompt功能

gpt = GPT4All(model_name="ggml-gpt4all-j-v1.3-groovy.bin",model_path="D:/gpt/")//先把相應(yīng)的bin模型引入并初始化

gpt.chat_completion([{"role":"assistant","content":"what are machine learning models"}])//這條就是Prompt功能命令，送出后機(jī)器反應(yīng)一會(huì)兒會(huì)給出問題的回答。

```

## 【其它信息】

GPT4ALL是靠CPU而非GPU運(yùn)行的，所以性能好壞跟CPU性能相關(guān)。