誰能想到 ChatGPT 橫空出世，而且現(xiàn)在明顯是不學(xué)習(xí)不掌握這些 AI 工具就要被淘汰的節(jié)奏。

因此我經(jīng)過一番思索，決定順風(fēng)而行，后續(xù)更新 ChatGPT 相關(guān)內(nèi)容，目前規(guī)劃的方向會(huì)包括介紹篇的概念性解釋，基礎(chǔ)篇的日常使用，訓(xùn)練篇的微調(diào)數(shù)據(jù)，以及開發(fā)篇的實(shí)戰(zhàn)開發(fā)。

這樣既能包括業(yè)務(wù)用戶，也能涵蓋低代碼甚至專業(yè)開發(fā)人員。

今天是我們的第一篇 ChatGPT 的前世今生

本篇文章會(huì)從 GPT-1 一直講到 GPT-4 ，看一看現(xiàn)在火爆的ChatGPT 背后，到底經(jīng)歷了些什么。

我們要想知道 ChatGPT 為什么爆火，這就要我們靜下心來，稍微理解一下 NLP 領(lǐng)域的一些歷史故事。

NLP 是自然語言理解的縮寫，屬于 AI 人工智能領(lǐng)域的一個(gè)分支，主要目的是讓計(jì)算機(jī)能夠理解，解釋和生成人類的語言。

早在 2018年之前，實(shí)際上 NLP 自然語言理解已經(jīng)基本處于半廢的狀態(tài)，市面上幾乎沒有可以說得上的產(chǎn)品存在。這是因?yàn)?NLP 之前缺乏大規(guī)模數(shù)據(jù)集，計(jì)算能力，以及有效的算法和模型，導(dǎo)致整體 NLP 領(lǐng)域發(fā)展非常緩慢。

而到了 18年6月 OpenAI 推出了預(yù)生成語言模型 GPT 。

GPT-1

其中 GPT 第一代，也就是 GPT-1 使用了7000本書籍作為訓(xùn)練集，總大小大約 5G 左右，最關(guān)鍵的是 GPT-1 是一個(gè)生成式預(yù)訓(xùn)練語言模型，這種模型通過兩個(gè)階段來進(jìn)行訓(xùn)練，包括先通過無監(jiān)督模式進(jìn)行通用語言模型的訓(xùn)練，再針對(duì)特殊的下游任務(wù)，比如對(duì)文本分類，問答等任務(wù)進(jìn)行微調(diào)。

雖然通過微調(diào)后的 GPT-1 模型在各個(gè)任務(wù)上都超過了原有的模型，但這也導(dǎo)致GPT-1 使用起來比較麻煩，因?yàn)樗械南掠稳蝿?wù)都需要進(jìn)行微調(diào)。

GPT-2

而到了2019年2月的GPT-2 , 它使用了 800萬份文檔，大約 40GB 的數(shù)據(jù)作為訓(xùn)練集，同時(shí) OpenAI 為了解決所有任務(wù)都需要微調(diào)的麻煩，提出了一個(gè)叫做 zero-shot 的概念，也就是訓(xùn)練完的模型不需要做任何微調(diào)，不管你的下游任務(wù)是什么，模型都可以直接應(yīng)對(duì)。

怎么做到呢？

這里通過的是暗示，或者說提示，也就是告訴模型它需要完成什么任務(wù)。

這就像是我們現(xiàn)在在使用 ChatGPT 的時(shí)候，想讓它做什么事情，會(huì)告訴它，比如你想讓他做翻譯。

那么就告訴它，請翻譯以下句子。這時(shí)候把提示“請翻譯以下句子”和問題本身一起傳入到模型中。模型就知道你要做什么事情了，那不管是翻譯，分類，還是其他下游任務(wù)，通過 GPT-2 就完全可以在不用微調(diào)的情況下，依然可以應(yīng)對(duì)。

這時(shí)候 GPT-2 的出現(xiàn)，真正的讓 NLP 領(lǐng)域看到了希望，這個(gè)希望就是可以通過一個(gè)統(tǒng)一的生成式大模型來完成所有下游任務(wù)，而不是再像往常一樣，每個(gè)任務(wù)都還需要單獨(dú)訓(xùn)練模型。

那為什么 19年的時(shí)候大家沒有聽說過 GPT-2 呢？

這主要因?yàn)?GPT-2 雖然有了 zero-short 的概念，但實(shí)現(xiàn)的效果并不理想，生成的內(nèi)容很可能并不合適，也會(huì)有很多虛假的信息，歧視類的信息，甚至是陷入死循環(huán)。這是因?yàn)?GPT-2 在訓(xùn)練的過程當(dāng)中，并不知道哪些信息對(duì)人類友好，哪些信息又算作歧視，并且生成內(nèi)容的多樣性做的也不好。

GPT-3

到了2020年5月，GPT-3首次亮相，它的訓(xùn)練包含了多個(gè)數(shù)據(jù)集大約 45TB 的訓(xùn)練數(shù)據(jù)，這讓 GPT-3的模型可以說是上知天文，下知地理，在多項(xiàng)自然語言處理任務(wù)上都取得了非常驚人的表現(xiàn)，后面 OpenAI 也推出了 API ， 讓廣大開發(fā)者可以調(diào)用模型進(jìn)行體驗(yàn)，那時(shí)據(jù)統(tǒng)計(jì)每天就會(huì)產(chǎn)生 450億個(gè)詞，相當(dāng)于每小時(shí)寫了100w 本書，

大家要知道，那時(shí)候大眾基本都沒聽過 GPT ，可想而知現(xiàn)在 2023年3月份這個(gè)數(shù)據(jù)會(huì)多么恐怖。

除了訓(xùn)練集變大外，GPT-3 當(dāng)中將 GPT-2 的 zero-shot 概念進(jìn)行延展。推出了另外兩個(gè)概念 Few-shot 和 One-shot 。

zero-shot 我們剛才知道了，相當(dāng)于提問的時(shí)候加上個(gè)提示指令，比如翻譯以下句子為英文。

one-shot 相當(dāng)于，在提問的時(shí)候給個(gè)例子，還是以翻譯句子為例，如果你想要固定的格式，可以提前給模型一個(gè)例子，這樣模型可以參照你的例子來進(jìn)行內(nèi)容生成。

如果一個(gè)例子不夠或者說效果不好，那就需要 few-shot 給多個(gè)例子，讓模型更加詳細(xì)的了解要做的事情。

這三種方式本身都沒有更新模型，但卻可以讓模型實(shí)現(xiàn)不同的下游任務(wù)。

而且 zero-shot , one-shot , few-shot 隨著我們給的例子越多，模型生成的效果就會(huì)越準(zhǔn)確，雖然準(zhǔn)確了，但這時(shí)候會(huì)導(dǎo)致另外一個(gè)問題，就是模型調(diào)用成本變大了，因?yàn)槊看翁釂柕臅r(shí)候問的字?jǐn)?shù)多了。

但這種龐大的訓(xùn)練數(shù)據(jù)也導(dǎo)致了一個(gè)問題，懂的內(nèi)容太多了，這就會(huì)在回答問題的時(shí)候隨意聯(lián)想，有時(shí)候看起來就像是胡說八道，說的內(nèi)容也不受約束。

那為什么只有 OpenAI 把這個(gè)事情做成了呢？

因?yàn)樗幸粋€(gè)金主爸爸 - 微軟。

微軟專門在 OpenAI 的總部設(shè)置了一個(gè)數(shù)據(jù)中心，用于訓(xùn)練這些模型。這其中每年耗費(fèi)的算力資源是非常恐怖的，OpenAI 官方的數(shù)據(jù)是說 GPT-3使用了上萬個(gè) GPU 進(jìn)行訓(xùn)練，光電費(fèi)就花費(fèi)超過 1200 萬美元，所以 GPT 這種大語言模型不是任何一家小企業(yè)可以玩的，只有頂級(jí)的云計(jì)算廠商在不確定未來的情況下，依然舍得持續(xù)投入，才有可能做出來。

ChatGPT

那我們前面提到的都是 GPT ，而不是 ChatGPT 。

這是因?yàn)?ChatGPT 本身實(shí)際相當(dāng)于 GPT 模型的一個(gè)擴(kuò)展，基于 GPT 模型， OpenAI 做出來的一個(gè)應(yīng)用層，讓其模型本身可以真正的用于去解決一些問題，并給到更多用戶進(jìn)行體驗(yàn)。

而這里最關(guān)鍵的就是如何讓 GPT 更像人，而不是一個(gè)機(jī)器一樣的生成文字內(nèi)容。

這時(shí)候就必須要在預(yù)訓(xùn)練模型的基礎(chǔ)上，采用有監(jiān)督學(xué)習(xí)了，因?yàn)榧兛繜o監(jiān)督學(xué)習(xí)做出來的模型，它生成的東西是好是壞都沒法控制。

為了解決這個(gè)問題， OpenAI 雇傭了很多的人，來進(jìn)行人工干預(yù)，相當(dāng)于通過人工來給一些高質(zhì)量的生成結(jié)果。這些示例相當(dāng)于真實(shí)人類的說話方式，并將這些數(shù)據(jù)用于微調(diào)訓(xùn)練 GPT3，從而得到 GPT3.5模型 。

這就是重點(diǎn)了，在 ChatGPT 推出的時(shí)候，使用到的是 GPT3.5 模型，這個(gè)模型可以讓ChatGPT 初步具備理解人類意圖的能力，只不過當(dāng)時(shí)并沒有公開 3.5 模型的 API ，市面上當(dāng)時(shí)能夠使用的 API 還是 GPT-3 的，因此當(dāng)時(shí)唯一能夠體驗(yàn)到GPT3.5 模型效果的方式只有使用 ChatGPT 本身。

當(dāng) ChatGPT 經(jīng)過人工標(biāo)注的微調(diào)訓(xùn)練之后，還會(huì)使用到的 GPT3.5 模型另一個(gè)概念，叫做RLHF 人類反饋強(qiáng)化學(xué)習(xí)。

簡單來說，它是指模型生成內(nèi)容的時(shí)候，通過人類來對(duì)輸出結(jié)果進(jìn)行打分，從而不斷改進(jìn)模型，讓模型的生成可以更符合人類的預(yù)期。

注意，這里的關(guān)鍵是對(duì)內(nèi)容進(jìn)行打分，而并不是直接判斷對(duì)錯(cuò)。這是因?yàn)榛卮鸬慕Y(jié)果無法完全用對(duì)錯(cuò)來判斷。

你并不能說模型回答的就不對(duì)，你只能說是他回答的不夠好，這時(shí)候打分的機(jī)制就很關(guān)鍵了。

通過打分的機(jī)制，模型自己會(huì)覺得，你為什么給我的回答打了7分，是不是我的回答中有哪些方式不對(duì)？這時(shí)候模型就能夠生成更多的多樣性結(jié)果。比如在評(píng)分較低時(shí)，會(huì)嘗試生成不同的響應(yīng)結(jié)果，來獲得更高的分?jǐn)?shù)。

而這個(gè)強(qiáng)化學(xué)習(xí)中的得分機(jī)制，背后是通過 OpenAI 的一個(gè)獎(jiǎng)勵(lì)模型（小版本GPT）來實(shí)現(xiàn)的。

假設(shè)隨便一個(gè)問題，產(chǎn)生了A,B,C,D四種答案，人工需要針對(duì)這四種回答分別進(jìn)行打分。

之后會(huì)根據(jù)打分的結(jié)果進(jìn)行排序，再把標(biāo)注的數(shù)據(jù)用于訓(xùn)練，從而得到一個(gè)獎(jiǎng)勵(lì)模型。

而當(dāng)這個(gè)獎(jiǎng)勵(lì)模型訓(xùn)練出來以后，結(jié)合微調(diào)后的的 GPT3.5 模型和這個(gè)獎(jiǎng)勵(lì)模型來采用強(qiáng)化學(xué)習(xí)的方法來進(jìn)行行為策略的更新，從而讓 ChatGPT 整體能夠更好的理解人類意圖，輸出更符合人類需求的文字內(nèi)容。

舉個(gè)例子，相當(dāng)于我們有了獎(jiǎng)勵(lì)模型后，再拿出一個(gè)問題來問 ChatGPT ，這時(shí)候ChatGPT 給到一個(gè)輸出結(jié)果，這個(gè)結(jié)果會(huì)傳遞到獎(jiǎng)勵(lì)模型中，獎(jiǎng)勵(lì)模型會(huì)給出一個(gè)評(píng)分，再根據(jù)這個(gè)評(píng)分的高低來更新 ChatGPT 模型，而這個(gè)更新的方法叫做 PPO ，這個(gè)大家不需要理解，這里面都是些數(shù)學(xué)的內(nèi)容。大家只需要知道一個(gè)大致過程就行。

而經(jīng)過這一系列不斷的訓(xùn)練，最終就形成了 GPT3.5模型，同時(shí) OpenAI 也在 2022年11月推出了 ChatGPT 這個(gè)使用了 GPT3.5 模型的應(yīng)用層，讓用戶可以在網(wǎng)頁中和機(jī)器人進(jìn)行對(duì)話，機(jī)器人可以回答問題，撰寫文本，生成代碼，歸納總結(jié)等等。并且在全球大量用戶的體驗(yàn)下來，發(fā)現(xiàn) ChatGPT 不像是以往哪些 AI 一樣，多說幾句話就會(huì)露出破綻。 ChatGPT 幾乎可以接近真實(shí)的人類對(duì)話，還有上下文的語言理解，直接在體驗(yàn)上碾壓了過去的所有同類型產(chǎn)品，至此 ChatGPT 開始在全球爆火。

GPT-4

而時(shí)間來到了 2023年3月14日， OpenAI 宣布了全新的大型多模態(tài)模型 ：GPT-4 ，整體性能和準(zhǔn)確性上都優(yōu)于之前的 GPT3.5 版本，還能更好的編寫多種不同的寫作風(fēng)格，同時(shí)他還能支持用戶輸入圖像，從而理解圖像當(dāng)中的信息。此外，相比ChatGPT的4096詞，GPT-4 支持 25000字的文本輸入，這讓 GPT-4 可以從更長的文本內(nèi)容中執(zhí)行下游任務(wù)，例如原先只能分析幾千個(gè)字的文章，但現(xiàn)在可以分析2w字的文章來寫總結(jié)報(bào)告。

ChatGPT Plugin

直到前兩天2023年3月24日，OpenAI 推出了 ChatGPT 插件功能，讓ChatGPT可以和開發(fā)者定義的 API 進(jìn)行交互，這項(xiàng)更新直接賦予了 ChatGPT 使用其他工具和聯(lián)網(wǎng)的能力。比如原先我們只能詢問 ChatGPT 一些酒店推薦，但現(xiàn)在我們可以直接使用 ChatGPT 預(yù)定酒店；原先我們只能詢問 21年9月之前的數(shù)據(jù)，因?yàn)?ChatGPT 的模型本身是使用 21年9月之前的互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行的訓(xùn)練，但現(xiàn)在通過 browsing 插件，讓ChatGPT 可以基于微軟 Bing 的搜索 API 來訪問最新的互聯(lián)網(wǎng)信息，從而突破模型數(shù)據(jù)的限制。

ChatGPT更新插件功能后，相信未來用不了多長時(shí)間，現(xiàn)有的一切應(yīng)用交互方式都將發(fā)生改變。

總結(jié)

縱觀整個(gè) GPT 的發(fā)展歷史，我們能發(fā)現(xiàn) ChatGPT 的爆火背后是無數(shù)科研人員的努力以及大量資金支持的結(jié)果?？赡芎芏嗳硕紩?huì)對(duì) ChatGPT 感到害怕，產(chǎn)生焦慮，但我們又能做什么呢？生活還要繼續(xù)，我們能做的，只有擁抱技術(shù)，保持學(xué)習(xí)。