我們使用與 InstructGPT 相同的方法，使用來自人類反饋的強(qiáng)化學(xué)習(xí) (RLHF) 來訓(xùn)練該模型，但數(shù)據(jù)收集設(shè)置略有不同。我們使用監(jiān)督微調(diào)訓(xùn)練了一個初始模型：訓(xùn)練者提供對話樣本，他們在對話中扮演雙方，即用戶和 AI 助手。訓(xùn)練者還可以訪問模型編寫的建議，以幫助他們撰寫回復(fù)。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎勵模型，需要收集比較數(shù)據(jù)，其中包含兩個或多個按質(zhì)量排序的模型響應(yīng)。為此，我們隨機(jī)選擇了一條模型編寫的信息，對替代結(jié)果進(jìn)行抽樣，并讓訓(xùn)練者對它們進(jìn)行排名。通過使用上述的獎勵模型和用近端策略優(yōu)化來微調(diào)模型，并進(jìn)行了幾次迭代，最后得到了該模型。

機(jī)器學(xué)習(xí) -> CNN、RNN -> Transformer（2017）-> GPT-1（2018） -> GPT-2（2019） -> GPT-3（2020）-> InstructGPT（2022） -> ChatGPT（2022）

• Transformer 的核心是在數(shù)學(xué)上計算輸入元素之間的關(guān)聯(lián)（Attention），基于自我注意力機(jī)制來并行計算，實現(xiàn)自我監(jiān)督學(xué)習(xí)。通過這種模式成功的消除了訓(xùn)練數(shù)據(jù)集的標(biāo)注需求！模型包括三個主要部分：輸入層、中間層和輸出層。通常，輸入層會對輸入序列進(jìn)行編碼，中間層通過注意力機(jī)制來組合信息，而輸出層則根據(jù)組合后的信息生成預(yù)測結(jié)果。
• GPT-1：參數(shù)量達(dá)1億，是一種語言模型，由OpenAI訓(xùn)練，用于預(yù)測下一個單詞，使其能夠生成自然語言文本。它是基于Transformer模型，擁有大量訓(xùn)練數(shù)據(jù)和計算能力，能夠生成高質(zhì)量的文本。算得上一個還算不錯的語言理解工具而非對話式AI。
• GPT-2：參數(shù)量達(dá)15億，學(xué)習(xí)目標(biāo)則使用無監(jiān)督預(yù)訓(xùn)練模型做有監(jiān)督任務(wù)。在性能方面，除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強(qiáng)大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上進(jìn)行角色扮演通通不在話下。
• GPT-3：參數(shù)量達(dá)1750億，作為一個無監(jiān)督模型（自監(jiān)督模型），幾乎可以完成自然語言處理的絕大部分任務(wù)，例如面向問題的搜索、閱讀理解、語義推斷、機(jī)器翻譯、文章生成和自動問答等等。一個無監(jiān)督模型功能多效果好，似乎讓人們看到了通用人工智能的希望。
• InstructGPT：是一個更真實、更無害，更好地遵循用戶意圖的語言模型，經(jīng)過微調(diào)的新版本GPT-3，可以將不真實的、有害的和有偏差的輸出最小化。
• ChatGPT：每走一步，都會觀察人類的反饋，重點(diǎn)是能更好的分析人類的意圖。

Transformer 的三個發(fā)展方向

• BERT（Google）：只使用編碼器
• T5（Google） ：使用編碼器和解碼器
• GPT（OpenAI） ：只使用用解碼器

思考：AI和大模型發(fā)展趨勢

• 強(qiáng)化人類意圖反饋系統(tǒng)
• 大幅提升了意圖判別的一致性
• 能主動的承擔(dān)錯誤和無法回答的問題
• 敢于質(zhì)疑不正確的前提
• 大模型的流行，訓(xùn)練和迭代的成本必然成為普通人可望而不可及的一種存在。

普通人如何不被 OpenAI 取代？

在某些方面強(qiáng)于普通人的，特別是對于重復(fù)性智力勞動，如重復(fù)性寫套話、寫代碼、畫圖?？头ぷ骺梢员淮?/p>

那么怎么不被取代？還是需多學(xué)習(xí)、多主動思考、多實踐、看更多書，做更多有挑戰(zhàn)的事情，在認(rèn)知上避免被取代的關(guān)鍵是不斷學(xué)習(xí)和提高自己的能力，并努力適應(yīng)新的環(huán)境和挑戰(zhàn)。

• 經(jīng)驗?zāi)芰?qiáng)于普通人

ChatGPT，這個能力很適合我這種不太會說 套話的人，在回答一些偏知乎類問題、入學(xué)文檔、運(yùn)營方法等也不在話下，此外對于中文的理解有些突破我的想法。

• 編程能力強(qiáng)于普通人

ChatGPT 除去內(nèi)容能力外，對于簡單的「編程」能力其實也不在話下，比如說如下這個很常用的提取 URL 用 JS 來實現(xiàn)的題目，比如說我讓他畫一個貓

• 寫文章能力強(qiáng)于普通人

OpenAI 除外簡單的編程實現(xiàn)，還發(fā)現(xiàn)了一個寫文章的能力，很適合寫所謂的「論證文」，不過還是感覺還是有些「正規(guī)話術(shù)」，但是在某些場合其實還是很吃香的，比如說如下這種類似于活動安排、論證主題、模版申請啥的還是合適的，居然還可以「教你做菜」。

• 理解能力強(qiáng)于普通人

有一些很日常的問題他也能夠回答得不錯，比如說 Q&A、解釋代碼的意思、幫你修正錯誤的英語語法、甚至通過看你的語句幫你生成 SQL 語句。

• 查找即創(chuàng)造能力強(qiáng)于普通人

DALLE2 AI 畫畫功能讓我慢慢意識到，其實這東西是一個「下一代的智能搜索的雛形」，相當(dāng)于你想要啥，他告訴你，比現(xiàn)在的 google 搜索，更加簡單、高效，可以很方便的為后面類似機(jī)器人的場景做素材語義來源，期待更加產(chǎn)品化。

關(guān)于創(chuàng)意這部分

1. 我不覺得AI可以完全替代人類的創(chuàng)造力，尤其是有些人的價值是AI很難替代的，人類總是充滿意外
2. 很多商用創(chuàng)意可以用AI做，所謂的創(chuàng)意并不是只有獨(dú)創(chuàng)性最重要，效果也是一個很重要的指標(biāo)，所以要借鑒
3. 現(xiàn)在的AI定位雖然還更像助手，但是確實可以代替挺多遇事沒想法的人了，生活里沒想法盲從的人挺多的
4. 按照創(chuàng)造力的其中一種的本質(zhì)來說，理論上AI是可以有很不錯的創(chuàng)意的。就算現(xiàn)階段的AI，如果覺得回答不夠有創(chuàng)意，也可能是prompt的問題，能找到合適的prompt就能激發(fā)出最好的回答

應(yīng)用

• 下一代搜索引擎
• 智能的人工助手
• 能對話的人工伴侶
• 虛擬主播、虛擬人
• 讓GPT去總結(jié)論文內(nèi)容

ChatGPT商業(yè)用例

lensa：使用了Stable Diffution創(chuàng)建魔幻頭像，滿足一個需求點(diǎn)

copy.AI：人工智能文案寫作工具

Perplexity.AI：智能搜索引擎，生成總結(jié)式內(nèi)容

Sitekick.AI：登陸頁制作工具

SEO 優(yōu)化工具：生成多篇包含要推廣的信息的文章

縮略圖工具：Curvo，通過文字描述生成對應(yīng)的圖片

價值信息獲取渠道：創(chuàng)建一個表格包含需要的信息

Ai創(chuàng)建每日報道：運(yùn)營社交媒體

OpenAI公司介紹

OpenAI是什么

OpenAI主要關(guān)注的重點(diǎn)是創(chuàng)造AGI（通用人工智能）并確保AGI造福人類。保持合作的意愿，避免競爭。OpenAI會將其研究的內(nèi)容進(jìn)行開源分享，讓更多的人擁有和使用AI，以將最大限度地造福全人類的方式，發(fā)展人工智能。

OpenAI在做什么

三個研究方向分別是:

• 訓(xùn)練生成模型算法，可以理解為深度生成模型
• 從數(shù)據(jù)中推斷算法的算法，即神經(jīng)圖靈機(jī)
• 強(qiáng)化學(xué)習(xí)方法，可以理解為深度增強(qiáng)學(xué)習(xí)。

OpenAI與微軟的合作

• Power Apps：低代碼工具，描述需求生成對應(yīng)的查詢
• GitHub Copilot：輔助編程工具，底層為CodeX，用開源代碼訓(xùn)練出來的GPT衍生模型，可以根據(jù)用戶的指令來寫代碼。
• 未來計劃將ChatGPT整合到必應(yīng)(Bing)搜索引擎和微軟設(shè)計應(yīng)用中。目前ChatGPT的模型數(shù)據(jù)時效性在2021年前，且準(zhǔn)確性方面有些低級錯誤。

OpenAI公司大事表

• 2015 年 12 月，Elon Musk、Sam Altman 和其他投資者宣布成立 OpenAI。總部位于美國加州舊金山，OpenAI 旨在確保通用人工智能造福全人類。
• 2016 年 4 月 27 日，OpenAI 發(fā)布了其強(qiáng)化學(xué)習(xí)研究平臺“OpenAI Gym”的公測版。
• 2016 年 12 月 5 日，OpenAI 發(fā)布了“Universe”，這是一個軟件平臺，用于測量和訓(xùn)練人工智能在全球游戲、網(wǎng)站和其他應(yīng)用程序中的通用智能。
• 2018 年 2 月 21 日，馬斯克辭去了董事會席位
• 2019 年，OpenAI 從非營利性轉(zhuǎn)變?yōu)椤坝猩舷蕖钡臓I利性。 該公司將股權(quán)分配給其員工，并與微軟公司合作，后者宣布向該公司投資 10 億美元。 OpenAI 隨后宣布打算對其技術(shù)進(jìn)行商業(yè)許可，微軟是其首選合作伙伴。
• 2019年7月22日，微軟投資OpenAI 10億美元，雙方將攜手合作替Azure云端平臺服務(wù)開發(fā)人工智能技術(shù)。
• 2020 年 6 月，OpenAI 發(fā)布了 GPT-3，這是一種基于互聯(lián)網(wǎng)上數(shù)萬億個單詞訓(xùn)練的語言模型。 微軟于2020年9月22日取得GPT-3獨(dú)家授權(quán)。
• 2021 年 1 月，OpenAI 推出了 DALL-E。 一年后，他們的最新系統(tǒng) DALL·E 2 以 4 倍的分辨率生成更逼真、更準(zhǔn)確的圖像。
• 2022年11月30日，OpenAI發(fā)布了一個名為ChatGPT的自然語言生成式模型，它以對話方式進(jìn)行交互。
• 2023年1月5日，OpenAI正在談判以收購要約的形式出售現(xiàn)有股份，交易對該公司的估值達(dá)到290億美元左右，使其在沒有什么收入的情況下成為賬面上最值錢的美國初創(chuàng)公司之一。
• 2023年1月10日，微軟正考慮對OpenAI進(jìn)行100億美元的投資；OpenAI是爆紅的ChatGPT聊天機(jī)器人的創(chuàng)造者。微軟此前已經(jīng)在2019年向OpenAI投資了10億美元，目前正嘗試在其必應(yīng)(Bing)搜索引擎和微軟設(shè)計應(yīng)用中執(zhí)行這款人工智能軟件。
• 2023年2月1日，OpenAI公司宣布，新的訂閱服務(wù)名為ChatGPT Plus，月費(fèi)為20美元。訂閱包括在高峰使用時間訪問聊天機(jī)器人。新的訂閱計劃將在未來幾周內(nèi)首先在美國推出，然后擴(kuò)展到其他國家。

Google的動作

ChatGPT推出2個月用戶破億，成為了史上用戶增長最快的應(yīng)用。

Google怕ChatGPT侵蝕Google搜索引擎的占有率，決定推出Bard。

Bard：基于大模型LaMDA，現(xiàn)在還只提供給合作者測試，然后全員內(nèi)部試用，然后再放出來。

下一代搜索引擎雛形：

• 利用一些積累的模型，要把多模態(tài)對話做起來。
• Google一些模型積累：LaMDA、PaLM、Imagen、MusicLM

生成式AI的前世今生

一些前世今生

從爆火的 ChatGPT 講起：它的前世今生和你想了解的一切

顧名思義，ChatGPT就是「聊天 GPT」，以對話的方式交互，用戶問問題，它來回答。

ChatGPT 誕生的重要意義恐怕不亞于 Stable Diffusion 等 AI 繪畫生成模型的出現(xiàn)。

ChatGPT 是 OpenAI 的 GPT 自然語言生成式模型的最新衍生品。在這之前，坊間已經(jīng)傳聞 OpenAI 的下一代自然語言生成模型 GPT4 即將出現(xiàn)。而且，有一個讓人震驚的江湖傳言：GPT4 據(jù)稱通過了圖靈測試！

圖靈測試：就是隔著一個小黑屋問各種話題，然后是否能分辨小黑屋里回答問題的究竟是機(jī)器還是人類。如果無法辨別，就就說明了機(jī)器具有和人一樣等級的智能，通過了圖靈測試。迄今為止，還沒有 AI 模型能真正通過圖靈測試。

• 2006 年，杰弗里·辛頓（Geoffrey Hinton）在 science 期刊上發(fā)表了重要的論文，提出深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBNs）,「深度學(xué)習(xí)】正式誕生
• 李飛飛以堅韌不拔的大無畏精神推動完成了一個超大規(guī)模的開源圖片標(biāo)注數(shù)據(jù)庫，這就是著名的 ImageNet 項目。在 2009 年正式發(fā)布時，ImageNet 有超過 1000 萬數(shù)據(jù)，兩萬多個類別。
• 2010 年開始，Image Net 大規(guī)模視覺識別挑戰(zhàn)賽（ILSVCR）開始舉辦，全世界圖像領(lǐng)域深度學(xué)習(xí)的專家們同臺競技和交流，從此拉開了計算機(jī)視覺的新篇章。
• 本文主要是關(guān)注自然語言大模型的前世今生的，而 ImageNet 完全是圖像領(lǐng)域的工作。但是，ImageNet 的出現(xiàn)和發(fā)展給了自然語言 AI 模型研究一個很重要的啟發(fā)。這就是圖像領(lǐng)域深度學(xué)習(xí)的預(yù)訓(xùn)練概念。
• 要調(diào)整深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型里那成千萬的參數(shù)量，如果訓(xùn)練數(shù)據(jù)少了，肯定很難調(diào)整到位啊。這就好比一個內(nèi)部齒輪復(fù)雜精密的新機(jī)器，如果只稍微動一下，內(nèi)部能牽扯到的齒輪機(jī)構(gòu)說不定都很少，達(dá)不到磨合的目的；只有大規(guī)模長時間運(yùn)轉(zhuǎn)起來，內(nèi)部的齒輪才能全速轉(zhuǎn)起來，互相磨合好。
• 首先呢，自然語言處理的研究里，有個基本概念叫做「語言模型】，大致理解起來也簡單，就是想辦法打造一個核心函數(shù) P，這個函數(shù)通過一個句子里前面的所有單詞來計算下一個單詞的概率大小。一句話里的單詞總是順序出現(xiàn)的，每個單詞都可以通過前面所有單詞計算出這么一個概率，把所有這些單詞的概率乘起來，總概率數(shù)值越大，說明這越像是人說出的話。
• 神經(jīng)網(wǎng)絡(luò)語言模型 NNLM：可以用神經(jīng)網(wǎng)絡(luò)來打造這樣一個語言模型呢？就是說用很多的現(xiàn)成語料，來訓(xùn)練出一個神經(jīng)網(wǎng)絡(luò)，然后給這個神經(jīng)網(wǎng)絡(luò)模型輸入一句話的前面幾個詞，這個模型就能計算出這句話的下一個單詞?！干墒健沟倪壿嫛?/li>
• 在 2013 年，AI 研究人員倒騰了一個自然語言處理的處理模型 Word2Vec。顧名思義，「Word2Vec」就是「word to vector，從詞到向量」。分析式的 AI，研究人員的目標(biāo)是把一個單詞變成一個數(shù)學(xué)向量，這個數(shù)學(xué)量在 NLP 里有個專門的名詞，叫做Word Embedding（詞嵌入）。
• NNLM 和 Word2Vec 使用了類似的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不過因為目的不同，其訓(xùn)練方法理念是截然不同的。NNLM 作為語言模型，是要看到上文預(yù)測下文，所以訓(xùn)練時輸入的是句子上文單詞；而 Word2Vec 呢？因為它的目標(biāo)是要找出所有單詞之間意義遠(yuǎn)近的數(shù)學(xué)關(guān)系，所以訓(xùn)練時都使用句子上文和下文作為輸入。
• 兩種模型訓(xùn)練的思路，在后續(xù)發(fā)展里變成了自然語言模型的兩種路線。本文開頭提到的 OpenAI 生成式模型 GPT 系列，堅定的只用上文進(jìn)行訓(xùn)練，用以追求「純粹」的生成；而 Google 公司的大語言模型 Bert，則采用了上文和下文一起訓(xùn)練的模式，此乃后話。語言大模型 BERT 的架構(gòu)和 OpenAI GPT 其實非常像，但有一個簡單而本質(zhì)的區(qū)別，在訓(xùn)練階段，Google BERT 輸入上文和下文來訓(xùn)練，OpenAI GPT 系列一直堅持只輸入上文訓(xùn)練，而結(jié)果就是，Google BERT 在體現(xiàn) AI 分析能力的各種閱讀理解等問題上，都表現(xiàn)上佳；而 OpenAI GPT 術(shù)業(yè)有專攻，在生成式 AI（比如回答各種問題、創(chuàng)造各種文字內(nèi)容）一騎絕塵。
• 到 2018 年，圖像處理領(lǐng)域里使用大規(guī)模通用數(shù)據(jù)進(jìn)行「預(yù)訓(xùn)練」所取得的效率和成果實在讓人羨慕，而在自然語言處理領(lǐng)域里，其實也有一點(diǎn)點(diǎn)「預(yù)訓(xùn)練」概念的，這個預(yù)訓(xùn)練就是，每個單詞的 WordEmbedding 可以反過來初始化神經(jīng)網(wǎng)絡(luò)的內(nèi)部參數(shù)。利用 WordEmbedding 只能初始化第一層網(wǎng)絡(luò)參數(shù)，和圖像處理領(lǐng)域的預(yù)訓(xùn)練能有效初始化大多數(shù)網(wǎng)絡(luò)層級不可同日而語。采用 WordEmbedding 來初始化 NLP 神經(jīng)網(wǎng)絡(luò)有那么點(diǎn)效果，但沒有期待的那么好。這里面還有一個邏輯上的原因：一個單詞有多義詞問題。所以企圖在一個數(shù)學(xué)空間里用一個固定的數(shù)學(xué)向量來表征一個單詞的意義，還要求含義相近的單詞都聚在一起。在面對多義詞的時候，這在邏輯上顯然就是矛盾的。
• 「預(yù)訓(xùn)練」為什么是一個特別重要的概念？這是因為好的「預(yù)訓(xùn)練」可以直接利用大量標(biāo)準(zhǔn)通用的的訓(xùn)練數(shù)據(jù)（圖像領(lǐng)域就是圖片，NLP 領(lǐng)域就是語料）,把深度學(xué)習(xí)模型調(diào)整到了 90% 甚至更高程度的可用狀態(tài)，預(yù)訓(xùn)練好的模型最后通過任務(wù)相關(guān)的少量訓(xùn)練數(shù)據(jù)，就能微調(diào)至完全勝任各種特定任務(wù)，這真是一個很美妙的事情。
• 既然一個單詞存在多義性，固定的 WordEmbedding 向量無法表達(dá)單詞的多個含義，那么是不是可以先訓(xùn)練好一個單詞的 WordEmbedding，然后在實際使用中，根據(jù)句子里的上下文語義去動態(tài)調(diào)整這個 WordEmbedding 數(shù)值，這樣經(jīng)過調(diào)整后的「動態(tài) WordEmbedding」更能準(zhǔn)確表達(dá)單詞在上下文的具體含義，同時自然的，解決了多義詞的問題。這個根據(jù)當(dāng)前上下文來動態(tài)調(diào)整 WordEmbedding 的想法就是頂級學(xué)術(shù)會議 NAACL 2018 年的最佳論文《Deep contextualized wordrepresentation》，這個 NLP 模型命名為 ELMO (Embedding from Language Models, 基于語言模型的詞嵌入)。ELMO 引入上下文動態(tài)調(diào)整單詞 WordEmbedding 后，多義詞問題就被徹底解決了，而且比預(yù)期的解決得還好：利用 ELMO 改進(jìn)過的多種不同 NLP 任務(wù)，性能上都有幅度不同的提升，最高達(dá)到了 25%，不愧是最佳論文。此外，ELMO 還有一個貢獻(xiàn)，研究人員發(fā)現(xiàn) ELMO 所使用的深度神經(jīng)網(wǎng)絡(luò)模型里，不同層次提取到的特征是有差異的?？吹竭@里，讀者想起了什么沒有？是不是和圖像預(yù)訓(xùn)練的模型層級特征有點(diǎn)像了？
• ELMO 模型在抽取文字特征方面還比較弱，這是一個技術(shù)上的缺陷，意味著這個模型就無法很好完成 NLP 的「預(yù)訓(xùn)練」夢想：特征都抽取不好，怎么讓網(wǎng)絡(luò)里每一層具體表達(dá)不同邏輯層級的特征呢...而從技術(shù)細(xì)節(jié)上對比，也會發(fā)現(xiàn) ELMO 這種「預(yù)訓(xùn)練」方法和圖像領(lǐng)域的預(yù)訓(xùn)練方法，兩者在模式上還有很大差異。
• 提取出文字的特征，就類似圖像處理領(lǐng)域的神經(jīng)網(wǎng)絡(luò)模型，能很好的提取圖像不同邏輯層面的特征。恰就在時間剛好的 2017 年底，Google 研究人員發(fā)表了一篇里程碑式的論文，這一篇論文提出的「自我注意力」機(jī)制讓自然語言處理揭開了嶄新的篇章。2017 年 12 月，Google 在頂級機(jī)器學(xué)習(xí)會議 NIPS 上發(fā)表了論文《Attention is all you need》，提出在機(jī)器翻譯上大量使用自注意力（Self Attention）機(jī)制來學(xué)習(xí)文本表示，并把這種機(jī)制模型起了個霸氣的名字：Transformer。
• 這篇論文一經(jīng)出世就橫掃了整個自然語言處理學(xué)術(shù)界，Transformer 迅速的取代了深度學(xué)習(xí)里傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）成為了之后的大語言模型的標(biāo)準(zhǔn)配置。Transformer 是目前 NLP 領(lǐng)域里最強(qiáng)的特征提取器，本質(zhì)上 Transformer 是一個疊加的'「自注意力機(jī)制」構(gòu)成的深度網(wǎng)絡(luò)。包括我們現(xiàn)在所知道的 OpenAI GPT 系列模型，以及 Google BERT 系列模型，都受到了這篇文章的啟發(fā)采用了部分 Transformer 的架構(gòu)，從而取得了突破性的效果。
• 什么是注意力機(jī)制？深度學(xué)習(xí)里的注意力機(jī)制其實是一種思想，參考借鑒了人類的注意力思維方式。視覺注意力機(jī)制是人類視覺所特有的大腦信號處理機(jī)制，我們的眼睛會快速掃描全局圖像，得到需要重點(diǎn)關(guān)注的區(qū)域，就是所謂的注意力焦點(diǎn)后，再進(jìn)一步對相關(guān)區(qū)域投入更多的關(guān)注。這是人類在長期進(jìn)化中獲得的一種生存機(jī)制，極大提高了人類信息處理的效率和準(zhǔn)確性。深度學(xué)習(xí)的注意力機(jī)制在概念上參照了人類的視覺注意力機(jī)制，核心目標(biāo)就是從眾多信息里選擇出對當(dāng)前任務(wù)更重要和關(guān)鍵的信息。具體到 NLP 自然語言處理領(lǐng)域里，在之前，注意力機(jī)制一般是指輸出句子里某個詞和輸入句子每個詞之間的相似度。這也很好理解，就是去尋求問題（輸入）和答案（輸出）之間的關(guān)系么。但 Google 這篇的特別之處，是明確指出了，我們其實不需要先考慮輸入和輸出的關(guān)系啊，為什么不參考人類理解語言的方式，首先「學(xué)習(xí)」一句話內(nèi)部單詞之間的關(guān)系呢？這就是所謂的「Self Attention 自注意力機(jī)制」：指的是輸入元素之間，或者輸出元素之間的內(nèi)在聯(lián)系機(jī)制。
• Self Attention 自注意力機(jī)制尋找到了一個句子里單詞之間的語義特征,在邏輯意義上非常清晰，它讓機(jī)器去理解人類語言每句話里單詞之間的語義關(guān)系。除了邏輯上看起來更有道理，Self Attention 自注意力機(jī)制還附帶了一個很大的好處：因為網(wǎng)絡(luò)層面拋棄了傳統(tǒng)的 RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）模型，徹底規(guī)避了 RNN 不能很好并行計算的困擾，極大提高了模型并行訓(xùn)練計算的效率。更不用說，Self Attention 自注意力機(jī)制只關(guān)注部分信息，參數(shù)較少，容易訓(xùn)練。
• 基于自我注意力機(jī)制的 Transformer 模型的出現(xiàn)是革命性的，最最重要的一點(diǎn)，它能實現(xiàn)自我監(jiān)督學(xué)習(xí)。所謂自我監(jiān)督，就是不需要標(biāo)注的樣本，使用標(biāo)準(zhǔn)的語料或者圖像，模型就能學(xué)習(xí)了。在 Tranformer 出現(xiàn)之前，我們要訓(xùn)練一個深度學(xué)習(xí)模型，必須使用大規(guī)模的標(biāo)記好的數(shù)據(jù)集合來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。對數(shù)據(jù)進(jìn)行標(biāo)注只能人工進(jìn)行，金錢和時間成本都相當(dāng)高。同樣對于 AI 繪畫至關(guān)重要的跨模態(tài)模型 CLIP 之所以成功，是因為它使用了互聯(lián)網(wǎng)已經(jīng)帶文字標(biāo)記的圖片作為訓(xùn)練數(shù)據(jù)，巧妙規(guī)避了超大規(guī)模數(shù)據(jù)標(biāo)記的難題。
• Transformer 的核心是在數(shù)學(xué)上計算輸入元素之間的關(guān)聯(lián)（Attention），通過這種模式，Transformer 成功的消除了訓(xùn)練數(shù)據(jù)集的標(biāo)注需求！這簡直是感天動地，我們可以想象一下，從今以后，互聯(lián)網(wǎng)上或者企業(yè)數(shù)據(jù)庫里海量的文本數(shù)據(jù)都能直接成為大模型的訓(xùn)練數(shù)據(jù)源了。Transformer 使自我監(jiān)督學(xué)習(xí)成為可能，并無需人類標(biāo)記數(shù)據(jù)，AI 領(lǐng)域出現(xiàn)了「驚人的進(jìn)展」。因此，Transformer 正在越來越多的領(lǐng)域中發(fā)揮作用。比如用于語言理解的 Google BERT，用于藥物發(fā)現(xiàn)的 NVIDIA Mega Mol BART 以及 Deep Mind 的 Alpha Fold 2 都要追溯到 Transformer 的突破。不夸張的說，Transformer 是迄今為止發(fā)明的最強(qiáng)大的模型之一。斯坦福研究人員在 2021 年 8 月的一篇論文把 tranformer 稱之為「基礎(chǔ)模型」（Foundation model），認(rèn)為它推動了 AI 整個范式的轉(zhuǎn)變。
• GPT 全稱是「Generative Pre-Training」，直譯過來就是「生成式的預(yù)訓(xùn)練」。如前文所說，OpenAI 對 GPT 的生成式 AI 有堅定的信念，因此在訓(xùn)練模型的時候，只選用「上文」來訓(xùn)練模型，也就是說，GPT 本質(zhì)上是一個極致的概率模型，它根據(jù)上文提示，來猜測下一個單詞應(yīng)該是什么。這個堅持雖然在一開始 GPT1 和 GPT2 時代讓其輸出效果稍遜于同期 Google 的語言大模型 BERT，但到了 GPT3 時期，在超級規(guī)模網(wǎng)絡(luò)參數(shù)的加持下，GPT 這個 100% 純粹的生成式 AI 終于迸發(fā)出耀眼的光芒，模型輸出效果甚至大幅超越了研究人員的預(yù)期。盡管沒有實證，但筆者很傾向認(rèn)為 GPT3 的極大成功和 OpenAI 堅定不移的只用上文來訓(xùn)練模型有著某種必然的關(guān)系，人的語言溝通也從來都是按順序表達(dá)的，沒有誰先把一句話的最后一個詞說完才回頭考慮上一個詞。從這點(diǎn)來看，GPT 系列模型順應(yīng)了人類思考的邏輯，最終由量變推動了質(zhì)變。終于，借助了 Transformer，GPT 這樣的超大規(guī)模語言模型（GPT-3 有 1750 億個參數(shù)）在不需要標(biāo)記數(shù)據(jù)的情況下，可以借助現(xiàn)成的海量標(biāo)準(zhǔn)數(shù)據(jù)以及超級算力，得到通用的「預(yù)訓(xùn)練」版本模型。
• 有了預(yù)訓(xùn)練好的模型版本后，GPT 怎么能以適應(yīng)各種各樣的特定任務(wù)（或者專業(yè)一點(diǎn)，「下游任務(wù)」)呢？GPT 論文里給出了簡單的改造施工圖，附在這里讀者們有點(diǎn)直觀感性感知即可?？傊ㄟ^簡單的改造操作，GPT 就能很好適應(yīng)不同的任務(wù)。只需要在輸入部分調(diào)整一下就可以了，非常方便?；蛟S正是因為改造特別方便，OpenAI 的研究人員才能在 GPT3.5 版之上改造出一個問答專用的 ChatGPT。雖然還不是基于大殺器 GPT4.0，但 ChatGPT 所展現(xiàn)出的超強(qiáng)內(nèi)容生成能力，在這幾天已經(jīng)在大眾用戶群體里刮起了超級旋風(fēng)。
• 從 GPT3 到 ChatGPT，進(jìn)化繼續(xù)（自然語言的生成式 AI ）
• ChatGPT 是基于 GPT-3.5 模型的魔改。GPT-3.5 和 3.0 的區(qū)別呢，首先是和微軟合作，在微軟的 AzureAI 云服務(wù)器上完成了訓(xùn)練；另一個重要的區(qū)別是其訓(xùn)練數(shù)據(jù)集里除了文字，還加入了代碼，因此 ChatGPT 現(xiàn)在已經(jīng)可以寫程序,甚至給現(xiàn)成的代碼找 bug 了。為什么試用過 ChatGPT 的同學(xué)都感覺提升很明顯？一個重要的原因是 ChatGPT 引入了一個新的訓(xùn)練方法 RLHF（論文《Training language models to follow instructions with human feedback》，發(fā)表于22年3月），簡單的說，就是用人類反饋的方式加強(qiáng)訓(xùn)練。其實就是在 GPT3 的大數(shù)據(jù)預(yù)訓(xùn)練之下，再次加強(qiáng)了人類的反饋。前面基于 Transformer 的通用大數(shù)據(jù)無監(jiān)督訓(xùn)練模式把自然語言的自動學(xué)習(xí)做到了某種極致，而這個 RLHF 又重新?lián)炱鹆恕甘謩訖n」人類反饋機(jī)制，貌似有一點(diǎn)返璞歸真的感覺。仿佛是武功高手練至化境之后，又重新拿起了最早的野球拳，一招使出了無與倫比的超越功力:)ChatGPT 的試用版在 OpenAI 的 RLHF 論文發(fā)出半年之后剛剛推出
• 確?；卮鹩行裕篊hatGPT 還有一個很重要的特點(diǎn)，就是針對輸出有效性上做了非常好的調(diào)整。使用過 ChatGPT 的同學(xué)一定能感覺到，ChatGPT 并非每一個問題都能回答詳盡，但它絕對沒有胡說八道，ChatGPT 的回答和真實世界的情況是相當(dāng)一致的。做到這點(diǎn)很不容易，也是 ChatGPT 和之前容易亂說一氣的問答 AI 模型前輩最大的不同。
• 確?；卮鹩行酝瑯又档藐P(guān)注的改進(jìn)是，ChatGPT 在道德約束上做得很出色。如果我們?nèi)ピ儐栆恍┯庠搅说赖逻吔绲膯栴}，或者一些特別敏感的問題，ChatGPT 基本都能察覺和回避。這讓我們想起了 AI 繪畫大模型最讓人詬病的地方，那就是通過 AI 生成 18+ 圖片，盡管這不是一個技術(shù)問題，但對于一個智能內(nèi)容生成平臺，我們顯然要有方法管理好內(nèi)容的質(zhì)量，以及內(nèi)容的道德邊界。在這一點(diǎn)上，ChatGPT 帶了一個好頭。
• ChatGPT 還是有很多需要改進(jìn)的地方。但無論如何，ChatGPT 已經(jīng)展示給我們所有人，自然語言生成式 AI 所能達(dá)到的全新高度。特別憧憬 GPT4.0 的 ChatGPT 改版.如果如傳說那般，GPT4.0 已然突破了圖靈測試，筆者對基于 4.0 版本的 ChatGPT 抱有無限的期待。

后記

如果能耐著性子讀到這里，讀者應(yīng)該自然語言的生成式 AI 的前世今生有了一點(diǎn)概念。

回過頭來再問一次，對于「預(yù)訓(xùn)練」這個深度模型里的重要概念。讀者有沒有想過，預(yù)訓(xùn)練到底是什么？

對，具體而言，預(yù)訓(xùn)練就是在幾千億參數(shù)的支持下，類似 GPT 這樣的超級模型灌入了難以計量的文本訓(xùn)練數(shù)據(jù)（說不定已經(jīng)把全世界可以搜刮到的文本都拿來用了）來訓(xùn)練得到了一個通用大語言模型。

不過,在更高的一個角度去暢想，當(dāng)我們把全世界的文字信息直接灌進(jìn)擁有數(shù)千億參數(shù)的 AI 模型里，模型在網(wǎng)絡(luò)的各個層級上抽取和記憶這些文字里的特征信息。那么，GPT 這樣的超級模型實際上就在通過所謂預(yù)訓(xùn)練方式，學(xué)習(xí)到了人類所有文字信息的全部特征，直接把人類的語言智慧記在了自己幾千億量級的神經(jīng)網(wǎng)絡(luò)大腦里。

做到了這種程度，真的就像是我們用人類的全部知識體系來培養(yǎng)出了一個超級強(qiáng)大的機(jī)器大腦，這個大腦通過它超大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)規(guī)模接納學(xué)習(xí)了人類創(chuàng)造的所有內(nèi)容。進(jìn)而，針對人類的任意問，AI 可以做出連圖靈測試都無法區(qū)分的真正智能回答。

人類已經(jīng)馬上無法分辨，在小黑屋后面，那究竟是一個人還是一個 AI 了。

這一天來得比想象更快。

一個能容納和理解人類全部文字知識，并做出真正智能回答的 AI，我們是不是可以簡單認(rèn)為：

今天，真正的機(jī)器智能，已然誕生。