你以為ChatGPT真的聽(tīng)懂了你的話嗎？

本文就從ChatGPT的學(xué)習(xí)機(jī)制來(lái)解答這個(gè)問(wèn)題。

需要chat賬號(hào)可家薇芯：chatgpt_999

1/6、多年以后……

多年以后，面對(duì)長(zhǎng)長(zhǎng)的領(lǐng)失業(yè)救濟(jì)金隊(duì)伍，人們將會(huì)回想起2022年12月，不是因?yàn)榇蟾腥?，而是初次體驗(yàn)ChatGPT。那時(shí)，人們感受到的，還不是舊世界的行將崩塌，而是對(duì)新世界到來(lái)的驚嘆。

請(qǐng)?jiān)试S我用這樣一個(gè)爛俗的開(kāi)頭，因?yàn)榇蟛糠秩丝赡芏嫉凸懒薈hatGPT對(duì)未來(lái)生活的改變，以為不過(guò)是一個(gè)更智能的搜索引擎，只有這句話才是最恰當(dāng)?shù)谋磉_(dá)。

當(dāng)然，如果覺(jué)得太悲觀，或者機(jī)器代替人類(lèi)的思路太俗套，我們也可以給自己的晚年換一個(gè)喜劇的結(jié)局：

多年以后，面對(duì)不需要上班就能領(lǐng)到工資的銀行卡，人們將會(huì)回想起2022年12月……

ChatGPT對(duì)于人類(lèi)到底是悲劇還是喜劇，并不取決于技術(shù)本身，而在于我們每一個(gè)人如何對(duì)待它，但毫無(wú)疑問(wèn)的是，這將是人工智能誕生以來(lái)，人類(lèi)的工作第一次真正接近被大規(guī)模替代的時(shí)點(diǎn)——不是部分工作被替代，而是大規(guī)模被替代的開(kāi)始。

為了消除這種深深的恐懼，我很想知道ChatGPT到底是如何學(xué)習(xí)的，于是花了幾天時(shí)間看了一些技術(shù)資料，大致理解了機(jī)器學(xué)習(xí)的過(guò)程。

沒(méi)想到恐懼沒(méi)有消除，反而多了幾份敬意，敬意是送給ChatGPT算法的設(shè)計(jì)者，這真是一個(gè)天才的想法，而恐懼是我再次確信，不是少數(shù)專(zhuān)業(yè)工作者被替代，而是大量的普通白領(lǐng)。

這一篇文章，我想從ChatGPT的底層邏輯——“學(xué)習(xí)方法”入手 ，談?wù)勎覟槭裁催@么認(rèn)為。

不過(guò)，在介紹核心內(nèi)容之前，我先簡(jiǎn)單談一談ChatGPT跟以前的AI有什么根本的不同。

2/6、決策式AI和生成式AI

我們比較熟悉的AI已經(jīng)成功應(yīng)用的領(lǐng)域，包括人臉識(shí)別，自動(dòng)駕駛、精準(zhǔn)廣告推送、風(fēng)險(xiǎn)評(píng)級(jí)，這些領(lǐng)域都有一個(gè)共同點(diǎn)——判斷與決策，所以稱(chēng)之為“決策式AI（Discriminant Model）”.

而ChatGPT應(yīng)用的是另一個(gè)領(lǐng)域：生成式AI，首先要理解文本的要求，判斷自己的任務(wù)，檢索相關(guān)的內(nèi)容。這些跟決策式AI并沒(méi)有什么不同，只是ChatGPT多了一步，它還要生成全新的內(nèi)容，需要預(yù)測(cè)對(duì)方的理解偏好，將回復(fù)內(nèi)容變成流暢的文本或有意義的圖片、視頻。

決策式AI使用的是“條件概率”，一件事發(fā)生后，另一件事發(fā)生的概率，對(duì)于某些特定的場(chǎng)景，即使是最復(fù)雜的自動(dòng)駕駛，輸出的決策數(shù)量也是有限的；

而生成式AI更多使用“聯(lián)合概率”，即兩件事同時(shí)發(fā)生的概率，以此將各種文字或圖像視頻元素組合在一起，進(jìn)行模仿式創(chuàng)作、縫合式創(chuàng)作。

比如說(shuō)，要表達(dá)“70%相信”的意義，系統(tǒng)需要對(duì)“非?！?、“極度”、“幾乎”、“認(rèn)可”、“同意”、“信任”、“信仰”這些詞不同組合后的概率排序進(jìn)行判斷。

所以，相對(duì)決策式AI使用在有限的固定場(chǎng)景而言，生成式AI的應(yīng)用范圍寬廣的多，未來(lái)的想象空間也更大，GPT需要調(diào)用上千億個(gè)參數(shù)，海量算力的支持。

所以2022年以前，生成式AI看上去很笨，更多是輔助我們做一些內(nèi)容，比如根據(jù)文字轉(zhuǎn)語(yǔ)音，語(yǔ)音轉(zhuǎn)文字。圖像層面，大家最熟悉的是各種美顏神器，還有自動(dòng)摳圖、換臉等圖像智能編輯、視頻智能剪輯。

但2018年GPT這個(gè)革命性的算法誕生之后，經(jīng)過(guò)GPT-1、GPT-2、GPT-3三代進(jìn)化，生成式AI終于進(jìn)入“專(zhuān)業(yè)化、個(gè)性化定制內(nèi)容終稿”階段，達(dá)到替代部分專(zhuān)業(yè)內(nèi)容生產(chǎn)者的目標(biāo)。

GPT是如何實(shí)現(xiàn)這一偉大的進(jìn)化的呢？下面我把這個(gè)機(jī)器學(xué)習(xí)的過(guò)程，盡可能用非專(zhuān)業(yè)術(shù)語(yǔ)描述出來(lái)。

3/6、ChatGPT是如何學(xué)習(xí)的？

生成式AI的難度，在于對(duì)人類(lèi)語(yǔ)言的理解，人類(lèi)語(yǔ)言含糊、復(fù)雜、多義，還有大量象征、隱喻和聯(lián)想，如何讓使用0和1的機(jī)器理解呢？

ChatGPT之所以效果驚艷，在于它充分吸取了之前機(jī)器學(xué)習(xí)算法的經(jīng)驗(yàn)，又有自己的創(chuàng)新之處，整個(gè)過(guò)程分為三步：

第一步：冷啟動(dòng)監(jiān)督策略模型（SFT）

這一步的目的是讓系統(tǒng)建立大量人類(lèi)語(yǔ)言的理解模型，訓(xùn)練方法就是讓AI做“填空題”和“選擇題”，比如：

老王在家里燒菜，發(fā)現(xiàn)沒(méi)鹽了，他出門(mén)向小李借了一點(diǎn)鹽，小李最可能是？

A、鄰居； B、供應(yīng)商； C、兒子

（這一部分的例子都是我隨便舉的）

這些訓(xùn)練題來(lái)自使用OpenAI的試用用戶的真實(shí)內(nèi)容，然后雇傭大量“標(biāo)注工”對(duì)這些內(nèi)容“出題”，并給出答案。

做了大概1.5萬(wàn)條題目后，機(jī)器漸漸學(xué)會(huì)了預(yù)測(cè)問(wèn)題的意圖，準(zhǔn)確率也越來(lái)越高，最后形成各種語(yǔ)言策略（SFT）。

當(dāng)然，這一步訓(xùn)練得到的只是初步的模型，誰(shuí)也不知道系統(tǒng)到底理解了些什么，輸出的內(nèi)容也就不可靠。國(guó)內(nèi)大部分機(jī)器人客服大概就到這一步，且只針對(duì)有限的數(shù)據(jù)庫(kù)的內(nèi)容，常?？梢钥吹轿牟粚?duì)題的弱智回答，說(shuō)明機(jī)器并沒(méi)有真正理解人類(lèi)的意圖。

更常見(jiàn)的問(wèn)題，一旦離開(kāi)了專(zhuān)業(yè)的數(shù)據(jù)，系統(tǒng)就會(huì)出現(xiàn)大量的“反人類(lèi)”的表達(dá)方式，最典型的是自動(dòng)翻譯的很多結(jié)果。

想要讓系統(tǒng)知道如何“有話好好說(shuō)”，需要它理解人類(lèi)各種情景下的表達(dá)偏好，這就是“獎(jiǎng)勵(lì)模型”——

第二階段：訓(xùn)練獎(jiǎng)勵(lì)模型（RM）

接下來(lái)進(jìn)入真正的人工反饋的強(qiáng)化學(xué)習(xí)，這一步是讓模型的輸出內(nèi)容和人類(lèi)習(xí)慣的輸出內(nèi)容進(jìn)行比對(duì)打分，讓系統(tǒng)學(xué)會(huì)像人類(lèi)一樣表達(dá)各種微妙的意思。

這一步的具體做法，先讓系統(tǒng)自行生成幾個(gè)答案，再讓“標(biāo)注工”對(duì)這些答案的質(zhì)量進(jìn)行排序，比如：

問(wèn)題：情人節(jié)有人約你，你不喜歡他，怎么拒絕更委婉？

系統(tǒng)通過(guò)之前的學(xué)習(xí)，給出了三個(gè)答案：A、謝謝，今晚我有約了；B、你是個(gè)好人，但不適合我；C、太不巧了，我今天要加班。

“標(biāo)注工”對(duì)這些答案的質(zhì)量進(jìn)行排序：C>A>B，這些排序最終形成一個(gè)對(duì)答案優(yōu)劣打分的獎(jiǎng)勵(lì)模型（RM），讓系統(tǒng)越來(lái)越能預(yù)測(cè)人類(lèi)的表達(dá)方式。

如果拿小朋友學(xué)習(xí)語(yǔ)言來(lái)比喻，第一步就像做填空、選擇類(lèi)客觀題，最終成果是讓系統(tǒng)可以自動(dòng)生成一些完整有意義的文本；第二步就是做主觀題，只不過(guò)要求給出幾個(gè)答案，批卷老師負(fù)責(zé)對(duì)幾個(gè)答案進(jìn)行排序，讓系統(tǒng)知道什么樣的文本更符合人類(lèi)喜好。

這兩步都需要大量人工標(biāo)注，而這兩步結(jié)合起來(lái)的第三步，要脫離“人類(lèi)老師”由機(jī)器自動(dòng)檢查自己的學(xué)習(xí)成果，微調(diào)策略。

第三步，PPO模型

大致過(guò)程是，先用第一步的策略（SFT）隨機(jī)生成一個(gè)新的文本，放到第二步的獎(jiǎng)勵(lì)模型（RM）里打分，根據(jù)分?jǐn)?shù)再回頭訓(xùn)練生成新的表達(dá)策略（SFT），再調(diào)整第二步的獎(jiǎng)勵(lì)模型（RM）的函數(shù)，反復(fù)迭代，生成最終的模型。

到了這一步，就相當(dāng)于學(xué)生“自學(xué)”，自己給自己出題，再對(duì)答案，根據(jù)答案，修正并改進(jìn)自己的知識(shí)體系和學(xué)習(xí)方法，最終達(dá)到畢業(yè)的要求。

不過(guò)，“畢業(yè)”不代表學(xué)習(xí)結(jié)束，GPT-3之后，OpenAI模型提供了外部API調(diào)用——就是我們現(xiàn)在做的，產(chǎn)生了真實(shí)用戶提問(wèn)和模型迭代之間的飛輪。

ChatGPT超出之前模型的重要原因之一，就是引入了人工標(biāo)注，這么做可以讓模型的思維習(xí)慣、表達(dá)方式、價(jià)值觀等等，和人類(lèi)進(jìn)行最大程度的一致。

也許是ChatGPT的表現(xiàn)實(shí)在是過(guò)于驚艷了，以至于很多人在與它“對(duì)話”時(shí)都會(huì)想到一個(gè)問(wèn)題：

ChatGPT是否真的理解了人類(lèi)的語(yǔ)言？是否有了思想？如果是這樣，它最終會(huì)不會(huì)發(fā)展為一個(gè)有知覺(jué)的、有自我意識(shí)的強(qiáng)人工智能？

4/6、ChatGPT算不算“懂王”？

要回答這個(gè)問(wèn)題，先來(lái)看一看ChatGPT訓(xùn)練的兩個(gè)目標(biāo)：

1、理解合理、內(nèi)容流暢和語(yǔ)法正確

2、生成內(nèi)容的有用性、真實(shí)性和無(wú)害性

目標(biāo)一，基本上沒(méi)有問(wèn)題，這也是真正讓我們驚嘆的地方，它似乎真的能理解我們的語(yǔ)言，并用人類(lèi)的語(yǔ)言和我們交流。

目標(biāo)二，粗看也沒(méi)有問(wèn)題，特別是那些無(wú)法通過(guò)搜索引擎直接找到的復(fù)雜要求，當(dāng)你與它持續(xù)交流后，它會(huì)越來(lái)越理解你想得到的內(nèi)容。

但隨著使用量的增加，很多人發(fā)現(xiàn)，ChatGPT其實(shí)并不真正“理解”你的問(wèn)題，或者說(shuō)目前還沒(méi)到這一步。

最典型的證據(jù)在于，如果你用一個(gè)模糊的方式問(wèn)一個(gè)明顯錯(cuò)誤的問(wèn)題，它常常會(huì)很認(rèn)真地給你一個(gè)憑空捏造的回答，比如下面的這個(gè)唐玄宗大敗趙匡胤的問(wèn)題：

這個(gè)錯(cuò)誤，我也試了一個(gè)，結(jié)果到現(xiàn)在都是如此：

我猜，它的訓(xùn)練數(shù)據(jù)可以讓他判斷唐玄宗干過(guò)什么，趙匡胤干過(guò)什么，卻無(wú)法讓它建立唐玄宗與趙匡胤的關(guān)系。

本質(zhì)上說(shuō)，ChatGPT只是一個(gè)“語(yǔ)言機(jī)器人”，它能回答你關(guān)于計(jì)算機(jī)的問(wèn)題，并不是因?yàn)樗岸边@方面的知識(shí)，它懂的是所有的語(yǔ)言文字在特定要求下的分布概率，并能預(yù)測(cè)你要的那個(gè)概率。

所以說(shuō)，它只是在無(wú)意識(shí)地模仿人類(lèi)的表達(dá)方式，把搜索到的信息以適合的方式表達(dá)得以假亂真。

與其說(shuō)懂，不如說(shuō)是“不懂裝懂”。

當(dāng)然，這個(gè)能力對(duì)普通人而言，跟“懂”并沒(méi)有區(qū)別，但普通人的認(rèn)知水平和表達(dá)能力正是機(jī)器的“懂”的極限，大部分專(zhuān)業(yè)領(lǐng)域，它只能輸出該領(lǐng)域中初級(jí)人員的內(nèi)容，更不可能去解決創(chuàng)新的問(wèn)題。

很多人認(rèn)為，這也許就是機(jī)器人的“懂”，說(shuō)“唐玄宗大敗趙匡胤”并不代表不懂，小孩子也會(huì)問(wèn)關(guān)公秦瓊哪個(gè)更厲害的問(wèn)題，畢竟ChatGPT還很“小”，每天大量的用戶訓(xùn)練下，它也許會(huì)進(jìn)步呢？

但我對(duì)此并不樂(lè)觀，其原因在于，ChatGPT效果最大的還是最初1.5萬(wàn)條有監(jiān)督的語(yǔ)言模型任務(wù)（SFT）——人類(lèi)老師對(duì)它的語(yǔ)言習(xí)慣影響很大。

你跟ChatGPT聊久了之后，就會(huì)發(fā)現(xiàn)，它說(shuō)話的方式有一種說(shuō)不出來(lái)的假模假式，就好像領(lǐng)導(dǎo)拿大話在忽悠你，所以，除了擅長(zhǎng)知識(shí)性的問(wèn)題之外，試用者最津津樂(lè)道樂(lè)道的是讓ChatGPT寫(xiě)年終總結(jié)、政治口號(hào)、思想?yún)R報(bào)、老胡體、打油詩(shī)、領(lǐng)導(dǎo)關(guān)懷、客戶回應(yīng)等等充滿了形式感、套話空話一堆的內(nèi)容。

還有，ChatGPT經(jīng)常會(huì)犯錯(cuò)，比如做計(jì)算題，犯的錯(cuò)誤還不太一樣，并且是真人常犯的錯(cuò)誤——它真的很像人類(lèi)。

這里就有一個(gè)很?chē)?yán)重的問(wèn)題，如果你問(wèn)了一個(gè)專(zhuān)業(yè)上的錯(cuò)誤的問(wèn)題，很可能得到看上去很有用的錯(cuò)誤答案，而且因?yàn)镃hatGPT太會(huì)不懂裝懂了，很容易讓人信以為真——就像那些朋友圈陰謀論一樣。

說(shuō)白了，它的模型就是個(gè)沒(méi)有什么專(zhuān)業(yè)特長(zhǎng)的普通人，除非下一代模型有質(zhì)的變化，否則它在這個(gè)方面的可進(jìn)步空間有限。

但ChatGPT的可怕之處，正是這個(gè)“普通”二字。

5/6、即將進(jìn)入的恐怖谷

大家應(yīng)該都聽(tīng)說(shuō)過(guò)“恐怖谷效應(yīng)”，隨著機(jī)器人或人工智能的擬人程度增加，人類(lèi)對(duì)其好感度出現(xiàn)“上升（有點(diǎn)相似）——下降（高度相似）——上升（完全相似）”的過(guò)程，而谷底正是人工智能與人類(lèi)第一次高度相似的時(shí)候。

我看到有分析認(rèn)為生成式AI已經(jīng)成功跨過(guò)了恐怖谷，進(jìn)入“逼真性”階段，理由是隨著生成內(nèi)容與人類(lèi)相似程度的提升，人類(lèi)對(duì)生成式AI的好感正在增加。并熱衷于使用，比如ChatGPT是人類(lèi)歷史上最快突破1億用戶的App。

但我的看法剛好相反，它正處于恐怖谷前的“人形機(jī)器人”階段，使用者只是習(xí)慣性地把它當(dāng)成更智能的搜索引擎一類(lèi)的工具，很快就要意識(shí)到ChatGPT的恐怖之處。

ChatGPT未來(lái)讓人害怕的地方恰恰在于，它不像專(zhuān)家，更像是你身邊的普通人——如果像專(zhuān)家，它可以替代的工作反而非常有限。

從原理上說(shuō)，ChatGPT大規(guī)模替代人類(lèi)工作的擔(dān)心并非杞人憂天。

首先，ChatGPT的商業(yè)模式，可能不會(huì)像搜索那樣依賴(lài)廣告，難以出現(xiàn)大規(guī)模的2C級(jí)應(yīng)用，而更可能是2B，主要運(yùn)用于工作場(chǎng)景。

其次，ChatGPT與搜索不同，它輸出的基本上是最后的工作成果，而不是搜索那樣出現(xiàn)一堆內(nèi)容，讓人類(lèi)去選擇，所以它更像“員工”，而不是員工的工作工具。

最后，ChatGPT與決策AI不同，它并不尋求像專(zhuān)家那樣找到復(fù)雜問(wèn)題的最優(yōu)解，而是針對(duì)大部分人日常工作的非專(zhuān)家級(jí)內(nèi)容，輸出相對(duì)合理有用的內(nèi)容。因此，它可能替代人類(lèi)的工作范圍大大超過(guò)想象，不像產(chǎn)線工人、打字員、駕駛員那樣，僅限于幾個(gè)特定的職業(yè)。

更何況，工具和員工在一定程度上也是利益對(duì)立的，比如和ChatGPT類(lèi)似的AIGC繪畫(huà)，目前游戲行業(yè)已經(jīng)開(kāi)始應(yīng)用，以前畫(huà)張?jiān)?huà)用三天，現(xiàn)在一天弄完，以前要什么素材要去素材網(wǎng)找，現(xiàn)在要啥直接生成，改改就可以用——尤其那些外包公司，工作效率提高好幾倍。

AIGC的工具性質(zhì)更強(qiáng)，需要人去創(chuàng)作，但由于工作效率大大提升，原來(lái)需要招三個(gè)設(shè)計(jì)師，現(xiàn)在一個(gè)就行了，這仍然是對(duì)人的替代。

有預(yù)測(cè)，2025年，生成式AI產(chǎn)生的數(shù)據(jù)將占到所有數(shù)據(jù)的10%，30%的大型組織出站消息將由生成式AI生成；50%的藥物發(fā)現(xiàn)與研發(fā)將使用生成式AI。

我們不用擔(dān)心AI擁有意識(shí)，但我們確實(shí)需要考慮AI大規(guī)模替代人類(lèi)工作的可能性。

6/6、會(huì)提問(wèn)題的人將是最后的贏家

必須承認(rèn)，人類(lèi)的大部分工作之所以容易被ChatGPT取代，是因?yàn)檫@些工作需要產(chǎn)生大量文本或其他形式的內(nèi)容，這些內(nèi)容本身難度并不高——ChatGPT廣泛并普通的剛剛好。

不過(guò)，正如任何一項(xiàng)技術(shù)都有兩面性，既可能讓?xiě)械盟伎嫉娜顺鸢?，也可以讓求知若渴者加速進(jìn)步。寫(xiě)本文時(shí)，看到了ChatGPT與 Bing 搜索結(jié)合后的功能介紹，它可以讓你的工作不但不會(huì)被AI取代，反而創(chuàng)造了全新的工作方式。

比如說(shuō)，你打算寫(xiě)一份新產(chǎn)品推廣的方案，你在問(wèn)它如何寫(xiě)時(shí)，可以詳細(xì)地描述這個(gè)產(chǎn)品的特點(diǎn)和你的目標(biāo)、推廣預(yù)算。

AI并不會(huì)直接給你一份充滿套話的無(wú)用方案，而是給你一個(gè)推廣方案的結(jié)構(gòu)，主要建議，主要內(nèi)容，還會(huì)給出相關(guān)內(nèi)容的引用標(biāo)記和原文鏈接。

你還可以就這些內(nèi)容進(jìn)一步提問(wèn)，它會(huì)給你更多你想要的東西，更重要的是，它甚至還能提供幾個(gè)你沒(méi)有想到的延伸問(wèn)題，看看你是否需要回答。

可以想象，你將邊使用“ChatGPT與 Bing 搜索”，邊完成你的這項(xiàng)工作，與單純靠ChatGPT輸出的方案不同，它是真有可能產(chǎn)生真正創(chuàng)新性的內(nèi)容的。

如果說(shuō)，工業(yè)革命拉大了財(cái)富差距，互聯(lián)網(wǎng)拉大了資訊獲取能力的差距，人工智能則直接拉大了學(xué)習(xí)能力的差距。

未來(lái)世界將屬于會(huì)提問(wèn)的人。

首發(fā)于“思想鋼印（ID：sxgy9999）”微信公眾號(hào)。