最近AI領(lǐng)域的重磅消息真的不少，昨天還在討論pytorch2.0，今天就開始討論ChatGPT了。

本來想先寫寫可解釋人工智能的，但只能插播了。

不過根據(jù)我寫作的一貫風(fēng)格，我不會(huì)像很多AI領(lǐng)域的公眾號(hào)或自媒體一樣寫寫比較專業(yè)或博人眼球的東西（介紹這個(gè)東西的標(biāo)題竟然是“谷歌要完蛋了”之類的），所以這次不光講ChatGPT，我們還關(guān)注于一個(gè)龐大的工程——GPT。

當(dāng)然，由于我對(duì)GPT也沒有那么熟，之后一些說法可能有些常識(shí)性錯(cuò)誤，還望大家見諒。我還是主要根據(jù)我的經(jīng)驗(yàn)講講故事。

1.宿敵？

在之前的專欄中，我們談到了強(qiáng)大的模型BERT：

【花師小哲】面向一般大眾的神經(jīng)網(wǎng)絡(luò)科普（2）-NLP領(lǐng)域

既然BERT在當(dāng)時(shí)成為一個(gè)可以說遠(yuǎn)超其他模型的方法，那么就一定會(huì)存在一個(gè)問題，在BERT之前誰是自然語言處理領(lǐng)域的最強(qiáng)大模型呢？被BERT超越的是誰呢？答案就是GPT（當(dāng)時(shí)應(yīng)該是GPT-2吧）。

談到BERT，我們經(jīng)常和GPT相比，BERT相比于當(dāng)時(shí)的GPT為什么會(huì)更好呢？主要有兩個(gè)原因：

（1）BERT使用了attention機(jī)制而GPT沒有（這點(diǎn)要記住，后面還會(huì)提到）

（2）BERT有比較優(yōu)秀的預(yù)訓(xùn)練任務(wù)（以防萬一這里補(bǔ)充一句，BERT和GPT都是預(yù)訓(xùn)練語言模型，算是直接競(jìng)爭(zhēng)對(duì)手，所以可比性才比較強(qiáng)）

當(dāng)然，GPT肯定不會(huì)甘心于被BERT超越的，于是不久就發(fā)布了GPT-3，算是扳回一局。

2.強(qiáng)，還能更強(qiáng)？

GPT-3之所以能夠和BERT分庭抗禮，一個(gè)比較明顯的原因是GPT-3是超級(jí)龐大的模型，號(hào)稱參數(shù)有1750億個(gè)。另一個(gè)原因就是Prompt了（我不確定Prompt是不是GPT-3所采用的，主要是我對(duì)Prompt真的不熟）。

要說prompt，還要談起神經(jīng)網(wǎng)絡(luò)訓(xùn)練范式的發(fā)展

（1）最開始的范式是“直接訓(xùn)練”。就很簡(jiǎn)單，你拿到數(shù)據(jù)，寫好神經(jīng)網(wǎng)絡(luò)，隨機(jī)初始化參數(shù)，然后就從頭開始訓(xùn)練網(wǎng)絡(luò)。

（2）在BERT那個(gè)時(shí)代，所采用的的范式是“預(yù)訓(xùn)練-微調(diào)”?！爸苯佑?xùn)練”是非常耗時(shí)間且沒有效率的。一方面是因?yàn)橛?xùn)練本身就需要大量數(shù)據(jù)、算力等，另一方面是很多人處理的問題都差不多，很多時(shí)候沒必要重新訓(xùn)練網(wǎng)絡(luò)。

于是有了“預(yù)訓(xùn)練-微調(diào)”，即由大公司等先訓(xùn)練一個(gè)大網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)是無所不包的，然后將預(yù)訓(xùn)練好的模型交給用戶，用戶再根據(jù)具體的需求進(jìn)行訓(xùn)練和調(diào)整（稱為微調(diào)）就可以快速地使用。

（3）“預(yù)訓(xùn)練-微調(diào)”范式存在一個(gè)很嚴(yán)重的問題。預(yù)訓(xùn)練模型為了能夠完成不同的任務(wù)，往往都是些龐然大物，有些時(shí)候，用戶的訓(xùn)練樣本是完全不夠的，這導(dǎo)致自己處理的小問題往往并不能夠得到有效的解決。

例：很多朋友玩NovelAI，覺得生成的圖片很“”很網(wǎng)紅臉”，這種現(xiàn)象常用的是過擬合解釋。然而，我們也可以用“預(yù)訓(xùn)練-微調(diào)”范式來解釋，即你自己的樣本數(shù)量完全不足以對(duì)預(yù)訓(xùn)練大模型產(chǎn)生足夠的影響，或者說，大模型并沒有充分學(xué)習(xí)到你的樣本的“特色”。

為了解決這個(gè)問題，我們引入了prompt機(jī)制，形成了“預(yù)訓(xùn)練-prompt-微調(diào)”范式。prompt不展開講，大體意思是改造我們的微調(diào)任務(wù)，讓它更像預(yù)訓(xùn)練任務(wù)，以此來縮小“預(yù)訓(xùn)練”與“微調(diào)”之間的差距。

這樣，GPT-3就有了強(qiáng)大的能力了。

當(dāng)然，事情還沒有結(jié)束。GPT還要繼續(xù)發(fā)展，于是乎，號(hào)稱是地表最強(qiáng)模型的GPT-4即將登場(chǎng)了。

3.地表最強(qiáng)模型的預(yù)演？

所以我更傾向于把這次ChatGPT當(dāng)做是GPT-4出現(xiàn)的一個(gè)預(yù)演，像是抄熱度的行為。

其實(shí)不只這一個(gè)事件，前不久還有不少公眾號(hào)推文說有研究團(tuán)隊(duì)證明了attention機(jī)制并沒有那么強(qiáng)大，也就是說算是踩了BERT一腳。

加上這次ChatGPT的亮眼表現(xiàn)，很難不讓人聯(lián)想到捧一踩一，為即將登場(chǎng)的GPT-4的出場(chǎng)造勢(shì)。

我導(dǎo)師也在群里分享了一些截圖，說有內(nèi)部消息稱微軟已經(jīng)開始收集公司的A100全拿去訓(xùn)練GPT-4了。當(dāng)然，這些消息也就圖一樂，也不一定是真的。GPT-4具體表現(xiàn)還要實(shí)踐檢驗(yàn)?。ǖ綍r(shí)發(fā)現(xiàn)，笑死，根本帶不動(dòng)）

4.ChatGPT是什么？

于是乎，還是要談?wù)凜hatGPT是個(gè)什么東西?？雌饋砗芏嗳硕枷矚g把它和搜索引擎做對(duì)比。

不過它確實(shí)像搜索引擎，或者說，對(duì)話式搜索引擎。它強(qiáng)就強(qiáng)在更加方便。例如，作為程序員，你遇到了一個(gè)error不知道怎么解決，通常會(huì)百度一下，然后一個(gè)個(gè)網(wǎng)頁點(diǎn)進(jìn)去，發(fā)現(xiàn)很多并不是你想要的，而ChatGPT能直接給你答案列表，你還可以追問等。

或者更直白些，它就是一個(gè)問答系統(tǒng)，給你答案更方便，更像是一個(gè)經(jīng)驗(yàn)比你豐富的師兄。

當(dāng)然，直接吹這東西能取代搜索引擎還為時(shí)尚早，據(jù)說這東西并沒有接入網(wǎng)絡(luò)，實(shí)際上能力相比于發(fā)展了那么多年的搜索引擎差距還是蠻大的，也只有在一些特定的問題上表現(xiàn)會(huì)好得多。

5.搜索引擎需要被替代掉嗎？

最后再談另一個(gè)問題，即搜索引擎會(huì)被替換掉嗎？

萬維網(wǎng)創(chuàng)始人Sir Tim Berners-Lee當(dāng)時(shí)寫了一篇很有影響的論文，這篇論文引發(fā)了之后互聯(lián)網(wǎng)、知識(shí)圖譜等多個(gè)領(lǐng)域的發(fā)展。在那篇論文中Lee構(gòu)想了一種系統(tǒng)，在這個(gè)系統(tǒng)中，事物之間有大量的連接，或者說，是以“連接”為中心的系統(tǒng)。

于是很快，互聯(lián)網(wǎng)采用了這種思想，通過URL（對(duì)于普通人來講，其實(shí)就是網(wǎng)站鏈接，bilibili.com這種）構(gòu)成了這樣的系統(tǒng)。搜索引擎給出的就是一個(gè)個(gè)的鏈接。

這時(shí)候，我們就發(fā)現(xiàn)了搜索引擎和ChatGPT的區(qū)別，ChatGPT不是給你鏈接的，而是直接給你答案的。

其實(shí)Lee當(dāng)初的設(shè)想并不是web或超文本式的鏈接，而是數(shù)據(jù)的鏈接，是能直接給答案的那種。從這一路出發(fā)的就是知識(shí)圖譜了。雖然看起來和ChatGPT很像，但也有差別。有些系統(tǒng)支持類似于只是圖譜的查詢，但是相比于搜索引擎，還是太局限了。

不管怎么說，直接給答案而不是給鏈接算是計(jì)算機(jī)人的一個(gè)愿景吧，畢竟誰不喜歡更方便的東西呢？