最近真的忙死了，然后也沒有特別值得發(fā)專欄的論文，就雜談吧。

這次雜談的話題是——我們的思維是某種prompt嗎？

1.神經(jīng)網(wǎng)絡(luò)到prompt

再梳理一下吧。

最開始有神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)是需要數(shù)據(jù)集進(jìn)行訓(xùn)練的，這個過程比較漫長。

所以后來我們可以將大頭給別人訓(xùn)練，小頭自己訓(xùn)練。例如一個網(wǎng)絡(luò)我要訓(xùn)練1000輪，那么就把它拆分成990輪和10輪，990輪由其他人做，稱為預(yù)訓(xùn)練，剩下的10輪自己做，稱為微調(diào)。

當(dāng)然，最傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)都是專精于一個任務(wù)的，例如一個貓狗分類網(wǎng)絡(luò)不能直接做雞鴨分類，那么有沒有辦法在預(yù)訓(xùn)練的時候就讓網(wǎng)絡(luò)具有能適應(yīng)多種任務(wù)的能力呢？

當(dāng)然可以做，但是要把模型搞大，相應(yīng)地，就出現(xiàn)了自監(jiān)督方法。

原先的有監(jiān)督方法需要對數(shù)據(jù)進(jìn)行標(biāo)注，這大大限制了數(shù)據(jù)集規(guī)模，想要訓(xùn)練大模型，一一標(biāo)注太耗時耗力。自監(jiān)督方法就是要學(xué)習(xí)數(shù)據(jù)原本就隱含的信息，例如對于一段文本，它本身就具有一定的邏輯、情感等信息，那我們就直接扒拉語料學(xué)習(xí)就好了。

相應(yīng)地，神經(jīng)網(wǎng)絡(luò)被拆解成了兩部分——編碼器和解碼器，編碼器負(fù)責(zé)將輸入編碼成富含信息的格式，解碼器將整個格式映射到不同的任務(wù)上。這樣預(yù)訓(xùn)練我們就只保存編碼器，在微調(diào)時我們再放入新的解碼器。

但是自回歸語言模型不這樣想，因?yàn)樗旧碇挥薪獯a器架構(gòu)，但是做的足夠大之后它發(fā)現(xiàn)自己有了更強(qiáng)的能力。以往的“預(yù)訓(xùn)練-微調(diào)框架”下，微調(diào)是需要修改網(wǎng)絡(luò)參數(shù)的，但是大自回歸語言模型不再需要了，取而代之的是使用prompt（一般可以翻譯成提示，業(yè)界一般不進(jìn)行翻譯），即“預(yù)訓(xùn)練-prompt”框架。

prompt簡單來說就是給出例子，例如我們想讓語言模型做翻譯，我們只需要給它幾個翻譯的例子，然后給出自己真正要翻譯的文本就好了。

換句話說，prompt的作用是引出模型的某項(xiàng)能力而不是賦予它某項(xiàng)能力。

2.涌現(xiàn)

ChatGPT大火，其實(shí)是顯示出啦大語言模型的能力，例如語言理解、上下文語境、世界知識等能力，還有最近研究較多的思維鏈能力。這些能力是小模型不曾具有的，只有在達(dá)到某個界限的時候，這類能力才會突然地提升，所以一般稱為涌現(xiàn)。所以大模型和小模型可能是有著根本性的不同的。

涌現(xiàn)可能表明，我們?nèi)说闹悄芸赡懿]有什么驚天秘密，單純是腦容量增大后自然而然出現(xiàn)（涌現(xiàn)）的東西

ChatGPT和人類像的地方還有很多，例如有“知覺”等，這需要讓我們重新審視它，而不是單純當(dāng)做一個概率模型來看

3.看看人腦

你完全可以把人的大腦理解成一個多模態(tài)大模型。多模態(tài)是說，我們可以接受視覺的、聽覺的等多種信息，大模型不用多說，我們的大腦中有大量神經(jīng)元。

為什么說思維本身可能是某種prompt呢，因?yàn)槲覀兊乃季S某種程度上不正是用來提示大腦的運(yùn)作的嗎？我們在做一步步推理的時候，可能就和大語言模型的思維鏈一樣，一步一步地給出結(jié)果?；蛘哒f，大腦的輸出當(dāng)然可以當(dāng)做下一輪的prompt。

當(dāng)然，這個prompt也可以從外部環(huán)境獲得，當(dāng)我們閱讀文本的時候，實(shí)際上可能就是從視覺那邊獲得了一個新的prompt，所以我們的思維就會不自覺地跟著我們看到的文字走了。

4.結(jié)語

當(dāng)然，這種看法目前也只是猜想罷了，目前要證明它可能還為時尚早。