LLM終將退場，世界模型才是未來？
【新智元導(dǎo)讀】人類距離AGI還有多遠(yuǎn)？也許大語言模型不是最終答案，一個理解世界的模型才是未來的方向。
在人類的認(rèn)知之中，似乎早已習(xí)慣將通用人工智能（AGI）設(shè)定為人工智能的終極形態(tài)和發(fā)展的最終目標(biāo)。
今天，在國外的知名的播客網(wǎng)站Substack上，一位名為Valentino Zocca的人工智能行業(yè)資深人士，站在人類歷史的敘事立場上，寫了一篇雄文，全面而深刻地講述了人類和通用人工智能之間的距離。
而這個偉大的探索過程中，也許誰都沒有資格和能力來給出一個具體的路線圖。
正如OpenAI科學(xué)家肯尼斯·斯坦利和喬爾·雷曼最近的新書《為什么偉大不能被計劃》中闡述的那樣，對于偉大的追求是個方向，但是具體的結(jié)果可能是意外所得。
我們離AGI還有多遠(yuǎn)？
人類歷史上的一系列發(fā)現(xiàn)和發(fā)明塑造了人類的歷史。其中一些不僅影響了我們的語言和思維，還對我們的生理構(gòu)造產(chǎn)生了潛在的影響。例如，火的發(fā)現(xiàn)使原始人能夠烹飪食物。熟食為大腦能提供了更多的能量，從而促進(jìn)了人類智能的發(fā)展。
從車輪的發(fā)明到蒸汽機(jī)的創(chuàng)造，人類迎來了工業(yè)革命。電力進(jìn)一步為我們今天的技術(shù)發(fā)展鋪平了道路，印刷術(shù)加快了新思想和新文化的廣泛傳播，促進(jìn)了人類創(chuàng)新的發(fā)展。
然而，進(jìn)步不僅來自于新的物理層面的發(fā)現(xiàn)，同樣也源于新的思想。
西方世界的歷史是從羅馬帝國衰落到中世紀(jì)，在文藝復(fù)興和啟蒙運(yùn)動期間經(jīng)歷了一次重生。但隨著人類知識的增長，人類這個物種開始慢慢認(rèn)識到自身的渺小。
在蘇格拉底之后的兩千多年里，人類開始「知道自己一無所知」，我們的地球不再被視為宇宙的中心。宇宙本身在擴(kuò)張，而我們只是其中的一粒微塵。
改變對現(xiàn)實(shí)的看法
但人類對世界的認(rèn)知的最大改變，發(fā)生在20世紀(jì)。
1931 年，Kurt G?del發(fā)表了不完備性定理。僅僅四年后，為了延續(xù)「完備性」這一主題，愛因斯坦、Podolsky和 Rosen發(fā)表了題為「Can Quantum-Mechanical Description of Physical Reality Be Considered Complete?」（量子力學(xué)對于物理實(shí)在的描述是完備的嗎？）隨后，玻爾（Niels Bohr）對這篇論文進(jìn)行了反駁，證明了量子物理學(xué)的有效性。
G?del定理表明，即使是數(shù)學(xué)也無法最終證明一切——人類始終會有無法證明的事實(shí)——而量子理論則說明，我們的世界缺乏確定性，使我們無法預(yù)測某些事件，例如電子的速度和位置。盡管愛因斯坦曾表達(dá)過「上帝不會與宇宙玩骰子」這一著名的觀點(diǎn)，但從本質(zhì)上講，僅僅在預(yù)測或理解物理中的事物時，人類的局限性就已經(jīng)體現(xiàn)得淋漓盡致。
無論人類如何努力地嘗試設(shè)計出一個由人類制定的規(guī)則來運(yùn)行的數(shù)學(xué)宇宙，但這樣抽象的宇宙始終是不完整的，其中隱藏著無法證明又無法否認(rèn)的客觀公理。
除了數(shù)學(xué)的抽象表述之外，人類的世界還由描述現(xiàn)實(shí)的哲學(xué)所表述。
但是人類發(fā)現(xiàn)自己無法描述、充分表達(dá)、理解甚至僅僅是定義這些表述。
20世紀(jì)初「真理」的概念依然是不確定的，「藝術(shù)」、「美」和「生命」等概念在定義層面也都缺乏基本的共識。
其他很多重要的概念也一樣，「智慧」和「意識」同樣沒有辦法被人類自己清晰地定義。
智能的定義
為了填補(bǔ)對于智能定義的空缺，2007年，Legg和Hart在「General Intelligence」一書中提出了機(jī)器智能的定義：「智能衡量的是智能體（Agent）在多變環(huán)境中實(shí)現(xiàn)目標(biāo)的能力」。
同樣，在「Problem Solving and Intelligence」一書中，Hambrick、Burgoyne和Altman認(rèn)為，解決問題的能力不僅是智能的一個方面或特征，而是智能的本質(zhì)。
這兩種說法在語言描述上有相似的地方，都認(rèn)為「實(shí)現(xiàn)目標(biāo)」可以與「解決問題」聯(lián)系起來。
「智能是一種非常普遍的心智能力，包括推理能力、計劃能力、解決問題的能力、抽象思維能力、理解復(fù)雜思想的能力、快速學(xué)習(xí)的能力以及從經(jīng)驗(yàn)中學(xué)習(xí)的能力。它不僅僅是書本知識、狹隘的學(xué)術(shù)技能或應(yīng)試技巧。相反，它反映了一種更廣泛、更深層次的理解周圍環(huán)境的能力——『捕捉』、『理解』事物或『想出』該做什么的能力」。
這一定義使智能的構(gòu)建超越了單純的 「解決問題的技能」，引入了兩個關(guān)鍵維度：從經(jīng)驗(yàn)中學(xué)習(xí)的能力和理解周圍環(huán)境的能力。
換句話說，智能不應(yīng)該被看作是一種抽象的找到解決一般問題的方法的能力，而應(yīng)該被看作是一種具體的將我們從以往經(jīng)驗(yàn)中學(xué)到的東西應(yīng)用到我們所處環(huán)境中可能出現(xiàn)的不同情況的能力。這就強(qiáng)調(diào)了智能與學(xué)習(xí)之間的內(nèi)在聯(lián)系。
在「How We Learn」一書中，Stanislas Dehaene將學(xué)習(xí)定義為 「學(xué)習(xí)是形成世界模型的過程」，意味著智能也是一種需要理解周圍環(huán)境并創(chuàng)建內(nèi)在模型來描述環(huán)境的能力。因此，智能也需要創(chuàng)建世界模型的能力，盡管不僅僅包括這種能力。
當(dāng)前的機(jī)器有多智能？
在討論人工通用智能（AGI）與狹義人工智能（Narrow AI）時，我們經(jīng)常會強(qiáng)調(diào)它們之間的區(qū)別。
狹義人工智能（或稱弱人工智能）非常普遍，也很成功，在特定任務(wù)中的表現(xiàn)往往都能超越人類。
比如這個眾所周知的例子，2016年，狹義人工智能AlphaGo在圍棋比賽中以 4 比 1 的大比分擊敗世界冠軍李世石，就是一個很好的例子。
不過，2023年業(yè)余棋手Kellin Perline利用人工智能沒有沒有辦法應(yīng)對的戰(zhàn)術(shù)又在圍棋場上替人類扳回了一局，說明了狹義人工智能在某些情況下確實(shí)還有局限性。
它缺乏人類那種能識別不常見戰(zhàn)術(shù)，并做出相應(yīng)調(diào)整的能力。
而且，在最基礎(chǔ)的層面上，即使是剛?cè)胄械臄?shù)據(jù)科學(xué)家，都明白人工智能所依賴的每個機(jī)器學(xué)習(xí)模型，都需要在偏差（bias）和方差（variance）之間取得平衡。
這意味著要從數(shù)據(jù)中學(xué)習(xí)，理解和歸納解決方案，而不僅僅是死記硬背。
狹義人工智能利用計算機(jī)的算力和內(nèi)存容量，可以相對輕松地根據(jù)大量觀察到的數(shù)據(jù)生成復(fù)雜的模型。
但是，一旦條件稍有變化，這些模型往往就無法通用。
如果我們在引力理論知識的基礎(chǔ)上使用變量而不是數(shù)字，我們就會明白如何使用正確的數(shù)值快速預(yù)測每個行星或衛(wèi)星上的引力大小。
但是，如果我們只使用沒有變量的數(shù)字方程，那么在不重寫這些方程的情況下，我們將無法正確地將這些方程推廣到其他星球。
換句話說，人工智能可能無法真正 「學(xué)習(xí)」，而只能提煉信息或經(jīng)驗(yàn)。人工智能不是通過形成一個全面的世界模型去理解，而只是創(chuàng)建一個概要去表述。
我們真的到達(dá)AGI了嗎？
現(xiàn)在人們普遍理解的AGI是指：能夠在人類水平或者更高水平的多個認(rèn)知領(lǐng)域進(jìn)行理解和推理的人工智能系統(tǒng)，即強(qiáng)人工智能。
而我們當(dāng)前用于特定任務(wù)的人工智能僅是一種弱人工智能，如下圍棋的AlphaGO。
AGI代表一種涵蓋抽象思維領(lǐng)域各個領(lǐng)域的、具有人類智能水平的人工智能系統(tǒng)。
這意味著，我們所需的AGI是一個與經(jīng)驗(yàn)一致且能做到準(zhǔn)確預(yù)測的世界模型。
如「Safety Literature Review」（AGI安全文獻(xiàn)綜述）中Everitt、Lea和Hutter指出的事實(shí)那樣：AGI還沒有到來。
對于「我們離真正的AGI還有多遠(yuǎn)」這個問題，不同的預(yù)測之間差異很大。
但與大多數(shù)人工智能研究人員和權(quán)威機(jī)構(gòu)的觀點(diǎn)是一致的，即人類距離真正的通用人工智能最少也有幾年的時間。
在GPT-4發(fā)布后，面對這個目前性能最強(qiáng)大的人工智能，很多人將GPT-4視作AGI的火花。
4月13日，OpenAI的合作伙伴微軟發(fā)布了一篇論文「Sparks of Artificial General Intelligence:Early experiments with GPT-4」
（通用人工智能的火花：GPT-4的早期實(shí)驗(yàn)）。
其中提到：
「GPT-4不僅掌握了語言，還能解決涵蓋數(shù)學(xué)、編碼、視覺、醫(yī)學(xué)、法律、心理學(xué)等領(lǐng)域的前沿任務(wù)，且不需要人為增加任何的特殊提示。并且在所有上述任務(wù)中，GPT-4的性能水平都幾乎與人類水平相當(dāng)。基于GPT-4功能的廣度和深度，我們相信它可以合理地被視為通用人工智能的近乎但不完全的版本?！?/p>
但就像卡內(nèi)基梅隆大學(xué)教授Maarten Sap所評價的那樣，「AGI的火花」只是一些大公司將研究論文也納為公關(guān)宣傳的一個例子。
另一方面，研究員兼機(jī)器企業(yè)家Rodney Brooks指出了人們認(rèn)識上的一個誤區(qū)：「在評估ChatGPT等系統(tǒng)的功能時，我們經(jīng)常把性能等同于能力?！?/p>
錯誤地將性能等同于能力，意味著GPT-4生成的是對世界的摘要性描述認(rèn)為是對真實(shí)世界的理解。
這與人工智能模型訓(xùn)練的數(shù)據(jù)有關(guān)。
現(xiàn)在的大多數(shù)模型僅接受文本訓(xùn)練，不具備在現(xiàn)實(shí)世界中說話、聽聲、嗅聞以及生活行動的能力。
這種情況與柏拉圖的洞穴寓言相似，生活在洞穴中的人只能看到墻上的影子，而不能認(rèn)識到事物的真實(shí)存在。
僅在文本上訓(xùn)練的世界模型，僅僅只能保證它們在語法上的正確。但在本質(zhì)上，它不理解語言所指的對象，也缺乏與環(huán)境直接接觸的常識。
當(dāng)前大模型的主要局限性
大語言模型（LLM）最受爭議的挑戰(zhàn)是它們產(chǎn)生幻覺的傾向。
幻覺指的是模型會捏造參考資料和事實(shí)，或在邏輯推斷、因果推理等方面顛三倒四、生成毫無意義的內(nèi)容的情況。
大語言模型的幻覺源于它們?nèi)狈κ录g因果關(guān)系的了解。
在「Is ChatGPT a Good Causal Reasoner? A Comprehensive Evaluation」這篇論文中，研究人員證實(shí)了這樣一個事實(shí)：
ChatGPT這類大語言模型，不管現(xiàn)實(shí)中是否存在關(guān)系，它們都傾向于假設(shè)事件之間存在因果關(guān)系。
研究人員最后得出結(jié)論：
「ChatGPT是一個優(yōu)秀的因果關(guān)系解釋器，但卻不是一個好的因果關(guān)系推理器。」
同理，這個結(jié)論也可以推廣到其他LLM中。
這意味著，LLM本質(zhì)上只具有通過觀察進(jìn)行因果歸納的能力，而不具備因果演繹的能力。
這也導(dǎo)致了LLM的局限性，如果智能（intelligence）意味著從經(jīng)驗(yàn)中學(xué)習(xí)，并將學(xué)習(xí)得到的內(nèi)容轉(zhuǎn)化為對理解周圍環(huán)境的世界模型，那么因果推斷作為構(gòu)成學(xué)習(xí)的基本要素，是智能不可或缺的一部分。
現(xiàn)有的LLMs正缺乏這一方面，這也是Yann LeCun認(rèn)為現(xiàn)在的大語言模型不可能成為AGI的原因。
結(jié)論
正如20世紀(jì)初誕生的量子力學(xué)所揭示的，現(xiàn)實(shí)往往與我們?nèi)粘Ｓ^察所形成的直覺不同。
我們所構(gòu)建的語言、知識、文本資料、甚至是視頻、音頻等資料都僅僅只是我們所能體驗(yàn)到的現(xiàn)實(shí)的很有限的一部分。
就像我們探索、學(xué)習(xí)并掌握一個違背我們直覺和經(jīng)驗(yàn)的現(xiàn)實(shí)那樣，當(dāng)我們能夠構(gòu)建一個有能力質(zhì)疑自身現(xiàn)實(shí)、能夠自我探究的系統(tǒng)時，AGI才能真正實(shí)現(xiàn)。
而至少在現(xiàn)階段，我們應(yīng)該構(gòu)建一個能夠進(jìn)行因果推斷、能夠理解世界的模型。
這一前景是人類歷史上又一進(jìn)步，意味著我們對世界本質(zhì)的更深的理解。
盡管AGI的出現(xiàn)將減弱我們對自身獨(dú)一無二的價值篤定，以及存在的重要性，但通過不斷地進(jìn)步和對認(rèn)知邊界的拓展，我們將更加清楚地認(rèn)識到人類在宇宙中的地位，以及人類與宇宙的關(guān)系。
參考資料：https://aisupremacy.substack.com/p/how-far-are-we-from-agi
特別說明：本文僅用于學(xué)術(shù)交流，如有侵權(quán)請后臺聯(lián)系小編刪除。
- END -
轉(zhuǎn)載來源：新智元
轉(zhuǎn)載編輯：田貝西
