ChatGPT熱潮下，圖靈獎(jiǎng)得主LeCun“潑冷水”降溫？離實(shí)現(xiàn)像人一樣的思考的通用人工智能大模型，我們還有多少路要走？

原創(chuàng) | 文BFT機(jī)器人

ChatGPT自推出以來(lái)，短短幾個(gè)月便積累了過(guò)億用戶，迅速成為史上增長(zhǎng)最快的消費(fèi)級(jí)應(yīng)用，并憑借一己之力讓AI狂潮席卷全球。

ChatGPT憑借強(qiáng)大的功能，火爆出圈，成為人們眼中“無(wú)所不能”的AI助手，并一掃科技行業(yè)前段時(shí)間增速放緩、陷入大規(guī)模裁員危機(jī)的低迷陰霾，給科技和風(fēng)投圈點(diǎn)燃了一把烈火：國(guó)內(nèi)各科技大佬廣發(fā)“英雄帖”招募人才，投入對(duì)新產(chǎn)品的試驗(yàn)，開(kāi)啟“豪賭；谷歌等頂級(jí)科技公司紛紛下場(chǎng)推出自己的生成式AI搶占市場(chǎng)……

ChatGPT的強(qiáng)勢(shì)崛起更引發(fā)了一系列連鎖效應(yīng)：“AI換人”的論調(diào)愈加強(qiáng)烈，并對(duì)部分人的職業(yè)現(xiàn)狀和發(fā)展軌跡產(chǎn)生了實(shí)質(zhì)影響；如何合理正確地使用人工智能也成為人們關(guān)注和討論的焦點(diǎn)……

熱潮當(dāng)頭，壓倒性贊譽(yù)聲中的“異端”

在這一場(chǎng)科技熱潮的狂歡里，Meta首席AI科學(xué)家、圖靈獎(jiǎng)得主Yann LeCun，卻在ChatGPT風(fēng)頭正盛之時(shí)，毫不掩飾自己對(duì)于ChatGPT的懷疑與批判。在一場(chǎng)媒體和高管小型聚會(huì)上，他表示，「就底層技術(shù)而言，ChatGPT并不是多么了不得的創(chuàng)新。雖然在公眾眼中，它是革命性的，但是我們知道，它就是一個(gè)組合得很好的產(chǎn)品，僅此而已?！?/p>

在ZDNet發(fā)表的一篇《Meta首席人工智能科學(xué)家說(shuō)，ChatGPT“沒(méi)有特別的創(chuàng)新”，也“沒(méi)有革命性”》的報(bào)道中，首次披露了LeCun試圖“糾正”公眾對(duì)于ChatGPT的“盲目崇拜”的細(xì)節(jié)：

Lecun表示，ChatGPT并不像公眾認(rèn)為的那樣，是一件革命性的產(chǎn)品。在過(guò)去的很長(zhǎng)一段時(shí)間，已經(jīng)有許多公司和研究機(jī)構(gòu)已構(gòu)建了數(shù)據(jù)驅(qū)動(dòng)的人工智能系統(tǒng)，除了谷歌和Meta，還有一些初創(chuàng)企業(yè)也擁有了類似的技術(shù)。因此，「與其他實(shí)驗(yàn)室相比，OpenAI 并沒(méi)有什么特別的進(jìn)步?！?/p>

「ChatGPT使用的Transformer架構(gòu)是以自監(jiān)督的方式預(yù)訓(xùn)練的?！苟员O(jiān)督學(xué)習(xí)是Lecun所倡導(dǎo)的，其觀點(diǎn)可以追溯到OpenAI出現(xiàn)之前，Transformer語(yǔ)言項(xiàng)目也可以追溯到幾十年前。

Lecun表示，ChatGPT和其他LLM并不是憑空產(chǎn)生的，而是其他幾十年內(nèi)人們共同奉獻(xiàn)的成果。因此，與其說(shuō)ChatGPT是一個(gè)引領(lǐng)科技進(jìn)步的“突破性成就”，不如說(shuō)它是一個(gè)合格的工程案例。

Lecun的一系列言論，在網(wǎng)絡(luò)上引起了熱議，有人批評(píng)它太過(guò)直白傲慢；有人讓他專注Meta產(chǎn)品的研發(fā)，不要“吃不到葡萄說(shuō)葡萄酸”……

OpenAI的CEO Sam Altman也出來(lái)呼喚“和平”，扼制輿論的發(fā)酵。Lecun也澄清，自己并非挑刺，雙方亦有合作往來(lái)。但不久后，Sam仍取關(guān)了Lecun。

理智回歸，ChatGPT的附魅與祛魅

ChatGPT商業(yè)化的成功無(wú)可置喙，其成功離不開(kāi)它讓普通人也體會(huì)到了生成式AI的便利之處。

ChatGPT作為生成式AI的新成果，展現(xiàn)出了不同于以往聊天機(jī)器人的新功能，從理解和分析已有數(shù)據(jù)，走向了生成內(nèi)容。人們可以利用ChatGPT生成圖片、歌曲、小說(shuō)、方案、代碼……人們切實(shí)體會(huì)到了ChatGPT帶來(lái)的好處，ChatGPT也成為了人們眼中“無(wú)所不能”的強(qiáng)大工具，和橫空出世的“突破性科技成就”。

這就是ChatGPT的附魅。

熱潮漸退，理智回歸，ChatGPT的弊端漸顯。

在這場(chǎng)關(guān)于人工智能的狂歡后，人們開(kāi)始審視Lecun引發(fā)的輿論爭(zhēng)議背后，所透露出的關(guān)于ChatGPT的薄弱之處。

誠(chéng)然，ChatGPT不是第一個(gè)基于語(yǔ)言模型的聊天機(jī)器人，也不會(huì)是最后一個(gè)。目前ChatGPT基于的LLM即大語(yǔ)言模型，推動(dòng)了自然語(yǔ)言處理的極大進(jìn)步，并且已經(jīng)逐步成為數(shù)百萬(wàn)用戶所用產(chǎn)品的技術(shù)核心。但嚴(yán)格意義來(lái)說(shuō)，ChatGPT的生成只是基于海量數(shù)據(jù)庫(kù)基礎(chǔ)上展開(kāi)的信息生成，并非知識(shí)生成，與人類的智慧相比，ChatGPT目前只能實(shí)現(xiàn)初級(jí)的生成，并不能如人類一般實(shí)現(xiàn)創(chuàng)造性的成果產(chǎn)出。Lecun也正是因?yàn)檫@一點(diǎn)，才指出ChatGPT只是一個(gè)合格的工程。

LeCun認(rèn)為L(zhǎng)LM是被動(dòng)的，不會(huì)主動(dòng)規(guī)劃，不會(huì)講道理，也不會(huì)胡編亂造，不應(yīng)該用來(lái)獲得事實(shí)性建議，僅能用作寫作的輔助工具，其存在的問(wèn)題可以通過(guò)人工反饋緩解，但無(wú)法徹底解決，更好的系統(tǒng)終會(huì)出現(xiàn)。

ChatGPT強(qiáng)調(diào)回答的因果邏輯，但其生成的東西并未被驗(yàn)證，回答本身是否正確對(duì)于它本身來(lái)說(shuō)并不重要，因此會(huì)出現(xiàn)一些“一本正經(jīng)的胡說(shuō)八道”。這一點(diǎn)是生成式AI難以規(guī)避的痛點(diǎn)，因?yàn)橐坏?shù)據(jù)庫(kù)被“污染”，那么ChatGPT就會(huì)生成與事實(shí)不符的錯(cuò)誤。也正因如此，將ChatGPT看做引領(lǐng)科技進(jìn)步的“突破性成就”為時(shí)尚早，且言過(guò)其實(shí)。

就底層技術(shù)而言，基于Transformer、模型的ChatGPT與其他基于規(guī)則或機(jī)器學(xué)習(xí)的AI聊天機(jī)器人比起來(lái)，具有更高的語(yǔ)言理解能力和更豐富的語(yǔ)言表達(dá)能力，能夠生成更自然、流暢的文本，且經(jīng)過(guò)大量訓(xùn)練的它可以滿足”上知天文，下知地理“。

其中，Transformer是谷歌的發(fā)明,這種語(yǔ)言神經(jīng)網(wǎng)絡(luò)，正是GPT-3等大型語(yǔ)言模型的基礎(chǔ)。而第一個(gè)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，Yoshua Bengio早在20年前就提出了。Bengio的注意力機(jī)制后來(lái)被谷歌用于Transformer，之后成為了所有語(yǔ)言模型中的關(guān)鍵元素。另外，ChatGPT用的人類反饋強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)，也是由谷歌DeepMind實(shí)驗(yàn)室開(kāi)創(chuàng)的。

所以在LeCun這位深度學(xué)習(xí)三巨頭之一眼中，ChatGPT只是一項(xiàng)成功的工程案例，也情有可原。畢竟去年11月中旬，Meta的FAIR實(shí)驗(yàn)室也曾提出一個(gè)Galactica模型，它可以生成論文、百科詞條、回答問(wèn)題、完成化學(xué)公式和蛋白質(zhì)序列的多模態(tài)任務(wù)等等。LeCun發(fā)推對(duì)此盛贊，雖然因?yàn)殄e(cuò)誤，短短上線三天就被迫下架，但也可以說(shuō)明ChatGPT并非技術(shù)首創(chuàng)。

ChatGPT的技術(shù)的確不是最創(chuàng)新的，卻是如今最成功且目前無(wú)人并肩和超越的，其精準(zhǔn)獨(dú)特的定位策略，出色的產(chǎn)品運(yùn)營(yíng)，亦是過(guò)人之處。

下一代真正的通用性人工智能在哪？

LeCun認(rèn)為ChatGPT無(wú)法實(shí)現(xiàn)通用人工智能，但ALM技術(shù)路線可以。

ALM即增強(qiáng)語(yǔ)言模型，兼顧當(dāng)前ChatGPT 強(qiáng)于意圖理解、強(qiáng)于文本生成優(yōu)點(diǎn)的同時(shí)，也解決了它最大的產(chǎn)品落地痛點(diǎn)——事實(shí)性錯(cuò)誤通過(guò)外部信息進(jìn)行補(bǔ)全，具有真實(shí)性、減少不確定性、可解釋性和增強(qiáng)能力的特點(diǎn)。畢竟縱使訓(xùn)練數(shù)據(jù)已經(jīng)到達(dá)海量級(jí)別，相對(duì)于幾乎是無(wú)限的應(yīng)用場(chǎng)景來(lái)說(shuō),我們還是需要模型能夠隨時(shí)補(bǔ)充請(qǐng)求相關(guān)的外部數(shù)據(jù)，或是能夠自動(dòng)調(diào)用一些已有的可靠接口進(jìn)行推理服務(wù)。

LeCun曾經(jīng)表示過(guò)，讓機(jī)器像人或動(dòng)物一樣行動(dòng)是他一生的追求。

當(dāng)今人們對(duì)AI發(fā)展的看法也分為兩類，一些人認(rèn)為AI僅作為工具，需要更標(biāo)準(zhǔn)化、精細(xì)化、智能化代表更先進(jìn)的生產(chǎn)力，而一些人卻認(rèn)為AI可以在一些產(chǎn)品中表現(xiàn)得像人一樣，意圖理解和內(nèi)容生成能力是重點(diǎn)。這其實(shí)涉及很多人工智能倫理問(wèn)題。

LeCun等人撰文對(duì)當(dāng)前玩法百變的ChatGPT離真正的人還差多遠(yuǎn)這一問(wèn)題進(jìn)行了深入探討。文中闡述，聊天機(jī)器人非常聰明，在教育界引起的恐慌足以說(shuō)明它們書本知識(shí)的學(xué)習(xí)能力，無(wú)所不談更展現(xiàn)了它們經(jīng)大量訓(xùn)練后對(duì)這個(gè)世界的了解，他們松散地遵守人類規(guī)范卻不受約束，毫不在乎。

它們沒(méi)有想要對(duì)話實(shí)現(xiàn)的目標(biāo)，不受他人反應(yīng)的激勵(lì)，可以當(dāng)一個(gè)穩(wěn)定的輔助工具，卻無(wú)法成為一個(gè)值得信賴的大多數(shù)時(shí)候會(huì)希望與之交談的人?；蛟S這也是為何 LeCun直言ChatGPT這樣的大型語(yǔ)言模型是滔滔不絕胡說(shuō)八道，對(duì)現(xiàn)實(shí)把握非常膚淺，遠(yuǎn)談不上是AI新時(shí)代的開(kāi)創(chuàng)者。

不過(guò)值得一提的是，Meta前幾周也發(fā)布了自家的大型語(yǔ)言模型LLaMA，在很多測(cè)試中表現(xiàn)出色，被認(rèn)為似乎是目前最先進(jìn)的模型之一，且足夠小不需要多少資源就能運(yùn)行。

Rob Toews曾發(fā)表一篇關(guān)于「下一代語(yǔ)言模型」的文章，并得到Lecun盛贊。Rob Toews在文中針對(duì)當(dāng)下語(yǔ)言模型存在的問(wèn)題指出的三個(gè)發(fā)展方向可以說(shuō)和LeCun心中對(duì)理想人工智能的構(gòu)想有相似性。

讓AI像人一樣「思考」，通過(guò)bootstrapping的方式來(lái)提升模型的智能程度。當(dāng)前模型完成信息積累訓(xùn)練，利用這些從不同的來(lái)源中吸收的知識(shí)來(lái)生成新的書面內(nèi)容，然后利用這些內(nèi)容作為額外的訓(xùn)練數(shù)據(jù)來(lái)提升自己、自我改進(jìn)。

還要它可以自己去查驗(yàn)事實(shí)，但是否有必要對(duì)人工智能方法論進(jìn)行更根本的范式轉(zhuǎn)變，以使人工智能具有常識(shí)性和真正的理解，是個(gè)懸而未決的問(wèn)題。

以及大規(guī)模稀疏專家模型，當(dāng)下大型語(yǔ)言模型參數(shù)都是稠密的，稀疏專家模型的理念是，一個(gè)模型只能調(diào)用其參數(shù)中最相關(guān)的子集來(lái)響應(yīng)給定的查詢。其定義特征為，它們不激活給定輸入的所有參數(shù)，而只激活那些對(duì)處理輸入有幫助的參數(shù)。因此，模型稀疏性使模型的總參數(shù)計(jì)數(shù)與其計(jì)算需求解耦。

它們?cè)趯?shí)際應(yīng)用中比稠密模型更容易解釋，但構(gòu)建起來(lái)技術(shù)更復(fù)雜，至今沒(méi)有得到廣泛應(yīng)用，不過(guò)未來(lái)或許會(huì)更加普遍。

更多精彩內(nèi)容請(qǐng)關(guān)注公眾號(hào)：BFT機(jī)器人

本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請(qǐng)與我們聯(lián)系。若您對(duì)該文章內(nèi)容有任何疑問(wèn)，請(qǐng)與我們聯(lián)系，將及時(shí)回應(yīng)。