產(chǎn)生“有意義的人類語言”需要什么？

過去，我們可能認(rèn)為人類大腦必不可少。但現(xiàn)在我們知道，ChatGPT 的神經(jīng)網(wǎng)絡(luò)也可以做得非常出色。這或許就是我們所能達(dá)到的極限，沒有比這更簡單（或更易于人類理解）的方法可以使用了。

不過，我強(qiáng)烈懷疑ChatGPT的成功暗示了一個重要的“科學(xué)”事實(shí)：

有意義的人類語言實(shí)際上比我們所知道的更加結(jié)構(gòu)化、更加簡單，最終可能以相當(dāng)簡單的規(guī)則來描述如何組織這樣的語言。

正如上面提到的，句法語法為如何組織人類語言中屬于不同詞性的詞提供了規(guī)則。但是為了處理意義，我們需要更進(jìn)一步。一種方法是不僅考慮語言的句法語法，還要考慮語義語法。

當(dāng)我們開始談?wù)摗罢Z義語法”時，很快就會問：它的底層是什么？它假設(shè)了什么樣的“世界模型”？句法語法實(shí)際上只是關(guān)于由詞構(gòu)建語言的。但是語義語法必然涉及某種“世界模型”—類似于“骨架”，由實(shí)際的詞構(gòu)成的語言可以基于它分層。

直到不久之前，我們可能還是認(rèn)為（人類）語言將是描述“世界模型”的唯一通用方式。幾個世紀(jì)前，人們就已經(jīng)開始針對特定種類的事物進(jìn)行形式化，特別是基于數(shù)學(xué)。但是現(xiàn)在有了一種更通用的形式化方法：計(jì)算語言。

這一切都與語義語法的思想有關(guān)——目標(biāo)是擁有一個對各種概念通用的符號“構(gòu)造工具包”，用于對什么可以與什么組合在一起給出規(guī)則，從而對可以轉(zhuǎn)化為人類語言的“流”給出規(guī)則。

假設(shè)我們有這種“符號話語語言”，我們會用它做什么呢？首先可以生成“局部有意義的文本”。但最終，我們可能想要更有“全局意義”的結(jié)果——這意味著“計(jì)算”更多實(shí)際存在或發(fā)生于世界（或某個與現(xiàn)實(shí)一致的虛構(gòu)世界）中的事情。

人類語言是不精確的，這主要是因?yàn)樗鼪]有與特定的計(jì)算實(shí)現(xiàn)相“結(jié)合”，其意義基本上只由其使用者之間的“社會契約”定義。但是，計(jì)算語言在本質(zhì)上具有一定的精確性，因?yàn)樗付ǖ膬?nèi)容最終總是可以“在計(jì)算機(jī)上毫無歧義地執(zhí)行”。人類語言有一定的模糊性通常無傷大雅。（當(dāng)我們說“行星”時，是否包括外行星呢？等等。）但在計(jì)算語言中，我們必須對所做的所有區(qū)別進(jìn)行精確和清晰的說明。

所有這些在ChatGPT 中意味著什么呢？在訓(xùn)練中，ChatGPT 有效地“拼湊出”了一定數(shù)量（相當(dāng)驚人）的相當(dāng)于語義語法的東西。它的成功讓我們有理由認(rèn)為，構(gòu)建在計(jì)算語言形式上更完整的東西是可行的。與我們迄今為止對ChatGPT 內(nèi)部的理解不同的是，我們可以期望對計(jì)算語言進(jìn)行設(shè)計(jì)，使其易于被人類理解。

我們可以將計(jì)算語言——和語義語法——的構(gòu)建看作一種在表示事物方面的終極壓縮。因?yàn)樗刮覀儾槐兀ū热纾┨幚泶嬖谟谄胀ㄈ祟愓Z言中的所有“措辭”，就能夠談?wù)摽赡苄缘谋举|(zhì)?？梢哉J(rèn)為 ChatGPT 的巨大優(yōu)勢與之類似：因?yàn)樗苍谀撤N意義上“鉆研”到了，不必考慮可能的不同措辭，就能“以語義上有意義的方式組織語言”的地步。

*本文有刪減，內(nèi)容節(jié)選自《這就是ChatGPT》

編輯推薦

• 國內(nèi)首部由世界頂級AI學(xué)者、科學(xué)和技術(shù)領(lǐng)域重要的革新者、“第一個真正實(shí)用的人工智能”搜索引擎WolframAlpha發(fā)明人斯蒂芬·沃爾弗拉姆的ChatGPT誠意之作

• 當(dāng)今活著的最聰明的人之一、比肩康德，最硬核的思考者，對ChatGPT 最本質(zhì)的原理（神經(jīng)網(wǎng)絡(luò)）的解構(gòu)

• OpenAI CEO，ChatGPT之父山姆·阿爾特曼、世界頂級的AI學(xué)者，機(jī)器人界的巨擘，MIT教授，多家知名機(jī)器人公司創(chuàng)始人，美國工程院院士羅德尼·布魯克斯、量子位聯(lián)合創(chuàng)始人，總編輯李根、科學(xué)作家，“得到”APP《精英日課》專欄作者萬維鋼聯(lián)袂推薦

Wolfram是當(dāng)今活著的最聰明的幾個人之一，也是最硬核的思考者之一，因?yàn)樗庾x世界的視角是數(shù)學(xué)和物理學(xué)的。他關(guān)于計(jì)算不可約性的思想，給此后無論如何發(fā)展的世界中的AI和人類的角色設(shè)定了互不毀滅的定律。Wolfram的歷史地位將有可能比肩康德。

這本書撥云見日，講出了ChatGPT最底層的原理以及謎團(tuán)。沒有人真正理解為什么語言模型這么厲害，但這本書能告訴你它們的底線在哪里。

——萬維鋼，科學(xué)作家，“得到”App《精英日課》專欄作者

內(nèi)容簡介

ChatGPT是OpenAI開發(fā)的人工智能聊天機(jī)器人程序，于2022年11月推出，能夠自動生成一些表面上看起來像人類寫出的文字的東西，是一件很厲害且出乎大家意料的事。

那么，它是如何做到的呢？又是為何能做到的呢？本書會大致介紹ChatGPT的內(nèi)部機(jī)理，然后探討一下為什么它能很好地生成我們認(rèn)為是有意義的文本。

本書適合想了解ChatGPT的所有人閱讀。

電子書地址：https://www.ituring.com.cn/book/3237