機(jī)器之心報(bào)道

編輯：Panda W

「但我已經(jīng)老了，我所希望的是像你們這樣的年輕有為的研究人員，去想出我們?nèi)绾文軌驌碛羞@些超級(jí)智能，使我們的生活變得更好，而不是被它們控制?！?/span>

6 月 10 日，在 2023 北京智源大會(huì)的閉幕式演講中，在談到如何防止超級(jí)智能欺騙、控制人類的話題時(shí)，今年 75 歲的圖靈獎(jiǎng)得主 Geoffrey Hinton 不無感慨地說道。

Hinton 本次的演講題目為「通往智能的兩種道路」（Two Paths to Intelligence），即以數(shù)字形式執(zhí)行的不朽計(jì)算和依賴于硬件的可朽計(jì)算，它們的代表分別是數(shù)字計(jì)算機(jī)和人類大腦。演講最后，他重點(diǎn)談到了大型語(yǔ)言模型（LLM）為他帶來的對(duì)超級(jí)智能威脅的擔(dān)憂，對(duì)于這個(gè)涉及人類文明未來的主題，他非常直白地展現(xiàn)了自己的悲觀態(tài)度。

演講一開始，Hinton 便宣稱，超級(jí)智能（superintelligence）誕生的時(shí)間可能會(huì)比他曾經(jīng)想象的早得多。這一觀察引出了兩大問題：（1）人工神經(jīng)網(wǎng)絡(luò)的智能水平將會(huì)很快超越真實(shí)神經(jīng)網(wǎng)絡(luò)嗎？（2）人類是否能保證對(duì)超級(jí) AI 的控制？在大會(huì)演講中，他詳細(xì)討論了第一個(gè)問題；針對(duì)第二個(gè)問題，Hinton 在演講的最后表示：超級(jí)智能可能將很快到來。

首先，讓我們來看看傳統(tǒng)的計(jì)算方式。計(jì)算機(jī)的設(shè)計(jì)原則是要能精準(zhǔn)地執(zhí)行指令，也就是說如果我們?cè)诓煌挠布线\(yùn)行相同的程序（不管是不是神經(jīng)網(wǎng)絡(luò)），那么效果應(yīng)該是一樣的。這就意味著程序中包含的知識(shí)（如神經(jīng)網(wǎng)絡(luò)的權(quán)重）是不朽的，與具體的硬件沒有關(guān)系。

為了實(shí)現(xiàn)知識(shí)的不朽，我們的做法是以高功率運(yùn)行晶體管，使其能以數(shù)字化（digital）的方式可靠運(yùn)行。但這樣做的同時(shí)，我們就相當(dāng)于拋棄了硬件其它一些性質(zhì)，比如豐富的模擬性（analog）和高度的可變性。

傳統(tǒng)計(jì)算機(jī)之所以采用那樣的設(shè)計(jì)模式，是因?yàn)閭鹘y(tǒng)計(jì)算運(yùn)行的程序都是人類編寫的?，F(xiàn)在隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，計(jì)算機(jī)有了另一種獲取程序和任務(wù)目標(biāo)的方法：基于樣本的學(xué)習(xí)。

這種新范式讓我們可以放棄之前計(jì)算機(jī)系統(tǒng)設(shè)計(jì)的一項(xiàng)最基本原則，即軟件設(shè)計(jì)與硬件分離；轉(zhuǎn)而進(jìn)行軟件與硬件的協(xié)同設(shè)計(jì)。

軟硬件分離設(shè)計(jì)的優(yōu)點(diǎn)是能將同一程序運(yùn)行在許多不同的硬件上，同時(shí)我們?cè)谠O(shè)計(jì)程序時(shí)也能只看軟件，不管硬件 —— 這也是計(jì)算機(jī)科學(xué)系與電子工程系能夠分開設(shè)立的原因。

而對(duì)于軟硬件協(xié)同設(shè)計(jì)，Hinton 提出了一個(gè)新概念：Mortal Computation。對(duì)應(yīng)于前面提到不朽形式的軟件，我們這里將其譯為「可朽計(jì)算」。

可朽計(jì)算是什么？

可朽計(jì)算放棄了可在不同硬件上運(yùn)行同一軟件的不朽性，轉(zhuǎn)而采納了新的設(shè)計(jì)思路：知識(shí)與硬件的具體物理細(xì)節(jié)密不可分。這種新思路自然也有優(yōu)有劣。其中主要的優(yōu)勢(shì)包括節(jié)省能源和低硬件成本。

在節(jié)能方面可以參考人腦，人腦就是一種典型的可朽計(jì)算裝置。雖然人腦中也依然有一個(gè)比特的數(shù)字計(jì)算，即神經(jīng)元要么發(fā)射要么不發(fā)射，但整體來說，人腦的絕大多數(shù)計(jì)算都是模擬計(jì)算，功耗非常低。

可朽計(jì)算也可以使用更低成本的硬件。相較于現(xiàn)如今以二維模式高精度生產(chǎn)的處理器，可朽計(jì)算的硬件能以三維模式「生長(zhǎng)」出來，因?yàn)槲覀儾恍枰鞔_知道硬件的連接方式以及每個(gè)部件的確切功能。很顯然，為了實(shí)現(xiàn)計(jì)算硬件的「生長(zhǎng)」，我們需要很多新型納米技術(shù)或?qū)ι锷窠?jīng)元進(jìn)行基因改造的能力。改造生物神經(jīng)元的方法可能更容易實(shí)現(xiàn)，因?yàn)槲覀円呀?jīng)知道生物神經(jīng)元大致能夠完成我們想要的任務(wù)。

為了展示模擬計(jì)算的高效能力，Hinton 給出了一個(gè)示例：計(jì)算一個(gè)神經(jīng)活動(dòng)向量與一個(gè)權(quán)重矩陣的積（神經(jīng)網(wǎng)絡(luò)的大部分工作都是此類計(jì)算）。

對(duì)于該任務(wù)，當(dāng)前計(jì)算機(jī)的做法是使用高功耗的晶體管將數(shù)值表示成數(shù)字化的比特形式，然后執(zhí)行 O (n2) 數(shù)字運(yùn)算將兩個(gè) n 比特的數(shù)值相乘。雖然這只是計(jì)算機(jī)上的單個(gè)運(yùn)算，但卻是 n2 個(gè)比特的運(yùn)算。

而如果使用模擬計(jì)算呢？我們可以將神經(jīng)活動(dòng)視為電壓，將權(quán)重視為電導(dǎo)；那么每一單位時(shí)間里，電壓乘以電導(dǎo)可得到電荷，電荷可以疊加。這種工作方式的能效會(huì)高很多，而且其實(shí)現(xiàn)在已經(jīng)存在這樣工作的芯片了。但很不幸，Hinton 表示，現(xiàn)在人們還是要使用非常昂貴的轉(zhuǎn)換器將模擬形式的結(jié)果轉(zhuǎn)換成數(shù)字形式。他希望以后我們能在模擬領(lǐng)域完成整個(gè)計(jì)算過程。

可朽計(jì)算也面臨著一些問題，其中最主要的是難以保證結(jié)果的一致性，即在不同硬件上的計(jì)算結(jié)果可能會(huì)有所差別。另外，在反向傳播不可用的情況下，我們還需要找到新方法。

可朽計(jì)算面臨的問題：反向傳播不可用

在特定硬件上執(zhí)行可朽計(jì)算的學(xué)習(xí)時(shí)，就需要讓程序?qū)W習(xí)利用該硬件的特定模擬屬性，但它們無需知道這些屬性究竟是什么。舉個(gè)例子，它們無需知道究竟神經(jīng)元的內(nèi)部連接方式究竟是怎樣的，該神經(jīng)元的輸入和輸出又是通過什么函數(shù)關(guān)聯(lián)起來的。

這意味著我們不能使用反向傳播算法來獲取梯度，因?yàn)榉聪騻鞑バ枰粋€(gè)確切的前向傳播模型。

那么既然可朽計(jì)算不能使用反向傳播，我們又該怎么做呢？下面來看看在模擬硬件上執(zhí)行的一個(gè)簡(jiǎn)單學(xué)習(xí)過程，其中用到的方法稱為權(quán)重?cái)_動(dòng)。

首先，為網(wǎng)絡(luò)中的每個(gè)權(quán)重生成一個(gè)隨機(jī)向量，該向量由隨機(jī)的小擾動(dòng)構(gòu)成。然后，基于一個(gè)或少量樣本，測(cè)量全局目標(biāo)函數(shù)在使用這個(gè)擾動(dòng)向量后的變化情況。最后，根據(jù)目標(biāo)函數(shù)的提升情況，將該擾動(dòng)向量帶來的效果按比例尺度永久化到權(quán)重之中。

這個(gè)算法的優(yōu)點(diǎn)是其大致上的行為模式與反向傳播一致，同樣遵循梯度。但問題是它具有非常高的方差。因此，當(dāng)網(wǎng)絡(luò)規(guī)模增大時(shí)，在權(quán)重空間中選擇隨機(jī)移動(dòng)方向時(shí)所產(chǎn)生的噪聲會(huì)很大，讓這個(gè)方法難以為繼。這就意味著這種方法僅適用于小型網(wǎng)絡(luò)，不適用于大型網(wǎng)絡(luò)。

另一種方法是活動(dòng)擾動(dòng)，雖然它也存在類似的問題，但也能更好地用于更大型的網(wǎng)絡(luò)。

活動(dòng)擾動(dòng)方法是要用隨機(jī)向量對(duì)每個(gè)神經(jīng)元的整體輸入執(zhí)行擾動(dòng)，然后在一小批樣本下觀察目標(biāo)函數(shù)的變化情況，再計(jì)算如何改變?cè)撋窠?jīng)元的權(quán)重以遵循梯度。

與權(quán)重?cái)_動(dòng)相比，活動(dòng)擾動(dòng)的噪聲要小得多。并且這種方法已經(jīng)足以學(xué)習(xí) MNIST 這樣的簡(jiǎn)單任務(wù)。如果你使用非常小的學(xué)習(xí)率，那么它的行為就與反向傳播完全一樣，但速度要慢得多。而如果學(xué)習(xí)率較大，那么噪聲會(huì)很多，但也足夠應(yīng)對(duì) MNIST 這樣的任務(wù)。

但是如果我們的網(wǎng)絡(luò)規(guī)模還要更大呢？Hinton 提到了兩種方法。

第一種方法是使用巨量目標(biāo)函數(shù)，也就是說不使用單個(gè)函數(shù)來定義大型神經(jīng)網(wǎng)絡(luò)的目標(biāo)，而是使用大量函數(shù)來定義網(wǎng)絡(luò)中不同神經(jīng)元集團(tuán)的局部目標(biāo)。

這樣一來，大型神經(jīng)網(wǎng)絡(luò)就被化整為零，我們就能使用活動(dòng)擾動(dòng)來學(xué)習(xí)小型的多層神經(jīng)網(wǎng)絡(luò)。但問題來了：這些目標(biāo)函數(shù)從何而來？

其中一種可能性是在不同層級(jí)的局部圖塊上使用無監(jiān)督對(duì)比學(xué)習(xí)。其工作方式是這樣的：一個(gè)局部圖塊有多個(gè)表示層級(jí)，在每個(gè)層級(jí)，該局部圖塊會(huì)盡力與同一圖像的所有其它局部圖塊產(chǎn)生的平均表示保持一致；與此同時(shí)，還要盡力與其它圖像在該層級(jí)的表示保持差異。

Hinton 表示該方法在實(shí)踐中的表現(xiàn)很不錯(cuò)。大概的做法是讓每個(gè)表示層級(jí)都具有多個(gè)隱藏層，這樣可以進(jìn)行非線性的操作。這些層級(jí)使用活動(dòng)擾動(dòng)來進(jìn)行貪婪學(xué)習(xí)并且不會(huì)反向傳播到更低層級(jí)。由于它不能像反向傳播那樣傳遞很多層，因此不會(huì)像反向傳播那樣強(qiáng)大。

實(shí)際上這正是 Hinton 團(tuán)隊(duì)近些年最重要的研究成果之一，詳情可參閱機(jī)器之心的報(bào)道。

Mengye Ren 通過大量研究表明該方法是能夠在神經(jīng)網(wǎng)絡(luò)中實(shí)際生效的，但操作起來卻很復(fù)雜，實(shí)際效果也還趕不上反向傳播。如果大型網(wǎng)絡(luò)的深度更深，那么它與反向傳播的差距還會(huì)更大。

Hinton 表示這個(gè)能利用模擬屬性的學(xué)習(xí)算法只能說還算 OK，足以應(yīng)對(duì) MNIST 這樣的任務(wù)，但也并不是真正好用，比如在 ImageNet 任務(wù)上的表現(xiàn)就不是很好。

可朽計(jì)算面臨的問題：知識(shí)的傳承

可朽計(jì)算面臨的另一個(gè)主要問題是難以保證知識(shí)的傳承。由于可朽計(jì)算與硬件高度相關(guān)，因此無法通過復(fù)制權(quán)重來復(fù)制知識(shí)，這就意味著當(dāng)特定的硬件「死去」時(shí)，其學(xué)習(xí)到的知識(shí)也會(huì)一并消失。

Hinton 說解決該問題的最好方法是在硬件「死去」之前，將知識(shí)傳遞給學(xué)生。這類方法被稱為知識(shí)蒸餾（knowledge distillation），這一概念是 Hinton 在 2015 年與 Oriol Vinyals 和 Jeff Dean 合著的論文《Distilling the Knowledge in a Neural Network》中最早提出的。

這一概念的基本思路很簡(jiǎn)單，就類似于教師教授學(xué)生知識(shí)：教師向?qū)W生展示不同輸入的正確響應(yīng)，學(xué)生嘗試模仿教師的響應(yīng)。

Hinton 使用了美國(guó)前總統(tǒng)特朗普發(fā)推文為例來進(jìn)行直觀的說明：特朗普發(fā)推時(shí)常常會(huì)對(duì)各種事件做出非常情緒化的回應(yīng)，這會(huì)促使其追隨者改變自己的「神經(jīng)網(wǎng)絡(luò)」，從而產(chǎn)生同樣的情緒反應(yīng)；這樣一來，特朗普就將偏見蒸餾到了其追隨者的頭腦中，就像「邪教」——Hinton 很顯然并不喜歡特朗普。

知識(shí)蒸餾方法的效果如何呢？考慮到特朗普擁躉眾多，效果應(yīng)該不會(huì)差。Hinton 使用了一個(gè)例子進(jìn)行解釋：假設(shè)一個(gè)智能體需要將圖像歸類到 1024 個(gè)互不重疊的類別。

要指認(rèn)出正確答案，我們只需要 10 比特信息。因此，要訓(xùn)練該智能體正確識(shí)別一個(gè)特定樣本，只需要提供 10 比特信息來約束其權(quán)重即可。

但假如我們訓(xùn)練一個(gè)智能體使之與一個(gè)教師在這 1024 個(gè)類別上的概率大致保持一致呢？也就是說，使該智能體的概率分布與該教師一樣。這個(gè)概率分布有 1023 個(gè)實(shí)數(shù)，如果這些概率都不是很小，那么其提供的約束就增多了幾百倍。

為了確保這些概率不是太小，可以「高溫」運(yùn)行教師，在訓(xùn)練學(xué)生時(shí)也以「高溫」運(yùn)行學(xué)生。比如說，如果采用的是 logit，那就是輸入 softmax 的東西。對(duì)于教師來說，可以基于溫度參數(shù)對(duì)其進(jìn)行縮放，進(jìn)而得到一個(gè)更 soft 的分布；然后在訓(xùn)練學(xué)生時(shí)使用同樣的溫度。

下面來看一個(gè)具體的例子。下圖是來自 MNIST 訓(xùn)練集的字符 2 的一些圖像，對(duì)應(yīng)的右側(cè)是當(dāng)運(yùn)行教師的溫度高時(shí)，教師為每張圖像分配的概率。

對(duì)于第一行，教師確信它是 2；教師對(duì)第二行也有信心是 2，但它也認(rèn)為可能是 3 或 8。第三行則有些像 0。對(duì)于這個(gè)樣本，教師應(yīng)該說這是一個(gè) 2，但也應(yīng)該留點(diǎn)可能性給 0。這樣一來，比起直接告訴學(xué)生這是 2，學(xué)生能從中學(xué)到更多。

對(duì)于第四行，可以看到教師有信心它是 2，但它也認(rèn)為有點(diǎn)可能是 1，畢竟有時(shí)候我們寫的 1 就類似于圖左側(cè)畫的那樣。

對(duì)于第五行，教師出錯(cuò)了，認(rèn)為它是 5（但根據(jù) MNIST 標(biāo)簽應(yīng)該是 2）。學(xué)生也能從教師的錯(cuò)誤中學(xué)到很多。

蒸餾有一個(gè)很特殊的性質(zhì)，那就是當(dāng)使用教師給出的概率來訓(xùn)練學(xué)生時(shí)，那就在訓(xùn)練學(xué)生以老師那樣的方式來進(jìn)行泛化。如果教師為錯(cuò)誤答案分配了一定的小概率，那么也會(huì)訓(xùn)練學(xué)生泛化到錯(cuò)誤答案。

通常來說，我們訓(xùn)練模型是為了讓模型在訓(xùn)練數(shù)據(jù)上得到正確答案，并能將這種能力泛化到測(cè)試數(shù)據(jù)上。但使用教師 - 學(xué)生訓(xùn)練模式時(shí)，我們是直接訓(xùn)練學(xué)生的泛化能力，因?yàn)閷W(xué)生的訓(xùn)練目標(biāo)是能與老師一樣地進(jìn)行泛化。

很顯然，我們可以創(chuàng)建更豐富的輸出以供蒸餾。比如說我們可以為每張圖像賦予一個(gè)描述，而不僅僅是單個(gè)標(biāo)簽，然后再訓(xùn)練學(xué)生來預(yù)測(cè)這些描述中的詞。

接下來，Hinton 談到了在智能體群中共享知識(shí)的研究。這也是一種傳承知識(shí)的方式。

當(dāng)多個(gè)智能體構(gòu)成的社群互相共享知識(shí)時(shí)，共享知識(shí)的方式能在很大程度上決定計(jì)算執(zhí)行的方式。

對(duì)于數(shù)字模型，我們可以通過復(fù)制創(chuàng)建大量使用相同權(quán)重的智能體。我們可以讓這些智能體查看訓(xùn)練數(shù)據(jù)集的不同部分，讓它們各自基于不同部分的數(shù)據(jù)計(jì)算權(quán)重的梯度，然后再對(duì)這些梯度進(jìn)行平均。這樣一來，每個(gè)模型都學(xué)到了其它每個(gè)模型學(xué)到的知識(shí)。這種訓(xùn)練策略的好處是能高效處理大量數(shù)據(jù)；如果模型很大，就可以在每次共享中共享大量比特。

同時(shí)，由于這種方法需要各個(gè)智能體的工作方式完全一樣，因此就只能是數(shù)字模型才行。

權(quán)重共享的成本也很高。要讓不同的硬件以同樣的方式工作，就需要以極高的精準(zhǔn)率生產(chǎn)計(jì)算機(jī)，使得它們?cè)趫?zhí)行相同的指令時(shí)總是會(huì)得到相同的結(jié)果。另外，晶體管的功耗也不低。

蒸餾也能夠替代權(quán)重共享。尤其是當(dāng)你的模型用到了特定硬件的模擬屬性時(shí)，那就不能使用權(quán)重共享了，而是必須使用蒸餾來共享知識(shí)。

用蒸餾共享知識(shí)的效率并不高，帶寬很低。就像在學(xué)校里，教師都想把自己知道的知識(shí)灌進(jìn)學(xué)生腦袋，但這是不可能的，因?yàn)槲覀兪巧镏悄?，你的?quán)重對(duì)我沒用。

這里先簡(jiǎn)單總結(jié)一下，上面提到了兩種截然不同的執(zhí)行計(jì)算的方式（數(shù)字計(jì)算和生物計(jì)算），并且智能體之間共享知識(shí)的方式也大相徑庭。

那么現(xiàn)在發(fā)展正盛的大型語(yǔ)言模型（LLM）是哪種形式呢？它們是數(shù)字計(jì)算方式，能使用權(quán)重共享。

但是 LLM 的每個(gè)副本智能體都只能以非常低效的蒸餾方式學(xué)習(xí)文檔中的知識(shí)。LLM 的做法是預(yù)測(cè)文檔的下一個(gè)詞，但是并沒有教師對(duì)于下一個(gè)詞的概率分布，它有的只是一個(gè)隨機(jī)選擇，即該文檔作者在下一個(gè)詞位置選用的詞。LLM 實(shí)際上學(xué)習(xí)的是我們?nèi)祟?，但傳遞知識(shí)的帶寬非常低。

話又說回來，雖然 LLM 的每個(gè)副本通過蒸餾學(xué)習(xí)的效率非常低，但它們數(shù)量多呀，可以多達(dá)幾千個(gè)，也因此它們能學(xué)到比我們多數(shù)千倍的東西。也就是說現(xiàn)在的 LLM 比我們?nèi)魏稳硕几硬W(xué)。

超級(jí)智能會(huì)終結(jié)人類文明嗎？

接下來 Hinton 提出了一個(gè)問題：「如果這些數(shù)字智能并不通過蒸餾非常緩慢地學(xué)習(xí)我們，而是開始直接從現(xiàn)實(shí)世界學(xué)習(xí)，那么會(huì)發(fā)生什么呢？」

實(shí)際上，LLM 在學(xué)習(xí)文檔時(shí)就已經(jīng)在學(xué)習(xí)人類數(shù)千年所積累的知識(shí)了。因?yàn)槿祟悤?huì)通過語(yǔ)言描述我們對(duì)世界的認(rèn)識(shí)，那么數(shù)字智能就能直接通過文本學(xué)習(xí)來獲得人類積累的知識(shí)。盡管蒸餾的速度很慢，但它們也確實(shí)學(xué)到了非常抽象的知識(shí)。

如果數(shù)字智能可以通過圖像和視頻建模來進(jìn)行無監(jiān)督學(xué)習(xí)呢？現(xiàn)在的互聯(lián)網(wǎng)上已有大量影像數(shù)據(jù)可供使用，未來我們也許能夠找到讓 AI 有效學(xué)習(xí)這些數(shù)據(jù)的方法。另外，如果 AI 有機(jī)器臂等可以操控現(xiàn)實(shí)的方法，也能進(jìn)一步幫助它們學(xué)習(xí)。

Hinton 相信，如果數(shù)字智能體能做到這些，那么它們的學(xué)習(xí)能力將遠(yuǎn)遠(yuǎn)勝過人類，學(xué)習(xí)速度也會(huì)很快。

現(xiàn)在就回到了 Hinton 在開始時(shí)提出的問題：如果 AI 的智能水平超過我們，我們還能控制住它們嗎？

Hinton 表示，他做這場(chǎng)演講主要是想表達(dá)出他的擔(dān)憂。他說：「我認(rèn)為超級(jí)智能出現(xiàn)的時(shí)間可能會(huì)遠(yuǎn)遠(yuǎn)快于我之前所想。」他給出了超級(jí)智能掌控人類的幾種可能方式。

比如不良行為者可能會(huì)利用超級(jí)智能來操控選舉或贏得戰(zhàn)爭(zhēng)（實(shí)際上現(xiàn)在已經(jīng)有人在用已有 AI 做這些事情了）。

在這種情況下，如果你想要超級(jí)智能更高效，你可能會(huì)允許它自行創(chuàng)建子目標(biāo)。而掌控更多權(quán)力是一個(gè)顯而易見的子目標(biāo)，畢竟權(quán)力越大，控制的資源越多，就更能幫助智能體實(shí)現(xiàn)其最終目標(biāo)。然后超級(jí)智能可能會(huì)發(fā)現(xiàn)，通過操控運(yùn)用權(quán)力的人就能輕松獲得更多權(quán)力。

我們很難想象比我們聰明的存在以及我們與它們互動(dòng)的方式。但 Hinton 認(rèn)為比我們聰明的超級(jí)智能肯定能學(xué)會(huì)欺騙人類，畢竟人類有那么多小說和政治文獻(xiàn)可供學(xué)習(xí)。

一旦超級(jí)智能學(xué)會(huì)了欺騙人類，它就能讓人類去進(jìn)行它想要的行為。這和人騙人其實(shí)沒有本質(zhì)區(qū)別。Hinton 舉例說，如果某人想要入侵華盛頓的某棟大樓，他其實(shí)無需親自前去，他只需要欺騙人們，讓他們相信入侵這棟大樓是為了拯救民主。

「我覺得這非?？膳隆！笻inton 的悲觀溢于言表，「現(xiàn)在，我看不到該怎么防止這種情況發(fā)生，但我已經(jīng)老了?！顾Ｍ嗄瓴趴兡軌蛘业椒椒ㄗ尦?jí)智能幫助人類生活得更好，而不是讓人類落入它們的控制之中。

但他也表示我們有一個(gè)優(yōu)勢(shì)，盡管是相當(dāng)小的優(yōu)勢(shì)，即 AI 不是進(jìn)化而來的，而是人類創(chuàng)造的。這樣一來，AI 就不具備原始人類那樣的競(jìng)爭(zhēng)性和攻擊性目標(biāo)。也許我們能夠在創(chuàng)造 AI 的過程中為它們?cè)O(shè)定道德倫理原則。

不過，如果是智能水平遠(yuǎn)超人類的超級(jí)智能，這樣做也不見得有效。Hinton 說他從沒見過更高智能水平的東西被遠(yuǎn)遠(yuǎn)更低智能水平的東西控制的案例。就假設(shè)說如果是青蛙創(chuàng)造了人類，但現(xiàn)在的青蛙和人類又是誰控制誰呢？

最后，Hinton 悲觀地放出了這次演講的最后一頁(yè)幻燈片：

這既標(biāo)志著演講的結(jié)束，也是對(duì)全體人類的警示：超級(jí)智能可能導(dǎo)致人類文明的終結(jié)。

? THE END

轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)

投稿或?qū)で髨?bào)道：content@jiqizhixin.com