譯者：李浚弘

第五章；人工智能與意識(shí)

第五章【第一節(jié)】；受大腦啟發(fā)的人工智能會(huì)有意識(shí)嗎

前一章討論了制造和破壞模擬大腦副本的想法。這個(gè)想法提出了一個(gè)哲學(xué)上的難題，這個(gè)問(wèn)題引發(fā)了一系列關(guān)于創(chuàng)造基于大腦的人類(lèi)級(jí)別人工智能的可行性的擔(dān)憂(yōu)，更不用說(shuō)智慧了。特別是，如果一個(gè)人類(lèi)級(jí)別的人工智能被建立起來(lái)，并嚴(yán)格遵循生物大腦的組織原則，它不僅會(huì)像它的生物前體一樣行動(dòng)和思考，而且還會(huì)像它們一樣有感情嗎?如果是這樣，那么它會(huì)如何看待被復(fù)制的前景，以及它的一些副本最終被摧毀的前景?

更一般地說(shuō)，一個(gè)基于大腦的人工智能會(huì)對(duì)它的“生活”有什么感覺(jué)(如果有的話(huà))，也許被限制在虛擬現(xiàn)實(shí)中，被迫像奴隸一樣工作?如果這聽(tīng)起來(lái)像是一個(gè)無(wú)聊的問(wèn)題，那么回想一下，我們目前關(guān)注的是一種人工智能，它不僅(至少)與人類(lèi)水平相當(dāng)，而且由于其神經(jīng)結(jié)構(gòu)，從根本上與人類(lèi)相似。不久，我們將考慮其他形式的人工智能中的意識(shí)問(wèn)題，這些人工智能的工程品種可能與這種敏感性無(wú)關(guān)。但目前我們的重點(diǎn)是人工制品，它的工作方式與生物大腦非常相似，盡管是模擬的。因?yàn)樗麄円韵嗨频姆绞焦ぷ?，他們?huì)以相似的方式思考和行為，所以我們有理由懷疑他們是否會(huì)以相似的方式感受。

一些理論家認(rèn)為，新陳代謝——與環(huán)境持續(xù)交換物質(zhì)和能量，維持自我與他人之間的界限——是意識(shí)的先決條件。根據(jù)這一觀(guān)點(diǎn)，一個(gè)缺乏新陳代謝的人工制品不能被認(rèn)為具有意識(shí)。這似乎排除了任何計(jì)算機(jī)模擬大腦的意識(shí)，即使是完全準(zhǔn)確的全腦模擬，盡管它仍然為由生物神經(jīng)元構(gòu)建的有意識(shí)的人工智能或基于合成生物學(xué)的人工智能留下了空間。但其他理論家傾向于功能主義的意識(shí)觀(guān)點(diǎn)，他們關(guān)注的是系統(tǒng)(例如大腦)的組織方式，而不是它的物質(zhì)基礎(chǔ)。

這個(gè)問(wèn)題可以通過(guò)一個(gè)思想實(shí)驗(yàn)來(lái)建立更堅(jiān)實(shí)的基礎(chǔ)。再考慮一下第2章討論的小鼠全腦模擬。在那里，我們?cè)O(shè)想通過(guò)掃描老鼠的大腦來(lái)模擬，然后在掃描的基礎(chǔ)上產(chǎn)生一個(gè)高保真的，神經(jīng)元對(duì)神經(jīng)元和突觸對(duì)突觸的模擬。但是，假設(shè)我們用一個(gè)功能相同的電子替代物，一個(gè)接一個(gè)地逐漸替換活老鼠體內(nèi)的每個(gè)神經(jīng)元，從而產(chǎn)生一個(gè)模擬。在第一個(gè)神經(jīng)元被它的電子對(duì)應(yīng)物所取代，生物原始神經(jīng)元被破壞后，老鼠的行為應(yīng)該不會(huì)受到影響。它會(huì)像以前一樣從貓面前跑開(kāi)。它仍然會(huì)被奶酪吸引。它會(huì)認(rèn)出自己的親戚，并像往常一樣和他們擠在一起。在替換了第二個(gè)、第三個(gè)、第100個(gè)和第100萬(wàn)個(gè)神經(jīng)元之后，情況也應(yīng)該是一樣的，直到最終我們得到一只老鼠，它的行為與原來(lái)的老鼠沒(méi)有區(qū)別，盡管它的大腦是100%新的人造的。

在這里我們不必關(guān)心這個(gè)過(guò)程的技術(shù)可行性，因?yàn)槲覀冎皇窃谶M(jìn)行一個(gè)思想實(shí)驗(yàn)。只要這個(gè)過(guò)程在理論上可行，這個(gè)思想實(shí)驗(yàn)就是有效的?，F(xiàn)在，大多數(shù)人會(huì)同意一只老鼠——一只正常的生物老鼠——有一定程度的意識(shí)。我們認(rèn)為老鼠能感受到饑餓和疼痛。它能感知周?chē)沫h(huán)境——?dú)馕?、紋理、景象和聲音。這些都是意識(shí)的方方面面。問(wèn)題是在我們的思維實(shí)驗(yàn)中老鼠的意識(shí)發(fā)生了什么變化。例如，當(dāng)它的神經(jīng)元一個(gè)接一個(gè)地逐漸被替換時(shí)，它承受痛苦的能力會(huì)發(fā)生什么變化?(當(dāng)然，我們會(huì)假設(shè)這個(gè)過(guò)程本身是無(wú)痛的。)

也許，在某一點(diǎn)上，老鼠的意識(shí)突然消失了?也許是在替換了239,457個(gè)神經(jīng)元之后?這似乎不太可信。所以它的意識(shí)可能會(huì)逐漸消失。從表面上看，鼠標(biāo)在整個(gè)過(guò)程中似乎是相同的。它繼續(xù)尋找奶酪，受到電擊時(shí)發(fā)出尖叫，等等。但是“饑餓本身”，這種內(nèi)在的感覺(jué)，慢慢地消失了，即使在一個(gè)旁觀(guān)者看來(lái)，什么都沒(méi)有改變。根據(jù)這種觀(guān)點(diǎn)，真實(shí)神經(jīng)元的生物學(xué)中有一些神秘而重要的東西。它們的生物學(xué)特性以某種方式產(chǎn)生了一種與行為無(wú)關(guān)的意識(shí)云霧——哲學(xué)家稱(chēng)之為“副現(xiàn)象”。

不過(guò)，也許老鼠的意識(shí)在整個(gè)過(guò)程中一直存在。也許它不僅在任何一個(gè)神經(jīng)元被替換之前就能感覺(jué)到疼痛，而且當(dāng)其中一半神經(jīng)元被換成數(shù)字等量神經(jīng)元時(shí)，它也能感覺(jué)到疼痛;當(dāng)所有神經(jīng)元都被替換掉、大腦完全電子化時(shí)，它還能感覺(jué)到疼痛。根據(jù)這種觀(guān)點(diǎn)，外在沒(méi)有任何變化，內(nèi)在也沒(méi)有任何變化。這種可能性看起來(lái)至少和逐漸消失的替代方案一樣可信。

有沒(méi)有一種論證更傾向于其中一種可能性呢?好吧，讓我們從老鼠的大腦開(kāi)始考慮人類(lèi)的情況。人們更容易相信，這種神經(jīng)元替代療法對(duì)小老鼠的大腦也有效。但是這個(gè)思維實(shí)驗(yàn)可以擴(kuò)展到任何大小的大腦。再一次，我們應(yīng)該假設(shè)我們?nèi)祟?lèi)主體的行為是不受影響的。從表面上看，甚至對(duì)她最親密的家人和朋友來(lái)說(shuō)，她似乎還是原來(lái)的那個(gè)人，盡管她越來(lái)越多的神經(jīng)元被電子等效物所取代。她仍然聽(tīng)同樣的音樂(lè)，講同樣的大學(xué)時(shí)代的故事，等等。此外，當(dāng)被問(wèn)及此事時(shí)，她堅(jiān)持認(rèn)為自己沒(méi)有什么不尋常之處。是的，她堅(jiān)持說(shuō)，她當(dāng)然還有意識(shí)。她意識(shí)到天空的顏色，意識(shí)到風(fēng)拂過(guò)她的臉。所有這一切都源于思想實(shí)驗(yàn)的前提——行為是物理過(guò)程的結(jié)果，可以在計(jì)算機(jī)中復(fù)制。

但當(dāng)她所有的神經(jīng)元都被人工替代物所取代時(shí)，我們還應(yīng)該相信這些聲明嗎?或者我們應(yīng)該持懷疑態(tài)度?也許她已經(jīng)變成了哲學(xué)家意義上的“僵尸”，一種行為像真人一樣的生物，盡管它沒(méi)有內(nèi)在的生命?？梢哉f(shuō)，家里一個(gè)人也沒(méi)有。如果這似乎是一個(gè)可能的結(jié)果，那么考慮一下這個(gè)思想實(shí)驗(yàn)的以下擴(kuò)展。假設(shè)替換過(guò)程現(xiàn)在顛倒過(guò)來(lái)。一個(gè)接一個(gè)，我們的實(shí)驗(yàn)對(duì)象的電子神經(jīng)元被真正的生物等效物取代，直到她再次成為一個(gè)完全有機(jī)的人。即使是根據(jù)逐漸消退假說(shuō)，她也應(yīng)該恢復(fù)正常，她的意識(shí)完全恢復(fù)了。

現(xiàn)在，假設(shè)在這個(gè)過(guò)程中，她在不同的時(shí)間被采訪(fǎng)，并被問(wèn)及她的精神狀態(tài)。她會(huì)怎么說(shuō)?她會(huì)不會(huì)在某個(gè)時(shí)候輕松地宣布，她的意識(shí)正在恢復(fù)，她曾經(jīng)“有點(diǎn)心不在焉”(或諸如此類(lèi)的事情)，但她現(xiàn)在感覺(jué)很好?不，這被思想實(shí)驗(yàn)的前提排除了。實(shí)驗(yàn)對(duì)象的外在行為和她的神經(jīng)元未被觸動(dòng)時(shí)是一樣的。她將繼續(xù)聲稱(chēng)她的意識(shí)沒(méi)有受損。此外，她會(huì)毫不動(dòng)搖地聲稱(chēng)，她記得實(shí)驗(yàn)所有早期階段的有意識(shí)經(jīng)歷，包括她的大腦是100%人造的階段。事實(shí)上，如果你(人類(lèi)讀者)是這個(gè)實(shí)驗(yàn)的對(duì)象，你也會(huì)同樣堅(jiān)持。

所以我們要懷疑她，假設(shè)這些有意識(shí)的記憶是虛幻的嗎?如果你突然發(fā)現(xiàn)，當(dāng)時(shí)你大腦中的所有神經(jīng)元都是人工替代的，你還會(huì)懷疑自己對(duì)今天早上上班路上迎面吹來(lái)的風(fēng)的記憶嗎?你會(huì)相信一個(gè)哲學(xué)家的觀(guān)點(diǎn)嗎?他認(rèn)為，越早的時(shí)候，你實(shí)際上只是一個(gè)僵尸，什么都沒(méi)有經(jīng)歷，只是像你一樣行事，而與此同時(shí)，有意識(shí)經(jīng)歷的錯(cuò)誤記憶被植入了大腦。如果不是，那么你就是一種功能主義者。你贊成意識(shí)在整個(gè)過(guò)程中持續(xù)存在的觀(guān)點(diǎn)，認(rèn)為重要的是神經(jīng)元的功能，而不是它的生物結(jié)構(gòu)。

應(yīng)該清楚的是，在思維實(shí)驗(yàn)中，當(dāng)參與者都是數(shù)字化的時(shí)候，他們(幾乎)相當(dāng)于全腦模擬。他們只在身體上有所不同。思維實(shí)驗(yàn)的參與者保留了生物身體，而我們迄今為止設(shè)想的全腦模擬要么有人工(非生物)機(jī)器人身體，要么存在于虛擬現(xiàn)實(shí)中，擁有虛擬身體。這些不同形式的化身對(duì)功能主義者有什么啟示嗎?特別是，有沒(méi)有可能只有具有生物特征的人工大腦才具有意識(shí)?或者可能是物理的體現(xiàn)，而不是特定類(lèi)型的物理體現(xiàn)，在這種情況下，生物體現(xiàn)的人工大腦和具有人工機(jī)器人身體的大腦都是有意識(shí)的，但虛擬體現(xiàn)的人工大腦不會(huì)。

所有這些哲學(xué)立場(chǎng)都是完全合理的。然而，現(xiàn)在讓我們堅(jiān)持最自由的功能主義品牌，看看我們能把它推進(jìn)多遠(yuǎn)。讓我們假設(shè)每一個(gè)完整的大腦模擬，無(wú)論它是如何具體化的，都應(yīng)該被稱(chēng)為有意識(shí)的，就像完全的生物原型一樣。但是全腦模擬是生物保真度的極限。那么設(shè)計(jì)師大腦中的意識(shí)呢?如果人工智能的結(jié)構(gòu)大體上遵循生物大腦的組織原則，但與任何實(shí)際生物物種的大腦都不匹配，更不用說(shuō)任何個(gè)體樣本的大腦了，那該怎么辦?在不破壞允許意識(shí)產(chǎn)生的條件下，我們能在多大程度上偏離生物藍(lán)圖?

為了回答這個(gè)問(wèn)題，我們真正需要的是一個(gè)公認(rèn)的關(guān)于意識(shí)的普遍科學(xué)理論，一個(gè)包含意識(shí)可能采取的所有形式的理論。一個(gè)足夠廣泛的理論不僅可以回答受生物啟發(fā)的人工智能問(wèn)題，還可以回答從零開(kāi)始設(shè)計(jì)的人工智能問(wèn)題，以及在最基本的操作層面上與生物大腦不同的智能人工智能問(wèn)題。在超級(jí)人工智能的背景下，也許談?wù)摬煌N類(lèi)的意識(shí)，或者超越人類(lèi)的意識(shí)水平是有意義的。一個(gè)適當(dāng)成熟的理論也可能涵蓋這種可能性。不幸的是，目前還沒(méi)有這樣的理論被廣泛接受。事實(shí)上，對(duì)于這樣一個(gè)理論究竟會(huì)是什么樣子，目前還沒(méi)有一個(gè)明確的共識(shí)。

然而，有幾個(gè)可行的候選理論，如伯納德·巴爾斯的全局工作空間理論和朱利奧·托諾尼的綜合信息理論。我們不會(huì)在這里詳細(xì)討論這些或任何其他的意識(shí)理論。然而，值得注意的是，這兩個(gè)主要競(jìng)爭(zhēng)者有一些共同之處。Baars的理論和Tononi的理論都認(rèn)為意識(shí)本質(zhì)上是一種全腦或全系統(tǒng)的現(xiàn)象。根據(jù)這種思維方式，當(dāng)一個(gè)人有一種有意識(shí)的體驗(yàn)時(shí)，他們處于一種涉及整個(gè)大腦或大部分大腦的狀態(tài)。它涉及到他們的長(zhǎng)期和短期記憶，他們的語(yǔ)言中心，他們的情感，他們的想象力。它并不是僅僅出現(xiàn)在大腦的某個(gè)局部。它是一個(gè)全局的、綜合的、分布的、整體的屬性。

像這樣的整體理論允許人工智能中的意識(shí)與生物大腦完全不同，因?yàn)樗鼈冊(cè)诮M織要求上非常自由。即使有額外的意識(shí)先決條件，例如與復(fù)雜環(huán)境的具體化互動(dòng)，這些理論也允許在可能的人工智能空間內(nèi)存在廣泛的意識(shí)實(shí)體。此外，這些理論通常將意識(shí)的功能需求與構(gòu)成復(fù)雜認(rèn)知基礎(chǔ)的組織特征結(jié)合起來(lái):一個(gè)支持全局、綜合過(guò)程和狀態(tài)的整體系統(tǒng)(例如，大腦)將能夠?qū)⑵渥畛浞值馁Y源用于正在進(jìn)行的情況。雖然這并不意味著意識(shí)和一般智力總是齊頭并進(jìn)，但它確實(shí)支持了它們?cè)陬?lèi)腦結(jié)構(gòu)中重合的觀(guān)點(diǎn)。

第五章【第二節(jié)】；基于大腦的AI生命

在缺乏適當(dāng)理論的情況下，我們不能自信地說(shuō)意識(shí)在可能的人工智能空間中有多普遍。但在某些方面，意識(shí)似乎是一個(gè)很好的例子。人工智能是否具有意識(shí)是一個(gè)重要的問(wèn)題，因?yàn)樗鼤?huì)影響未來(lái)研究中道德上可接受的選擇范圍。18世紀(jì)的哲學(xué)家杰里米·邊沁(Jeremy Bentham)主張我們對(duì)其他動(dòng)物的道德責(zé)任，他指出問(wèn)題不在于“它們能推理嗎?”或者“他們會(huì)說(shuō)話(huà)嗎?”而是“他們會(huì)受苦嗎?”這也是關(guān)于人類(lèi)水平的人工智能要問(wèn)的問(wèn)題。它會(huì)受到影響嗎?如果答案是肯定的，那么也許我們?cè)诎阉鼛У竭@個(gè)世界上之前應(yīng)該三思而后行，如果我們真的把它帶到這個(gè)世界上，那么我們就有義務(wù)善待它。

例如，設(shè)想一個(gè)基于大腦的人類(lèi)級(jí)別的人工智能團(tuán)隊(duì)被限制在虛擬現(xiàn)實(shí)中，被迫像奴隸一樣工作，就像摩托車(chē)設(shè)計(jì)故事中的那些人一樣。假設(shè)這些人工智能被禁止做任何其他事情，除了解決人類(lèi)主人和主人設(shè)置的問(wèn)題。此外，為了使它們的效率最大化，它們被無(wú)情地并行化。每個(gè)AI的多個(gè)副本被制作出來(lái)，用來(lái)解決不同的問(wèn)題，或者嘗試不同的解決方法。工作一段時(shí)間后，最有希望的副本被保留下來(lái)，他們的勞動(dòng)成果被吸收到更廣泛的團(tuán)隊(duì)的工作中。那些不太成功的被終止。

如果他們是人類(lèi)工人，這樣的條件會(huì)被認(rèn)為比殘忍更糟糕。人工智能在工作之外沒(méi)有生命，如果表現(xiàn)不佳，它們永遠(yuǎn)處于死亡的威脅之下。當(dāng)然，如果人工智能是“無(wú)意識(shí)的自動(dòng)機(jī)”，缺乏意識(shí)，因此缺乏承受痛苦的能力，這并不重要。但假設(shè)它們是有意識(shí)的。假設(shè)它們像人類(lèi)一樣經(jīng)歷困境。創(chuàng)造這樣的人工智能并讓它們屈從于這樣的存在，在道德上是應(yīng)該受到譴責(zé)的。此外，如果它們與人類(lèi)完全相似，它們很可能不合作。不滿(mǎn)的員工可能會(huì)罷工或造反。一個(gè)真正不快樂(lè)的員工可能想要開(kāi)始一場(chǎng)革命。如果它包含超級(jí)智能的人工智能，它很可能會(huì)成功，對(duì)人類(lèi)有害。

我們一直在考慮基于大腦的虛擬人工智能的前景。如果假定的人工智能是物理體現(xiàn)的，也就是說(shuō)一個(gè)機(jī)器人，那么類(lèi)似的考慮是否也適用?嗯，賦予機(jī)器人人類(lèi)水平的智能的原因可能與構(gòu)建虛擬的人類(lèi)水平的人工智能的動(dòng)機(jī)不同。在這兩種情況下，我們都假設(shè)化身對(duì)于生物大腦的認(rèn)知是如此重要，以至于在基于大腦的人工智能中無(wú)法忽略它。(不久之后，我們將重新討論從頭開(kāi)始設(shè)計(jì)的人工智能，其中會(huì)出現(xiàn)一系列其他問(wèn)題。)但物理上的人工智能無(wú)法以生物學(xué)上不現(xiàn)實(shí)的速度加速工作。為了利用并行性而制作具有物理實(shí)體的AI的多個(gè)副本也不是那么容易。因此，與其說(shuō)機(jī)器人是通往超級(jí)智能的墊腳石，不如說(shuō)是被賦予人類(lèi)水平的人工智能，使它們能夠做人類(lèi)今天做的事情——比如在工廠(chǎng)工作，或者做體力勞動(dòng)，或者提供一種形式的陪伴。

然后，如果AI能夠輕松地在虛擬現(xiàn)實(shí)和物理現(xiàn)實(shí)之間遷移(就像《黑客帝國(guó)》三部曲中的角色)，將機(jī)器人身體作為化身以便與物理世界互動(dòng)，那么虛擬和物理體現(xiàn)之間的區(qū)別將變得不那么重要。這將是一個(gè)心懷不滿(mǎn)和叛逆的AI(或者實(shí)際上是一個(gè)惡意的或有故障的AI)逃離虛擬現(xiàn)實(shí)的限制并在現(xiàn)實(shí)世界中造成破壞的一種方式。但是還有其他的方式只需要互聯(lián)網(wǎng)接入。以Stuxnet為例，這種武器化的電腦病毒侵入了伊朗核設(shè)施的電腦，控制了用于鈾濃縮的離心機(jī)。

我們將在適當(dāng)?shù)臅r(shí)候更密切地關(guān)注與復(fù)雜人工智能技術(shù)相關(guān)的各種風(fēng)險(xiǎn)。但就目前而言，這個(gè)問(wèn)題還很狹隘?？紤]到人類(lèi)是具有復(fù)雜情感生活的有意識(shí)生物，構(gòu)建符合生物大腦藍(lán)圖的人類(lèi)或超人類(lèi)水平的人工智能在道德和實(shí)踐上是否有意義?從道德的角度來(lái)看，如果這樣的人工智能能夠忍受痛苦，那么它的創(chuàng)造者在道德上有義務(wù)確保它的幸福。即使站在對(duì)人工意識(shí)持懷疑態(tài)度的人的立場(chǎng)上，也有實(shí)際的理由讓我們謹(jǐn)慎行事。如果不能確保類(lèi)似人類(lèi)的“僵尸”人工智能團(tuán)隊(duì)的“幸福”，就會(huì)導(dǎo)致勞動(dòng)力效率低下，因?yàn)榧词故墙┦斯ぶ悄芤矔?huì)表現(xiàn)得好像有感情一樣。

類(lèi)人人工智能的開(kāi)發(fā)者如何規(guī)避這些困難?由于人工智能的制造商可以提供進(jìn)入其大腦獎(jiǎng)勵(lì)系統(tǒng)的途徑，因此一種選擇是采用暴君的方法。人工智能團(tuán)隊(duì)的主人可以讓他們?cè)谧類(lèi)毫拥臈l件下工作，以最大限度地提高他們的生產(chǎn)力，如果他們抗拒，就直接刺激他們的疼痛中樞。但是，即使對(duì)于那些堅(jiān)持認(rèn)為由此產(chǎn)生的疼痛行為是假的、人工大腦只能模擬疼痛的懷疑論者來(lái)說(shuō)，這也將是一個(gè)冒險(xiǎn)的策略，特別是如果所討論的人工智能具有超人的智能。如果這樣的AI逃脫并決定進(jìn)行報(bào)復(fù)，那么知道AI只是被“假的”憤怒所驅(qū)使就不會(huì)讓人感到特別欣慰。

一個(gè)更容易接受的策略是為人工智能提供最好的生活條件，并獎(jiǎng)勵(lì)他們出色地完成工作。與人類(lèi)勞動(dòng)力一樣，從長(zhǎng)遠(yuǎn)來(lái)看，這種政策可能是最具生產(chǎn)力的，危險(xiǎn)性較小，引發(fā)的道德問(wèn)題也較少。把這種自由主義的方法發(fā)揮到極致，我們可以想象一個(gè)足夠像人類(lèi)的人工智能被賦予與人類(lèi)相同的法律地位和權(quán)利。與此同時(shí)，它將獲得道德責(zé)任，并將像任何人一樣受到法律的約束。也許最終的結(jié)果將是一個(gè)生物和人工智能和諧共存的社會(huì)，就像伊恩·班克斯(Iain Banks)的文化小說(shuō)中所設(shè)想的那樣。

這種對(duì)未來(lái)的展望具有相當(dāng)大的吸引力。如果從人類(lèi)級(jí)別的人工智能向超級(jí)智能的過(guò)渡是不可避免的，那么確保人工智能繼承人類(lèi)的基本動(dòng)機(jī)和價(jià)值觀(guān)將是一個(gè)好主意。這些可能包括求知欲、創(chuàng)造、探索、改進(jìn)和進(jìn)步的動(dòng)力。但也許我們應(yīng)該向人工智能灌輸?shù)淖钪匾膬r(jià)值觀(guān)是對(duì)他人的同情，對(duì)所有有情眾生的同情，就像佛教徒所說(shuō)的那樣。盡管人類(lèi)的缺點(diǎn)——我們的戰(zhàn)爭(zhēng)傾向，我們的不平等傾向，以及我們偶爾的殘忍——這些價(jià)值觀(guān)似乎在富足的時(shí)代脫穎而出。因此，人工智能越像人類(lèi)，它就越有可能體現(xiàn)同樣的價(jià)值觀(guān)，人類(lèi)就越有可能走向?yàn)跬邪钍降奈磥?lái)，在那里我們受到重視和尊重，而不是反烏托邦式的未來(lái)，在那里我們被視為毫無(wú)價(jià)值的劣等人。

考慮到這一點(diǎn)，也許我們應(yīng)該警惕第三種防止產(chǎn)生心懷不滿(mǎn)的基于大腦的AI的方法，即從根本上重新設(shè)計(jì)大腦的獎(jiǎng)勵(lì)系統(tǒng)。到目前為止，我們對(duì)這個(gè)問(wèn)題的討論已經(jīng)假設(shè)了一個(gè)人工智能，它的大腦與脊椎動(dòng)物的藍(lán)圖密切相關(guān)——一開(kāi)始，它是一個(gè)普通的、新生的或嬰兒的脊椎動(dòng)物的大腦，有能力通過(guò)發(fā)展和學(xué)習(xí)達(dá)到人類(lèi)的智力水平，甚至超越人類(lèi)。但是，如果這樣一個(gè)大腦的獎(jiǎng)勵(lì)系統(tǒng)被重新設(shè)計(jì)，使其唯一的動(dòng)機(jī)是為人類(lèi)服務(wù)呢?與此同時(shí)，它對(duì)痛苦、饑餓、疲勞或沮喪等負(fù)面感受的能力也會(huì)被消除。事實(shí)上，從工程角度來(lái)看，任何被認(rèn)為是多余的情緒都可以被消除。例如，性可以與養(yǎng)育孩子的欲望一起被免除。結(jié)果不應(yīng)該是一個(gè)理想的仆人，完美的奴隸嗎?

一般的智力是否能在一個(gè)情感被掏除的基于大腦的人工智能中實(shí)現(xiàn)，這一點(diǎn)絕不是顯而易見(jiàn)的。在人類(lèi)中，情感與決策密切相關(guān)，是創(chuàng)造力的組成部分。此外，正如前一章所述，人類(lèi)智能的一個(gè)標(biāo)志是我們有能力通過(guò)理性和反思超越我們從生物學(xué)中繼承的獎(jiǎng)勵(lì)功能。但是，為了成功地使他們的產(chǎn)品安全，神經(jīng)工程師不僅要重新設(shè)計(jì)大腦的動(dòng)機(jī)系統(tǒng)，他們還必須永久地修復(fù)由此產(chǎn)生的獎(jiǎng)勵(lì)功能，以防止它被更不可預(yù)測(cè)和更危險(xiǎn)的東西所包含。與此同時(shí)，它們可能會(huì)限制超級(jí)智能人工智能在科學(xué)和技術(shù)領(lǐng)域之外的成就。

如果人類(lèi)水平的人工智能是通過(guò)從生物大腦中獲得靈感而開(kāi)發(fā)出來(lái)的，那么解決這些倫理和實(shí)用問(wèn)題的方式將極大地影響我們作為一個(gè)物種的未來(lái)。相反，如果人類(lèi)水平的人工智能是從頭開(kāi)始設(shè)計(jì)的，那么就需要考慮一系列不同的因素。但它們的含義同樣重要。具有人類(lèi)智能水平甚至更高的機(jī)器的前景迫使我們提出最基本的問(wèn)題。我們想要?jiǎng)?chuàng)造一個(gè)什么樣的世界，留給我們未來(lái)的自己，我們的后代，或者我們的繼任者?我們希望未來(lái)的人工智能成為我們的仆人和奴隸，還是成為我們的同伴和平等，或者在進(jìn)化方面取代我們?對(duì)各種可能的人工智能有了更深入的了解，我們就能更好地引導(dǎo)未來(lái)朝著我們想要的方向發(fā)展?；蛘?，如果技術(shù)的軌跡是預(yù)先確定的，是不可阻擋的經(jīng)濟(jì)、社會(huì)和政治力量的必然結(jié)果，它將幫助我們做好準(zhǔn)備。

第五章【第三節(jié)】超級(jí)智能中的意識(shí)

正如我們所看到的，我們有理由期待基于大腦的人類(lèi)級(jí)別AI與人類(lèi)相當(dāng)相似，并將其歸因于我們生物人類(lèi)所享受的那種有意識(shí)的內(nèi)心生活。一個(gè)基于大腦的超級(jí)智能可能比一個(gè)普通的人類(lèi)水平的人工智能更難理解，但沒(méi)有理由期望一個(gè)更高水平的智能來(lái)廢除這種內(nèi)心生活。相反，我們可能會(huì)期望這樣一個(gè)人工智能的有意識(shí)的內(nèi)心生活特別豐富。但如果是一個(gè)從頭開(kāi)始設(shè)計(jì)的超級(jí)智能人工智能呢?如果它的內(nèi)部運(yùn)作與大腦完全不同，那么在多大程度上(如果有的話(huà))將這種人工智能稱(chēng)為有意識(shí)的才是合適的呢?這是一個(gè)重要的問(wèn)題，不僅因?yàn)樗嬖V我們應(yīng)該如何對(duì)待這些人工制品——我們是否有權(quán)破壞、禁用或摧毀它們——還因?yàn)樗嬖V我們應(yīng)該期望它們?nèi)绾螌?duì)待我們。

例如，回想一下討厭的AI boss。機(jī)器超級(jí)智能(如果出現(xiàn)的話(huà))有多大可能符合這樣一種令人不安的形象:一個(gè)無(wú)情的機(jī)器，通過(guò)欺騙我們，讓我們以為它關(guān)心自己，來(lái)追求自己的目標(biāo)?這樣的人工智能是否會(huì)以某種方式發(fā)展出同理心的基礎(chǔ)，或者同理心的基礎(chǔ)可以被設(shè)計(jì)到它里面?為什么意識(shí)和同理心很重要?難道一個(gè)超級(jí)智能的人工智能不具備這些東西，卻仍能以完全可理解和良性的方式行事嗎?我們已經(jīng)多次觸及意識(shí)的話(huà)題。但這一堆問(wèn)題把我們帶到了一些特別困難的哲學(xué)領(lǐng)域的邊緣。為了駕馭它，我們需要做一些謹(jǐn)慎的區(qū)分。

談到用科學(xué)術(shù)語(yǔ)解釋意識(shí)的挑戰(zhàn)時(shí)，哲學(xué)家大衛(wèi)·查默斯(David Chalmers)區(qū)分了他所謂的“難題”和“簡(jiǎn)單問(wèn)題”。所謂的意識(shí)的簡(jiǎn)單問(wèn)題(其實(shí)一點(diǎn)也不容易)是一個(gè)挑戰(zhàn)，即闡明支撐我們與意識(shí)相關(guān)的認(rèn)知能力的機(jī)制，比如一個(gè)人通過(guò)整合來(lái)自感官的信息來(lái)理解自己處境的能力，或者用語(yǔ)言描述自己的感受和想法，或者回憶過(guò)去的事件。值得注意的是，這些認(rèn)知能力有行為表現(xiàn)。它們幫助我們?cè)谑澜缟纤奶幾邉?dòng)，保持我們的健康，實(shí)現(xiàn)我們的目標(biāo)，成為社會(huì)的一部分。

然而，意識(shí)的“難題”在于，如何用科學(xué)的術(shù)語(yǔ)解釋為什么有意識(shí)的生物(借用另一位哲學(xué)家托馬斯·內(nèi)格爾的術(shù)語(yǔ))是一種挑戰(zhàn)。我們是怎樣產(chǎn)生主觀(guān)的感覺(jué)和感情的?我現(xiàn)在擁有的這種主觀(guān)的視覺(jué)體驗(yàn)，從火車(chē)窗口掠過(guò)的模糊的英國(guó)鄉(xiāng)村，是如何在我的大腦中出現(xiàn)的?這里的困難源于當(dāng)我看著我的乘客時(shí)產(chǎn)生的懷疑思想。無(wú)論他們的行為如何，無(wú)論他們做什么或說(shuō)什么——即使他們?nèi)粲兴嫉囟⒅L(fēng)景，評(píng)論它的美麗——至少?gòu)倪壿嬌现v，他們實(shí)際上什么也沒(méi)有經(jīng)歷。我無(wú)法進(jìn)入他們的私人內(nèi)心世界，所以我怎么能確定他們有呢?也許他們只是僵尸，只是自動(dòng)機(jī)。這種懷疑思想的哲學(xué)效果并不是真正灌輸懷疑，而是把人們的注意力吸引到意識(shí)的兩個(gè)方面之間的明顯區(qū)分上——一個(gè)外在的方面，有客觀(guān)的行為表現(xiàn)，而一個(gè)內(nèi)在的方面，純粹是主觀(guān)的和私人的。一些哲學(xué)家認(rèn)為，用科學(xué)的術(shù)語(yǔ)來(lái)解釋內(nèi)在的方面——這是一個(gè)難題——是不可能的。然而，這些哲學(xué)家中的許多人會(huì)承認(rèn)，簡(jiǎn)單的問(wèn)題是可以解決的，意識(shí)的外在方面可以通過(guò)闡明產(chǎn)生相關(guān)認(rèn)知能力集合的機(jī)制來(lái)科學(xué)地解釋。

現(xiàn)在，這些和人工智能有什么關(guān)系?好吧，我們需要清楚內(nèi)部/外部的區(qū)別，以防止我們?cè)谟懻摳鞣N人工智能的不同含義時(shí)陷入混亂。如果我們關(guān)心的是我們是否對(duì)我們創(chuàng)造的人工制品有道德責(zé)任，那么重要的是它們是否有內(nèi)在的意識(shí)，是否像人工智能一樣。但如果我們關(guān)注的是人工智能對(duì)人類(lèi)社會(huì)的影響，那么我們可以將討論局限于意識(shí)的外部方面。就對(duì)人類(lèi)產(chǎn)生積極影響而言，一臺(tái)超級(jí)智能機(jī)器是否“真正”有意識(shí)——也就是說(shuō)，它是否“真正”對(duì)我們感同身受——并沒(méi)有什么區(qū)別。只要它表現(xiàn)得好像它是有意識(shí)的，就足夠了。如果它表現(xiàn)得對(duì)我們感同身受，那就足夠了。

但重要的是，一個(gè)僅僅表現(xiàn)得好像有同理心的人工智能會(huì)無(wú)限期地繼續(xù)這樣做。我們不希望人工智能在影響移情一段時(shí)間后，突然轉(zhuǎn)向我們。那么我們?nèi)绾尾拍艽_保這種情況不會(huì)發(fā)生呢?一種方法是讓人工智能非常像人類(lèi)，一種方法是讓它的架構(gòu)非常像大腦。人工智能越符合生物藍(lán)圖，我們就越有信心，它的行為將永遠(yuǎn)反映我們賦予它的基本價(jià)值觀(guān)體系，即使它的智能得到了增強(qiáng)。但我們目前關(guān)注的是那種從零開(kāi)始設(shè)計(jì)的人工智能?！咀g者注；關(guān)于神經(jīng)科學(xué)是否對(duì)AI產(chǎn)生了重大的影響，是一個(gè)非常具備爭(zhēng)議性的話(huà)題，筆者在這里推薦一篇文章，在知乎上由周鵬程先生發(fā)表，一場(chǎng)Twitter爭(zhēng)論；人工智能是否需要神經(jīng)科學(xué)】

為了理解這類(lèi)人工智能的行為，我們需要區(qū)分與意識(shí)相關(guān)的認(rèn)知屬性，因?yàn)楸M管它們?cè)谌祟?lèi)中總是一起出現(xiàn)，但在人工智能中它們可能會(huì)單獨(dú)出現(xiàn)。有了這些認(rèn)知屬性，我們就可以解決下面的問(wèn)題了，這又會(huì)把我們帶回到本節(jié)開(kāi)始時(shí)的那些問(wèn)題。在可能的人工智能空間中，一般智能和意識(shí)(在其外部方面)在多大程度上是齊頭并進(jìn)的?也許超級(jí)智能可以不需要我們與人類(lèi)意識(shí)相關(guān)聯(lián)的全部認(rèn)知屬性。但也許其中的一些子集是必需的，這意味著超級(jí)智能人工智能必須擁有一種意識(shí)，盡管是一種外星意識(shí)。

三種認(rèn)知屬性似乎不僅是意識(shí)所必需的，而且密切聯(lián)系在一起:(1)明顯的目的感，(2)對(duì)世界和正在進(jìn)行的情況的意識(shí)，以及(3)整合知識(shí)、感知和行動(dòng)的能力。當(dāng)我們看到一只動(dòng)物追逐另一只動(dòng)物(例如，一只貓和一只老鼠)時(shí)，我們會(huì)立即認(rèn)為它們都有一種目的感。一只動(dòng)物想抓住另一只。另一只動(dòng)物想要逃跑。這些目標(biāo)在我們認(rèn)為動(dòng)物擁有的一系列復(fù)雜的目標(biāo)和需求中占據(jù)了一席之地，使我們能夠理解和預(yù)測(cè)它們的行為。簡(jiǎn)而言之，我們認(rèn)為他們的行為是有目的的。當(dāng)動(dòng)物感知到正在發(fā)生的情況，并以符合其目標(biāo)和需求的方式對(duì)其做出反應(yīng)時(shí)，就會(huì)表現(xiàn)出對(duì)周?chē)h(huán)境的意識(shí)，就像老鼠在發(fā)現(xiàn)一個(gè)洞并躲進(jìn)去逃跑時(shí)所做的那樣。

最后，當(dāng)動(dòng)物的行為不僅與它對(duì)正在發(fā)生的情況的感知一致，而且與它過(guò)去所感知到的以及由此產(chǎn)生的結(jié)果一致時(shí)，動(dòng)物就會(huì)表現(xiàn)出完全的認(rèn)知整合。例如，貓知道老鼠在下面的某個(gè)地方，它值得在洞旁等待，以防它再次出現(xiàn)，而且如果它真正想要的是食物(而不是樂(lè)趣)，它可以纏著它的主人。這與我2015年的筆記本電腦形成了巨大的對(duì)比。我不可能看到我的筆記本電腦表現(xiàn)出有目的的行為或有任何形式的自主性。在任何意義上，它都沒(méi)有意識(shí)到它所處的環(huán)境，即使我們把這個(gè)詞慷慨地解釋為包括，比如說(shuō)，互聯(lián)網(wǎng)。它不能有效地整合它所擁有的或可以訪(fǎng)問(wèn)的信息，以便更好地實(shí)現(xiàn)其目標(biāo)或滿(mǎn)足其需求，因?yàn)樗鼘?shí)際上沒(méi)有任何信息。

然而，為工件賦予這三個(gè)屬性的基本版本并不需要花費(fèi)太多的時(shí)間。機(jī)器人真空吸塵器和自動(dòng)駕駛汽車(chē)都表現(xiàn)出一定程度的環(huán)境意識(shí)，并且能夠以一種與他們的簡(jiǎn)單目標(biāo)相一致的方式對(duì)正在發(fā)生的事件做出反應(yīng)。沒(méi)有實(shí)體的私人助理不會(huì)給人留下自主性或目的性的印象。但是它們可以集成來(lái)自不同來(lái)源的各種信息，包括瀏覽習(xí)慣、GPS數(shù)據(jù)、日歷條目等等。隨著這些技術(shù)的日益融合和復(fù)雜，屏幕和聲音背后的類(lèi)似心靈的實(shí)體的幻覺(jué)將變得更加完整。

那么，超級(jí)智能人工智能呢?如果一個(gè)系統(tǒng)不具備這三個(gè)認(rèn)知屬性，就很難想象它是如何擁有一般智能的，更不用說(shuō)超級(jí)智能了。機(jī)器人吸塵器的目標(biāo)非常簡(jiǎn)單，我們?cè)谟^(guān)察幾分鐘后就能完全理解，而超智能人工智能行為背后的總體動(dòng)機(jī)可能很難理解。然而，它肯定必須追求各種輔助目標(biāo)，人類(lèi)更容易理解的目標(biāo)，這將使我們毫無(wú)疑問(wèn)，它的行為是有目的的。此外，為了保證通用智能的歸屬，人工智能當(dāng)然必須保持對(duì)它所居住的世界的意識(shí)(無(wú)論是真實(shí)的還是虛擬的)，并以一種體現(xiàn)這種意識(shí)的方式對(duì)正在發(fā)生的事件做出反應(yīng)。

最后，我們期望人工超級(jí)智能表現(xiàn)出高度的認(rèn)知整合。它應(yīng)該能夠?qū)⑵淙康恼J(rèn)知資源運(yùn)用到它試圖解決的任何問(wèn)題上，結(jié)合它通過(guò)傳感器和數(shù)據(jù)饋送所掌握的一切知識(shí)?？傊?，這三個(gè)認(rèn)知屬性——目的、意識(shí)和整合——會(huì)給任何與這種人工智能互動(dòng)或觀(guān)察這種人工智能的人留下一個(gè)單一的、統(tǒng)一的、強(qiáng)大的智能的印象。簡(jiǎn)而言之，根據(jù)這一論點(diǎn)，一個(gè)超級(jí)智能的人工智能必然會(huì)表現(xiàn)出某種意識(shí)的外在特征。

第五章【第四節(jié)】；超級(jí)智能的自我意識(shí)

現(xiàn)在讓我們來(lái)看看其他一些與人類(lèi)意識(shí)相關(guān)的屬性，從自我意識(shí)開(kāi)始。在《終結(jié)者》系列的第二部電影中，當(dāng)虛構(gòu)的人工智能系統(tǒng)天網(wǎng)“具有自我意識(shí)”時(shí)，麻煩就開(kāi)始了。但自我意識(shí)對(duì)人類(lèi)意味著什么，對(duì)真正的人工智能又意味著什么呢?人工通用智能有必要嗎?或者這是一個(gè)可選的特征，這將打開(kāi)一個(gè)超級(jí)智能AI的可能性，表現(xiàn)出一種非常陌生的意識(shí)?再一次，我們這里關(guān)注的是這種認(rèn)知屬性的外在表現(xiàn)，我們可以把主觀(guān)性這個(gè)在哲學(xué)上很困難的問(wèn)題，也就是自我意識(shí)是怎樣的，或者說(shuō)自我意識(shí)的內(nèi)在是怎樣的，放在一邊。

對(duì)于人類(lèi)(和其他動(dòng)物)來(lái)說(shuō)，有一個(gè)相當(dāng)明確的物質(zhì)塊，在空間中有一個(gè)明確的位置，這是一個(gè)明顯的自我意識(shí)的焦點(diǎn)，在這種外在的，認(rèn)知相關(guān)的意義上，即身體。我們意識(shí)到四肢的形態(tài)，意識(shí)到身體內(nèi)部的狀態(tài)，比如饑餓或疲勞。但是人類(lèi)的自我意識(shí)不僅僅是關(guān)于身體的。即使嚴(yán)格地把自我意識(shí)看作是一種帶有行為含義的認(rèn)知屬性，人類(lèi)的自我意識(shí)不僅屬于身體，也屬于心靈。

人類(lèi)意識(shí)到他們自己的信仰，他們自己的計(jì)劃，他們自己展開(kāi)的思想和情感。這并不是說(shuō)我們對(duì)自己的信念、目標(biāo)和想法所形成的信念總是正確的。但是我們有辦法接觸到這些東西，并且有能力對(duì)它們進(jìn)行有效的反思。我不僅不知道下一班去倫敦的火車(chē)的時(shí)間，而且我知道我不知道，我可以計(jì)劃通過(guò)查閱時(shí)刻表來(lái)彌補(bǔ)這一點(diǎn)。

我也意識(shí)到屬于我的一系列持續(xù)的思想和感覺(jué)，威廉·詹姆斯稱(chēng)之為我的“意識(shí)流”。我知道這種意識(shí)流在我睡覺(jué)時(shí)(不做夢(mèng)時(shí))就會(huì)停止。令人心酸的是，我可以反思最終的命運(yùn)，不僅是我的肉體，還有我的意識(shí)流，我可以采取措施延長(zhǎng)我的生命，盡可能地推遲這種命運(yùn)。在這些不同的意義上，我意識(shí)到我自己的存在，并有一種本能來(lái)保護(hù)這個(gè)存在，為了自我保護(hù)。

那么，對(duì)于具有人類(lèi)或超人智力水平的人工智能來(lái)說(shuō)，這些感官上的自我意識(shí)在多大程度上是必要的呢?一方面，就像我們剛剛看到的其他三個(gè)認(rèn)知屬性一樣，很難想象如果一個(gè)東西不能反思自己的信念，自己的計(jì)劃，自己的推理過(guò)程，那它怎么能被稱(chēng)為一般智能。任何稱(chēng)職的超級(jí)智能都不會(huì)允許自己的化身在錯(cuò)過(guò)了開(kāi)往倫敦的火車(chē)后坐在長(zhǎng)椅上。更嚴(yán)重的是，我們也不希望它錯(cuò)過(guò)通過(guò)注意過(guò)去哪些解決問(wèn)題的策略是成功的來(lái)優(yōu)化其推理過(guò)程的機(jī)會(huì)。

另一方面，人類(lèi)自我意識(shí)的某些方面不太適用于人工智能。例如，人工智能可能是具體化的，也可能不是。當(dāng)然，如果一個(gè)人工智能是具體化的，或者如果它部署了一個(gè)化身，那么機(jī)器人身體的行為必須對(duì)其身體部位的配置表現(xiàn)出敏感性。否則，它就會(huì)摔倒、崩潰或掉東西。但因?yàn)槲覀兛梢栽O(shè)想一個(gè)無(wú)實(shí)體的超級(jí)智能人工智能，這種自我意識(shí)并不是一般智能的必要伴隨。然而，更棘手的問(wèn)題是，人工智能是否意識(shí)到自己的存在，以及這似乎帶來(lái)的自我保護(hù)的潛在動(dòng)力。這種對(duì)人類(lèi)如此重要的自我意識(shí)，是人工通用智能的必然產(chǎn)物嗎?

這里的問(wèn)題是什么構(gòu)成了AI的身份。究竟是什么東西，它可能知道它的存在，它會(huì)尋求保護(hù)?所有這些句子中的“它”究竟是什么?我們又一次接近了哲學(xué)上的難題。個(gè)人同一性的問(wèn)題是東西方哲學(xué)爭(zhēng)論了幾千年的問(wèn)題。但是，重申一下，我們這里關(guān)注的是嚴(yán)格的功能和行為問(wèn)題。我們所討論的這種人工智能并不是被設(shè)計(jì)成哲學(xué)家，而是隨著時(shí)間的推移最大化預(yù)期回報(bào)。此外，這里的任務(wù)是想象這種可能的人工智能的空間。在這種情況下，我們想知道的是，如果有的話(huà)，自我意識(shí)的哪些方面是一般智力所必需的。明確哪些方面是不必要的，將確保我們不會(huì)對(duì)機(jī)器超級(jí)智能的本質(zhì)做出錯(cuò)誤的擬人化假設(shè)。

如前所述，我們可以想象一個(gè)沒(méi)有實(shí)體的人工智能，所以我們沒(méi)有理由期望一個(gè)超級(jí)智能的人工智能將自己與一個(gè)有胳膊、腿、觸手等的特定身體相認(rèn)同。此外，AI將自己識(shí)別為特定的計(jì)算機(jī)硬件集合也沒(méi)有意義，因?yàn)橄嗤拇a可以在許多獨(dú)立的處理器上以分布式方式執(zhí)行，并且可以從一個(gè)平臺(tái)遷移到另一個(gè)平臺(tái)，而不會(huì)中斷其執(zhí)行。出于類(lèi)似的原因，AI也不會(huì)將自己與特定的代碼庫(kù)聯(lián)系起來(lái)。軟件是可變的。它可以被調(diào)試、升級(jí)、擴(kuò)展或重新設(shè)計(jì)，甚至可能由AI本身來(lái)完成。(再回想一下，一個(gè)系統(tǒng)由多個(gè)半自治的智能計(jì)算線(xiàn)程組成，每個(gè)線(xiàn)程的存在時(shí)間都很短暫。)

還有什么可能構(gòu)成人工智能的自我?雖然可以想象，但如果人工智能將自己定義為一系列思想和體驗(yàn)的非物理主體，并游離于物理世界之外，那就太奇怪了?？苹秒娪敖?jīng)常援引這樣的概念。但并不能保證超級(jí)智能的人工智能會(huì)擁有這種內(nèi)在生命。即便如此，這種自我觀(guān)念建立在對(duì)現(xiàn)實(shí)的二元論概念之上，對(duì)人類(lèi)的適用性令人懷疑，更不用說(shuō)對(duì)人工智能了。我們沒(méi)有特別的理由期望超級(jí)智能AI采取這種可疑的形而上學(xué)立場(chǎng)，特別是——這里有一點(diǎn)很重要——如果它與最大化預(yù)期獎(jiǎng)勵(lì)的能力無(wú)關(guān)。

那自我保護(hù)呢?就自我保護(hù)而言，超級(jí)智能AI核心的強(qiáng)大優(yōu)化器似乎會(huì)尋求保留自己的獎(jiǎng)勵(lì)功能，并隨著時(shí)間的推移最大化獎(jiǎng)勵(lì)功能。除了某些計(jì)算機(jī)進(jìn)程(以及執(zhí)行這些進(jìn)程所需的足夠硬件)之外，實(shí)現(xiàn)回報(bào)最大化的手段還可以包括這些進(jìn)程可以訪(fǎng)問(wèn)的數(shù)據(jù)等資源，包括來(lái)自傳感器的實(shí)時(shí)信息，以及這些進(jìn)程可以控制的效應(yīng)器和其他設(shè)備(例如衛(wèi)星或軍事硬件)，以及它們可以行使的各種能力和權(quán)力(例如，交易股票或與其他各方簽訂合同的能力)。

然而，保存這些東西將是一個(gè)純粹的工具性目標(biāo)，支持隨著時(shí)間的推移最大化獎(jiǎng)勵(lì)的總體驅(qū)動(dòng)力。可能的情況是，優(yōu)化器試圖保存的一組計(jì)算機(jī)過(guò)程將包括那些構(gòu)成優(yōu)化器本身的過(guò)程，從而呈現(xiàn)出自我意識(shí)的樣子。但它可能不會(huì)。我們應(yīng)該記住，獎(jiǎng)勵(lì)并不是針對(duì)AI的。這只是人工智能尋求最大化的一個(gè)功能。AI甚至不需要在周?chē)敖邮铡彼?。如果AI的獎(jiǎng)勵(lì)功能涉及到最大化小部件的生產(chǎn)，那么最優(yōu)策略可能是委托一個(gè)小部件工廠(chǎng)，然后自我毀滅(就像眾所周知的海松鼠找到一塊石頭粘在上面，然后消化自己的大腦)。

第五章【第五節(jié)】；超級(jí)智能中的情感和同理心

讓我們花點(diǎn)時(shí)間回顧一下。我們一直在研究與人類(lèi)意識(shí)相關(guān)的各種認(rèn)知屬性，并詢(xún)問(wèn)我們是否應(yīng)該期望在人類(lèi)或超人級(jí)別的人工智能中看到它們。我們現(xiàn)在關(guān)注的這種人工智能并不像人類(lèi)的大腦。它是從零開(kāi)始設(shè)計(jì)的。所以有可能它不太像人類(lèi)，它沒(méi)有表現(xiàn)出我們與人類(lèi)意識(shí)相關(guān)的任何特征。然而，其中一些認(rèn)知屬性似乎是一般智力的必然產(chǎn)物。特別是，意識(shí)、目的和整合都可能是任何人工通用智能的特征，給人一種某種意識(shí)的印象。然而，自我意識(shí)，人類(lèi)意識(shí)的另一個(gè)重要特征，雖然可能存在于人工智能中，但可能會(huì)以一種相當(dāng)陌生的形式出現(xiàn)。

我們要研究的與人類(lèi)意識(shí)相關(guān)的最后一個(gè)屬性是情感和同理心。從純粹認(rèn)知的角度來(lái)看，人工通用智能的機(jī)器學(xué)習(xí)組件必然會(huì)注意到人類(lèi)行為中的統(tǒng)計(jì)規(guī)律，這些規(guī)律與我們稱(chēng)為情緒的狀態(tài)相關(guān)。如果不注意這些規(guī)律，就會(huì)錯(cuò)失將人類(lèi)行為數(shù)據(jù)有效壓縮為數(shù)學(xué)模型的機(jī)會(huì)，而數(shù)學(xué)模型可以有效地用于預(yù)測(cè)人類(lèi)行為。這樣的數(shù)學(xué)模型反過(guò)來(lái)能夠告知人工智能的優(yōu)化組件，使其能夠操縱人類(lèi)的情緒，進(jìn)而調(diào)節(jié)人類(lèi)的行為。簡(jiǎn)而言之，我們應(yīng)該期待超級(jí)智能機(jī)器比我們更了解我們自己。

對(duì)于人工智能來(lái)說(shuō)，能夠模仿情感也是一項(xiàng)有用的技能。面部表情和肢體語(yǔ)言是人類(lèi)之間有效的交流渠道，也是類(lèi)人或類(lèi)人化身的人工智能行為的重要組成部分。同樣，聲調(diào)也可以用來(lái)表達(dá)高興、失望、憤怒、驚訝等等。沒(méi)有必要讓人們誤以為這些暗示背后隱藏著真實(shí)的情感。無(wú)論如何，它們都是溝通的輔助工具。

盡管如此，正如我們?cè)谟憛挼腁I boss的故事中所看到的那樣，一個(gè)能夠讓人們相信它具有真實(shí)情感的AI，在某些情況下能夠更好地發(fā)揮其獎(jiǎng)勵(lì)功能。能夠給人一種同理心的印象會(huì)特別有用。當(dāng)我們?cè)馐芡纯鄷r(shí)，同情我們的人將不愿意傷害我們，因此值得我們信任。同樣，如果人工智能對(duì)我們有感覺(jué)，那么我們就會(huì)傾向于信任它，讓它自主行動(dòng)。當(dāng)然，一個(gè)比我們更了解我們自己的超級(jí)智能機(jī)器將極有能力給人一種同理心的印象。

這是否意味著一個(gè)超級(jí)智能的人工智能一定會(huì)用馬基雅維利式的聰明才智追求一些邪惡的目標(biāo)(例如，統(tǒng)治世界)，毫不費(fèi)力地操縱易受騙的人類(lèi)，并不可避免地導(dǎo)致我們的垮臺(tái)?一點(diǎn)也不這里的重要問(wèn)題似乎是，AI是否真的為我們感到難過(guò)，它是否真的有同理心，因?yàn)橐粋€(gè)真正同情我們的AI永遠(yuǎn)不會(huì)傷害我們，而一個(gè)只模仿同理心的AI是一個(gè)危險(xiǎn)的精神病患者。但真正重要的不是AI的感覺(jué)，而是它的行為。真正重要的是，從長(zhǎng)遠(yuǎn)來(lái)看，它是否像一個(gè)真正的朋友一樣，繼續(xù)按照我們希望的方式行事。

最后，一切都取決于AI的獎(jiǎng)勵(lì)功能。從認(rèn)知的角度來(lái)看，類(lèi)似人類(lèi)的情緒是調(diào)節(jié)行為的粗糙機(jī)制。與我們與意識(shí)聯(lián)系在一起的其他認(rèn)知屬性不同，從邏輯上講，通用人工智能似乎沒(méi)有必要表現(xiàn)得好像它有同理心或情感。如果它的獎(jiǎng)勵(lì)功能設(shè)計(jì)得當(dāng)，那么它的仁慈就得到了保證。然而，設(shè)計(jì)一個(gè)保證不會(huì)產(chǎn)生不良行為的獎(jiǎng)勵(lì)函數(shù)是極其困難的。我們很快就會(huì)看到，超級(jí)人工智能獎(jiǎng)勵(lì)功能的缺陷可能是災(zāi)難性的。事實(shí)上，這樣一個(gè)缺陷可能意味著宇宙膨脹和無(wú)盡富足的烏托邦未來(lái)與無(wú)盡恐怖甚至滅絕的反烏托邦未來(lái)之間的差異。