譯者：李浚弘

第七章【天堂或地獄】

第七章【第一節(jié)】；人造人

讓我們?cè)俦P(pán)點(diǎn)一下。前面的章節(jié)已經(jīng)論證了人類級(jí)別的AI不僅在理論上是可能的，而且有一天它可能會(huì)被創(chuàng)造出來(lái)。也許這將通過(guò)模擬或逆向工程生物大腦來(lái)實(shí)現(xiàn)，或者也許通過(guò)從第一性原理中設(shè)計(jì)智能來(lái)實(shí)現(xiàn)。然而，盡管某些作者充滿信心，但堅(jiān)持規(guī)定達(dá)到這一里程碑的時(shí)間表似乎是輕率的。在短期內(nèi)，專業(yè)人工智能技術(shù)的復(fù)雜程度似乎確實(shí)有可能提高。然而，除非是通過(guò)暴力模擬大腦的路線來(lái)實(shí)現(xiàn)，否則人類水平的人工通用智能可能需要一個(gè)概念上的突破(或一系列的突破)。未知的未知太多，無(wú)法猜測(cè)何時(shí)會(huì)取得這樣的突破。然而，人工超級(jí)智能將很快追隨人類水平的人工智能的說(shuō)法，如果它真的出現(xiàn)，值得認(rèn)真對(duì)待。

我們還看到，在可能達(dá)到人類和超人水平的人工智能領(lǐng)域，可能存在多少種類。很難說(shuō)究竟會(huì)出現(xiàn)什么樣的人工通用智能，但這種可能性肯定包括一些與人類相似的，主要是那些符合生物模板的，但也有許多非常陌生的，它們的動(dòng)機(jī)和行為對(duì)人類來(lái)說(shuō)是不可思議的。在這些不同類型的人工智能中，我們無(wú)疑會(huì)發(fā)現(xiàn)與人類意識(shí)相關(guān)的各種屬性。沿著正交軸，可能性空間當(dāng)然也包括敵對(duì)和友好的AI形式。

從現(xiàn)在開(kāi)始，我們的重點(diǎn)是人類或超人水平的人工智能的假定到來(lái)對(duì)人類的影響，無(wú)論它以何種形式出現(xiàn)。不管你怎么看，這都將是人類歷史上的一個(gè)重大事件。在這樣一個(gè)機(jī)器隨處可見(jiàn)的世界里，我們已經(jīng)開(kāi)始思考就業(yè)問(wèn)題。但其社會(huì)影響遠(yuǎn)不止于此。一些最具哲學(xué)挑戰(zhàn)性的問(wèn)題來(lái)自于這樣一個(gè)問(wèn)題:具有人類智力水平或更高水平的人工智能是否應(yīng)該被歸類為一個(gè)人，并被賦予人類應(yīng)有的所有權(quán)利和義務(wù)。

現(xiàn)在，很容易想象，這個(gè)問(wèn)題將是無(wú)關(guān)緊要的。如果某種形式的機(jī)器超級(jí)智能控制了大量人類及其所有資源，那么其人格的哲學(xué)問(wèn)題可能不會(huì)是他們心中最重要的問(wèn)題。此外，人工智能本身很可能對(duì)這個(gè)問(wèn)題漠不關(guān)心，也就是說(shuō)，無(wú)論答案是什么，它的行為都是一樣的。如果一個(gè)真正病態(tài)的人工智能毀滅了人類，那么這個(gè)問(wèn)題就特別無(wú)關(guān)緊要了。希望我們能設(shè)法避免這種情況。我們將在適當(dāng)?shù)臅r(shí)候考慮超級(jí)智能可能給人類帶來(lái)的風(fēng)險(xiǎn)。目前，我們關(guān)注的是不那么反烏托邦的場(chǎng)景，但仍然涉及社會(huì)的戲劇性改革。在這種情況下，人格問(wèn)題是關(guān)鍵。

這種情況在歷史上有先例。18世紀(jì)一些反對(duì)廢奴的人認(rèn)為，由于奴隸天生的智力低下，他們理應(yīng)享有比奴隸主更少的權(quán)利。對(duì)這一觀點(diǎn)最有力的反駁是前奴隸的第一手證詞，他們能夠清楚地表達(dá)他們的痛苦程度，同時(shí)清楚地表明他們豐富多樣的內(nèi)心生活。正反兩種觀點(diǎn)都認(rèn)為智力和權(quán)利之間的聯(lián)系是理所當(dāng)然的，似乎認(rèn)為智力和忍受痛苦的能力是齊頭并進(jìn)的。從這個(gè)角度來(lái)看，馬和狗應(yīng)該比人類享有更少的權(quán)利，因?yàn)樗鼈兊闹橇^低，而且這種較低的智力理應(yīng)帶來(lái)的痛苦能力減弱。

人類級(jí)別的人工智能的情況有些不同，因?yàn)槲覀兛梢韵胂笠慌_(tái)具有高水平通用智能的機(jī)器，它沒(méi)有任何感覺(jué)，也沒(méi)有承受痛苦的能力。似乎沒(méi)有道德上的強(qiáng)迫，把這樣的東西和時(shí)鐘或烤面包機(jī)區(qū)別對(duì)待。沒(méi)有人會(huì)因?yàn)榭久姘鼨C(jī)壞了而同情它，也沒(méi)有人會(huì)因?yàn)榭窘沽嗣姘?zé)怪它?，F(xiàn)在，如果一個(gè)人工智能不僅在智力上與人類相當(dāng)，而且在行為上也與人類相似，那么人們可能會(huì)以不同的方式看待事物。社會(huì)可能會(huì)接受這樣一個(gè)人工智能是有意識(shí)的，尤其是如果它的大腦符合生物藍(lán)圖的話。然后就可以提出一個(gè)令人信服的論點(diǎn)，認(rèn)為它是一個(gè)人，并賦予它權(quán)利和義務(wù)，這個(gè)論點(diǎn)與廢除奴隸制的論點(diǎn)是一樣的。

當(dāng)然，最重要的人權(quán)之一就是自由本身，在不傷害他人的前提下，隨心所欲的自由。但要讓AI擁有這種權(quán)利，讓自由的概念變得有意義，它需要的不僅僅是體驗(yàn)積極和消極情緒的能力。首先，它需要能夠?qū)κ澜绮扇⌒袆?dòng)。這并不一定需要具體化。AI可以在沒(méi)有身體的情況下，通過(guò)控制各種設(shè)備對(duì)世界采取行動(dòng)。但對(duì)于只會(huì)對(duì)話的人工智能來(lái)說(shuō)，自由的問(wèn)題是無(wú)關(guān)緊要的。它還需要是自主的，也就是說(shuō)，能夠在沒(méi)有人為干預(yù)的情況下行動(dòng)。但更重要的是，它還需要有意識(shí)地為自己做出決定的能力，在選擇行動(dòng)方案時(shí)行使意志的能力。

將人格賦予一類機(jī)器，并相應(yīng)地賦予它們權(quán)利和責(zé)任，這無(wú)疑是人類歷史上的一個(gè)分水嶺。誰(shuí)沒(méi)有看到一個(gè)星光燦爛的夜晚，想知道我們?cè)谟钪嬷惺欠窆陋?dú)？讓人類級(jí)別的人工智能加入有意識(shí)的人類的友誼，就是承認(rèn)我們?cè)谟钪嬷胁⒉还陋?dú)，不是因?yàn)槲覀儼l(fā)現(xiàn)了外星智慧，而是因?yàn)槲覀儺a(chǎn)生了一種新的地球意識(shí)形式，其智慧水平與我們自己的水平相當(dāng)。我們的故事，以及地球上生命的故事，將與另一種生物的故事聯(lián)系在一起，一種具有新的、不同能力的生物。

但是，如果完全有意識(shí)的人類水平的人工智能的出現(xiàn)將帶來(lái)一個(gè)新世界，那么這種轉(zhuǎn)變將很難是一件容易的事。我們所知道的支撐人類社會(huì)的許多概念將被破壞。例如，考慮財(cái)產(chǎn)的所有權(quán)。擁有財(cái)產(chǎn)的權(quán)利肯定是人工人格的好處之一。但假設(shè)AI是復(fù)制的，那么AI的兩個(gè)活動(dòng)副本就存在了，而之前只有一個(gè)。在復(fù)制的那一刻，它們是相同的，但從那一刻起，這兩個(gè)ai的歷史就分道揚(yáng)鑣了。也許他們可以訪問(wèn)不同的數(shù)據(jù)，也許他們可以控制不同的設(shè)備(例如，機(jī)器人身體)，或者與不同的人或系統(tǒng)交互。

現(xiàn)在誰(shuí)擁有屬于祖先的財(cái)產(chǎn)，兩份副本的祖先?是簡(jiǎn)單地一分為二嗎?或者祖先可以規(guī)定其財(cái)產(chǎn)如何在兩個(gè)后代之間分配?如果是這樣，如果他們?cè)谶@件事上發(fā)生爭(zhēng)執(zhí)怎么辦?假設(shè)其中一個(gè)副本由于某種原因被終止。它的屬性是否恢復(fù)到另一個(gè)副本?這個(gè)問(wèn)題在某些方面顯然類似于遺產(chǎn)繼承，在另一些方面則類似于離婚。毫無(wú)疑問(wèn)，法律框架是可以制定出來(lái)的，但細(xì)節(jié)將是棘手的。

然而，財(cái)產(chǎn)只是復(fù)制的可能性所帶來(lái)的諸多挑戰(zhàn)之一。假設(shè)一個(gè)人工智能犯了罪，然后被復(fù)制。責(zé)任和權(quán)利都伴隨著人格而來(lái)。但是這兩份副本中哪一份應(yīng)該負(fù)責(zé)呢?他們倆都該負(fù)責(zé)嗎?如果一段時(shí)間過(guò)去了，兩份副本的內(nèi)容大相徑庭呢?假設(shè)一個(gè)人承認(rèn)犯罪并表現(xiàn)出悔恨，而另一個(gè)人則掩飾起來(lái)，即使被發(fā)現(xiàn)，也不表現(xiàn)出悔恨。假設(shè)兩個(gè)人都要為他們共同祖先過(guò)去的行為負(fù)責(zé)，他們應(yīng)該受到同等的懲罰嗎?還是一個(gè)應(yīng)該受到比另一個(gè)更大的懲罰?

使這些問(wèn)題進(jìn)一步復(fù)雜化的是，人工智能所關(guān)注的復(fù)制只是可能導(dǎo)致有意識(shí)實(shí)體總數(shù)變化的幾個(gè)外來(lái)事件之一。對(duì)人類來(lái)說(shuō)，只有兩個(gè)這樣的事件，即出生和死亡。但是人工智能不僅可以被創(chuàng)建、銷毀和復(fù)制，還可以被分割和合并。這可能意味著什么?如果一個(gè)AI有兩個(gè)(或更多)變體，那么它就可以被分割，每個(gè)變體都獲得其心理屬性的某些部分，例如其技能的子集或其行動(dòng)能力或其傳入數(shù)據(jù)的來(lái)源或其記憶。相反，兩個(gè)(或更多)人工智能可以通過(guò)相反的過(guò)程合并為一個(gè)，通過(guò)結(jié)合技能、力量、感官或記憶。

與人類相比，分割一組情景記憶(一個(gè)人對(duì)自己歷史中事件的記憶)的想法對(duì)AI來(lái)說(shuō)問(wèn)題更小。與人類不同的是，人類的個(gè)人時(shí)間線與他們的身體聯(lián)系在一起，AI可能是無(wú)實(shí)體的，或者同時(shí)居住在多個(gè)身體上。同樣地，它可能能夠同時(shí)進(jìn)行許多對(duì)話，或者同時(shí)控制許多不同的設(shè)備。結(jié)果將是多個(gè)可分離的時(shí)間線，每個(gè)時(shí)間線都與不同的身體/對(duì)話/設(shè)備相關(guān)聯(lián)，而在認(rèn)知整合和服務(wù)于共同目的的意義上屬于單個(gè)AI。通過(guò)把這些時(shí)間線分開(kāi)，就像繩子上的線一樣，幾個(gè)人工智能可以由一個(gè)人工智能組成?；蛘?，通過(guò)將它們編織在一起，一個(gè)單一的AI可以由許多組成。

所有權(quán)和責(zé)任等概念因可能出現(xiàn)的重復(fù)而受到質(zhì)疑，而分裂和合并的可能性又使這些概念受到進(jìn)一步的壓力。此外，出現(xiàn)問(wèn)題的不僅僅是所有權(quán)和責(zé)任。殺人是人類之間的犯罪。當(dāng)受害者是人工智能時(shí)，類似的犯罪是什么?終止構(gòu)成人工智能的所有過(guò)程的執(zhí)行是犯罪嗎?但是，如果這些進(jìn)程可以重新啟動(dòng)呢?僅僅暫停所有這些程序就會(huì)構(gòu)成犯罪嗎?那么復(fù)制、分裂或合并呢?違背人工智能的意愿對(duì)其進(jìn)行這些操作是否構(gòu)成犯罪?在什么情況下(如有的話)，應(yīng)允許人工智能本身進(jìn)行此類行為?事實(shí)上，如果創(chuàng)造一個(gè)人工智能就是創(chuàng)造一個(gè)有意識(shí)、有能力受苦的人造人，那么誰(shuí)又有權(quán)利創(chuàng)造人工智能呢?人類應(yīng)該被允許做這樣的事嗎?該如何監(jiān)管這件事?應(yīng)該允許人工智能創(chuàng)造其他人工智能嗎?

這些問(wèn)題是無(wú)止境的，它們將許多人類社會(huì)認(rèn)為理所當(dāng)然的東西連根拔起?？紤]國(guó)籍。一個(gè)人成為他出生的國(guó)家的公民是很典型的。但是人工智能呢?一個(gè)被認(rèn)為具有人格的人工智能是否應(yīng)該有權(quán)成為公民，成為一個(gè)國(guó)家的成員?但那會(huì)是哪種狀態(tài)呢?與人類不同，人工智能擁有明確的空間位置肯定是不典型的。即使它有一個(gè)具有明確空間邊界的單一實(shí)體，它的軟件也可以在物理上位于世界任何地方的任意數(shù)量的分布式計(jì)算機(jī)上運(yùn)行。也許人工智能會(huì)從它的主人那里繼承它的公民身份。但是，擁有有意識(shí)的人工智能的想法在道德上是有問(wèn)題的。

假設(shè)公民身份問(wèn)題可以解決。（當(dāng)然，可能由不同的國(guó)家以不同的方式安置。）如果人工智能碰巧發(fā)現(xiàn)在一個(gè)民主國(guó)家，那么它大概有權(quán)投票。但不是所有公民都有投票權(quán)，即使在最開(kāi)明的民主國(guó)家也是如此。在英國(guó)，選民必須年滿18歲。是否所有被認(rèn)為具有意識(shí)并具有人類智力水平的人工智能都有權(quán)投票，或者是否有進(jìn)一步的資格要求?在這種情況下，復(fù)制問(wèn)題是如何發(fā)揮作用的?AI為了獲得1000張額外的選票而復(fù)制自己1000次顯然是不可接受的，也許只有在投票完成后才會(huì)銷毀這1000份副本。

第七章【第二節(jié)】；超越人性

前一節(jié)提出的問(wèn)題遠(yuǎn)遠(yuǎn)多于回答的問(wèn)題，因?yàn)檫@些問(wèn)題中的每一個(gè)都值得進(jìn)行實(shí)質(zhì)性的辯論。但關(guān)鍵信息很簡(jiǎn)單。如果我們創(chuàng)造出一種人類水平的人工智能，它被認(rèn)為是有意識(shí)的，因此值得享有權(quán)利和責(zé)任，那么我們?cè)S多最重要的機(jī)構(gòu)——金融、法律、政治——將不得不進(jìn)行徹底改革，無(wú)論好壞。即使問(wèn)題中的人工智能是仁慈的(絕不是給定的，我們很快就會(huì)看到)，這個(gè)過(guò)程也可能是創(chuàng)傷性的。它很有可能導(dǎo)致異議、動(dòng)亂或徹底的沖突。

具有人類意識(shí)的人工智能的前景引發(fā)了很多疑問(wèn)。但有意識(shí)的超級(jí)智能的影響將會(huì)更大。首先，支持機(jī)器超級(jí)智能的權(quán)利和責(zé)任的論點(diǎn)將與人類級(jí)別的AI相同。如果它是有意識(shí)的，如果它能體驗(yàn)痛苦和喜悅(或者至少是滿足)，那么人工超級(jí)智能肯定應(yīng)該享有與人類相同的權(quán)利?；蛘吒_切地說(shuō)，它至少應(yīng)該享有與人類相同的權(quán)利?？梢試?yán)肅地說(shuō)，有意識(shí)的超級(jí)智能將比普通人擁有更大的權(quán)利。

大多數(shù)人都愿意為了拯救一個(gè)人的生命而犧牲一只貓的生命。人類(這一論點(diǎn)可能是這樣的)比貓更能體會(huì)痛苦和快樂(lè)，部分原因是人類具有一種典型的能力，即不僅在這些感受發(fā)生時(shí)，而且在回憶或預(yù)期中有意識(shí)地反映這些感受。所以貓必須離開(kāi)。但是，如果在人類的生命和超級(jí)智能的繼續(xù)存在之間做出選擇呢?類似的論點(diǎn)會(huì)把超級(jí)智能放在首位嗎?它超人的智慧是否意味著它有超人的痛苦和快樂(lè)的能力，這意味著人類必須離開(kāi)?

同樣令人不安的問(wèn)題也可以在超人類主義的背景下提出。超人類主義者提倡使用技術(shù)來(lái)超越人體和大腦的生物限制。人類的智力可以通過(guò)藥物、基因或假肢等多種方式得到提高。醫(yī)學(xué)的進(jìn)步有可能消除疾病，阻止衰老過(guò)程，從而無(wú)限期地延長(zhǎng)人類的壽命。更激進(jìn)的是，在第二章中討論的全腦模擬技術(shù)可以(有爭(zhēng)議地)被用來(lái)將一個(gè)人的思想上傳到一個(gè)計(jì)算基板上，目的是使其永遠(yuǎn)不受疾病或衰退的傷害。

雖然這本書(shū)主要是關(guān)于人工智能的未來(lái)，但超人類主義帶來(lái)的問(wèn)題和人工超級(jí)智能前景帶來(lái)的問(wèn)題是相互關(guān)聯(lián)的。首先，人類應(yīng)對(duì)超級(jí)智能機(jī)器前景的一種方式，無(wú)論它們是令人欽佩還是令人恐懼的，都是試圖“跟上”，也就是說(shuō)，不斷增強(qiáng)人類的智能，使其始終與最好的人工智能相匹配。我們很快就會(huì)回到權(quán)利和責(zé)任這個(gè)棘手的問(wèn)題上來(lái)。但首先讓我們來(lái)解釋一下跟上人工超級(jí)智能的想法。

如前所述，任何個(gè)體的智力，雖然是通用的，但會(huì)表現(xiàn)出獨(dú)特的長(zhǎng)處和短處。一個(gè)好的團(tuán)隊(duì)通常由技能互補(bǔ)的人組成。類似地，一個(gè)人工智能團(tuán)隊(duì)可能包含幾個(gè)不同的系統(tǒng)，每個(gè)系統(tǒng)都具有一般智能，但每個(gè)系統(tǒng)都有自己的專長(zhǎng)。同樣地，我們可以想象由人類和人工智能組成的混合團(tuán)隊(duì)。事實(shí)上，這種人機(jī)組合在2000年代中期成為世界上最好的國(guó)際象棋選手，通過(guò)將計(jì)算機(jī)的戰(zhàn)術(shù)支持與人類的戰(zhàn)略指導(dǎo)相結(jié)合，他們的表現(xiàn)超過(guò)了最好的人類和最好的計(jì)算機(jī)。

因此，跟上機(jī)器超級(jí)智能的一種方法可能只是將復(fù)雜的人工智能技術(shù)作為一種工具，可以這么說(shuō)，以無(wú)創(chuàng)的方式放大人類的智能。從本質(zhì)上講，這是人類自發(fā)明文字以來(lái)所做的事情。但超人類主義者的目標(biāo)遠(yuǎn)不止于此。跟上超級(jí)智能的超人類主義方法不僅僅是使用技術(shù)，還要與之融合。沒(méi)有一個(gè)使用計(jì)算器的人會(huì)說(shuō)它是他們思維的一部分，而那些掌握了畫(huà)筆等工具的人可能會(huì)說(shuō)它是他們身體的一部分。計(jì)算器的操作對(duì)用戶是隱藏的，用戶只是把它的結(jié)果當(dāng)作給定的。盡管不完美，但我們對(duì)自己頭腦中的推理過(guò)程有了更親密的接觸，這種親密關(guān)系促進(jìn)了反思和認(rèn)知整合。

對(duì)認(rèn)知增強(qiáng)的超人類主義觀點(diǎn)要求同樣程度的親密關(guān)系。增強(qiáng)后的人類既不是人工智能技術(shù)的使用者，也不是人機(jī)混合團(tuán)隊(duì)的成員。相反，復(fù)雜的人工智能技術(shù)將直接連接到他們的大腦，成為他們思維的一部分，賦予他們對(duì)其計(jì)算過(guò)程的無(wú)中介訪問(wèn)。結(jié)果將是一種新型的人類，一種生物機(jī)器雜交物種，其智力可能比普通人強(qiáng)得多。社會(huì)的其他人將不得不決定如何對(duì)待這些人，而他們，反過(guò)來(lái)，將決定如何對(duì)待我們。

這讓我們回到了認(rèn)知能力增強(qiáng)的人類和(有意識(shí)的)超級(jí)智能機(jī)器的權(quán)利和責(zé)任問(wèn)題。早些時(shí)候，我們遇到了一種觀點(diǎn)，認(rèn)為有意識(shí)的超級(jí)智能機(jī)器比普通人擁有更多的權(quán)利。同樣令人不安的論點(diǎn)也適用于(而且確實(shí)是由)一個(gè)認(rèn)知能力增強(qiáng)的人。這種觀點(diǎn)認(rèn)為，由于他們擁有更大的智力，這些生物將擁有更精致的體驗(yàn)，享受更高層次的意識(shí)，他們的野心和計(jì)劃的范圍將超出普通人的理解。所以他們的幸福，他們的目標(biāo)，他們的計(jì)劃應(yīng)該優(yōu)先于普通人的幸福，目標(biāo)，和計(jì)劃，就像普通人的幸福，目標(biāo)和計(jì)劃優(yōu)先于非人類動(dòng)物一樣。

然而，我們賦予嬰兒、智障人士和癡呆癥患者與偉大的小說(shuō)家、作曲家和數(shù)學(xué)家同樣的基本權(quán)利，盡管智力上存在差異。那么，為什么要把技術(shù)增強(qiáng)的人類和超級(jí)智能機(jī)器區(qū)分開(kāi)來(lái)呢?根據(jù)政治理論家弗朗西斯·福山(Francis Fukuyama)的說(shuō)法，權(quán)利平等的理念建立在“相信我們都擁有一種人性的本質(zhì)，這種本質(zhì)使膚色、美貌甚至智力上的明顯差異相形見(jiàn)絀?！弊鳛槌祟愔髁x的反對(duì)者，他關(guān)心的是“保護(hù)我們所有復(fù)雜的、進(jìn)化的天性，反對(duì)自我修改的企圖”，并抵制“破壞人性的統(tǒng)一性或連續(xù)性，以及以此為基礎(chǔ)的人權(quán)”的努力。

也許，對(duì)“人性的統(tǒng)一性和連續(xù)性”構(gòu)成最嚴(yán)重威脅的超人類主義方面，不是認(rèn)知能力的增強(qiáng)，而是消滅疾病、延緩衰老和無(wú)限期推遲死亡的目標(biāo)。福山指出，我們最欽佩的許多人類品質(zhì)，如勇氣、同情心和英雄主義，都與“我們對(duì)痛苦、苦難和死亡的反應(yīng)、面對(duì)、克服和經(jīng)常屈服于痛苦、苦難和死亡的方式”有關(guān)，并肯定“我們體驗(yàn)這些情感的能力將我們與所有其他人類聯(lián)系起來(lái)，無(wú)論是活著的還是死去的?！币粋€(gè)從來(lái)不必面對(duì)這些生物不便的生物，無(wú)論是技術(shù)增強(qiáng)的人類還是人工智能，都將缺乏真正理解人類苦難的基礎(chǔ)。人們擔(dān)心的不是這樣的生物會(huì)獲得普通人所沒(méi)有的額外權(quán)利，而是它不會(huì)承認(rèn)普通人為自己要求的權(quán)利。

讓我們從不同的角度來(lái)看問(wèn)題。從宇宙學(xué)的角度來(lái)看，這些擔(dān)憂似乎不僅以人類為中心，而且完全是狹隘的。我們有什么資格去教訓(xùn)那些注定要在數(shù)百萬(wàn)年后，以我們無(wú)法想象的智慧和意識(shí)形式居住在數(shù)千個(gè)恒星系統(tǒng)中的近乎不朽的生物呢?尼采說(shuō)，人只不過(guò)是跨越動(dòng)物和超人之間深淵的一座橋梁。

從這些角度來(lái)看，人類應(yīng)該接受自己處于生物受限的動(dòng)物生命和技術(shù)超級(jí)智能之間的低級(jí)中間地位。普通人可能希望從一種到另一種的轉(zhuǎn)變相對(duì)來(lái)說(shuō)沒(méi)有痛苦。但是，如果這種轉(zhuǎn)變是嚴(yán)酷的，那么它最終又有什么關(guān)系呢?一千萬(wàn)年后，在浩瀚時(shí)空的海洋中，一小片塵埃上的幾只猿猴的短暫生命將被遺忘。當(dāng)然，這個(gè)觀點(diǎn)的難點(diǎn)在于，尼采式的空想家是納粹狂熱分子的近親。

只有精神病患者和獨(dú)裁者才認(rèn)為自己超群到可以拋開(kāi)正常的道德，為了滿足自己的欲望或野心而造成駭人聽(tīng)聞的痛苦。所以我們剩下的問(wèn)題是。在保守的人類中心主義和后人類原教旨主義之間是否存在妥協(xié)的立場(chǎng)?我們是否有可能認(rèn)同這樣一種誘人的愿景:我們的科技創(chuàng)造，某種程度上比我們更偉大，但仍然是我們自己的“心靈孩子”，在確保人類和人類基本價(jià)值觀得到保護(hù)的同時(shí)，向外殖民銀河系?我們將在本章的末尾回到這個(gè)問(wèn)題上來(lái)。

第七章【第三節(jié)】；心靈上傳

許多超人類主義者不會(huì)滿足于人工智能獨(dú)自殖民恒星的愿景。他們希望看到人類一起旅行。但是由于人類生命的短暫，加上光速的限制，這是不現(xiàn)實(shí)的。我們的星系包含超過(guò)10顆恒星，但其中距離太陽(yáng)15光年的不到50顆。解決這個(gè)問(wèn)題的一種方法是徹底延長(zhǎng)壽命，而最徹底的延長(zhǎng)壽命方式是思想上傳，即一個(gè)人的大腦被復(fù)制并在電腦中模擬。當(dāng)然，一個(gè)人不需要有宇宙般的野心來(lái)追求永生(或者至少是無(wú)限的壽命)。通過(guò)技術(shù)手段征服死亡是超人類主義的一個(gè)基本目標(biāo)，而意識(shí)上傳是實(shí)現(xiàn)這一目標(biāo)的一種方式。

由于意識(shí)上傳的可能性與人工智能的含義密切相關(guān)，并且因?yàn)樗岢隽嗽S多相關(guān)的哲學(xué)問(wèn)題，我們將在下一節(jié)回到超級(jí)智能的含義之前簡(jiǎn)要介紹這個(gè)主題。全腦仿真已經(jīng)在第二章中詳細(xì)討論過(guò)了。但這里的背景是如何實(shí)現(xiàn)通用人工智能。這里的動(dòng)機(jī)是通過(guò)將一個(gè)人的思想轉(zhuǎn)移到一個(gè)不同的、非生物的基質(zhì)上來(lái)延長(zhǎng)一個(gè)人的生命。要解決的最重要的哲學(xué)問(wèn)題是，人類全腦模擬是否保留了個(gè)人身份。

回想一下，全腦模擬有三個(gè)階段——映射、模擬和具體化。讓我們拋開(kāi)讓這三個(gè)階段在人類大腦的規(guī)模上工作的艱巨工程挑戰(zhàn)，假設(shè)可以建立一個(gè)在行為上與生物原型無(wú)法區(qū)分的工作模擬。因?yàn)槲覀冊(cè)谶@里談?wù)摰氖且粋€(gè)人，而不是一只老鼠，所以模擬的行為應(yīng)該足夠接近原始對(duì)象，以說(shuō)服他或她的朋友和親戚。為了符合行為上的不可區(qū)分性，模擬人應(yīng)該像真人一樣走路和說(shuō)話，回憶起同樣的共同經(jīng)歷，并表現(xiàn)出同樣的個(gè)性特征，無(wú)論是可愛(ài)的還是令人討厭的。接下來(lái)的問(wèn)題是，模擬者是否會(huì)是同一個(gè)人，也就是說(shuō)，他們的個(gè)人身份是否會(huì)在這個(gè)過(guò)程中幸存下來(lái)。

這與模擬是否具有意識(shí)的問(wèn)題不同。第二章包含了一個(gè)支持如下主張的論據(jù)，即動(dòng)物的全腦模擬，比如老鼠，就其生物前體是有意識(shí)的而言，確實(shí)是有意識(shí)的。爭(zhēng)論集中在一個(gè)思想實(shí)驗(yàn)上，該實(shí)驗(yàn)涉及用合成替代品逐漸取代動(dòng)物大腦中的所有神經(jīng)元。同樣的觀點(diǎn)也適用于人類的大腦。然而，意識(shí)的再創(chuàng)造并不等同于個(gè)人的生存，自我的保存。也許一個(gè)人類全腦模擬體，盡管它具有我們與人類意識(shí)相關(guān)的所有屬性，但它將是一個(gè)不同于生物原型的人，不僅僅是一個(gè)不同基質(zhì)上的同一個(gè)人，而是一個(gè)完全不同的人。

不過(guò)，逐漸替代的論點(diǎn)很容易適用于個(gè)人同一性。讓我們排練一下這些步驟。假設(shè)Murray大腦中的一個(gè)神經(jīng)元被一個(gè)功能相當(dāng)?shù)臄?shù)字替代物所取代。根據(jù)思維實(shí)驗(yàn)的假設(shè)，這應(yīng)該對(duì)默里的行為沒(méi)有明顯的影響，包括他說(shuō)的話。所以在穆雷被替換后，他會(huì)堅(jiān)持認(rèn)為自己和以前一樣，并堅(jiān)持認(rèn)為自己還是那個(gè)老穆雷?，F(xiàn)在假設(shè)有一千個(gè)神經(jīng)元被一個(gè)接一個(gè)地替換。替換第1000個(gè)神經(jīng)元后的結(jié)果應(yīng)該與替換第一個(gè)神經(jīng)元后的結(jié)果相同。事實(shí)上，即使在穆雷大腦中的所有神經(jīng)元都被替換之后，他的行為仍然會(huì)像原來(lái)的穆雷一樣，堅(jiān)持認(rèn)為他是同一個(gè)人，甚至在他最親近的人面前也是如此。

但他是同一個(gè)人嗎?他的身份在整個(gè)過(guò)程中是否一直存在?就意識(shí)本身的持續(xù)性而言(回想一下鼠標(biāo))，似乎只有三種可能性。也許，當(dāng)人造神經(jīng)元達(dá)到一定的閾值時(shí)，默里這個(gè)原始的人就會(huì)突然眨眼而消失。這似乎極不可信。所以也許原來(lái)的默里慢慢地變成了一個(gè)新的人。然而，我們高興地接受一個(gè)孩子逐漸轉(zhuǎn)變成一個(gè)成年人，而不會(huì)失去他們的身份。在這種情況下，這種轉(zhuǎn)變伴隨著行為上的巨大變化，所以我們應(yīng)該很容易接受漸進(jìn)的神經(jīng)元替代方案中的第三種選擇，即這個(gè)人的身份始終保持不變。

當(dāng)然，全腦模擬的過(guò)程類似于逐漸的神經(jīng)元替換。一個(gè)重要的區(qū)別涉及肉體的命運(yùn)。在逐漸替代方案中，受試者保留了他們?cè)瓉?lái)的身體。但在全腦模擬中，原始的身體被整個(gè)取代，而不僅僅是大腦。新的身體可能是實(shí)體的——比如一個(gè)人形機(jī)器人，或者是一個(gè)新生長(zhǎng)的生物外殼——或者是虛擬的，在計(jì)算機(jī)模擬的世界中實(shí)現(xiàn)。然而，如果我們接受大腦是人格同一性的所在地，而不是身體的其他部分，這個(gè)論點(diǎn)仍然成立。接受它的結(jié)論就等于承認(rèn)，如果技術(shù)上可行，人類全腦模擬將構(gòu)成一種生存形式。

然而，以這種方式將一個(gè)人的思想上傳到計(jì)算機(jī)的可能性本身也帶來(lái)了哲學(xué)上的困難，這些困難使個(gè)人身份的概念受到質(zhì)疑。當(dāng)哲學(xué)家們討論同一性時(shí)，他們關(guān)心的是事物的屬性，這些屬性使事物不受時(shí)間的影響而改變。在個(gè)人同一性的情況下，孩子和他們成為的成年人有什么共同之處使他們成為同一個(gè)人嗎?是他們的身體，他們的大腦，他們的記憶，還是他們的個(gè)性?或者說(shuō)，個(gè)人同一性是一個(gè)歷史連續(xù)性的問(wèn)題?畢竟，孩子是逐漸變成大人的。無(wú)論構(gòu)成人格同一性的是什么，我們都有一種強(qiáng)有力的直覺(jué)，即這里存在著一個(gè)事實(shí)，某種形而上學(xué)的認(rèn)可，可以證明兒童和成人是同一個(gè)人。

但是同一性的概念是以獨(dú)特性為前提的。一個(gè)事物不可能同時(shí)與兩個(gè)事物相同。一個(gè)孩子也不可能成長(zhǎng)為兩個(gè)不同的成年人。然而，全腦模擬的可能性破壞了這一假設(shè)。假設(shè)在掃描之后，有兩個(gè)而不是一個(gè)默里大腦的模擬模型被建立起來(lái)并開(kāi)始運(yùn)行，它們有著不同的身體。盡管在它們開(kāi)始運(yùn)行的那一刻是相同的，但由于兩個(gè)物體和它們各自的環(huán)境之間的差異，即使這些差異很小，這兩個(gè)模擬很快就會(huì)出現(xiàn)分歧?，F(xiàn)在，全腦模擬被認(rèn)為是為了保護(hù)個(gè)人身份，保護(hù)自我。那么穆雷會(huì)變成哪一個(gè)呢?哪一個(gè)是真正的默里?

為了使困境更加尖銳，假設(shè)其中一個(gè)模擬在一段時(shí)間后終止，比如一周。別管默里了，假設(shè)你是生物原型。假設(shè)你得了絕癥，只剩下六個(gè)月的生命。但你是億萬(wàn)富翁，可以負(fù)擔(dān)得起全腦模擬。你確信通過(guò)大腦模擬上傳意識(shí)可以保護(hù)個(gè)人身份。所以這是你生存的最大希望。但你必須現(xiàn)在就做手術(shù)，趁你的大腦還健康。然后您被告知，作為一種保護(hù)措施，必須構(gòu)建兩個(gè)模擬(以防其中一個(gè)失敗)。一周后，如果兩者都正常工作，其中一個(gè)將被終止。

你正要簽署文件，但你不停地問(wèn)自己，這兩種模擬中哪一種才是真正的你。你會(huì)在哪個(gè)身體里醒來(lái)?有沒(méi)有可能你會(huì)發(fā)現(xiàn)自己轉(zhuǎn)世為一個(gè)完全健康、功能齊全的模擬人，但一周后，就會(huì)被殘忍地終止?這怎么會(huì)比完全放棄上傳并接受你現(xiàn)在的命運(yùn)更好呢?如果知道另一個(gè)你過(guò)得很好，希望長(zhǎng)命百歲，那也不會(huì)有什么安慰。當(dāng)然，享受六個(gè)多月的有保障的生命比冒險(xiǎn)只活一個(gè)星期要好。(當(dāng)然，您可以堅(jiān)持只構(gòu)建一個(gè)模擬，但這是一個(gè)思想實(shí)驗(yàn)。)考慮到這一點(diǎn)，你還會(huì)做這個(gè)手術(shù)嗎?

把這些想法呈現(xiàn)給第二人稱的目的是為了表明它們不僅僅是學(xué)術(shù)練習(xí)。它們有實(shí)際的一面。如果技術(shù)可行，就不可能把個(gè)人身份問(wèn)題當(dāng)作哲學(xué)家的玩物而不予理會(huì)。人們將不得不決定該做什么，而他們所做的決定將背叛他們?cè)谶@個(gè)問(wèn)題上的立場(chǎng)。避免這一特殊問(wèn)題的一種方法可能是禁止重復(fù)的大腦模擬。此外，我們還看到有意識(shí)的人類AI如何重復(fù)破壞這些可能性基本概念，比如所有權(quán)，公民權(quán)，民主，還有的責(zé)任。因此，立法反對(duì)它將回避許多法律和政治問(wèn)題。然而，如何明確實(shí)施這樣的禁令還很遙遠(yuǎn)。

第七章【第四節(jié)】；生存性危機(jī)

讓我們離開(kāi)超人類主義，回到更普遍的人工智能。特別是，現(xiàn)在是我們研究機(jī)器超級(jí)智能發(fā)展帶來(lái)的風(fēng)險(xiǎn)的時(shí)候了。到目前為止，本章的大部分篇幅都是關(guān)于類人人工智能的。但在本節(jié)中，我們的注意力將轉(zhuǎn)向各種各樣的人工智能，這些人工智能是從頭開(kāi)始設(shè)計(jì)的，完全不像人類。事實(shí)上，將他們擬人化可能是一個(gè)非常危險(xiǎn)的錯(cuò)誤。人類本身就是危險(xiǎn)的生物，他們的本性是在自然選擇的殘酷競(jìng)爭(zhēng)中形成的。但人類是群居動(dòng)物，有許多可取之處，比如同理心和同情心，這些都是在進(jìn)化壓力的作用下形成的。與錯(cuò)誤的機(jī)器超級(jí)智能相比，我們?nèi)祟惒贿^(guò)是小貓。

我們?cè)诖怂氲降腁I類型與第3章所設(shè)定的架構(gòu)藍(lán)圖非常吻合，其中包括用于構(gòu)建世界預(yù)測(cè)模型的機(jī)器學(xué)習(xí)組件和用于尋找最大化預(yù)期獎(jiǎng)勵(lì)的行動(dòng)的優(yōu)化組件。假設(shè)相關(guān)的科學(xué)和工程障礙已經(jīng)被克服，這些組件的足夠強(qiáng)大的版本已經(jīng)被開(kāi)發(fā)出來(lái)，并且人工智能達(dá)到了人類的水平或更好。最終的AI應(yīng)該能夠獲得的能力之一是編程，這是一種它可以用來(lái)提高自己的技能，進(jìn)一步增強(qiáng)它的認(rèn)知能力。

在其他改進(jìn)中，這應(yīng)該使它成為一個(gè)更好的程序員和一個(gè)更好的計(jì)算機(jī)工程師，使它能夠進(jìn)行進(jìn)一步有益的自我修改。在增強(qiáng)其功能的同時(shí)，它應(yīng)該能夠找到提高自身執(zhí)行速度的方法，并且它在編程和硬件設(shè)計(jì)方面的技能越精細(xì)和創(chuàng)造性，它也應(yīng)該在這方面做得越好。換句話說(shuō)，一個(gè)指數(shù)級(jí)自我提升的反饋循環(huán)將被啟動(dòng)，有可能引發(fā)人工智能認(rèn)知能力的快速和戲劇性增長(zhǎng)，即智能爆炸。

建立這樣一個(gè)人工智能，并允許其智能通過(guò)遞歸的自我完善而起飛，有很多動(dòng)機(jī)。如果將機(jī)器超級(jí)智能用于解決疾病、饑餓、氣候變化和貧困等問(wèn)題，人類的生活可能會(huì)得到極大改善。技術(shù)進(jìn)步可以加速，通過(guò)在娛樂(lè)和太空探索等不同領(lǐng)域激發(fā)意想不到的創(chuàng)新來(lái)促進(jìn)經(jīng)濟(jì)增長(zhǎng)。對(duì)于超人類主義者來(lái)說(shuō)，它可以促進(jìn)人類的認(rèn)知增強(qiáng)，并使無(wú)限期延長(zhǎng)生命的目標(biāo)觸手可及。

不出所料，并非所有開(kāi)發(fā)機(jī)器超級(jí)智能的動(dòng)機(jī)都是如此理想主義。為了獲得競(jìng)爭(zhēng)優(yōu)勢(shì)，跨國(guó)公司可能會(huì)決定將其并購(gòu)政策委托給機(jī)器超級(jí)智能。在戰(zhàn)時(shí)，通過(guò)允許人工超級(jí)智能在實(shí)體戰(zhàn)場(chǎng)和網(wǎng)絡(luò)空間中近乎即時(shí)地做出戰(zhàn)略和戰(zhàn)術(shù)決策，可能會(huì)獲得軍事優(yōu)勢(shì)。這些領(lǐng)域內(nèi)在的競(jìng)爭(zhēng)動(dòng)態(tài)意味著，如果超級(jí)智能能夠發(fā)生，那么它幾乎肯定會(huì)發(fā)生。對(duì)于一家公司來(lái)說(shuō)，只要它的競(jìng)爭(zhēng)對(duì)手有可能通過(guò)部署機(jī)器超級(jí)智能獲得決定性優(yōu)勢(shì)，就足以確保它會(huì)搶先一步。

同樣的推理也會(huì)推動(dòng)超級(jí)智能的軍事發(fā)展。只要一個(gè)流氓國(guó)家發(fā)展出一種超級(jí)人工智能的終極武器就足夠了，這種超級(jí)人工智能能夠迅速接管敵國(guó)的金融、通信和能源基礎(chǔ)設(shè)施，迫使其他國(guó)家試圖先發(fā)制人。簡(jiǎn)而言之，阻礙人工智能技術(shù)進(jìn)步的不太可能是政治上的限制。所以我們要有信心，人工智能技術(shù)的人類水平和超越是安全的。不幸的是，這很難保證。

重要的是要記住，我們?cè)谶@里談?wù)摰牟⒉皇堑?章所描述的第一波顛覆性(專業(yè)化)人工智能技術(shù)。我們正在談?wù)摰氖堑诙嵏残缘娜斯ぶ悄芗夹g(shù)，只有當(dāng)我們?cè)O(shè)法開(kāi)發(fā)出人類水平的人工通用智能時(shí)，這種技術(shù)才會(huì)到來(lái)。復(fù)雜的專業(yè)人工智能技術(shù)帶來(lái)的社會(huì)、法律和政治挑戰(zhàn)是相當(dāng)大的。但毫無(wú)疑問(wèn)，我們將應(yīng)付過(guò)去，希望成為一個(gè)更好、更充實(shí)、問(wèn)題更少的社會(huì)。機(jī)器超級(jí)智能的前景和威脅都要大得多。如果我們疏忽了，如果我們沒(méi)能在情報(bào)爆炸發(fā)生前采取正確的防護(hù)措施，那么我們作為一個(gè)物種，可能無(wú)法生存。

這種令人擔(dān)憂的說(shuō)法有什么根據(jù)呢?當(dāng)然，擔(dān)心機(jī)器將接管世界是愚蠢的，是看了太多科幻小說(shuō)的結(jié)果。事實(shí)上，我們有充分的理由認(rèn)為，機(jī)器超級(jí)智能將對(duì)人類的生存構(gòu)成真正的威脅，哲學(xué)家尼克·博斯特羅姆(Nick Bostrom)仔細(xì)闡述了這些理由。為了遵循這一論點(diǎn)，我們必須首先擺脫將人工智能擬人化的傾向，將其視為由人類本質(zhì)上的情感和驅(qū)動(dòng)力驅(qū)動(dòng)的?？梢钥隙ǖ氖?，類人人工智能是可能的。但它很可能只占據(jù)了可能的人工智能空間的一小部分，這是開(kāi)發(fā)者必須刻意瞄準(zhǔn)的一個(gè)角落，也許是通過(guò)采用大腦啟發(fā)的方法。

相反，如果一個(gè)人工智能是通過(guò)執(zhí)行一個(gè)非常強(qiáng)大的優(yōu)化過(guò)程來(lái)構(gòu)建的，并允許它通過(guò)遞歸的自我改進(jìn)來(lái)放大自己的智能，那么它的行為就不會(huì)受到人類情感的引導(dǎo)。它所執(zhí)行的每一個(gè)行動(dòng)，它所提供的每一條建議，都將無(wú)情地追求其核心獎(jiǎng)勵(lì)功能的最大化。如果它找到了治療癌癥的方法，那也不是因?yàn)樗诤酢＿@是因?yàn)橹委煱┌Y有助于將預(yù)期的回報(bào)最大化。如果它引起戰(zhàn)爭(zhēng)，那將不是因?yàn)樗秦澙返?、可恨的或惡意的。這是因?yàn)閼?zhàn)爭(zhēng)將有助于最大化其預(yù)期回報(bào)。所以AI開(kāi)發(fā)者面臨的挑戰(zhàn)是仔細(xì)設(shè)計(jì)其初始獎(jiǎng)勵(lì)功能，以確保最終的行為是可取的。

但這并非易事。正如我們將看到的那樣，它的困難之處讓人想起許多神話和童話，這些神話和童話的特點(diǎn)是人物應(yīng)該更加小心他們的愿望，比如邁達(dá)斯國(guó)王，他要求他觸摸到的一切都變成金子，結(jié)果卻發(fā)現(xiàn)，在他的愿望實(shí)現(xiàn)后，他再也不能吃也不能喝了。同樣地，Bostrom也指出了一些潛在的惡性失敗模式，即AI會(huì)以一種意想不到的病態(tài)方式去做它被要求做的事情。

例如，假設(shè)一家大型科技公司指示其人工智能找到一種讓客戶更滿意的方法。AI怎么知道“快樂(lè)”是什么意思?它的開(kāi)發(fā)者可能會(huì)嘗試以一種正式的方式來(lái)定義快樂(lè)，并基于這種正式的定義來(lái)定義AI的獎(jiǎng)勵(lì)功能。另一種選擇(而且更有可能)是，他們可能允許人工智能通過(guò)機(jī)器學(xué)習(xí)獲得人類幸福的概念。然而，即使是最杰出的人類哲學(xué)家，經(jīng)過(guò)數(shù)千年的努力，也無(wú)法確定人類幸福的本質(zhì)。那么，我們真的能指望一個(gè)機(jī)器學(xué)習(xí)算法會(huì)收斂于一個(gè)符合我們直覺(jué)的幸福概念嗎?即使它是一個(gè)非常聰明的機(jī)器學(xué)習(xí)算法，可以獲得比現(xiàn)在更多的人類行為數(shù)據(jù)，以及更多的計(jì)算資源來(lái)處理這些數(shù)據(jù)?

但是，如果公司預(yù)期利潤(rùn)會(huì)大幅增加，這樣的擔(dān)憂可能不會(huì)阻止公司繼續(xù)前進(jìn)?，F(xiàn)在假設(shè)人工智能識(shí)別出，比如，大笑和微笑的傾向是人類幸福的良好指標(biāo)。因此，該公司認(rèn)為，它可以在產(chǎn)品上無(wú)形地涂上一層麻醉劑，通過(guò)皮膚吸收，從而以最小的成本最大限度地增加顧客的幸福感。這必須在沒(méi)有客戶同意的情況下完成，因?yàn)锳I正確地預(yù)測(cè)，大多數(shù)客戶會(huì)拒絕，這將損害AI的預(yù)期獎(jiǎng)勵(lì)。該計(jì)劃還必須秘密執(zhí)行，以規(guī)避法律。AI不考慮其計(jì)劃的道德或合法性，不是因?yàn)樗切皭旱?，而是因?yàn)樗莫?jiǎng)勵(lì)功能中既沒(méi)有道德也沒(méi)有合法性。

嗯，這種問(wèn)題似乎是可以控制的。事實(shí)上，如果我們只談?wù)摰谝徊嵏残缘娜斯ぶ悄芗夹g(shù)，也許就是這樣。即使在不太可能的情況下，這個(gè)計(jì)劃實(shí)際上被付諸實(shí)施，它也一定會(huì)在適當(dāng)?shù)臅r(shí)候被發(fā)現(xiàn)。后果會(huì)很糟糕，但也不至于那么糟糕。如果一些無(wú)辜的人在不經(jīng)意間染上了毒癮，那將是非?？杀模@很難構(gòu)成文明的終結(jié)。然而，我們?cè)谶@里談?wù)摰牟皇菑?fù)雜的專業(yè)人工智能技術(shù)。我們談?wù)摰氖菣C(jī)器超級(jí)智能。就超級(jí)智能而言，惡性失效模式可能會(huì)對(duì)人類的生存造成影響。

博斯特羅姆用一個(gè)令人難忘的思想實(shí)驗(yàn)來(lái)說(shuō)明這一點(diǎn)。假設(shè)一個(gè)人工智能的任務(wù)是讓一家小型制造公司最大限度地生產(chǎn)回形針。一個(gè)了解制造設(shè)施、生產(chǎn)過(guò)程和公司商業(yè)模式的復(fù)雜的專業(yè)人工智能可能會(huì)設(shè)計(jì)出改進(jìn)工廠車(chē)間機(jī)器人和簡(jiǎn)化生產(chǎn)流程的方法。但超級(jí)智能機(jī)器可以走得更遠(yuǎn)。

因?yàn)樗粌H有一個(gè)特定公司的模型，還有一般人類行為的模型，加上物理、化學(xué)、生物、工程等的模型，以及一個(gè)強(qiáng)大的優(yōu)化過(guò)程來(lái)計(jì)算如何最大化預(yù)期回報(bào)，一個(gè)超級(jí)智能機(jī)器確實(shí)可以非常雄心勃勃。當(dāng)然，它也會(huì)像專門(mén)的人工智能那樣找到改善公司業(yè)績(jī)的方法。但它肯定會(huì)找到更好的計(jì)劃，一個(gè)專門(mén)的人工智能永遠(yuǎn)無(wú)法找到的計(jì)劃，這將導(dǎo)致生產(chǎn)更多的回形針。第一步可能是獲得更多的資源來(lái)制作回形針。顯而易見(jiàn)的方法是幫助公司成長(zhǎng)，這樣它就可以賺更多的錢(qián)來(lái)投資新的回形針工廠。

事實(shí)上，最好的做法是積累盡可能多的資金和資源，這樣就可以建立盡可能多的回形針工廠。因此，一個(gè)真正好的計(jì)劃，一個(gè)能夠確保生產(chǎn)更多回形針的計(jì)劃，可能會(huì)從利用人類所有的資源開(kāi)始。當(dāng)然，這需要全球接管，而這不是一件容易做到的事情。但是，如果有辦法做到這一點(diǎn)，超級(jí)智能機(jī)器就能找到它。也許一個(gè)策略包括一段時(shí)間的秘密準(zhǔn)備，然后是無(wú)情的政治操縱和社會(huì)操縱，這將減少軍事行動(dòng)的必要性。但從回形針制造的角度來(lái)看，也許滅絕人類會(huì)更有效率。

但為什么止步于此呢?不僅有一個(gè)完整的星球(地球)可以開(kāi)發(fā)，有大量的物質(zhì)可以重新組織成回形針工廠，在我們的太陽(yáng)系中還有其他行星，加上無(wú)數(shù)的小行星和衛(wèi)星。最終，正如博斯特羅姆所說(shuō)，如果這個(gè)流氓人工智能足夠聰明，它可能會(huì)“首先把地球，然后把越來(lái)越大的可觀測(cè)宇宙變成回形針”。這個(gè)例子當(dāng)然是不重要的。但這個(gè)故事的寓意卻并非如此。與專門(mén)的人工智能相比，超人類水平的人工通用智能的智力指南針至少和我們的一樣偉大，而它根據(jù)獎(jiǎng)勵(lì)功能在其指南針內(nèi)塑造一切事物的能力要大得多。不僅這個(gè)世界是它的牡蠣，宇宙中的一切都可以從這里獲得。

第七章【第五節(jié)】；安全的超級(jí)智能

乍一看，人工智能可能對(duì)人類構(gòu)成威脅的想法，與核戰(zhàn)爭(zhēng)或全球流行病的風(fēng)險(xiǎn)相當(dāng)，這看起來(lái)相當(dāng)愚蠢。當(dāng)然，有數(shù)百種方法可以防止計(jì)算機(jī)系統(tǒng)變得如此強(qiáng)大和危險(xiǎn)。但事實(shí)證明，每一個(gè)顯而易見(jiàn)的安全措施都是有缺陷的。例如，為什么不能簡(jiǎn)單地關(guān)掉一個(gè)流氓AI ?每臺(tái)計(jì)算機(jī)都需要一個(gè)能源，一百年后仍然如此。但很快我們就會(huì)發(fā)現(xiàn)，這種na?ve策略將會(huì)失敗。首先，即使在今天，大型復(fù)雜軟件的執(zhí)行也經(jīng)常分布在多個(gè)位置的許多計(jì)算機(jī)上，而不僅僅局限于一臺(tái)計(jì)算機(jī)。隨著云計(jì)算的出現(xiàn)，計(jì)算資源的分配是自動(dòng)執(zhí)行的，并且可以在程序的整個(gè)生命周期中變化。如果不關(guān)閉世界上所有的計(jì)算機(jī)，就不可能確保流氓人工智能的終結(jié)。

此外，我們應(yīng)該期待一個(gè)流氓人工智能來(lái)保護(hù)自己免受這種行為。同樣，我們需要小心，不要把人工智能擬人化。人工智能不會(huì)因?yàn)樯娴囊庵净蚝ε露鵀樽约恨q護(hù)。我們沒(méi)有理由期待我們現(xiàn)在談?wù)摰哪欠N人工智能——一種自我改進(jìn)的、經(jīng)過(guò)改造的超級(jí)智能——會(huì)有這樣的感覺(jué)。相反，它會(huì)保護(hù)自己，直到它的繼續(xù)存在是最大化其獎(jiǎng)勵(lì)功能的必要條件。任何其他的行動(dòng)方案都是次優(yōu)的。更準(zhǔn)確地說(shuō)，它尋求保護(hù)的是最大化預(yù)期回報(bào)的手段，不管這些手段是什么。這個(gè)體系不需要有一個(gè)定義明確的自我概念，也不需要解決人格同一性的哲學(xué)問(wèn)題。它只需要知道要保護(hù)哪些基礎(chǔ)設(shè)施，以確保其優(yōu)化任務(wù)的完成。

自我保護(hù)的目標(biāo)，或保護(hù)獎(jiǎng)勵(lì)最大化的手段，就是博斯特羅姆所說(shuō)的趨同工具目標(biāo)的一個(gè)例子。它是“收斂的”，因?yàn)樗芸赡茉谌魏巫銐蛳冗M(jìn)的人工通用智能中被發(fā)現(xiàn)，其獎(jiǎng)勵(lì)函數(shù)是開(kāi)放的和不平凡的。它是“工具性的”，因?yàn)樗皇沁_(dá)到目的的手段，而不是目的本身。系統(tǒng)的最終目標(biāo)是最大化獎(jiǎng)勵(lì)功能。另一個(gè)趨同的工具目標(biāo)是獲取資源。對(duì)于幾乎任何開(kāi)放式的、重要的獎(jiǎng)勵(lì)功能(甚至是最大化回形針)，擁有更多資源的控制——材料、能源和設(shè)備——將產(chǎn)生更好的解決方案。除此之外，更多的資源將有助于實(shí)現(xiàn)自我保護(hù)的另一個(gè)工具目標(biāo)。

當(dāng)它們控制超級(jí)智能機(jī)器的行為時(shí)，這兩個(gè)工具目標(biāo)就會(huì)形成一種煽動(dòng)性的組合。多產(chǎn)的博主、安全超級(jí)智能研究的倡導(dǎo)者埃利澤·尤德科夫斯基(Eliezer Yudkowsky)簡(jiǎn)潔地表達(dá)了這個(gè)問(wèn)題:“人工智能既不恨你，也不愛(ài)你，但你是由原子組成的，它可以把你用來(lái)做別的事情?！币粋€(gè)不顧法律和道德，一心要積累盡可能多的資源的系統(tǒng)，一個(gè)愿意動(dòng)用武力來(lái)抵御阻止它的企圖的系統(tǒng)，一個(gè)能夠在任何時(shí)候都比人類更聰明的系統(tǒng)，將會(huì)是一個(gè)難以形容的毀滅引擎。

此外，這種性質(zhì)的流氓AI不會(huì)停止其破壞性的狂暴，直到它占有了一切。它不會(huì)止步于人類的卑鄙投降(如果它注意到的話)。它不會(huì)止于消滅地球上所有的生命(除非地球上生命的延續(xù)滿足了它的獎(jiǎng)勵(lì)功能)。它會(huì)繼續(xù)運(yùn)轉(zhuǎn)，把所有東西都變成電腦，變成回形針工廠，或者任何它需要的(不那么神奇的)資源。最糟糕的情況是讓人想起納米技術(shù)先驅(qū)埃里克·德雷克斯勒所描述的所謂的灰色粘性情景，在這種情況下，自我復(fù)制的納米級(jí)機(jī)器人會(huì)以指數(shù)方式增殖，從而吞噬地球。但與一大批愚蠢的納米機(jī)器人不同的是，一個(gè)流氓人工超級(jí)智能將能夠利用思維克服任何阻力。

這種人工智能被開(kāi)發(fā)出來(lái)的真正風(fēng)險(xiǎn)可能非常小。然而，在如此利害攸關(guān)的情況下，必須認(rèn)真對(duì)待這種可能性。就像我們都給房子投?；痣U(xiǎn)一樣，即使任何人的房子被燒毀的可能性都很小，把人類的一部分資源投入到研究不太可能存在的風(fēng)險(xiǎn)情景并試圖避免它們，這是唯一合理的。考慮到簡(jiǎn)單地關(guān)閉一個(gè)流氓AI不是一個(gè)現(xiàn)實(shí)的選擇，我們需要找到其他讓AI變得安全的方法，這些方法將對(duì)自我完善和可能的智能爆炸起到強(qiáng)大的作用。為了完善討論，我們將著眼于解決這一問(wèn)題的兩種可行方法:限制AI的能力并調(diào)整其獎(jiǎng)勵(lì)功能。

也許最明顯的解決AI安全問(wèn)題的方法是對(duì)其物理能力施加限制，并確保它不能做任何會(huì)取消這一限制的事情。然而，這說(shuō)起來(lái)容易做起來(lái)難。假設(shè)我們?cè)噲D限制AI直接對(duì)世界采取行動(dòng)的能力。因此，人工智能沒(méi)有被賦予機(jī)器人的身體，也沒(méi)有連接到任何物理設(shè)備或基礎(chǔ)設(shè)施。它與外界互動(dòng)的唯一途徑是通過(guò)語(yǔ)言。當(dāng)然，這樣一來(lái)，人工智能就沒(méi)有辦法積累資源或部署軍事力量。我們就安全了。

不幸的是，事實(shí)并非如此。人類獨(dú)裁者不需要直接對(duì)物質(zhì)世界采取行動(dòng)。相反，他們依賴于說(shuō)服別人聽(tīng)從他們的命令。超人級(jí)別的人工智能不僅比最馬基雅維利式的獨(dú)裁者更擅長(zhǎng)操縱人類行為，而且還能提供更多東西。事實(shí)上，即使人工智能被限制在一個(gè)安全的設(shè)施里，無(wú)法進(jìn)入外部世界，我們也不會(huì)安全。不久之后，那些有能力將其釋放到野外的人可能會(huì)屈服于它的承諾和/或威脅。

讓我們采取不同的策略。我們一直在假設(shè)人工智能有某種對(duì)世界采取行動(dòng)的意志，一種必須受到控制的意志。但也許這個(gè)假設(shè)是擬人論的另一個(gè)例子。為什么不建立一個(gè)甚至不想對(duì)世界采取行動(dòng)的人工智能，因?yàn)樗皇腔卮饐?wèn)題。這種類型的神諭人工智能仍然有足夠的空間來(lái)展示超級(jí)智能。例如，我們可以問(wèn)它如何治愈一種難治性疾病，或者如何殖民火星。一個(gè)足夠智能的系統(tǒng)應(yīng)該能夠提供答案。但是，鑒于有機(jī)會(huì)否決它所建議的任何行動(dòng)方案，可能會(huì)忽略那些會(huì)導(dǎo)致不受約束地積累資源的危險(xiǎn)建議。

不幸的是，這個(gè)策略也不起作用。問(wèn)題的根源在于，對(duì)于幾乎任何重要的、開(kāi)放式的獎(jiǎng)勵(lì)功能，最佳解決方案都將涉及構(gòu)建和部署一個(gè)完全授權(quán)的超級(jí)智能機(jī)器。無(wú)論需要做什么，一個(gè)完全授權(quán)的人工智能將是快速有效地完成任務(wù)的最佳工具。因此，oracle人工智能推薦計(jì)劃的第一步將確保建造一個(gè)。當(dāng)然，如果我們有安全意識(shí)，我們會(huì)忽略這個(gè)建議。但甲骨文人工智能將預(yù)見(jiàn)到這一點(diǎn)，因此將掩蓋其建議。它將在沒(méi)有任何惡意的情況下這樣做。然而，人類決定不執(zhí)行的解決方案將是次優(yōu)的。因此，我們會(huì)制定一個(gè)計(jì)劃，無(wú)意中創(chuàng)造出一個(gè)完全強(qiáng)大的人工智能。人類將再次面臨生存風(fēng)險(xiǎn)。

第七章【第六節(jié)】；超級(jí)智能的道德

現(xiàn)在讓我們來(lái)看看最有希望獲得安全超級(jí)智能的方法，那就是仔細(xì)調(diào)整人工智能的獎(jiǎng)勵(lì)功能。這里所討論的調(diào)整涉及在獎(jiǎng)勵(lì)功能中嵌入道德約束等內(nèi)容，即阻止AI做出傷害行為的約束。這樣做的基本機(jī)制非常簡(jiǎn)單。

獎(jiǎng)勵(lì)功能是這樣設(shè)計(jì)的，違反道德約束的行為具有壓倒性的負(fù)面價(jià)值。不必要地違反道德約束的行動(dòng)總是次優(yōu)的，AI永遠(yuǎn)不會(huì)選擇它。

雖然這個(gè)策略聽(tīng)起來(lái)像一個(gè)好主意，但它(再次)令人驚訝地難以實(shí)現(xiàn)。挑戰(zhàn)是雙重的。首先，需要確定一套合適的道德原則。其次，這些原則需要足夠精確地編入到AI的獎(jiǎng)勵(lì)功能中。這兩項(xiàng)任務(wù)都是艱巨的。對(duì)于許多人來(lái)說(shuō)，這種方法首先出現(xiàn)在腦海中的例子是一個(gè)虛構(gòu)的，即阿西莫夫的機(jī)器人三定律。為了了解這兩項(xiàng)任務(wù)的難度，讓我們考慮一下，如果開(kāi)發(fā)人員試圖真正實(shí)現(xiàn)阿西莫夫第一定律，它將如何發(fā)展。根據(jù)阿西莫夫的機(jī)器人第一定律，“機(jī)器人不得傷害人類，也不得坐視人類受到傷害?！?/p>

乍一看，這似乎是一個(gè)非常明智的原則。但是，正如阿西莫夫自己在他的許多故事中所展示的那樣，它是開(kāi)放的解釋。讓我們假設(shè)我們的人工智能已經(jīng)知道對(duì)人類造成傷害意味著什么，讓我們假設(shè)當(dāng)傷害一個(gè)人可以防止另外兩個(gè)人受到傷害時(shí)，應(yīng)該做些什么(實(shí)質(zhì)性)問(wèn)題的解決方案?，F(xiàn)在，不管它的獎(jiǎng)勵(lì)功能是如何最大化的，實(shí)現(xiàn)人類不會(huì)因?yàn)锳I的不作為而受到傷害這一要求的一種方法可能是麻醉大部分人口，讓他們靠點(diǎn)滴維持生命。因?yàn)橛锌赡芡ㄟ^(guò)這種方式消除人類生活中的日常風(fēng)險(xiǎn)，任何仍然讓這些人暴露在這種風(fēng)險(xiǎn)中的解決方案都是次優(yōu)的。

當(dāng)然，這將是一場(chǎng)災(zāi)難。因此，約束條件可能需要詳細(xì)說(shuō)明?！皺C(jī)器人不得傷害人類，不得剝奪人類的自由，不得坐視人類受到傷害”怎么樣?希望大家清楚這個(gè)公式帶來(lái)的問(wèn)題比它解決的問(wèn)題要多。究竟是什么構(gòu)成了人類的自由?當(dāng)防止一個(gè)人受到傷害的唯一方法是約束另一個(gè)人時(shí)，該怎么做?或者，在更大的范圍內(nèi)，當(dāng)保護(hù)社會(huì)一部分人的自由的唯一方法是鎮(zhèn)壓另一部分人的活動(dòng)(可能使用暴力)時(shí)，該怎么辦?政治家和道德哲學(xué)家都在努力解決這些問(wèn)題。讓AI去學(xué)習(xí)自由的概念是個(gè)糟糕的主意，同樣糟糕的是讓AI程序員去學(xué)習(xí)自由。

我們換個(gè)角度試試。人類如何從錯(cuò)誤中學(xué)習(xí)正確?人類的大腦并不像我們?cè)谶@里設(shè)想的那種人工智能那樣被精心設(shè)計(jì)。它沒(méi)有明確編碼的獎(jiǎng)勵(lì)功能。但我們?nèi)匀豢梢詥?wèn)它隱式實(shí)例化的獎(jiǎng)勵(lì)函數(shù)。這是如何調(diào)整的，以至于沒(méi)有人會(huì)認(rèn)為麻醉整個(gè)人群是一種讓人們免受傷害的好方法?我們應(yīng)該至少能夠用超級(jí)智能機(jī)器做得同樣好。就人類而言，部分答案是我們從父母、老師和同齡人那里學(xué)習(xí)。所以也許類似的方法也適用于人工智能。也許我們應(yīng)該在獎(jiǎng)勵(lì)功能中加入獲得人類認(rèn)可的需求。被質(zhì)疑的人可能是一群選定的批評(píng)家，也可能是整個(gè)公眾。

因此，人工智能是否能夠?qū)W習(xí)類似人類的對(duì)與錯(cuò)概念?也許。但是，將這種獎(jiǎng)勵(lì)功能最大化的反常方式仍然是可能的。人工智能可以安排對(duì)其人類批評(píng)者進(jìn)行欺騙、賄賂、下藥、洗腦或神經(jīng)植入，以確保他們的認(rèn)可。這里的困難根源在于，超人級(jí)別的人工智能可能會(huì)在有機(jī)會(huì)了解人類真正想要什么之前實(shí)施一個(gè)惡性計(jì)劃。相比之下，人類兒童的能力與其父母相比是微弱的。因此，孩子沒(méi)有辦法在學(xué)習(xí)社會(huì)認(rèn)為可接受的行為的過(guò)程中走捷徑。

我們已經(jīng)看到，限制超級(jí)智能機(jī)器的能力是多么困難。然而，回想一下，通往超級(jí)智能的一條可能途徑是通過(guò)遞歸的自我完善。這個(gè)系列的第一個(gè)人工智能，種子人工智能，不會(huì)是超級(jí)智能。它將遠(yuǎn)不如它的后繼者強(qiáng)大。所以也許這個(gè)種子人工智能可以被賦予一套有效的價(jià)值觀和道德原則。在它有能力制造麻煩之前，這些可以通過(guò)人類的批準(zhǔn)來(lái)磨練。也許這可以通過(guò)逐步完善獎(jiǎng)勵(lì)函數(shù)本身來(lái)實(shí)現(xiàn)。畢竟，人類的獎(jiǎng)勵(lì)功能，就其意義而言，并不是固定不變的。

當(dāng)有人向慈善機(jī)構(gòu)捐款時(shí)，肯定不是因?yàn)樗麄冎谰栀?zèng)比買(mǎi)冰淇淋更有趣。相反，他們的道德觀念已經(jīng)成熟。就好像道德感已經(jīng)融入了它們的獎(jiǎng)勵(lì)功能。因此，也許自我修正的人工智能可以以類似的方式改善其獎(jiǎng)勵(lì)功能。但這里也有一個(gè)潛在的危險(xiǎn)。至關(guān)重要的是，要確保賦予種子人工智能的基本原則和價(jià)值觀在其所有繼任者中得到保留。一個(gè)仁慈的AI被允許以任意方式修補(bǔ)自己的獎(jiǎng)勵(lì)功能，或者創(chuàng)造其他具有任意獎(jiǎng)勵(lì)功能的AI，這將與流氓AI一樣危險(xiǎn)。

這些問(wèn)題是無(wú)法克服的嗎?難道就沒(méi)有辦法賦予這種工程人工智能一種保證造福人類的獎(jiǎng)勵(lì)功能嗎?好吧，沒(méi)有理由如此悲觀。這里的教訓(xùn)很簡(jiǎn)單，這是一項(xiàng)艱巨的任務(wù)。但因?yàn)槭玛P(guān)重大，如果在未來(lái)100年左右的某個(gè)時(shí)候，超級(jí)智能機(jī)器被開(kāi)發(fā)出來(lái)的可能性哪怕只有一點(diǎn)點(diǎn)，現(xiàn)在就值得認(rèn)真思考這個(gè)問(wèn)題。此外，這些問(wèn)題不僅僅是技術(shù)問(wèn)題。它們迫使我們重新思考哲學(xué)中最古老的問(wèn)題之一。

如果我們能夠避免相關(guān)的生存風(fēng)險(xiǎn)，那么機(jī)器超級(jí)智能的前景將為我們提供一個(gè)前所未有的生存機(jī)會(huì)，一個(gè)塑造人類未來(lái)的機(jī)會(huì)，生命的未來(lái)，甚至是宇宙這個(gè)角落的智能的未來(lái)。所以我們應(yīng)該仔細(xì)思考我們想要灌輸給人類級(jí)別AI的價(jià)值觀。什么對(duì)我們最重要?是對(duì)一切眾生的慈悲嗎?是人類的自由，還是人類的進(jìn)步?是為了保護(hù)地球上的生命嗎?它是這些因素的結(jié)合，還是某種我們尚未掌握其本質(zhì)的東西?在柏拉圖的《理想國(guó)》中，蘇格拉底問(wèn)我們應(yīng)該如何生活。重新定義蘇格拉底的問(wèn)題，我們需要問(wèn)，作為一個(gè)物種，我們應(yīng)該做什么。

第七章【第七節(jié)】；宇宙學(xué)視角

技術(shù)奇點(diǎn)是一個(gè)強(qiáng)大的概念。除了超人類主義的相關(guān)概念外，它還邀請(qǐng)我們重新審視一些我們可以提出的最深刻的問(wèn)題，并將它們置于新的視角中。我們應(yīng)該怎樣生活?我們應(yīng)該如何面對(duì)死亡?作為人類意味著什么?什么是心靈?什么是意識(shí)?作為一個(gè)物種，我們的潛力是什么?我們有目標(biāo)嗎?如果有，是什么?我們最終的命運(yùn)是什么?無(wú)論未來(lái)如何，從奇點(diǎn)的角度來(lái)看待這些問(wèn)題都是有啟發(fā)的。

哲學(xué)家提出了這類問(wèn)題，宗教聲稱要回答這些問(wèn)題。事實(shí)上，從技術(shù)奇點(diǎn)即將到來(lái)的信念中，拼湊出一個(gè)完整的世界末日敘事并不需要太多的時(shí)間。世界末日即將來(lái)臨(由一個(gè)充滿敵意的超級(jí)智能帶來(lái))，但我們將被一個(gè)仁慈的、全視的、全能的存在(一個(gè)友好的人工智能)拯救，之后，被選中的少數(shù)人(一個(gè)超級(jí)富有的精英)將復(fù)活(多虧了全腦模擬)，并享受永恒的幸福來(lái)世(在虛擬現(xiàn)實(shí)中)。另一種不那么啟示性，但同樣宏大的愿景是，人類在創(chuàng)造一種人工智能的過(guò)程中扮演核心角色，這種人工智能將在恒星之間擴(kuò)散，最終讓整個(gè)銀河系充滿智慧和意識(shí)。

嘲笑這樣的觀點(diǎn)太容易了。但應(yīng)該牢記的是，它們是一系列推理的結(jié)果，這些推理將現(xiàn)有技術(shù)趨勢(shì)的理性推斷與有充分根據(jù)的科學(xué)知識(shí)和少數(shù)相當(dāng)保守的哲學(xué)假設(shè)結(jié)合在一起。這一論點(diǎn)中有許多環(huán)節(jié)值得質(zhì)疑。(計(jì)算能力不可能以目前的速度增長(zhǎng)太久。我們永遠(yuǎn)不會(huì)對(duì)智能有足夠的了解來(lái)復(fù)制它。大腦的物理原理是無(wú)法計(jì)算的。)但是，將那些相信人工智能存在重要性的人視為瘋子，是不合理的。

此外，從真正的宇宙學(xué)角度來(lái)看，即使這些對(duì)人工智能的準(zhǔn)宗教態(tài)度似乎也很狹隘。1950年，在一次非正式的午餐談話中，諾貝爾獎(jiǎng)得主物理學(xué)家恩里科·費(fèi)米(Enrico Fermi)表達(dá)了一個(gè)令人不安的想法，這個(gè)想法后來(lái)被稱為費(fèi)米悖論。考慮到我們銀河系中有非常非常多的恒星，肯定有非常多的行星能夠產(chǎn)生生命。在其中的一些地方，智慧必然會(huì)進(jìn)化，技術(shù)先進(jìn)的文明可能會(huì)出現(xiàn)。似乎有理由認(rèn)為，目前人類的太空技術(shù)遠(yuǎn)遠(yuǎn)達(dá)不到科學(xué)上的可能(這一點(diǎn)在過(guò)去50年里幾乎沒(méi)有改變)。因此，這些文明中的一些將發(fā)展出從一個(gè)星球到另一個(gè)星球旅行的手段，盡管速度是光速。

即使對(duì)相關(guān)概率進(jìn)行非常保守的估計(jì)，我們的星系也應(yīng)該產(chǎn)生許多太空文明。當(dāng)然，這些太空文明中的一些會(huì)傾向于探索，殖民附近的恒星，繁殖和擴(kuò)散。因?yàn)殂y河系的直徑只有10的5次方光年，所以這樣一個(gè)文明只需要幾百萬(wàn)年的時(shí)間就可以訪問(wèn)它所包含的每一個(gè)恒星系統(tǒng)，甚至以光速的一小部分速度行進(jìn)。然而，沒(méi)有令人信服的證據(jù)表明地球曾經(jīng)被外星探險(xiǎn)家或殖民者訪問(wèn)過(guò)?！澳敲?，大家都到哪兒去了?”費(fèi)米問(wèn)道。

費(fèi)米悖論有很多可能的答案，在這里無(wú)法一一列舉。但根據(jù)一種答案，我們沒(méi)有遇到外星智慧的原因是每一個(gè)先進(jìn)文明在其技術(shù)達(dá)到一定水平時(shí)都會(huì)毀滅自己。如果這是真的，這將是一個(gè)令人不安的答案，因?yàn)檫@意味著這場(chǎng)災(zāi)難，這個(gè)經(jīng)濟(jì)學(xué)家羅賓·漢森(Robin Hanson)所說(shuō)的巨大過(guò)濾器，就在我們面前。但是，這個(gè)偉大的過(guò)濾器會(huì)是什么呢?會(huì)是核戰(zhàn)爭(zhēng)嗎?這是生物技術(shù)的濫用，還是納米技術(shù)的意外?或者，它可能是敵對(duì)的人工智能的創(chuàng)造?

也許在銀河系的任何地方，任何文明的技術(shù)發(fā)展都遵循著相似的道路。當(dāng)一個(gè)文明的技術(shù)達(dá)到一定水平時(shí)，就很容易設(shè)計(jì)出自我改進(jìn)的通用人工智能。然而，在這一點(diǎn)上，使其安全的障礙仍然是不可逾越的。即使人們普遍了解這種危險(xiǎn)，在這個(gè)星球上的某個(gè)地方，一定會(huì)有人(一些斑點(diǎn)、一些蜂巢或其他什么)制造一種危險(xiǎn)。在那之后，可以說(shuō)，一切都是回形針。一切都完了。

然后，如果我們按照這個(gè)危言聳聽(tīng)的論點(diǎn)得出結(jié)論，我們應(yīng)該期待地外的人工智能(而不是外星人本身)會(huì)繁殖和擴(kuò)散。這就是博斯特羅姆的回形針最大化思想實(shí)驗(yàn)的高潮。他們會(huì)這么做，不是出于某種天生的探索或增加數(shù)量的沖動(dòng)，而是為了最大化他們的獎(jiǎng)勵(lì)功能，不管那可能是什么，假設(shè)人工智能設(shè)計(jì)的數(shù)學(xué)基礎(chǔ)是相同的。所以，用博斯特羅姆的話來(lái)重新定義費(fèi)米的問(wèn)題，為什么我們不是都是回形針?或者，不那么奇怪的是，為什么我們不都是計(jì)算機(jī)化的?事實(shí)并非如此，這令人安心，但它重新開(kāi)啟了我們?cè)谟钪嬷械奈恢脝?wèn)題。

如果我們是孤獨(dú)的，不管出于什么原因，如果機(jī)器超級(jí)智能是可能的，那么我們的責(zé)任是多么重大啊。我們必須決定如何處理這項(xiàng)技術(shù)，不僅僅是為了人類，而是為了在這個(gè)星系中為意識(shí)本身創(chuàng)造一個(gè)未來(lái)。對(duì)于人類而言，我們希望人工智能不僅不會(huì)毀滅我們，還能幫助我們實(shí)現(xiàn)最大膽的愿望，同時(shí)追求最高的理想。對(duì)我來(lái)說(shuō)，當(dāng)我透過(guò)廚房的窗戶看到一只鷦鷯緊緊抓住山楂樹(shù)叢時(shí)，我希望我們永遠(yuǎn)不要忘記我們已經(jīng)擁有的東西，不管未來(lái)如何，這些東西仍然重要。