譯者：李浚弘

第四章【超級智能】

第四章【第一節(jié)】；走向超級智能

我們現(xiàn)在對各種使能技術有了一個概述，有些是生物學上的啟發(fā)，有些是從零開始的工程結果，這些技術可能有助于創(chuàng)造人類甚至更高水平的人工智能?？梢允褂眠@些使能技術制造的元素可以被認為是一組構建塊，可以以不同的組合方式組裝以制造各種形式的人工智能。為了了解最終的系統(tǒng)可能有什么能力以及它們的行為方式，我們可以使用前一章提出的三個問題的框架。系統(tǒng)的獎勵功能是什么?它是如何學習的?學到了什么?它如何優(yōu)化預期獎勵? 我們也可以開始問一些更哲學的問題。它是否有能力進行道德判斷，因此它是否應該對自己的行為負責?它能承受痛苦嗎?它是否應該因此享有權利?應該給予它多大的行動自由?最后，我們可以開始質疑將這種系統(tǒng)引入世界對社會、對整個人類的影響。如果他們的行動自由不被限制，他們將如何以及在多大程度上重塑我們的世界?它們會對我們的經(jīng)濟，我們的社會結構，對我們作為人類的意義有什么影響?會形成什么樣的世界?這種機器的到來會導致烏托邦或反烏托邦，還是會保持現(xiàn)狀? 在詳細探討這些問題之前，我們需要檢查一個至關重要的命題。其主張是，如果實現(xiàn)了人類水平的人工智能，超智能人工智能幾乎是不可避免的。為了了解這種說法的合理性，我們只需要考慮在數(shù)字而不是生物基板上實施的優(yōu)勢。與生物大腦不同，數(shù)字實現(xiàn)的大腦模擬可以被任意復制多次。與生物大腦不同，數(shù)字大腦可以加速。因此，如果我們可以通過全腦模擬創(chuàng)造出一個人類級別的人工智能，那么，在有足夠的計算資源的情況下，我們可以創(chuàng)造出一個由許多這樣的人類級別的人工智能組成的社區(qū)，所有這些人工智能都以超人的速度工作。同樣的道理也適用于從頭開始設計的人工智能。實際上，任何以計算機程序形式實現(xiàn)的東西都可以被復制和/或加速。 這其中的含義是深遠的。為了使這些含義更生動，讓我們想象一個具體的場景。假設一家擁有著名品牌的大公司決定開發(fā)一種新型高性能摩托車，以響應新興市場的預期需求。該公司與兩家汽車設計公司簽訂了設計原型車的合同。最好的原型將被投入生產(chǎn)(并為設計師賺很多錢)。一家公司雇傭了傳統(tǒng)的人類設計師團隊。另一家公司是一家初創(chuàng)公司，它建立了由人類級別的人工智能組成的專業(yè)團隊，這些人工智能居住在虛擬環(huán)境中，在那里他們將從事像這樣的大型設計項目。 這個項目需要許多領域的專業(yè)知識，包括材料、發(fā)動機設計、流體動力學和人體工程學，以及知道什么是好的才能。從概念到第一個工作原型預計需要一流的(人類)團隊兩年的時間。這家基于人工智能的設計公司似乎處于明顯的劣勢。他們的工資單上沒有汽車設計專家。然而，他們擁有巨大的計算資源和最新的人工智能技術。因此，從零開始組建一支優(yōu)秀的設計師團隊是沒有問題的。 他們首先用一組現(xiàn)成的學徒人工智能填充一個虛擬世界。這些是人類水平的人工智能，預先加載了一個20歲出頭的普通人獲得的經(jīng)驗，再加上機械工程或工業(yè)設計等相關領域的研究生水平的教育。現(xiàn)在，這群學徒不能勝任汽車設計團隊的工作。他們在另一家公司的人類競爭對手都有多年設計汽車、自行車和發(fā)動機的工業(yè)經(jīng)驗。為了跟上速度，人工智能團隊必須獲得可比的經(jīng)驗。幸運的是，他們可以在自己的虛擬世界中做到這一點，完成大量的小項目，有些是個人的，有些是團隊的。 當然，如果這種訓練必須實時進行，虛擬團隊將一事無成。他們的人類對手會在人工智能團隊開始之前制造出一輛原型自行車。但假設人工智能的運行速度比實時快10倍。然后，十年的培訓和設計經(jīng)驗可以壓縮到12個月。到項目第二年開始時，人工智能團隊將趕上人類團隊。此外，他們將有10年的主觀時間來設計出完美的超級摩托車，相比之下，他們受生理限制的人類同行只剩下一年的時間。想象一下，一群才華橫溢、充滿熱情的年輕人類工程師在十年后會取得怎樣的成就。 因此，項目的第二年過去了，競爭團隊向承包商提交了他們的設計。該傳統(tǒng)設計公司已經(jīng)制作出了一款精美的原型自行車，造型流暢優(yōu)雅，一定會吸引目標市場。但是基于人工智能的公司呢?當他們揭開原型機時，每個人都驚呆了。以前沒有人見過這樣的自行車。但如果說它的外觀簡直是革命性的，那么它的規(guī)格卻令人難以置信。怎么可能在如此低的油耗下獲得如此高的加速度和最高速度? 在宣布獲勝后，人工智能團隊可以透露他們的一些秘密。有了這么多的時間，他們能夠開發(fā)出一系列完全適合摩托車制造的全新生物材料，以及一個微型燃料預處理工廠，該工廠使用了一些以前未開發(fā)的化學成果。此外，他們還設法開發(fā)了一種制造方法，使所有的自行車電子設備都能集成到車架上，并一次制造出來。所有這些技術都已正式獲得專利，并承諾為設計公司贏得一筆財富，除了他們的自行車設計獲獎的收入。 這個小故事告訴我們，如果人類水平的人工智能實現(xiàn)了，超級智能很快就會隨之而來。它不需要創(chuàng)造一種新的智能形式。它不需要概念上的突破。即使人類水平的人工智能是通過最保守的方式實現(xiàn)的——通過盲目地復制自然——從生物學固有的速度限制中解放出來也足夠了。但這真的是超級智能嗎?畢竟，根據(jù)假設，如果有足夠的時間，一個加速人腦模擬團隊所能做到的事情，沒有什么是人類團隊所不能做到的。 也許個人超級智能和集體超級智能是有區(qū)別的。在這個故事中，我們看到的似乎是一種集體超級智能。人工智能團隊的任何成員都不符合超級智能的標準。任何智慧本身都無法系統(tǒng)性地智勝普通人。然而，在討論開發(fā)超級智能人工智能的潛在后果時，個人/集體的區(qū)別幾乎沒有什么不同。對于失敗的設計團隊來說，知道他們是被一個集體而不是一個杰出的個人打敗，并不能安慰他們。同樣，如果人類最終因為創(chuàng)造出人類水平的人工智能而進入烏托邦或反烏托邦，沒有人會關心罪魁禍首是否是“合適的”超級智能。 說到底，重要的是這項技術能做什么。科幻小說作家阿瑟·c·克拉克(Arthur C. Clarke)有句名言:“任何足夠先進的技術都與魔法無異。”人類水平的人工智能，無論它是如何實現(xiàn)的，都可能直接導致技術的發(fā)展，而對我們其他人來說，這與魔法沒有什么區(qū)別。它所需要的只是更快的計算速度，正如摩托車的故事所顯示的那樣。但要看到達到這一里程碑的真正破壞性潛力，我們必須考慮其他可能的方式來提高人類水平的人工智能的能力。這將取決于底層技術的性質。在適當?shù)臅r候，我們將通過從頭開始設計的人工智能來研究超級智能的前景。但首先，讓我們關注大腦啟發(fā)的人類級別的AI。 第四章【第二節(jié)】；受大腦啟發(fā)的超級智能

在摩托車設計師的故事中，人工智能團隊比人類對手擁有巨大的競爭優(yōu)勢，因為他們的工作速度非?？?。如果所討論的人工智能是類似大腦的，這將意味著它們的運行速度比實時更快。這是利用從遷移到計算基板所產(chǎn)生的生物限制中解放出來的最簡單和最明顯的方法。但是，從生物學的遷移為增強大腦啟發(fā)的人工智能的能力開辟了更多的可能性。 想想人類工人被他們的動物本性所阻礙的所有方式。例如，人類需要吃飯和睡覺。但是，即使是生物學上高度逼真的全腦模擬——一個特定大腦的忠實合成副本——也可以在很大程度上緩解這些需求。雖然真正的大腦需要血液供應以葡萄糖的形式提供能量，使神經(jīng)元能夠發(fā)揮作用，但模擬的大腦沒有這樣的要求，至少在模擬的水平上沒有。(顯然，運行模擬的計算機需要能量，但這是另一個問題。)睡眠則更為復雜，因為做夢似乎具有重要的心理功能。所以在全腦模擬中，消除對睡眠的需求可能不是一件簡單的事情。然而，一個設計大腦——基于脊椎動物神經(jīng)系統(tǒng)的運作原理，但不符合任何現(xiàn)存物種的大腦——也許可以被精心設計成不需要睡眠。 簡而言之，一個受大腦啟發(fā)的人類級別的人工智能不需要浪費時間去尋找食物、準備食物和吃食物。它也不必花時間(或者在全腦模擬的情況下花同樣多的時間)毫無成效地睡覺。適當節(jié)省下來的時間可以用于工作，其有效工作量的增加將帶來與加速相同的好處，盡管規(guī)模沒有那么大。當然，大多數(shù)人都會反對用工作來代替吃飯和睡覺。但設計師大腦的獎勵功能可能會有不同的調整。一個自愿的智力奴隸，不吃不睡，除了工作什么都不想要，這將是許多公司理想中的完美員工，特別是如果他們不要求工資的話。 消除對食物和睡眠的需求是一種從生物學中解放出來的直接方法。其他相對保守的技術也可以很容易地從大腦啟發(fā)的人工智能中獲得最大收益。許多人通過攝入咖啡因這種久經(jīng)考驗的藥物技巧來提高認知能力。致幻劑如裸蓋菇素(迷幻蘑菇中的活性成分)經(jīng)常被聲稱能促進創(chuàng)造力，盡管它們的法律地位是如此。在模擬的大腦中，這些藥物的作用可以被模擬，而不會對身體的其他部位產(chǎn)生任何不必要的副作用。此外，沒有必要堅持從藥學上講現(xiàn)實的干預措施。有了無數(shù)容易修改的參數(shù)，就會有無數(shù)種方法來有益地調節(jié)模擬大腦的活動，從而優(yōu)化它以完成特定的任務。 不那么保守的是，有各種方法可以在解剖水平上增強模擬大腦，沿著第2章中已經(jīng)設想的路線，考慮如何將小鼠尺度的全腦模擬升級到人類水平的智能。例如，僅僅通過增加前額葉皮層的神經(jīng)元數(shù)量，就有可能擴大前額葉皮層。這在計算機模擬中相對簡單，因為大腦不需要裝進物理的頭蓋骨里。前額葉皮層與工作記憶密切相關，工作記憶是高級認知的重要組成部分，人類的前額葉皮層明顯比其他靈長類動物大。所以一個超級大的前額皮質可能是非常有利的。其他區(qū)域也會出現(xiàn)類似的增大，比如與長期記憶有關的海馬體。 在集體層面上，還有其他方法可以提高基于大腦的人類級別人工智能團隊的能力。與濕軟件大腦不同的是，它很容易制造出模擬大腦的多個副本。這為利用生物大腦無法獲得的并行性提供了各種可能性。假設人工智能試圖解決某個問題，并且出現(xiàn)了幾種不同的解決問題的方法。這樣，玩家就不必按順序一次嘗試每種可能性，而是可以制作AI的多個副本，每個副本都可以處理其中一種可能性，從而可以同時探索多種途徑。當所有的副本都完成了對其特定方法的嘗試時，可以選擇最成功的。 舉個簡單的例子，假設AI正在下棋。從棋局目前的配置來看，人工智能有三種很有希望的走法。它可以輪流探索每一個動作，一次一個。但另一種選擇是，可以生成三個AI副本，一個用于調查每個移動。當這三個人在博弈中盡可能地看得更遠時，他們的結果就會被匯總起來，并選擇出最好的一步棋。然后需要銷毀(終止)額外的AI副本，只留下一個進行選擇的移動并繼續(xù)游戲。這種類型的并行被廣泛應用于當今的計算機科學，并產(chǎn)生了巨大的影響。因此，生成模擬大腦的多個副本的想法只是一種久經(jīng)考驗的編程技術的延伸。 無論我們談論的是基于大腦的人工智能還是從零開始設計的人工智能，也許超級智能可能發(fā)展的最有力因素是遞歸自我完善的前景。這個想法很簡單。根據(jù)定義，人類級別的人工智能能夠在幾乎所有智力活動領域與人類匹敵。智力活動的一個領域就是人工智能的構建。第一代人類水平的人工智能將與創(chuàng)造它的人類工程師處于大致相同的位置。無論是生物工程師還是人工工程師，都可能需要像剛才討論的那樣的技術來提高智力。然而，下一代人工智能，那些智力略高于人類水平的人工智能，將比任何人類都更擅長設計人工智能。 一個足夠聰明的人類神經(jīng)科學家可以開辟全新的理論前景，揭示我們今天幾乎無法想象的原理，對神經(jīng)工程和基于大腦的人工智能產(chǎn)生深遠的影響。一群聰明的人工智能神經(jīng)科學家以超人的速度工作，或者利用從生物學中解放出來的可能性，會更有效。它們將能夠以比人類開發(fā)上一代更快的速度開發(fā)出下一代基于大腦的人工智能。每一代都比上一代出現(xiàn)得更快，遵循一個典型的指數(shù)曲線。其結果將是一種智力爆炸。 第四章【第三節(jié)】優(yōu)化與創(chuàng)新

到目前為止，在本章中，我們主要集中在類人人工智能上。但類人智能可能只占潛在人工智能空間的一小部分?，F(xiàn)在我們將把注意力轉移到其他可能性上，在此過程中擺脫任何擬人化的傾向是很重要的。我們有理由希望，基于脊椎動物大腦的人工智能的行為在某種程度上是可以被我們理解的，即使它被加速、并行化或增強為超級智能。對于一個從零開始設計的人工智能來說，這種假設的理由要少得多。我們應該預料到自己會感到困惑和驚訝，也許是愉快的，也許是不愉快的。 超級智能是如何在一個從零開始設計的系統(tǒng)中產(chǎn)生的，一個系統(tǒng)的設計沒有生物對應的系統(tǒng)?通過第三章中介紹的三部分框架，我們可以看到一個可能的答案。當涉及到從頭開始設計人工智能時，這個框架是規(guī)定性的，而不僅僅是描述性的。根據(jù)這個公式，人工通用智能可以通過(1)設計正確的獎勵函數(shù)，(2)實現(xiàn)有效的學習技術來構建世界模型，(3)部署一種強大的優(yōu)化方法，能夠在給定學習模型的情況下最大化預期獎勵。 為了了解使用這個簡單的體系結構規(guī)范可以實現(xiàn)什么，讓我們重新審視創(chuàng)造力的中心問題。起初，很難看出機器學習和優(yōu)化相結合會產(chǎn)生什么創(chuàng)新或新奇。當然，這些過程總是注定要用一套固定的原始成分來運作——例如，旅行推銷員問題中的城市和旅程。他們怎么可能提出一個全新的概念，比如農(nóng)業(yè)、寫作、后現(xiàn)代主義或朋克搖滾?但要了解這種直覺是多么具有誤導性，我們只需要考慮自然選擇進化的例子。 從算法的角度來看，自然選擇的進化非常簡單。它的基本要素是復制、變異和競爭，每一個都重復無數(shù)次。從計算角度來說，它利用了驚人的大規(guī)模并行性，并且在做任何有趣的事情之前必須運行很長時間。但令人驚訝的是，它產(chǎn)生了地球上所有復雜的生命。它通過純粹的蠻力做到了這一點，而沒有訴諸理性或明確的設計。在這個過程中，它創(chuàng)造了手、眼睛和大腦等奇跡。反過來，大腦(以及手和眼睛)產(chǎn)生了農(nóng)業(yè)、寫作、后現(xiàn)代主義和朋克搖滾。 現(xiàn)在，將自然選擇的進化描述為一個優(yōu)化過程是不太正確的。雖然進化可以被認為是許多相互競爭的基因試圖最大化其增殖的副產(chǎn)品，但沒有全局成本函數(shù)或效用函數(shù)指導其進程。然而，就像一個優(yōu)化過程一樣，進化探索了廣闊的可能性空間。要解決旅行銷售人員問題，需要在可能的城市旅行(相對較小)空間中進行搜索，而進化則探索可能的生物體(更大)空間。與旅行銷售問題不同的是，旅行時間引導著搜索，進化則是盲目的探索。但是，盡管缺乏方向性，盡管其固有的簡單性，進化已經(jīng)產(chǎn)生了挑戰(zhàn)任何一般智能的問題的解決方案，例如太陽能儲存和比空氣重的飛行。 這表明，創(chuàng)造力可以從一個簡單的過程中產(chǎn)生，比如優(yōu)化。但它確實需要一種特殊的優(yōu)化。計算機科學家已經(jīng)設計了許多算法來解決旅行銷售人員的問題，但這些算法中沒有一種會發(fā)明手或眼睛來找到一個好的解決方案。創(chuàng)造過程中最重要的先決條件是它所使用的原材料。它們必須能夠進行開放式的重組，就像樂高積木一樣，也就是說，必須能夠以不同的方式組裝它們，以產(chǎn)生無窮無盡的各種各樣的東西。由于作為生命基礎的有機分子的化學性質，自然選擇的進化符合這一標準。如果一種優(yōu)化方法的原材料是提交給3D打印機的設計，或者是基于物理的模擬器中的虛擬物體，或者是真實或合成生物學的有機化學集，那么它也可以滿足同樣的標準。 如果一個優(yōu)化過程能夠發(fā)揮創(chuàng)造力，那么它所需要的第二個特征便是普遍獎勵功能。太容易滿足的獎勵功能不會促進新穎性。對于一只雄性紅背蜘蛛來說，創(chuàng)造力是沒有好處的，因為它唯一的任務就是把基因負荷傳遞給一只接受交配的雌性蜘蛛。完成了一生的使命后，雄蜘蛛可以讓自己被配偶吃掉。相比之下，在一個足夠富裕的環(huán)境中，獲得食物或金錢等資源的挑戰(zhàn)可能需要解決任何可能設計的問題。在沒有足夠資源的競爭環(huán)境中，為了生存可能需要獨創(chuàng)性。只要有動機去積累盡可能多的資源，創(chuàng)造力的潛力就會是無限的。 最后，為了展示創(chuàng)造力，優(yōu)化算法必須足夠強大。如果優(yōu)化算法將其搜索限制在可能性空間的一小部分，那么擁有普遍獎勵功能并使用適合開放式重組的原始成分將不會產(chǎn)生任何值得注意的結果。相反，它需要對空間的可能性進行有趣的探索。為了發(fā)明新東西，它必須嘗試現(xiàn)有原料的新組合。事實上，它必須能夠發(fā)明出全新的有用的東西，比如書籍、蒸汽機和網(wǎng)站。它必須能夠發(fā)明全新的技術。 這聽起來一點也不像當代計算機科學專業(yè)的學生所學的那種優(yōu)化算法，那種可以解決旅行銷售人員問題的算法。當然，一個如此強大的優(yōu)化算法會如此復雜，以至于我們幾乎無法想象它在今天是如何工作的，就像今天我們對人類大腦中的智能是如何實現(xiàn)的只有最基本的了解一樣。但是回想一下自然選擇帶來的進化。只要有足夠的時間，即使是一個簡單的蠻力算法也能產(chǎn)生先進的技術。如果我們設計出一種簡單的、強力的優(yōu)化算法，為其提供一個開放式的獎勵函數(shù)，并將其釋放到一個具有足夠組合潛力的環(huán)境中，那么限制其能力的唯一因素將是計算能力。 因此，這表明了一種利用強大的計算能力進行暴力搜索來構建人工智能的方法。但從一個重要的意義上說，由此產(chǎn)生的系統(tǒng)不會擁有真正的智能。 它不會探索世界，積累科學知識。它不會構建理性的論證。它產(chǎn)生的任何東西都不是分析問題或應用設計原則的結果。理性的調查和有原則的設計使智能成為開發(fā)新技術比暴力搜索更有效的方法。在自然界中，暴力破解法是通過進化大腦來實現(xiàn)智能的。但人工智能研究的目標是直接賦予系統(tǒng)智能。 用理性的詢問和有原則的、目標導向的設計來補充有趣的、無導向的搜索，極大地縮短了緩慢的試錯過程，并彌補了有限的計算能力。所以我們應該期待這些函數(shù)成為真正強大的優(yōu)化算法的一部分，一個具有創(chuàng)造力的算法。但它們依賴于一個世界模型，一種預測行動結果或新設計效果的方法。這就是機器學習的用武之地——與進化的類比也就失效了。如果進化試圖最大化獎勵功能，我們會認為它非常低效。就像一個糟糕的科學家，它扔掉了所有的數(shù)據(jù)。它沒有利用它在生物設計方面的實驗結果來建立一個世界模型，這個模型的預測可以為隨后的設計決策提供信息。 但是進化沒有獎勵函數(shù)，沒有全局效用函數(shù)。從進化的角度來看，只有一種方法來判斷體型的改變或行為的變化:那就是在生存和繁殖的競爭中進行試驗。所以在這方面找進化論的毛病是沒有意義的。相比之下，我們在這里設想的人工智能是試圖最大化其預期回報。在獎勵功能的背景下，一個有效的策略是在想法(設計)付諸實踐之前，先在理論上或模擬中進行測試，“三思而后行”。要做到這一點，需要一個世界的模型，而機器學習需要通過與物理和社會環(huán)境的具體互動或通過互聯(lián)網(wǎng)的間接互動來構建和維護這個模型。 第四章【第四節(jié)】工程超級智能

前一節(jié)的關鍵信息是，即使是一個粗糙的優(yōu)化算法，在足夠的計算能力下，對于人類級別的AI來說也足夠了。如果有足夠的處理時間，即使是創(chuàng)造力——計算機最難實現(xiàn)的品質之一——也可以通過強力搜索產(chǎn)生。但是，如果(正如我們所預料的那樣)所需的巨大計算能力超出了摩爾定律的范圍，那么可以通過賦予人工智能復雜的認知能力——理性探究、原則設計、理論分析和模擬——來彌補這一不足。很好，讓我們假設這足以通過工程路線實現(xiàn)人類級別的AI(與大腦啟發(fā)路線相反)。超越人類水平的智力呢?超級智能可以通過這種方式實現(xiàn)嗎? 首先要注意的是，走工程路線的人工智能開發(fā)者可以利用兩個主要技巧，即加速和并行性，這兩個技巧使得基于大腦的人工智能從人類水平過渡到超人水平似乎是可行的。如果開發(fā)者有足夠的知識和計算能力來設計一個具有人類智能的AI，那么他所需要的就是建立一個由加速版本的AI組成的協(xié)作團隊(假設AI的性質不妨礙它在團隊中工作)。正如我們在摩托車設計挑戰(zhàn)的例子中所看到的那樣，這將足以產(chǎn)生一種集體智慧，在外界看來，這種智慧將具有超人的能力。與基于大腦的人工智能一樣，一旦人工智能被設計成智能僅略高于人類水平的人工智能，遞歸自我完善的動態(tài)就可以應用，可能引發(fā)智能爆炸。 通用人工智能的工程方法甚至可能完全繞過人類級別的人工智能，一舉實現(xiàn)某種形式的超級智能。事實上，這有幾種可能發(fā)生的方式。不過，在深入研究這種可能性之前，有幾句話是對智力等級這個概念進行排序的。根據(jù)我們一直使用的定義，如果人工智能在所有或幾乎所有智力活動領域的表現(xiàn)都能達到普通人的水平，那么它就擁有人類水平的智力。如果它在每一個環(huán)節(jié)都能智勝人類，那么它就是超級智能。插入到這里，我們很容易假設一個整潔有序的智力等級。鼠標在一端，人類稍遠一點，而超級智能人工智能則在更遠處?？紤]到這樣的規(guī)模，假設人工智能的智能是人類的10倍，甚至100倍，是有道理的。 然而，這假設了一個非常粗粒度的智能概念。在人類中，智力表現(xiàn)為各種技能的拼湊，不同的個體有不同的長處和短處。一個很有藝術天分的人可能在數(shù)學上很弱，而另一個才華橫溢的作家可能對音樂的理解很差。既然我們正在處理與人類原型截然不同的人工智能形式，那么對這一點保持敏感就尤為重要。即使是在通用智能的背景下，我們也應該期望系統(tǒng)表現(xiàn)出認知優(yōu)勢和劣勢的模式，而不是單一的、單一的(超級)智能屬性。換句話說，同樣的人工智能可能在某些方面具有超人的智慧，但在其他方面卻令人驚訝地缺乏。 現(xiàn)在，在一個領域足夠強大的人工智能可以彌補它在其他領域的弱點。我們在人類身上也發(fā)現(xiàn)了同樣的現(xiàn)象。例如，患有閱讀障礙的人通常會找到非常有效的應對策略來應對閱讀的挑戰(zhàn)。類似地，如果一個人工智能缺乏說服人類投資它設計的商業(yè)提案的修辭技巧，它可以使用不同的手段(例如，出色地操縱股市)來達到籌資的同樣目的。更一般地說，一個系統(tǒng)使用一個非常強大的優(yōu)化過程，結合一個非常強大的機器學習算法，應用于非常大量的數(shù)據(jù)，可能會找到我們幾乎無法想象的最大化預期獎勵的方法。 當然，無論AI在國際象棋上有多厲害，如果它天生就不能處理除國際象棋位置之外的任何事情，它就無法取得多大成就。要被稱為具有一般智力，人工智能的認知范圍必須與人類相當。人類不僅可以感知、行動、思考和談論日常世界的內容(貓、茶杯、公共汽車等)，還可以想象恒星、星系、細胞和原子，以及獨角獸、磁場、計算機程序和銀行賬戶。我們可以(學會)思考和談論所有這些事情，并且可以想象操縱它們來達到我們的目的(只要我們足夠大，或者足夠小，或者有合適的工具)。 但是權限和表現(xiàn)是有區(qū)別的。一個很好的類比是田徑三項全能。要參加鐵人三項，運動員必須會跑步、游泳和騎自行車?？梢哉f，這三種技能都必須在運動員的體能范圍之內。但運動員的表現(xiàn)在不同的項目中可能有所不同。在一個項目上特別強大的運動員可以彌補他或她在其他項目上的不足。同樣，人工通用智能的認知范圍必須包含人類能夠感知、行動、思考和談論的所有事物。但它的表現(xiàn)會因智力活動的不同而不同。它在一個領域的弱點可以被另一個領域的優(yōu)勢所彌補。 考慮到權限和性能之間的這種區(qū)別，讓我們回到人工智能在不經(jīng)過人類智能階段的情況下獲得超級智能的可能性。對于我們在這里所設想的那種具有足夠認知范圍的人工智能，它將允許它的表現(xiàn)在(幾乎)每一個智力活動領域與人類相匹配，它需要采用一種特別強大的優(yōu)化過程和機器學習算法的組合，這種組合包含了對世界的常識性理解，并從中產(chǎn)生創(chuàng)造力。由于人類大腦大致符合這一描述，因此有充分的理由認為這種組合是可能的，即使它在結構上偏離了人類大腦。 現(xiàn)在，重要的是。為了讓一個系統(tǒng)通過強大的優(yōu)化和學習來獲得與人類相當?shù)恼J知范圍，它可能已經(jīng)能夠在某些方面具有超人的認知表現(xiàn)。特別地，考慮一個非實體系統(tǒng)，它將機器學習應用于互聯(lián)網(wǎng)上——或者更確切地說是未來的互聯(lián)網(wǎng)上——大量可用的數(shù)據(jù)。除了在社交媒體和其他媒體上播放的實時信息，以及大量的歷史文本、圖像和電影片段，它還將能夠從無處不在的傳感器網(wǎng)絡、便攜式和可穿戴設備、車輛，甚至從街頭家具到烤面包機的一切東西中獲取數(shù)據(jù)。 人類的大腦善于從一個非常具體的、空間定位的來源，即附著在身體上的感覺器官的高帶寬數(shù)據(jù)中發(fā)現(xiàn)模式。從進化的角度來看，這是沒問題的，因為最重要的是，動物需要能夠處理它能看到、聽到和觸摸到的東西，以便尋找食物、躲避捕食者、養(yǎng)育后代等等。人類的大腦在從其他類型的數(shù)據(jù)中發(fā)現(xiàn)模式方面也不差，比如股票市場趨勢、生態(tài)系統(tǒng)動態(tài)或天氣。但這類數(shù)據(jù)是間接進入大腦的，被翻譯成其空間定位的感官可以處理的術語，比如單詞、圖片和公式。【譯者注；關于大腦處理的信息是相當復雜且具備爭議性的，有人認為我們的大腦在處理像素，有人認為我們的大腦在處理符號，有的人認為我們的大腦內部在大向量】 我們在這里設想的這種人工智能也將善于在大量數(shù)據(jù)中發(fā)現(xiàn)模式。但與人類大腦不同的是，它不會期望數(shù)據(jù)以動物感官數(shù)據(jù)的獨特方式組織起來。它不會依賴于該數(shù)據(jù)的獨特空間和時間組織，也不會依賴于相關的偏差，例如附近數(shù)據(jù)項的相關性趨勢(例如，附近的色塊經(jīng)常以相同的方式在視野中移動，因為它們經(jīng)常在同一物體的表面上)。為了提高效率，人工智能需要能夠在沒有這種幫助的情況下找到并利用統(tǒng)計規(guī)律，這需要它非常強大和通用。 因此，在智力活動的一個領域，人工智能可能非常擅長解釋、預測和操縱人類行為，不一定是在個人層面上，而是在大規(guī)模的社會層面上。它對從互聯(lián)網(wǎng)和其他地方獲取的相關數(shù)據(jù)的訪問將是直接和不經(jīng)中介的，就像人類大腦對可以看到、聽到或觸摸到的東西的訪問一樣。這種無中介的訪問可能會在許多領域賦予人類智慧的決定性優(yōu)勢。例如，遺傳學和神經(jīng)科學等領域的科學發(fā)現(xiàn)越來越依賴于大數(shù)據(jù)，這一趨勢可能會持續(xù)到未來幾十年。一個從一開始就被設計為在大量數(shù)據(jù)中發(fā)現(xiàn)模式的人工智能，將立即在這些領域具有超人的能力。 第四章【第五節(jié)】；用戶錯覺還是擬人化

人工智能在另一個認知功能上比它們的生物祖先具有內在優(yōu)勢，那就是溝通。正如哲學家路德維?！ぞS特根斯坦(Ludwig Wittgenstein)明確指出的那樣，語言在人類社會中有多種用途。但它的作用之一是信仰、欲望和意圖的交流。在小說、詩歌或戲劇中，模棱兩可和對多種閱讀的某種開放性是一種美德。但在科學技術領域，精確度是最重要的。朝著科學或技術目標工作的團隊成員需要能夠明確地交流他們的信念、愿望和意圖。雖然人類必須將自己的想法翻譯成嘈雜、低帶寬的語言媒介，但原則上，人工智能團隊可以清晰、直接地相互傳遞他們的信念、愿望和意圖。 此外，當我們偏離生物大腦的藍圖時，類似于人類團隊的人工智能集體的想法就會受到挑戰(zhàn)。團隊理念的前提是每個AI都是可以明確個性化的獨立實體。但對于計算機系統(tǒng)來說，身份是一個比生物學更不穩(wěn)定的概念。在分布式硬件和軟件上實現(xiàn)的復雜的大規(guī)模并行系統(tǒng)可以通過多種方式進行劃分和細分。個體人工智能的概念可能不如無定形的、環(huán)境人工智能的概念合適。 例如，系統(tǒng)可以包含多個獨立的計算線程，每個線程執(zhí)行一個更大優(yōu)化問題的一些子任務，例如運行一系列模擬、設計一系列組件、執(zhí)行經(jīng)驗調查或解決一個數(shù)學問題。每一個這樣的線程本身可能是高度智能的，甚至可能是普遍智能的。但是沒有線程需要持續(xù)很長時間。有時，一個線程可能會產(chǎn)生幾個其他線程，而在其他時候，多個線程可能會合并，合并它們的結果。沒有單一的計算線程，也沒有任何一組線程，可以構成一個類似于人類的個體，擁有自己的生命。困擾人類的問題，比如個人生存問題，根本不會出現(xiàn)在這樣的人工智能或它的任何部分上。 與這樣的人工智能互動會是什么樣子?有了更直接的信息傳輸手段，系統(tǒng)內的多個智能線程就不需要使用類似人類的語言來相互交流或協(xié)調它們的活動。但這并不意味著該系統(tǒng)將無法使用語言與人類交流。一個好的人類行為模型，也就是超級智能人工智能能夠構建的那種模型，必然會包含人類使用語言方式的模型。人工智能將擅長利用這樣的模型，利用單詞和句子從人類那里收集信息，向人類傳遞信息，并影響人類的行為，以實現(xiàn)其目標并最大化其預期回報。 這種工程超級智能處理語言的機制似乎與人類大腦中發(fā)現(xiàn)的機制如此不同，以至于人們懷疑它是否能完全理解語言。當人們彼此交談時，有一個共同的假設，即相互感同身受。當我說我很悲傷時，你明白我的意思，因為你自己也經(jīng)歷過悲傷，我希望你的行為，無論是同情還是嚴厲，至少是基于這種理解。對于基于優(yōu)化和機器學習算法的復雜組合的人工智能來說，這種假設是沒有根據(jù)的。這樣的人工智能將完全有能力使用情感語言來模仿人類。但它不會出于同情而這么做。也不是出于欺騙性的惡意。這純粹是出于工具上的原因。 當與AI交談時，結果將是一種強大的錯覺。我們可以稱之為“有人在家”的錯覺。就好像我們是在和一個像我們一樣的人互動，這個人的行為在某種程度上是可以預測的，因為他們和我們很像。為了使這種幻覺完整，AI可以使用一個化身，一個它暫時居住的機器人身體，以便直接參與到世界中，并以與人類相同的表面條件。(事實上，AI可以同時擁有多個角色。)這在很多方面都是一個方便的技巧。但最重要的是，它將加速語言行為，使人工智能能夠使用面部線索、肢體語言等，并與人類進行合作的身體活動。 在計算機科學中，用戶錯覺是一種感覺，即當我們使用鼠標在桌面上移動文件夾時，我們正在與真實的對象交互。創(chuàng)造這樣的錯覺有利于人機交互。但是沒有人認為他們是在操縱真實的物理對象，真實桌面上的真實文件夾。在動物行為的研究中，擬人化是指把類似人類的思想毫無根據(jù)地歸于非人類動物，比如我斷言toty(家里的貓)無視我們，因為我們只是他的仆人。對于人工智能，尤其是這里所設想的那種超級智能人工智能，用戶的錯覺很容易變成擬人化，這是一件好事，這是不好的。 為什么這是壞事呢?畢竟，如果幻覺足夠完整，那么這種效果是由一種與生物大腦毫無相似之處的機制產(chǎn)生的又有什么關系呢?也許擬人論并不是問題所在。也許擬人論的主張本身就是生物中心主義的一種癥狀，是一種對非生物特征的智力的非理性偏見。好吧，令人擔憂的是，在與人工智能進行了幾天、幾周或幾年的正常、類似人類的互動后，我們會錯誤地期望它的行為會以同樣的可理解的方式無限期地繼續(xù)下去。如果用戶錯覺足夠令人信服，我們就會忘記AI的本質特征。我們可能會忘記，這種類型的人工智能使用語言純粹是為了工具性目的，以幫助最大化其未來的回報。 想象一下下面的場景。你在一家由人工智能運營的大公司工作了幾年。你是一名優(yōu)秀的員工。你總是在最后期限前完成任務，超額完成目標，并且在公司的等級制度中穩(wěn)步上升。幾年前，你遇到了一些家庭困難，不得不協(xié)商一段時間的休假和加薪來應對。你的談判，所有的自然語言和聲音，是專門與人工智能。沒有人類參與其中。但人工智能似乎很同情地傾聽著，似乎理解你的煩惱。它提供了合理的個人建議，并同意你的所有要求。然后有一天，沒有任何警告，沒有任何解釋，你被告知你被解雇了。 當然，這種事情經(jīng)常發(fā)生在人類老板身上。但可以肯定的是，一個人類老板，無論多么討厭，都能站在你的立場上考慮問題。他能想象受到這樣的打擊是什么感覺，即使他看起來無動于衷(也許甚至陶醉于你的不適)。如果老板是人類，你可能會要求他改變主意。你可能會描繪一幅貧窮家庭的畫面，希望激起同情，引發(fā)負罪感。你的懇求可能沒用。但值得一試。相比之下，這里設想的這種人工智能將缺乏情感基礎，缺乏同理心的能力，甚至不值得一試。你必須承認，過去你從AI那里得到的所有同情都是假的，只是一種設計來引導你做出幫助AI實現(xiàn)目標的行為的聲音模式。