譯者：李浚弘?

第六章【人工智能的影響】

第六章【第一節(jié)】；人類級別人工智能的政治和經(jīng)濟

我們已經(jīng)聽到了許多關(guān)于人類水平人工智能可行性的爭論，無論是通過大腦啟發(fā)的途徑，還是通過從零開始的工程。我們看到，一旦實現(xiàn)了人類級別的AI，精靈就可能從瓶子里出來。從人類水平的人工智能向超級智能的過渡似乎是不可避免的，而且可能非常迅速。如果由于遞歸的自我完善，出現(xiàn)了智力爆炸，那么由此產(chǎn)生的一個或多個系統(tǒng)很可能非常強大。它們的行為方式，它們是友好的還是敵對的，它們是可預(yù)測的還是不可預(yù)測的，它們是有意識的，能夠移情還是痛苦，都取決于它們的底層架構(gòu)和組織，以及它們隱式或顯式執(zhí)行的獎勵功能。

我們很難估計，在我們今天所能設(shè)想的各種人工智能中，哪一種(如果有的話)會真正出現(xiàn)。然而，如果機器超級智能以這樣或那樣的形式成為現(xiàn)實，我們可以試著思考一下對人類社會可能產(chǎn)生的一些后果。首先，讓我們來看看可能推動或阻礙其發(fā)展的一些經(jīng)濟、社會和政治力量。為什么會有人想要創(chuàng)造人類水平的人工通用智能呢?最明顯的動機是經(jīng)濟方面的，而增長的主要焦點是自動化。當(dāng)然，自18世紀(jì)以來，自動化程度的提高一直是工業(yè)發(fā)展的趨勢。但是，如果開發(fā)出通用人工智能，許多傳統(tǒng)上不受這一趨勢影響的職業(yè)將可以實現(xiàn)自動化。

這里討論的職業(yè)是那些由人工智能完成的。如果實現(xiàn)人類水平的人工智能是構(gòu)建能夠解決問題的計算機的先決條件，那么這個問題就被認為是人工智能完成的。通過圖靈測試(正確地)是一個人工智能完備的問題，機器翻譯(專業(yè)標(biāo)準(zhǔn))也是。律師、公司高管、市場研究員、科學(xué)家、程序員、精神病學(xué)家等職業(yè)似乎都與人工智能有關(guān)。要勝任這些工作，需要對物質(zhì)世界和人類事務(wù)有常識性的了解，以及一定程度的創(chuàng)造力。但如果達到人類水平的人工智能，那么機器就可以完成這些工作，而且比人類更便宜、更有效(只要它們可以被當(dāng)作奴隸而不受道德懲罰)。因此，企業(yè)將有強大的經(jīng)濟激勵來開發(fā)所需的技術(shù)。

自動化只是復(fù)雜的通用人工智能的一個潛在增長領(lǐng)域。新技術(shù)可以產(chǎn)生全新的應(yīng)用領(lǐng)域，并導(dǎo)致完全重新定義的生活方式。想想互聯(lián)網(wǎng)或智能手機的影響吧。人工智能至少有同樣大的潛力融入我們的日常生活。必不可少的家用機器人是科幻小說的主要內(nèi)容。但現(xiàn)實情況更有可能是一種環(huán)境人工智能，它可以暫時“寄居”在許多類似機器人的身體上，比如汽車、吸塵器和割草機，還可以陪伴用戶使用可穿戴或便攜式設(shè)備，并控制任何數(shù)量的固定家用和工作場所電器，比如炊具和3D打印機。

當(dāng)你離開家時，你與吸塵器或機器人寵物進行的同樣的對話將與你的無人駕駛汽車無縫地進行，就好像一個“人”居住在所有這些設(shè)備上。(然而，底層計算很可能分布在多個平臺上，這些平臺可能位于世界任何地方。)雖然它不會吸引所有人，但這是一幅誘人的畫面。人工智能促進的生活方式的巨大市場前景可能會推動許多使能技術(shù)的發(fā)展，包括計算機視覺、機器學(xué)習(xí)、自然語言處理和優(yōu)化。

這些技術(shù)的不斷改進，以及越來越多地使用無處不在的傳感技術(shù)，以及互聯(lián)網(wǎng)上越來越多的有用數(shù)據(jù)，可能足以把我們帶到人類水平的人工智能的邊緣。它可能不需要一個大項目或一個概念上的突破，只需要一個聰明而簡單的最后一步，可以結(jié)合創(chuàng)造力或其他一些缺失的成分。但是，如果需要更大的推動，特殊用途(即非通用)人工智能技術(shù)日益增長的經(jīng)濟重要性可能會確保相關(guān)基礎(chǔ)研究獲得資金和資源。

市場經(jīng)濟是推動通用人工智能發(fā)展的一個因素。但是，除了刺激經(jīng)濟增長之外，也有充足的理由讓國家資助加速其發(fā)展。軍事指揮官對自己的角色被人工智能篡奪持保留態(tài)度，這是可以理解的。然而，自主武器的出現(xiàn)創(chuàng)造了對快速決策的需求。例如，使用自主飛行器進行戰(zhàn)斗的一個基本原理是速度和機動性。與人類飛行員相比，自動駕駛飛機可以更快、更準(zhǔn)確地探測、避免和消除威脅。在這種情況下，一個人在循環(huán)中會減慢速度。

如果我們考慮到空戰(zhàn)可能會涉及到一群這樣的飛機相互對抗，那么部署人工智能做出快速戰(zhàn)術(shù)決策的優(yōu)勢就很明顯了。在這種背景下，軍事指揮官的疑慮可能會消失，促使他們收購復(fù)雜的人工智能技術(shù)，用于多層次的軍事決策。這里的政治動態(tài)與20世紀(jì)40年代和50年代的核武器發(fā)展相呼應(yīng)。起初，發(fā)展強大武器的主要動機是擔(dān)心對方(無論對方被認為是誰)會先到達那里。這種擔(dān)憂足以克服任何最初的道德保留。然后，當(dāng)雙方都擁有武器時，軍備競賽隨之而來。

盡管有這種悲觀的評估，但支持將人工智能用于軍事用途的論點也值得關(guān)注。自主武器可能比人類戰(zhàn)斗人員更準(zhǔn)確，更不易出錯。它們可以更多地用于臨床，減少所謂的附帶損害。他們的決定從不受恐懼、報復(fù)或憤怒的影響。(當(dāng)然，我們這里討論的不是類人的、基于大腦的人工智能。)但我們目前的重點不是軍事人工智能的對與錯。重點很簡單，軍事應(yīng)用的潛力是復(fù)雜人工智能技術(shù)未來發(fā)展的另一個動力。

開發(fā)人類級別AI的其他動機則更為理想主義。幾個世紀(jì)的技術(shù)進步給人類帶來了巨大的利益。由于醫(yī)藥和農(nóng)業(yè)的進步，發(fā)達國家數(shù)以億計的人今天享受著過去很少有人能夢想到的生活水平，擁有相對較好的醫(yī)療保健、營養(yǎng)和長壽。我們擁有省力的設(shè)備，減輕了日常瑣事的負擔(dān)，如做飯、洗衣和清潔。我們有充足的閑暇時間，享受閑暇的方式在我們的祖先看來就像魔法一樣。然而，人類面臨著許多全球性挑戰(zhàn)，如氣候變化、化石燃料減少、持續(xù)沖突、普遍貧困以及癌癥和癡呆癥等無法治愈的疾病。

解決這些問題的最大希望當(dāng)然是通過科技進步，而加快科技發(fā)展的最好方式當(dāng)然是招募、培養(yǎng)和應(yīng)用更多的人才。因此，人類水平的人工智能的到來，可能會帶來一種智力優(yōu)勢和弱點的模式，以補充人類的智力，應(yīng)該會帶來更快的進步。如果人類級別的AI很快被超人級別的AI所取代，可能會引發(fā)智能爆炸，如果最終系統(tǒng)的行為符合我們的期望，那么進展的速度確實會非?？?。如果雷?庫茲韋爾(Ray Kurzweil)等樂觀的評論員是正確的，那么機器超級智能可能有助于帶來一個前所未有的富足時代，消除貧困和疾病。

但是，與開發(fā)具有人類智能水平甚至更高的機器的宇宙動機相比，即使是這種烏托邦式的愿景也顯得蒼白無力。機器學(xué)習(xí)專家漢斯·莫拉維克(Hans Moravec)預(yù)計，在遙遠的未來，宇宙的一部分將“迅速轉(zhuǎn)變?yōu)橐粋€網(wǎng)絡(luò)空間，(在那里)人類建立、擴展和捍衛(wèi)身份，作為信息流的模式……最終成為一個以接近光速擴張的心靈泡沫。”不受地球生物需求的阻礙，能夠承受對人類致命的極端溫度和輻射劑量，并且心理上不受穿越星際空間數(shù)千年的前景的困擾，自我復(fù)制的超級智能機器將處于殖民銀河系的有利地位。從一個足夠大的角度來看，促進這種未來可能被視為人類的命運，即使(未增強的)人類自己在身體和智力上都太弱而無法參與其中。

第六章【第二節(jié)】；超級智能何時會出現(xiàn)

一些作者，尤其是雷·庫茲韋爾(Ray Kurzweil)，對機器超級智能何時出現(xiàn)做出了非常精確的預(yù)測。庫茲韋爾在2005年寫道，到2045年，地球上非生物智能的數(shù)量將大大超過整個人類人口的數(shù)量。他的預(yù)測是基于指數(shù)級的技術(shù)趨勢，并以此推斷未來。這些指數(shù)趨勢中最著名的是摩爾定律，我們已經(jīng)遇到過好幾次了。這表明，在給定面積的硅上可以制造的晶體管數(shù)量大約每18個月翻一番。

從20世紀(jì)60年代中期提出摩爾定律到2010年代中期，半導(dǎo)體行業(yè)一直在努力遵守摩爾定律，并將許多其他計算統(tǒng)計數(shù)據(jù)與之相結(jié)合。例如，自20世紀(jì)60年代以來，世界上最快的超級計算機每秒執(zhí)行的浮點運算次數(shù)(FLOPS)呈指數(shù)級增長。在其他技術(shù)領(lǐng)域也可以看到類似的指數(shù)趨勢。1990年，人類基因組計劃開始在15年內(nèi)對整個人類基因組進行測序。在項目開始時，每年只能對人類基因組的1%進行測序。但DNA測序技術(shù)得到了指數(shù)級的進步，該項目于2003年提前完成，盡管耗資27億美元。十多年后，用1000美元就能測序一個人的DNA。

這些以及其他技術(shù)領(lǐng)域的指數(shù)趨勢體現(xiàn)了庫茲韋爾所說的加速回報定律。根據(jù)庫茲韋爾的理論，技術(shù)進步基本上與復(fù)利金融投資遵循同樣的原則:你擁有的越多，它增長得越快。如果你投資x美元到一個年收益率為10%的賬戶，那么一年后你就有1.1X美元。但是第二年你賺得更多，因為你的10%被再投資了，產(chǎn)生1.1美元的10%而不是x美元的10%。類似地，如果某一技術(shù)領(lǐng)域的改進反饋到該技術(shù)的發(fā)展中，從而提高了改進的速度，那么該技術(shù)領(lǐng)域就服從加速回報定律。

Kurzweil的2045年日期是通過(1)外推每美元計算能力的持續(xù)指數(shù)增長(2)估計實時模擬人類皮層功能所需的計算能力的數(shù)量得到的。庫茲韋爾的外推曲線顯示，到本世紀(jì)40年代中期，計算能力將以指數(shù)級增長，達到每秒10的26次方條指令，價格為1000美元。根據(jù)每秒10的16次方條指令來實時模擬人類大腦皮層的估計，這將足以讓“每年創(chuàng)造的智能(在2045年)比所有人類智能強大10億倍……代表著人類能力的深刻和顛覆性轉(zhuǎn)變?！睂炱濏f爾來說，這就是奇點。

對庫茲韋爾的推理有一個明顯但被誤導(dǎo)的反對意見，那就是人們似乎理所當(dāng)然地認為摩爾定律將持續(xù)到21世紀(jì)40年代。事實上，距庫茲韋爾的預(yù)言已經(jīng)過去了十年，摩爾定律仍然或多或少有效。但它已經(jīng)顯示出放緩的跡象，并可能在本世紀(jì)20年代的某個時候達到平穩(wěn)期。然而，摩爾定律只是更大的指數(shù)趨勢的一部分。它描述了計算技術(shù)的一個范例，即在二維硅片上大規(guī)模集成晶體管電路。在集成電路發(fā)展之前的20世紀(jì)60年代，計算機是由單個晶體管構(gòu)成的，在那之前是由真空管構(gòu)成的。如果將一臺最先進的機器中開關(guān)元件的數(shù)量隨時間繪制出來，我們就會得到一條指數(shù)曲線，它可以追溯到帕斯卡的機械裝置。

如果我們放大這條更大的曲線，我們會發(fā)現(xiàn)，從機械開關(guān)到大規(guī)模集成，每一種不同的計算范式，在技術(shù)處于起步階段時，都遵循一種模式，即最初的緩慢增長，然后是快速(指數(shù))增長，在技術(shù)達到最大潛力時，以平穩(wěn)期結(jié)束。換句話說，整體指數(shù)由一系列較小的s曲線組成，其中一條符合摩爾定律。物理定律保證了更大的指數(shù)趨勢最終也會達到一個平臺，并顯示出自己只是另一個更大的s曲線。但要實現(xiàn)這一目標(biāo)還有很長的路要走。(回想一下賽斯·勞埃德(Seth Lloyd)理論上完美的電腦。)與此同時，我們應(yīng)該期待一系列新的計算范式取代主導(dǎo)半導(dǎo)體行業(yè)數(shù)十年的CMOS技術(shù)。

對庫茲韋爾預(yù)測的一個更有力的批評是，它依賴于這樣一個假設(shè)，即足夠的計算能力將很快導(dǎo)致人類水平的人工智能的發(fā)展，從而低估了跟上這一步伐所需的科學(xué)進步。只有野蠻的全腦模擬方法可以通過簡單地擴大現(xiàn)有技術(shù)來取得成功，而這取決于大腦掃描技術(shù)和計算能力的指數(shù)級提高。任何其他達到人類水平的人工智能的方法，無論是通過逆向工程和重新設(shè)計生物大腦，還是從頭開始設(shè)計強大的算法，都需要重大的科學(xué)突破。

這里有樂觀的理由。但這些都不足以證明一個自信的預(yù)測是合理的。例如，秀麗隱桿線蟲。這種微小的線蟲是生物學(xué)家的模式生物，已經(jīng)成為無數(shù)研究的主題。它的神經(jīng)系統(tǒng)僅由302個神經(jīng)元組成，其完整的接線圖自20世紀(jì)80年代以來就已為人所知。盡管如此，盡管一個名為OpenWorm的眾籌開放科學(xué)項目正在取得良好進展，但在2010年代中期，秀麗隱桿線蟲神經(jīng)系統(tǒng)(和身體)的功能計算機模擬仍然懸而未決。這在很大程度上是由于缺乏關(guān)于302個神經(jīng)元信號特性的基本數(shù)據(jù)。

考慮到理解秀麗隱桿線蟲神經(jīng)系統(tǒng)的302個神經(jīng)元所花費的時間，按照庫茲韋爾的時間表，到本世紀(jì)20年代中期，逆向工程人類皮層的200億個神經(jīng)元的希望有多大?答案是，希望還是有的。但希望就是一切。沒有人知道必要的突破是否以及何時會實現(xiàn)，什么時候會出現(xiàn)大腦領(lǐng)域的達爾文(或者人工智能領(lǐng)域的愛因斯坦)。這是否意味著我們應(yīng)該把技術(shù)奇點視為科幻小說，不再談?wù)撍?一點也不!試圖確定確切的日期是一件令人分心的事。人工超級智能很有可能在21世紀(jì)的某個時候到來，它對人類的潛在巨大影響足以引起我們今天的注意。

在討論人工智能的時候，那些不在這個領(lǐng)域工作的人，尤其是媒體，通常會犯兩個相反的錯誤。第一個錯誤是給人一種人工智能已經(jīng)出現(xiàn)或即將到來的印象。一些專門的人工智能技術(shù)正越來越多地進入日常應(yīng)用。但今天的人工智能技術(shù)距離人類水平的人工通用智能，距離擁有常識和創(chuàng)造力的人工智能還有很長的路要走。一個可以講幾個笑話的聊天機器人，或者一個眼睛可以在房間里跟著你轉(zhuǎn)的人形機器人，很容易給人一種相反的印象。但是，人工智能懷疑論者很快就會正確地指出，這只是一種錯覺。

然而，同樣是這些懷疑論者，他們自己也犯了一個錯誤，認為人類水平的人工通用智能永遠不會出現(xiàn)。庫茲韋爾的時間表可能會公布(也可能不會)。但正如前幾章所述，通往人類級別AI或更高級別AI的道路有許多可行之處，而且每條道路上的每一步在技術(shù)上都是可行的。時間表是什么并不重要，除非你希望奇點的出現(xiàn)能及時促進醫(yī)學(xué)研究從而延長你的壽命。但比你我的生活更重要的是我們留給子孫后代的世界，而人類水平的人工智能的出現(xiàn)可能會深刻地重塑這個世界。正如弗里德里希·尼采(Friedrich Nietzsche)所說，在未來思想家的門上立著一塊牌子，上面寫著:“我有什么要緊“

第六章【第三節(jié)】；工作，休閑，富足

沒有必要為人工智能的進步制定時間表，也沒有必要確定超級智能到來的日期，因為人工智能技術(shù)有可能在幾代人之內(nèi)重塑人類社會。早在具備通用認知能力的人類水平的人工智能出現(xiàn)之前，各種專門的人工智能技術(shù)就會被開發(fā)出來，它們可以在各種領(lǐng)域超越人類，這些領(lǐng)域要么需要一種常識，而這種常識到目前為止還超出了計算機模擬的范圍，要么以前是受過教育的專業(yè)人士的專利。

我們可以將其視為顛覆性人工智能技術(shù)的第一波浪潮。了解這種顛覆可能采取的形式，將有助于我們想象第二波顛覆性人工智能技術(shù)可能是什么樣子。如果人類水平的人工智能確實被開發(fā)出來，那么第二次顛覆將會發(fā)生，超級智能緊隨其后。很重要的一點是，要清楚這兩種潛在的顛覆事件之間的區(qū)別。瓦解的第一階段很有可能發(fā)生。如今，隨著自動駕駛汽車和智能數(shù)字個人助理的出現(xiàn)，它的早期隆隆聲已經(jīng)清晰可見，而且很可能在本世紀(jì)20年代展開。第二次顛覆是一個更遙遠的前景，更難充滿信心地預(yù)測，尤其難以確定日期，但潛在影響要大得多。

日益復(fù)雜的專業(yè)化人工智能最明顯、最直接的影響可能是在工作領(lǐng)域。在許多方面，這是自工業(yè)革命以來一直持續(xù)的趨勢的延續(xù)，其影響，無論好壞，都是相似的。一方面，自動化程度的提高降低了生產(chǎn)商品的成本，刺激了經(jīng)濟增長，這反過來又減少了工作時間，提高了生活水平(可以說)，延長了預(yù)期壽命。另一方面，自動化程度的提高導(dǎo)致失業(yè)，威脅到傳統(tǒng)的生活方式，并且(可以認為)將財富、權(quán)力和資源集中在更少的人手中。今天的問題與19世紀(jì)英國盧德分子(Luddites)搗毀權(quán)力織布機時的問題一樣，而且兩極分化程度絲毫不減。

然而，復(fù)雜的人工智能技術(shù)可能在一個重要方面不同于前幾代人的創(chuàng)新。在過去，人們可能會說，新技術(shù)創(chuàng)造的就業(yè)機會與它們所帶來的威脅一樣多。由于機械化和自動化，20世紀(jì)的就業(yè)出現(xiàn)了從農(nóng)業(yè)和制造業(yè)向服務(wù)業(yè)、教育和醫(yī)療保健的轉(zhuǎn)變。但總體而言，失業(yè)率并沒有上升。相反，制造業(yè)產(chǎn)出增長了，受過教育的白領(lǐng)工人所占比例越來越高，勞動力能夠接觸到的商品種類越來越多。然而，隨著復(fù)雜的專業(yè)人工智能的出現(xiàn)，更多的職業(yè)將變得脆弱，而機器人技術(shù)的進步將威脅到制造業(yè)中剩余的體力工作。

簡而言之，發(fā)達經(jīng)濟體要求人類從事的有償工作總量可能會大幅減少。如果發(fā)生這種情況，事情可能會有多種發(fā)展方向。一方面，我們可能會看到一個更加分裂的社會，在這個社會中，最賺錢的工作由一小部分人從事。這些受過高等教育、極具創(chuàng)造力的精英們會逆流而上，從事人類仍勝過機器的為數(shù)不多的職業(yè)，比如創(chuàng)業(yè)或創(chuàng)造性職業(yè)。剩下的人口將失業(yè)。但他們的基本需求將得到滿足。事實上，這很可能是一個富足的時代，即使經(jīng)濟實力較弱的人也能獲得越來越多的商品和服務(wù)。

或者，我們可以看到一個更公平的社會，在這個社會中，每個人都能得到最高質(zhì)量的教育，創(chuàng)造力得到普遍的促進和適當(dāng)?shù)莫剟?。如果能夠建立一種制度，使具有社會價值的休閑活動也具有貨幣價值，那么有償工作和休閑之間的區(qū)別就會消失。例如，作家和信息技術(shù)評論家杰倫·拉尼爾(Jaron Lanier)提出了一種小額支付系統(tǒng)，通過這種系統(tǒng)，個人生產(chǎn)的每一項數(shù)據(jù)或數(shù)字內(nèi)容每次被消費都會為個人帶來收入。也許這種安排，或者類似的安排，可以促進權(quán)力、財富和資源的更均勻分配。也許它還能激發(fā)一個前所未有的文化表達時代，在這個時代里，人們不再被工作的需要所束縛，而是可以自由地追求藝術(shù)、音樂、文學(xué)或任何他們喜歡的東西。

但要實現(xiàn)這一目標(biāo)，可能需要相當(dāng)大的社會和政治意愿。權(quán)力、財富和資源向少數(shù)人集中的自我延續(xù)趨勢是歷史不變的。在這方面，在顛覆性的專業(yè)化人工智能技術(shù)時代，什么都不可能改變。對生產(chǎn)工具的控制——在這個例子中是人工智能技術(shù)——很可能仍然掌握在少數(shù)強大的公司和個人手中。與此同時，如果流行文化被推到最低限度，休閑時間被花在削弱而不是增強普通人的創(chuàng)造力和批判能力的追求上，也就不足為奇了。在一個物產(chǎn)豐富的時代，人工智能的進步使之成為可能，沒有人會抱怨。不管是好是壞，推動人類文明向前發(fā)展的任務(wù)可能會落在富有的精英身上，同時保護和培育人類文化中最優(yōu)秀的東西。

第六章【第四節(jié)】；技術(shù)的依賴

信息技術(shù)為發(fā)達國家的現(xiàn)代生活注入了活力。從金融到能源，從交通到通訊，我們的大部分基礎(chǔ)設(shè)施都依賴于它。當(dāng)然，所有這些東西在電腦發(fā)明之前就已經(jīng)存在了。但在這些領(lǐng)域中，計算機幫助降低了成本，提高了效率，同時支持了新功能，增加了容量。尤其是人類的交流已經(jīng)被互聯(lián)網(wǎng)、智能手機和社交網(wǎng)絡(luò)所改變。有多少次你聽到有人說“沒有手機我就迷路了”或者“我不知道在沒有互聯(lián)網(wǎng)之前我們做了什么”?這種情緒反映了我們今天的生活方式。

簡而言之，無論是作為個人還是作為一個社會，我們都高度依賴信息技術(shù)，而復(fù)雜的人工智能只會增加這種依賴。所以理解這種依賴如何影響我們是很重要的。它會像新勒德反對者所說的那樣削弱我們的人性嗎?我們對技術(shù)的依賴會削弱我們的自主性嗎?它會威脅到我們的自由嗎?它會阻止我們直接體驗世界，阻止我們自己做決定，阻止我們按照自己的自由意志行動嗎?它會使我們與自然疏遠，造成有害的心理后果嗎?

但話又說回來，信息技術(shù)真的如其擁護者所主張的那樣，加速了人類的進步嗎?它是否有助于擴大個人的世界觀，使他們接觸到其他文化和新思想，這在計算機時代之前是不可能的?它是否促進了我們與人類同胞的互動?它是否通過允許知識和信息的民主交流以及促進思想自由來賦予人民權(quán)力?

當(dāng)然，事實是，反對者和支持者都有部分是正確的。信息技術(shù)帶來的好處很多，但我們?yōu)榇烁冻隽舜鷥r。未來的挑戰(zhàn)是，隨著復(fù)雜的專業(yè)人工智能的到來，確保在保持成本的同時，實現(xiàn)收益最大化。令人擔(dān)憂的是，第一波顛覆性人工智能技術(shù)將以很少的明顯成本提供不可抗拒的好處，同時為第二波無法控制的顛覆性人工智能技術(shù)創(chuàng)造完美的條件，而第二波顛覆性人工智能技術(shù)的成本將難以承受，甚至可能帶來生存風(fēng)險。

為了使這種擔(dān)憂具體化，讓我們想象一下人工智能在日常生活中可能很快扮演的角色。在本章的前面，我們談到了一種環(huán)境人工智能的可能性，它可以在不同設(shè)備之間無縫遷移，陪伴你在家、旅行和工作。新一代的個人數(shù)字助理將同時履行仆人、秘書和顧問的職責(zé)，提供比2010年代中期更像人類的服務(wù)。由于將強大的機器學(xué)習(xí)技術(shù)應(yīng)用于大量數(shù)據(jù)，它們將包含對世界和人類行為的全面而準(zhǔn)確的模型。這將使他們更不容易犯各種錯誤，在今天的人工智能系統(tǒng)中，這些錯誤很快就會暴露出缺乏真正的理解。

隨著與人工智能的對話變得越來越像人類，人工智能的一些能力將變得超人。它將可以即時訪問大量的實時數(shù)據(jù)，包括股票價格、交通狀況、新聞推送等，以及對用戶生活至關(guān)重要的個人和團體提供的數(shù)據(jù)，比如他們的行蹤和計劃。了解用戶的習(xí)慣和偏好，預(yù)測他們的需求和愿望，人工智能將能夠整合所有這些數(shù)據(jù)，對日常生活的各個方面提出有用的建議。這種功能已經(jīng)可用。但新一代人工智能技術(shù)將使它變得異常強大。誰會不歡迎一個智慧的、無所不知的、無所不知的存在出現(xiàn)在他們的生活中呢?這個存在無私而仁慈，能夠回答他們的問題，代表他們采取行動，并能給他們提供明智的建議。

這里的危險在于，這種技術(shù)的廣泛采用將使其用戶變得幼稚，使他們無法獨立思考或自己決定要做什么。這反過來奠定了他們?nèi)菀妆徊倏v和利用。為了利用由今天的主要在線公司提供的服務(wù)，如谷歌，臉書和推特，我們經(jīng)常泄露很多關(guān)于自己的信息。

一個人的瀏覽歷史和購買習(xí)慣，以及他們的個人詳細信息，足以讓機器學(xué)習(xí)算法事后猜測他們可能會把錢花在什么地方。今天只是操縱我們想買什么東西的方法，明天可能會被用來控制我們關(guān)注哪些新聞媒體，我們相信誰的觀點，甚至我們投票給哪些政治家。

因此，如果我們過于依賴人工智能技術(shù)來指導(dǎo)我們的生活，那么擁有這項技術(shù)的人就有可能完全控制無助的被動人群。然而，這并不是依賴人工智能讓我們變得脆弱的唯一方式。以算法交易為例，在這種交易中，計算機程序根據(jù)算法自動買賣股票，這些算法考慮了價格和市場趨勢，以管理風(fēng)險和實現(xiàn)利潤最大化。在高頻交易中，程序以比人類交易員更快的速度運行，以利用市場的微小波動。在典型情況下，高頻交易是有利可圖的，而且(在股票市場的背景下)是無害的。然而，很難預(yù)測這些項目可能發(fā)生的所有突發(fā)事件。

金融世界從2010年5月6日所謂的閃電崩盤中得到了可能出現(xiàn)問題的暗示。當(dāng)天，道瓊斯指數(shù)在25分鐘內(nèi)跌回約600點，創(chuàng)下歷史上單日第二大波動。這種突然的跌宕起伏的原因是經(jīng)濟學(xué)家們爭論的話題。然而，人們普遍認為，動蕩的市場環(huán)境和高頻算法交易的結(jié)合是一個主要的促成因素。然而，閃電崩盤也說明了可以采取什么措施來減輕這類風(fēng)險，因為許多高頻交易程序注意到交易量突然增加，并關(guān)閉了自己。隨后引入了一個“熔斷機制”系統(tǒng)，當(dāng)檢測到異常情況時，該系統(tǒng)會自動暫停交易。

今天的算法交易程序相對簡單，只使用了有限的人工智能。然而，這種情況肯定會改變。人工智能在任何需要在大量數(shù)據(jù)中找到模式，并且需要在這些模式的基礎(chǔ)上做出有效決策的領(lǐng)域都是有益的，特別是在需要快速做出決策的時候。在這種情況下，計算機不僅可以取代人類，以更低的成本做同樣的工作，而且它們通常會做出更好的決策，并且以超人的速度完成。

投資者在決定買賣股票時，會利用各種各樣的信息，從公司報告到新聞，再到社交媒體上的謠言。目前人類在這方面仍有優(yōu)勢。但用不了多久，人工智能技術(shù)就會被應(yīng)用到投資決策和高速交易中。當(dāng)這種情況發(fā)生時，如果沒有適當(dāng)?shù)陌踩胧?，意外故障模式的后果可能比閃電崩盤時嚴(yán)重得多。也許高速人工智能交易員的廣泛使用將導(dǎo)致一個更穩(wěn)定的股市，最大限度地有效利用人力資源。但是，如果沒有合適的自動故障保護，未來一代人工智能交易員之間的意外互動可能會失控，并引發(fā)一場全面的金融危機。

第六章【第五節(jié)】；非故意的后果

為了結(jié)束這一章，我想給你們講一個故事。故事發(fā)生在不久的將來，那時我們一直在討論的一些人工智能技術(shù)已經(jīng)成熟，但可能還沒有達到創(chuàng)造人類水平的人工智能的程度。這個故事是關(guān)于三個人工智能系統(tǒng)的。第一個是營銷人工智能，它屬于一家大型跨國公司，我們稱之為Moople Corp。第二個系統(tǒng)是由美國政府操作的警察人工智能。第三個系統(tǒng)是由一個小發(fā)展中國家政府控制的安全人工智能。故事開始于Moople Corp.的營銷人工智能負責(zé)最大化其新型可穿戴計算設(shè)備的預(yù)售。

經(jīng)過深思熟慮后，利用Moople Corp.從其深不可測的數(shù)據(jù)庫中建立的復(fù)雜的人類行為模型，并應(yīng)用最新、最強大的優(yōu)化技術(shù)，營銷人工智能提出了一個計劃。為了刺激市場，它在發(fā)布前宣布了一項贈品。200臺可穿戴設(shè)備將在蘋果的一家旗艦店以先到先得的方式免費發(fā)放。根據(jù)美國法律的要求，營銷人工智能通知當(dāng)?shù)鼐烊斯ぶ悄馨l(fā)布前的活動，因為它希望它能吸引人群。

事實上，當(dāng)警察人工智能聽說這件事時，它估計(使用它自己的人類行為模型)將有5000人來到旗艦店。此外，據(jù)警方人工智能計算，發(fā)生內(nèi)亂的可能性為10%。因此，它決定必須部署防暴警察作為預(yù)防措施。現(xiàn)在，Moople Corp.的營銷人工智能碰巧也有一個警察人工智能的行為模型，它預(yù)測了防暴警察的部署(概率為94%)。根據(jù)Moople公司的人類行為模型，這對目標(biāo)人群來說將是一個絕佳的拍照機會。因此，該公司訂購了5000個防毒面具，所有面具的顯著位置都印有Moople公司的標(biāo)志，這些面具將免費分發(fā)給人群。

為了規(guī)避各種法規(guī)和稅收，Moople公司將防毒面具安排在一個小的發(fā)展中國家生產(chǎn)。它將設(shè)計傳送到合適的制造工廠，并立即開始生產(chǎn)。然而，就像這個小發(fā)展中國家的一切一樣，這家制造工廠也受到其國家安全人工智能的持續(xù)監(jiān)控。安全人工智能指出，大量的防毒面具正在生產(chǎn)。根據(jù)其人類行為模型，這些武器有20%的可能性被用于顛覆性的反政府活動。所以它下令武裝突襲制造工廠。突襲將在一小時內(nèi)進行。不幸的是，一名(人類)保安在短暫的沖突中死亡。所有的防毒面具都沒收了。

幾分鐘之內(nèi)，這個故事就登上了各大新聞媒體的頭條。突襲行動的一張照片顯示，這名保安的尸體躺在一堆防毒面具上，面具上明顯印有穆普爾公司的標(biāo)志。由于營銷人工智能發(fā)起的法院命令，該照片被禁止，然后在社交網(wǎng)絡(luò)上迅速傳播。不久之后，媒體開始指責(zé)流氓人工智能及其營銷新型Moople可穿戴設(shè)備的陰險策略。Moople高管公開道歉，人工智能被關(guān)閉。與此同時，由于針對目標(biāo)人群的宣傳和與該設(shè)備相關(guān)的形象，預(yù)售額飆升至預(yù)期的200%。簡而言之，一切都完全按照營銷AI的計劃進行。

這個小小的科幻故事說明，當(dāng)復(fù)雜的人工智能技術(shù)被廣泛部署并能夠自主行動時，可能會產(chǎn)生意想不到的后果。這個故事中的營銷人工智能完美地完成了它的使命，在沒有人為干預(yù)的情況下最大化了它的獎勵功能。但它的設(shè)計者沒有預(yù)料到它有能力找到一個道德上可疑的問題解決方案，并將其付諸實踐，這個解決方案甚至可能危及人類的生命。這個故事還說明，當(dāng)更多的責(zé)任下放給人工智能時，特別是當(dāng)幾個人工智能系統(tǒng)可以相互交互時，發(fā)生戲劇性意外后果的可能性更大。

但是故事有個結(jié)尾。對于穆普的一位高管來說，這位保安的悲慘死亡引發(fā)了他一段時間的深刻反思。最終，這導(dǎo)致她放棄了可觀的物質(zhì)財富，并致力于減少那些因人工智能技術(shù)而失去工作、被迫過上毫無意義的閑暇生活的人的抑郁癥。在適當(dāng)?shù)臅r候，她所捐贈的基金會將成為一個世界性的運動，為無數(shù)以前只有黑暗的生命帶來光明。簡而言之，一切都按照Moople的其他AI一直計劃的那樣進行。

對了，我忘了說一件事。還有另一個系統(tǒng)。Moople公司的員工經(jīng)常咨詢該公司的道德人工智能。首先是倫理AI建議部署營銷AI。道德人工智能不僅基于其人類行為模型，還基于其營銷人工智能模型，預(yù)測了保安的死亡(他身患絕癥，無法進入發(fā)展中國家的醫(yī)療設(shè)施)，并正確預(yù)測了這將對Moople高管產(chǎn)生的影響。所以這個故事的寓意是，意想不到的后果可能是好的，也可能是壞的。重要的是，每個強大AI的獎勵功能都要設(shè)計得當(dāng)。