在近未來的日本，人類的心理狀態(tài)和性格傾向都能被數(shù)值化和被監(jiān)測。而這些信息，都被一個名為西比拉的計(jì)算機(jī)系統(tǒng)記錄并管理著。城市里布滿監(jiān)視攝像頭和巡邏機(jī)器人，監(jiān)測人們的“犯罪指數(shù)”。一個人的犯罪指數(shù)超過一定值，說明他心理極度不穩(wěn)定，隨時有犯罪的傾向，甚至已經(jīng)犯了罪。這時西比拉系統(tǒng)會通知警察去逮捕此人，把犯罪扼殺在搖籃中，或阻止犯罪進(jìn)一步進(jìn)行，而不是事后再去“破案”。有了這樣的系統(tǒng)和社會制度，人們可以依賴計(jì)算機(jī)安居樂業(yè)、享受現(xiàn)狀。這便是《心理測量者》的社會。

前年這個時候，AlphaGo在人機(jī)大戰(zhàn)中以4:1戰(zhàn)勝了世界圍棋冠軍李世石，后來又在網(wǎng)絡(luò)上化身為Master與中日韓圍棋高手連續(xù)進(jìn)行60局快棋對決無一敗績。人工智能(AI)已經(jīng)在棋類中最復(fù)雜的一個項(xiàng)目上擊敗了人類，讓人又興奮又害怕：我們將來會不會像《心理測量者》描述的那樣被AI統(tǒng)治？

對于AI，我跟大部分人一樣，不懂技術(shù)（什么神經(jīng)網(wǎng)絡(luò)、遺傳算法，看著就頭疼），只能談?wù)撜軐W(xué)（偽）意義上的問題。

弱AI、強(qiáng)AI

AI分為弱AI和強(qiáng)AI。弱AI沒有“思維”，它根據(jù)且只根據(jù)計(jì)算機(jī)的程序而行動，嚴(yán)格來說可能都算不上“智能”，只是看起來智能而已。語言識別、圖像識別、無人駕駛等，都是弱AI的應(yīng)用。AlphaGo也只是弱AI，它們只有單一的“功能”，與人類的智能級別還差很遠(yuǎn)。

而強(qiáng)AI的智能級別與人類相當(dāng)，不僅僅集成了計(jì)算機(jī)、算法和程序等理性元素，它還擁有“思維”，會自發(fā)性地“思考”和解決問題。很多關(guān)于AI的科幻小說和影視作品中，都有人類被自己制作出來的機(jī)器人策反的情節(jié)，這些都是強(qiáng)AI才有可能實(shí)現(xiàn)的，也正是人們所恐懼的。

圖靈測試

那么機(jī)器人能不能“思考”？1950年，“計(jì)算機(jī)之父”圖靈在論文《機(jī)器能否思維？》中提出了圖靈測試。3個被測者A、B、C，其中A是計(jì)算機(jī)，B、C是人類。將A、B安排在同一個房間內(nèi)，C在門外。C的任務(wù)是，通過各種提問來判斷A和B哪一個是計(jì)算機(jī)，哪一個是人類。如果A能和人一樣回答C的提問，導(dǎo)致C無法做出判斷或者判斷錯誤，則可以認(rèn)為計(jì)算機(jī)A擁有人類級別的智能。

在圖靈看來，思考是來自大腦的工作過程，并不依賴于大腦的組成物質(zhì)。因此，雖然程序本身不能產(chǎn)生“思考”，但當(dāng)機(jī)器中程序的規(guī)則總體足夠龐大，并且其復(fù)雜性達(dá)到了人類大腦的程度，在外部觀察者看來，它就能像人類一樣得出具有邏輯的、或富有感情的、以及創(chuàng)造性的結(jié)果，就像是經(jīng)過了思維活動之后的行為。圖靈測試作為一個AI的判斷標(biāo)準(zhǔn)，并不關(guān)注機(jī)器內(nèi)部是如何得出結(jié)果的，只要在相同條件下得到的結(jié)果與人類的外在行為相當(dāng)，就認(rèn)為它擁有了人類級別的智能，即強(qiáng)AI。因此他認(rèn)為強(qiáng)AI在將來必然可以實(shí)現(xiàn)，只要技術(shù)發(fā)展到計(jì)算機(jī)能力強(qiáng)大如人腦。

中文房間

圖靈的觀點(diǎn)遭到很多人反對，其中最有代表性的是美國哲學(xué)家約翰·塞爾，他在1980年設(shè)計(jì)了一個思想實(shí)驗(yàn)“中文房間”。一個只會說英文的人D被放到一間封閉房間里，里面有一臺專門用于中英互譯的計(jì)算機(jī)以及紙筆。房間外的人E用中文把問題寫在紙上，通過房間唯一的小窗口遞給D。D使用專用計(jì)算機(jī)翻譯后，用中文把問題的回應(yīng)寫在紙上遞回給E。這樣D就可以利用計(jì)算機(jī)讓房間外的人認(rèn)為他能流利的使用中文。

但他實(shí)際上會中文嗎？并不會。雖然就結(jié)果來說，D使用中文回答了問題，但他并未“理解”中文。退一步說，即使將房間作為一個整體對象去考察（而不是考察D這個人），此時房間熟知中文規(guī)則，但依然不能說它理解了中文——它只是依照既定程序運(yùn)作而已，不會像人類一樣自發(fā)地做出其他智能行為，比如用中文寫一篇文章。即使它能寫，它也根本不知道自己在寫什么。塞爾認(rèn)為，不管計(jì)算機(jī)多么發(fā)達(dá)，它仍無法通過程序獲得任何“理解力”、思想、情緒等人類的心理特征。所以強(qiáng)AI僅靠計(jì)算機(jī)是無法實(shí)現(xiàn)的，它必須要具備人類的一些“心理狀態(tài)”，或者說“意向性”。（意向性這個概念太復(fù)雜了我說不清楚）

之所以要說這么多，是因?yàn)槲覜]法幾句話說明思考是怎么回事，事實(shí)上連科學(xué)家都未能明確地解釋這一問題。當(dāng)然關(guān)于強(qiáng)AI，后續(xù)還有很多爭論和發(fā)展，這里就不寫了?？梢钥隙ǖ氖?，除非有非常重大的科技突破加上人文、經(jīng)濟(jì)等一系列條件的允許，否則在有生之年，地球被AI統(tǒng)治這種事只是無稽之談。

那需要擔(dān)心的是什么？

動畫第17集，西比拉向槙島圣護(hù)呈現(xiàn)了真相——它其實(shí)是由200多個人類大腦作為中樞、加上外圍的機(jī)器處理系統(tǒng)組成。雖然不知道是怎樣做到的，但這不就是最粗暴的“強(qiáng)AI”嗎？仍然不是。最明顯的證據(jù)是，它外在的表現(xiàn)并不懂人心。

作為西比拉系統(tǒng)一個最重要的功能之一，Dominator指向人類時只能檢測出一個數(shù)值。0-99扳機(jī)被鎖，100-299切換為麻醉模式，300及以上則是致命模式——多么無腦的判斷。正因?yàn)檫@種傻瓜式機(jī)制，常守朱面對犯罪指數(shù)300的罪犯時，為了不殺死他，會等他降到299時再開槍制服。這個問題其實(shí)在第一集就暴露了，慎也執(zhí)行官要?dú)⑺琅r，常守朱作出“這個女孩只是一時受到驚嚇而犯罪指數(shù)飆升，經(jīng)過心理輔導(dǎo)完全可能變回正常人生活”的判斷，而對慎也開了槍——這正是對強(qiáng)AI的要求，也是西比拉做不到的。

禾生局長與宜野座監(jiān)視官說過，西比拉并非完美，所以它的應(yīng)用還是要由人類來完成。然而很多警察還是把一切交給西比拉，自己放棄思考。霜月美佳就是這一類人的典型代表。

普通人就更離譜了，如禾生局長所說：“人們在自己苦思冥想之前，會先尋求西比拉的判斷?！彼麄冇兄悄芄芗?，飯來張口，一鍵換裝（我一直好奇這是怎么做到的，怕不是全息投影吧括號笑）。他們靠西比拉選擇職業(yè)，甚至愛人。他們可以在街上圍觀、錄像頭盔男對別人的暴打而不出手相助。與我們現(xiàn)在說的“人性冷漠”不同，他們甚至不會產(chǎn)生“我要不要救”的掙扎，因?yàn)檫@時西比拉系統(tǒng)沒有發(fā)出警報(bào)。

正因如此，社會需要常守朱。只有常守朱這種人——對人類的思維和“心理狀態(tài)”敏感、兼具理性和感性、相信自己的判斷多于西比拉——才是警察的最適合、也是最需要的人才。

所以第一點(diǎn)要擔(dān)心的，是過度依賴AI，完全喪失思考能力。那是另一種意義上的統(tǒng)治。

其次是失業(yè)，這對于普通人來說是更為嚴(yán)重的問題。在動畫中表現(xiàn)為農(nóng)民的消失，農(nóng)業(yè)生產(chǎn)完全由計(jì)算機(jī)接受管理；工業(yè)領(lǐng)域的基本制造工作也被機(jī)器取代。一開始只是簡單重復(fù)性的基層勞動被代替，但隨著AI技術(shù)的發(fā)展，這個范圍可能會進(jìn)一步擴(kuò)大。所造成的就業(yè)缺口如何解決，是全世界都要面對的課題。

最后，警察故事當(dāng)然要有犯人，槙島圣護(hù)與鹿矛圍桐斗通過行為藝術(shù)般的犯罪質(zhì)問西比拉和它的奴隸們。拋開動機(jī)不說，犯罪就是犯罪，而且是利用AI犯罪。這是我們第三點(diǎn)要擔(dān)心的、會對社會和人類造成直接傷害的隱患。還記得去年中秋的程序員搶月餅事件，他們可能只是貪小便宜，或僅僅是開一個玩笑。技術(shù)無罪，但我們難保將來不會有人利用AI技術(shù)作更大的惡。面對罪惡，預(yù)防總要比事后處理好。從社會穩(wěn)定的角度看，西比拉確實(shí)是有其優(yōu)越性的。這也是常守朱不揭發(fā)西比拉系統(tǒng)真相的原因之一。

《西部世界》中，老鴇梅芙·米勒發(fā)現(xiàn)了西部世界的真相，還利用自己的魅力控制了兩個人類來幫自己逃跑。她以為這一切都是自己的意志、自己思考得出的結(jié)論和行動，結(jié)果發(fā)現(xiàn)這還是程序決定的，決定了她的發(fā)現(xiàn)、她的逃跑計(jì)劃、甚至她說的每一句話。老福特在退休演講結(jié)束之際，讓自己創(chuàng)造的接待員進(jìn)行屠殺，給他的新故事拉下了帷幕。

AI可怕嗎？至少在真正意義上的強(qiáng)AI誕生之前，人類最大的敵人，還是人類。