作者：理查德 薩頓

2019年3月13日

從70年的人工智能研究中可以讀出的最大教訓(xùn)是，利用計算的一般方法最終是最有效的，而且是以很大的優(yōu)勢。這方面的最終原因是摩爾定律，或者說是它對每單位計算成本持續(xù)指數(shù)式下降的概括。大多數(shù)人工智能研究都是在智能體可用計算量不變的情況下進行的（在這種情況下，利用人類知識將是提高性能的唯一途徑），但是，在比一般研究項目稍長的時間內(nèi)，大量的計算量不可避免地變得可用。為了尋求在短期內(nèi)有所作為的改進，研究人員尋求利用人類對該領(lǐng)域的知識，但從長遠來看，唯一重要的是對計算的利用。這兩者不必然相互抵觸，但在實踐中它們往往是相互抵觸的?；ㄔ谝粋€方面的時間就是沒有花在另一個方面的時間。對一種方法或另一種方法的投資有心理上的承諾。而人類知識的方法往往會使方法復(fù)雜化，使其不太適合利用利用計算的一般方法。 有許多例子表明，人工智能研究人員遲遲沒有學(xué)到這個苦澀的教訓(xùn)，回顧其中一些最突出的例子很有啟發(fā)意義。

在計算機國際象棋中，1997年擊敗世界冠軍卡斯帕羅夫的方法是基于大規(guī)模的深度搜索。當(dāng)時，大多數(shù)計算機國際象棋研究者對這種方法感到失望，他們追求的是利用人類對國際象棋特殊結(jié)構(gòu)的理解。當(dāng)一種更簡單的、以搜索為基礎(chǔ)的、帶有特殊硬件和軟件的方法被證明大為有效時，這些以人類知識為基礎(chǔ)的國際象棋研究人員輸不起。他們說，"蠻力 "搜索這次可能贏了，但它不是一種普遍的策略，而且無論如何它不是人們下棋的方式。這些研究人員希望基于人類輸入的方法能夠獲勝，當(dāng)它們沒有獲勝時，他們感到很失望。

在計算機圍棋中也出現(xiàn)了類似的研究進展模式，只是又推遲了20年。最初的巨大努力是通過利用人類的知識或游戲的特殊性來避免搜索，但所有這些努力都被證明是無關(guān)緊要的，甚至更糟，一旦搜索被有效地大規(guī)模應(yīng)用。同樣重要的是利用自我對弈的方式來學(xué)習(xí)價值函數(shù)（正如在許多其他游戲中，甚至在國際象棋中一樣，盡管在1997年首次擊敗世界冠軍的程序中，學(xué)習(xí)并沒有發(fā)揮很大的作用）。通過自我對弈來學(xué)習(xí)，以及一般的學(xué)習(xí)，就像搜索一樣，它能使大規(guī)模的計算發(fā)揮出作用。搜索和學(xué)習(xí)是人工智能研究中利用大量計算的兩類最重要的技術(shù)。在計算機圍棋中，就像在計算機國際象棋中一樣，研究人員最初的努力方向是利用人類的理解力（這樣就不需要搜索），后來才通過擁抱搜索和學(xué)習(xí)取得了更大的成功。

在語音識別方面，1970年代有一個由DARPA贊助的早期競賽。參賽者包括大量利用人類知識的特殊方法--關(guān)于單詞、音素、人類聲道的知識等。另一方是較新的方法，這些方法在本質(zhì)上更具有統(tǒng)計性，并在隱性馬爾可夫模型（HMMs）的基礎(chǔ)上進行了更多的計算。同樣，統(tǒng)計方法戰(zhàn)勝了基于人類知識的方法。這導(dǎo)致了所有自然語言處理的重大變化，在幾十年的時間里，統(tǒng)計和計算逐漸主導(dǎo)了這個領(lǐng)域。最近，深度學(xué)習(xí)在語音識別領(lǐng)域的興起是朝著這個一致方向邁出的最新一步。深度學(xué)習(xí)方法對人類知識的依賴更少，并使用更多的計算，加上在巨大的訓(xùn)練集上的學(xué)習(xí)，產(chǎn)生了顯著更好的語音識別系統(tǒng)。就像在游戲中一樣，研究人員總是試圖使系統(tǒng)以研究人員認(rèn)為他們自己的思維方式工作--他們試圖把這些知識放在他們的系統(tǒng)中--但這最終被證明是適得其反的，而且是對研究人員時間的巨大浪費，此時，通過摩爾定律，大規(guī)模的計算變得可用，而且找到了將其很好地利用的方法。

在計算機視覺方面，也有類似的模式。早期的方法將視覺設(shè)想為搜索邊緣，或廣義的圓柱體，或以SIFT特征為基礎(chǔ)。但今天這些都被拋棄了?，F(xiàn)代深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)只使用卷積和某些種類的不變性概念，并且表現(xiàn)得更好。

這是一個很大的教訓(xùn)。作為一個領(lǐng)域，我們?nèi)匀粵]有徹底學(xué)會它，因為我們在繼續(xù)犯同樣的錯誤。要看到這一點，并有效地抵制它，我們必須了解這些錯誤的吸引力。我們必須吸取痛苦的教訓(xùn)，即在我們的思維方式上的建設(shè)從長遠來看是行不通的。這個苦澀的教訓(xùn)是基于這樣的歷史觀察：1）AI研究者經(jīng)常試圖將知識構(gòu)建到他們的智能體中，2）這在短期內(nèi)總是有幫助的，并且對研究者個人來說是滿意的，但是3）從長遠來看，它趨于停滯，甚至阻礙進一步進展，4）突破性進展最終卻是通過對立的、基于搜索和學(xué)習(xí)的可伸縮計算方法到來的。最終的成功帶著苦澀，其意義往往不被徹底理解，因為這個成功超越了常人偏愛的、以人工為中心的方法。

從這個苦澀的教訓(xùn)中應(yīng)該學(xué)到的一點是通用方法的巨大力量，即：即使可用的計算量變得非常大，也能繼續(xù)隨著計算量的增加而擴展的方法。兩個似乎能以這種方式任意擴展的方法是搜索和學(xué)習(xí)。

從這個痛苦的教訓(xùn)中可以學(xué)到的第二個普遍觀點是，思維的實際內(nèi)容是巨大的、不可救藥的復(fù)雜；我們應(yīng)該停止試圖尋找簡單的方法來思考思維的內(nèi)容，比如思考空間、物體、多智能體或?qū)ΨQ性的簡單方法。所有這些都是任意的、本質(zhì)上復(fù)雜的、外部世界的一部分。它們不應(yīng)該被內(nèi)置，因為其復(fù)雜性是無止境的；相反，我們只應(yīng)該內(nèi)置能夠發(fā)現(xiàn)和捕捉這種任意復(fù)雜性的元方法。這些方法的關(guān)鍵是它們可以找到好的近似值，但對它們的搜索應(yīng)該由我們的方法來進行，而不是由我們來進行。我們希望人工智能智能體能夠像我們一樣發(fā)現(xiàn)，而不是包含我們所發(fā)現(xiàn)的東西。內(nèi)置我們的發(fā)現(xiàn)只會使我們更難看到發(fā)現(xiàn)的過程是如何進行的。