g導(dǎo)讀：

Geoffrey Hinton被稱為“人工智能教父”，從上世紀(jì)80年代開始研究神經(jīng)網(wǎng)絡(luò)，是這個領(lǐng)域從業(yè)時間最長的人。

他曾獲得2018年的圖靈獎，是“深度學(xué)習(xí)三巨頭”之一，是AI史上最重要的學(xué)者之一，論文被引用了50多萬次。

他的父親Howard Everest Hinton是英國昆蟲學(xué)家，母親Margaret是一名教師，他們都是共產(chǎn)主義者。他的叔叔是著名的經(jīng)濟(jì)學(xué)家Colin Clark，發(fā)明了“國民生產(chǎn)總值”這個經(jīng)濟(jì)術(shù)語，他的高祖父是著名的邏輯學(xué)家George Boole，他發(fā)明的布爾代數(shù)奠定了現(xiàn)代計算機(jī)科學(xué)的基礎(chǔ)。

在厚重的科學(xué)家家族底蘊(yùn)熏陶下，Hinton從小擁有獨立思考能力以及堅韌品質(zhì)，并且肩負(fù)著繼承家族榮譽(yù)的擔(dān)子。1973年，在英國愛丁堡大學(xué)，他師從Langer Higgins攻讀人工智能博士學(xué)位，但那時幾乎沒人相信神經(jīng)網(wǎng)絡(luò)，導(dǎo)師也勸他放棄研究這項技術(shù)。周遭的質(zhì)疑并不足以動搖他對神經(jīng)網(wǎng)絡(luò)的堅定信念，在隨后的十年，他接連提出了反向傳播算法、玻爾茲曼機(jī)，不過他還要再等數(shù)十年才會等到深度學(xué)習(xí)迎來大爆發(fā)，到時他的這些研究將廣為人知。

他曾經(jīng)和他帶的兩位博士生（其中一位是OpenAI的首席科學(xué)家Ilya）創(chuàng)立了一家AI公司，后來賣給了Google，他本人也進(jìn)入Google擔(dān)任首席科學(xué)家，參與了谷歌大腦。

他有很多學(xué)生在大廠擔(dān)任首席科學(xué)家。他的學(xué)生Ilya，在他的研究基礎(chǔ)上，用ChatGPT證明了Hinton的技術(shù)路線，這個路線始于上世紀(jì)80年代，直到最近幾年大眾才看到這條路上的金礦。

本文是Hinton關(guān)于ChatGPT和AI發(fā)展的訪談內(nèi)容整理而成。供參考。

# 01?

如果不了解大腦，我們永遠(yuǎn)無法理解人類

在70年代，有一種時髦的觀點認(rèn)為，你可以在不關(guān)心大腦的情況下做到這一點，我認(rèn)為不可能，必須了解大腦是如何運作的。

在AI領(lǐng)域，有兩種思路。一種是主流AI，另一種是關(guān)于神經(jīng)網(wǎng)絡(luò)的。主流AI認(rèn)為，AI是關(guān)于推理和邏輯的，而神經(jīng)網(wǎng)絡(luò)則認(rèn)為，我們最好研究生物學(xué)，因為那些才是真正有效的東西。所以，主流AI基于推理和邏輯制定理論，而我們基于神經(jīng)元之間的連接變化來學(xué)習(xí)制定理論。從長遠(yuǎn)來看，我們?nèi)〉昧顺晒?，但短期?nèi)看起來有點無望。

神經(jīng)網(wǎng)絡(luò)在20世紀(jì)80年代沒有真正奏效的原因是，計算機(jī)運行速度不夠快，數(shù)據(jù)集不夠大。然而，在80年代，一個重要的問題是，一個擁有大量神經(jīng)元的大型神經(jīng)網(wǎng)絡(luò)，計算節(jié)點和它們之間的連接，僅通過改變連接的強(qiáng)度，從數(shù)據(jù)中學(xué)習(xí)，而沒有先驗知識，這是否可行？主流AI的人認(rèn)為這完全荒謬。

但它確實可行。因為大腦就是這樣，經(jīng)過學(xué)習(xí)，我們能完成沒有進(jìn)化出來的技能，比如閱讀。閱讀對我們來說是非常新的，我們沒有足夠的進(jìn)化時間來適應(yīng)它。但我們可以學(xué)會閱讀，我們可以學(xué)會數(shù)學(xué)。所以一定有一種在這些神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)的方法。

大約在2006年，我們開始做所謂的深度學(xué)習(xí)。在那之前，讓具有多層表示的神經(jīng)網(wǎng)絡(luò)學(xué)會復(fù)雜事物一直很困難。我們找到了更好的方法來實現(xiàn)這一點，更好的初始化網(wǎng)絡(luò)的方法，稱為預(yù)訓(xùn)練。

在ChatGPT中，P代表預(yù)訓(xùn)練。T代表變換器，G代表生成。實際上，是生成模型為神經(jīng)網(wǎng)絡(luò)提供了更好的預(yù)訓(xùn)練方法。2006年時，這個理念的種子已經(jīng)埋下。

反向傳播的思想就是在一開始隨機(jī)設(shè)置連接權(quán)重，然后根據(jù)預(yù)測結(jié)果調(diào)整權(quán)重。如果預(yù)測出現(xiàn)錯誤，那么你就通過網(wǎng)絡(luò)反向計算，并提出以下問題：我應(yīng)該如何改變這個連接強(qiáng)度，使其更不容易說出錯誤答案，更容易說出正確答案？這稱為誤差或差異。然后，你要計算每個連接強(qiáng)度如何進(jìn)行微調(diào)，使其更容易得出正確答案，更不容易得出錯誤答案。

一個人會判斷這是一只鳥，然后將標(biāo)簽提供給算法。但是反向傳播算法只是一種計算方法，用于確定如何改變每個連接強(qiáng)度，使其更容易說鳥，更不容易說貓。算法會不斷嘗試調(diào)整權(quán)重?，F(xiàn)在，如果你展示足夠多的鳥和貓，當(dāng)你展示一只鳥時，它會說鳥；當(dāng)你展示一只貓時，它會說貓。事實證明，這種方法比手動連接特征檢測器要有效得多。

值得稱道的是，那些曾經(jīng)堅定反對神經(jīng)網(wǎng)絡(luò)的人，當(dāng)看到這種方法成功時，他們做了科學(xué)家通常不會做的事情，也就是說：“它有效，我們會采用這個方法?！比藗冋J(rèn)為這是一個巨大的轉(zhuǎn)變。因為他們看到這種方法比他們正在使用的方法更有效，所以他們很快就改變了立場。

當(dāng)人們既在思考機(jī)器，也在思考我們自己的思維方式時，我們常常認(rèn)為，輸入是語言，輸出是語言，那么中間一定也是語言。這是一個重要的誤解。實際上，這種觀點并不正確。如果這是真的，那么被稱為符號人工智能的方法應(yīng)該非常擅長進(jìn)行機(jī)器翻譯，比如把英語轉(zhuǎn)換成法語。你會認(rèn)為操作符號是實現(xiàn)這一目標(biāo)的正確方法。但實際上，神經(jīng)網(wǎng)絡(luò)的效果更好。當(dāng)谷歌翻譯從使用符號方法轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)時，效果大大提高了。

我認(rèn)為，在中間的部分，你會發(fā)現(xiàn)有數(shù)百萬個神經(jīng)元，它們中的一些是活躍的，一些則不是。符號只能在輸入和輸出處找到，而不是在整個過程中。

# 02?

對于大語言模型，只有理解整個句子，才能更準(zhǔn)確地預(yù)測下一個詞

我們知道這些大型語言模型只是預(yù)測下一個詞。這并不簡單，但確實如此。它們只是預(yù)測下一個詞，所以它們只是自動補(bǔ)全。但是，問問自己一個問題：要準(zhǔn)確預(yù)測下一個詞，你需要了解到目前為止所說的內(nèi)容。基本上，你必須理解已經(jīng)說過的話來預(yù)測下一個詞。所以你也是自動補(bǔ)全，只不過與它們一樣。你可以預(yù)測下一個詞，雖然可能不如ChatGPT那么準(zhǔn)確，但為了做到這一點，你必須理解句子。

讓我舉一個關(guān)于翻譯的例子。這是一個非常具有說服力的例子。假設(shè)我要把這句話翻譯成法語：“獎杯太大了，它放不進(jìn)行李箱。”當(dāng)我說這句話時，你會認(rèn)為“它”指的是獎杯。在法語中，獎杯有特定的性別，所以你知道該用什么代詞。但如果我說：“獎杯放不進(jìn)行李箱，因為它太小了?！爆F(xiàn)在你認(rèn)為“它”指的是行李箱，對吧？在法語中，行李箱的性別也不同。所以為了把這句話翻譯成法語，你必須知道，當(dāng)它放不進(jìn)去是因為太大時，是獎杯太大；而當(dāng)它放不進(jìn)去是因為太小時，是行李箱太小。這意味著你必須了解空間關(guān)系和容納等概念。

為了進(jìn)行機(jī)器翻譯或預(yù)測那個代詞，你必須理解所說的內(nèi)容。僅僅把它當(dāng)作一串單詞是不夠的。

# 03?

我們現(xiàn)在正處于一個過渡點，接下來AI將無處不在

ChatGPT表明，這些大模型可以做一些令人驚奇的事情。微軟發(fā)布了一些產(chǎn)品后，大眾突然開始關(guān)注這個領(lǐng)域，他們突然意識到了大模型的潛力。

它已經(jīng)開始無處不在了，ChatGPT只是讓很多人意識到了這一點。實際上，當(dāng)谷歌進(jìn)行搜索時，它會使用大型神經(jīng)網(wǎng)絡(luò)來幫助決定向你展示什么最佳結(jié)果。

有兩條通往智能的不同道路。一條是生物學(xué)途徑，另一條是我們所擁有的模擬硬件途徑。我們必須用自然語言進(jìn)行溝通，還要向人們展示如何做事情，模仿等。但我們在交流方面做得很糟糕，與現(xiàn)在運行在數(shù)字計算機(jī)上的計算機(jī)模型相比，我們的交流能力差得多。

計算機(jī)模型之間的溝通帶寬非常大，因為它們是相同模型的克隆，運行在不同的計算機(jī)上。正因為如此，它們可以查看大量的數(shù)據(jù)，因為不同的計算機(jī)可以查看不同的數(shù)據(jù)，然后它們結(jié)合了它們所學(xué)到的東西，遠(yuǎn)遠(yuǎn)超出了任何人能夠理解的范圍。

ChatGPT知道的比任何一個人都多。如果有一個關(guān)于知識量的比賽，它會輕松擊敗任何一個人。我們有100萬億個連接，其中大部分是通過學(xué)習(xí)得到的，但我們只活了十億秒，這并不算很長的時間。像ChatGPT樣的東西，它們在許多不同的計算機(jī)上運行了比我們更長的時間，吸收了所有這些數(shù)據(jù)。

我認(rèn)為ChatGPT引發(fā)的AI浪潮，在規(guī)模上與工業(yè)革命、電力、甚至是輪子的發(fā)明相當(dāng)。

# 04?

未來，經(jīng)過訓(xùn)練的AI系統(tǒng)，可以運行在低功耗的系統(tǒng)上

我們有兩種途徑來理解智能：一種是生物途徑，其中每個大腦都是不同的，我們需要通過語言來在不同的大腦之間傳遞知識；另一種是目前的AI神經(jīng)網(wǎng)絡(luò)版本，你可以在不同的計算機(jī)上運行相同的模型，實際上它們可以共享連接權(quán)重，因此它們可以共享數(shù)十億個數(shù)字。

這就是我們?nèi)绾巫屢恢圾B跳舞的。它們可以共享識別鳥的所有連接權(quán)重，一個可以學(xué)會識別貓，另一個可以學(xué)會識別鳥，它們可以共享它們的連接權(quán)重，這樣每個模型都可以做兩件事。這正是這些大型語言模型所做的，它們在共享。

但這種方法只適用于數(shù)字計算機(jī)，因為它們必須能夠模擬相同的事物。而不同的生物大腦無法相互模擬，因此它們無法共享連接。

計算機(jī)的運行，必須依賴強(qiáng)大的電力支持，以便它能夠精確地以正確的方式工作。然而，如果你愿意讓計算機(jī)以較低的電力運行，比如大腦所做的那樣，你會允許一些噪聲等，但特定系統(tǒng)會適應(yīng)該特定系統(tǒng)中的噪聲，整個系統(tǒng)將正常工作。

大腦的運行功率是30瓦，而大型AI系統(tǒng)需要像兆瓦這樣的功率。所以我們在30瓦上進(jìn)行訓(xùn)練，而大型系統(tǒng)則使用兆瓦，它們有很多相同的東西。我們在談?wù)摴β市枨蠓矫娴?000倍差距。

因此，我認(rèn)為會有一個階段，我們會在數(shù)字計算機(jī)上進(jìn)行訓(xùn)練，但一旦某個AI系統(tǒng)訓(xùn)練完畢，我們會將其運行在非常低功耗的系統(tǒng)上。所以，如果你想讓你的烤面包機(jī)能和你對話，你需要一個只花費幾美元的芯片，而且它能運行像ChatGPT這樣的程序，那么最好是一個低功耗和低芯片。

# 05?

如何保證AI提供的是真相，將是一個非常棘手的問題

ChatGPT像一個“白癡天才”，它并不真正了解事實真相。它接受了大量不一致的數(shù)據(jù)訓(xùn)練，試圖預(yù)測下一個網(wǎng)絡(luò)用戶會說什么。

人們對很多事情有不同的觀點，而AI必須有一種混合所有這些觀點的方式，以便可以模擬任何人可能說的話。這與一個試圖擁有一致世界觀的人非常不同，特別是如果你想在世界上采取行動，擁有一致的世界觀是非常有益的。

我認(rèn)為接下來會發(fā)生的一件事是，我們將朝著能夠理解不同世界觀的系統(tǒng)發(fā)展，并且能夠理解，好吧，如果你有這個世界觀，那么這就是答案。而如果你有另一個世界觀，那么答案就是另一個。我們得到我們自己的真相。

你可不希望某個大型盈利公司來決定什么是真實的。但他們正在控制我們?nèi)绾问褂眠@些東西。

我們已經(jīng)看到，至少那些已經(jīng)發(fā)布聊天產(chǎn)品的人覺得有些事情他們不希望用他們的聲音說出來，所以他們會去干預(yù)它，以免說出冒犯人的話。是的，但這種方式你能做的事情是有限的?？倳心阆氩坏降氖虑?，對吧？是的。

目前我并不認(rèn)為微軟知道如何處理這個問題。（微軟）他們也不知道。這似乎是一個巨大的治理挑戰(zhàn)。誰來做這些決策？這是非常棘手的事情。

谷歌目前非常小心，不要那樣做。谷歌會做的是將你引向相關(guān)文件，這些文件中會有各種各樣的觀點。所以我認(rèn)為谷歌在發(fā)布聊天機(jī)器人時會比微軟更謹(jǐn)慎，并且它可能會附帶很多警告，這只是一個聊天機(jī)器人，不要一定相信它所說的。在標(biāo)簽上小心，或者在干預(yù)方式上小心，以免做出糟糕的事情。

要努力防止它說出不好的東西。但是，誰來決定什么是壞事呢？有些壞事是相當(dāng)明顯的，但是很多最重要的事情并不是那么明顯。所以，目前這是一個很大的懸而未決的問題。我認(rèn)為微軟發(fā)布ChatGPT是非常勇敢的。

你也不希望政府來做這件事。像我說的，我不知道答案，而且我不相信有人真的知道如何處理這些問題。我們必須學(xué)會如何快速處理這些問題，因為這是一個當(dāng)前的大問題。

# 06?

AI或許已經(jīng)具備“理解”能力

當(dāng)涉及到“理解”的時候，我很驚訝人們會自信地宣稱這些東西是沒有“理解”的。

當(dāng)你問他們“理解”的意思是什么時，他們會說他們不太清楚。那么如果你不知道“理解”的意思，你怎么能自信地說它們沒有理解呢？

所以也許它們已經(jīng)有“理解”了，誰知道呢。

我認(rèn)為它們是否有“理解”取決于你對“理解”的定義，所以你最好在回答這個問題之前先明確一下你對“理解”的定義。我們認(rèn)為它是否有“理解”能力重要嗎，還是只關(guān)注它是否能有效地表現(xiàn)出有理解的狀態(tài)？

我認(rèn)為一個很好的例子可以想到的是一種自主的致命武器。說它沒有感覺這也對，但是當(dāng)它在追逐你并射擊你時，你會開始認(rèn)為它有感覺。

我們并不真的關(guān)心，這不再是一個重要的標(biāo)準(zhǔn)了。我們正在開發(fā)的這種智能與我們的智能非常不同，它是某種伺候無知者的工具，它和我們不一樣。

我的目標(biāo)是理解我們。我認(rèn)為理解我們的方式是通過構(gòu)建像我們一樣的東西。我說過的那位物理學(xué)家理查德·費曼曾經(jīng)說過，你不能理解一件事情，除非你能夠構(gòu)建它。

# 07?

AI將使人們從事更有創(chuàng)造性的工作，而較少從事例行工作

如果你回顧歷史，看看自動取款機(jī)，這些現(xiàn)金機(jī)出現(xiàn)時，人們說這是銀行柜員的終結(jié)。但實際上，它并沒有終結(jié)銀行柜員的職位，現(xiàn)在銀行柜員處理更復(fù)雜的事情。

未來可以機(jī)器寫代碼，人來檢查代碼，這樣就能夠快10倍。你可以只用10%的程序員完成一樣的工作，或者使用相同數(shù)量的程序員，生產(chǎn)10倍的東西。

我們教育了很多人學(xué)習(xí)編程。教這么多人編程是否仍然有意義呢？在2015年左右，我曾經(jīng)聲稱，在未來五年內(nèi)，計算機(jī)將在圖像識別方面超越放射科醫(yī)生，因此教他們識別圖像中的東西已經(jīng)沒有意義了。事實證明，我的預(yù)測錯誤了，實際上需要10年，而不是5年。

我認(rèn)為有一段時間，我們?nèi)匀恍枰绦騿T。我不知道這段時間會有多長，但我們需要的程序員會減少。或者，我們可能需要相同數(shù)量的程序員，但產(chǎn)出更多。

# 08?

AI消滅人類的幾率介于0%和100%之間

就我所說，如果我們明智的話，我們會努力發(fā)展它，以免發(fā)生這種情況。

但是，令我擔(dān)憂的是政治局勢。確保每個人都明智行事是一個巨大的政治挑戰(zhàn)。這似乎是一個巨大的經(jīng)濟(jì)挑戰(zhàn)，因為你可能會有很多個體追求正確的道路，然而，公司的利潤動機(jī)可能不會像為他們工作的個體那樣謹(jǐn)慎。

我只真正了解谷歌，這是我唯一的工作公司。他們一直是最謹(jǐn)慎的公司之一。他們對AI非常謹(jǐn)慎，因為他們有一個提供你想要的答案的出色搜索引擎. 他們不想損害它。而微軟則不太關(guān)心這個問題。如果搜索消失了，微軟可能都不會注意到。

當(dāng)沒有人追趕他們的時候，谷歌采取緩慢的策略是容易的。谷歌一直處于領(lǐng)先地位。Transformers是在谷歌發(fā)明的，大型語言模型的早期版本也是在谷歌。他們更加保守，我認(rèn)為這是正確的。但現(xiàn)在他們感受到了壓力。所以他們正在開發(fā)一個名為“Bart”的系統(tǒng)，他們將發(fā)布該系統(tǒng)。他們正在對它進(jìn)行大量的測試，但我認(rèn)為他們會比微軟更謹(jǐn)慎。

直到不久前，我認(rèn)為在我們擁有通用人工智能之前還需要20到50年的時間。而現(xiàn)在我認(rèn)為可能是20年或更短時間。有些人認(rèn)為可能只有5年，幾年前我會說不可能，但現(xiàn)在我不會這樣說了。

# 09?

一旦賦予AI創(chuàng)造子目標(biāo)的能力，它就會變得更有效。

如果你想制造一種高效的自主士兵，你需要賦予它創(chuàng)造子目標(biāo)的能力。

換句話說，它必須意識到類似的事情，比如：“好吧，我想殺死那個人，但是要過去，我該怎么辦？”然后它必須意識到，如果能到達(dá)那條道路，可以更快地到達(dá)目標(biāo)地點。所以，它有一個到達(dá)道路的子目標(biāo)。

一旦你賦予它創(chuàng)造子目標(biāo)的能力，它就會變得更有效。像普京這樣的人會希望擁有這樣的機(jī)器人。

但是，一旦它具備了創(chuàng)造子目標(biāo)的能力，你就會遇到所謂的“對齊問題”，即如何確保它不會創(chuàng)造對人類或你自己不利的子目標(biāo)。誰知道那條路上會有什么人？誰知道會發(fā)生什么？

# 10?

AI研發(fā)需要“日內(nèi)瓦公約”

我們需要做的是使這種技術(shù)與人類互補(bǔ)，讓它幫助人們。我認(rèn)為這里的主要問題之一是我們所擁有的政治體系。

如果這些系統(tǒng)是由軍方研發(fā)的，那么將一條“永遠(yuǎn)不要傷害人類”的規(guī)則植入其中的想法，恐怕并不現(xiàn)實，因為它們本就是設(shè)計用來傷害人類的。

我認(rèn)為最好的辦法是類似于《日內(nèi)瓦公約》的東西，但達(dá)成會非常困難。

我覺得如果有大量的公眾抗議，那么可能會說服政府采取行動。我可以想象，在足夠的公眾抗議下，政府可能會采取某些行動。但是，你還需要應(yīng)對其他人。

# 11?

我們距離AI能夠自我改進(jìn)的時間點已經(jīng)非常近了

我認(rèn)為這是一個關(guān)鍵時刻。我們可能很接近了。然后它可能會變得非常快。

我們必須認(rèn)真思考如何控制這一點。我對這些成果有一點擔(dān)憂。

不過，我認(rèn)為不論發(fā)生什么，這幾乎都是不可避免的。

換句話說，一個人停止研究不會阻止這種情況的發(fā)生。如果我的影響只是讓它提前一個月發(fā)生，那么這就是一個人所能做的極限了。有這個想法，我可能說錯了，那就是短跑道和長起飛。

我認(rèn)為有時間準(zhǔn)備是好的。所以我認(rèn)為，現(xiàn)在就擔(dān)心這些問題是非常合理的，盡管在接下來的一兩年內(nèi)不會發(fā)生。人們應(yīng)該思考這些問題。

結(jié)語

Hinton先生不只是在學(xué)術(shù)上居功至偉，他的精神也對我們的社會有著借鑒的意義。

“雖千萬人吾往矣”，Hinton是計算機(jī)科學(xué)界為數(shù)不多的真正愿意去堅持自己的熱愛并且義無反顧的與其他人對抗的，他不畏懼別人的眼光，那并不是因為他不在意或者怎么樣——他似乎擁有洞察未來的雙眼，知道他的堅守會是正確的。

最后，以Hinton先生的一段話結(jié)尾。

We're just produced biologically. Most people doing?AI?don't have doubt that we're machines. And I shouldn't?say just. We're?special,wonderful?machines.

我們是機(jī)器，我們只是通過生物方式制造的。大多數(shù)做AI?的人對這一點毫不懷疑。我們只是特別精密的機(jī)器。我剛才不該說“只是”。我們是特別的、絕妙的機(jī)器。

為大家準(zhǔn)備好了人工智能的資料，領(lǐng)取資料看下方

1. 關(guān)注up主，后臺留下你的足跡“資料”

2. 評論區(qū)留下“已三連，資料”后臺找我拿資料

3. 祝大家學(xué)業(yè)有成，生活順利