用這三本書,探究 ChatGPT 的底層邏輯
最近爆火的ChatGPT能夠很好地理解人類的語言,并以流暢且符合邏輯的自然語言來反饋。剛剛發(fā)布的GPT-4更是在各種學科考試(美國高考SAT、研究生入學考試GRE等)和專業(yè)考試(律師考試等)中能拿到前10%的成績。某種程度上,智能已經(jīng)接近人類的水平,這是之前人工智能系統(tǒng)無法想象的。
大家可能都很好奇,人工智能是怎么做到的?究竟發(fā)生了什么?背后的原理是什么?
ChatGPT的底層技術(shù),其實是大規(guī)模深度神經(jīng)網(wǎng)絡(luò),也就是深度學習?!拌b往”才能“知來”,關(guān)于這段歷史,在《人工智能簡史》第5章“神經(jīng)網(wǎng)絡(luò)簡史”中有非常精彩的描述。簡述一下:最初,神經(jīng)網(wǎng)絡(luò)出自控制論之父維納研究團隊的McCulloch和Pitts在1943年發(fā)表的論文(McCulloch是精神病學系的教授,而當時Pitts才20歲,高中輟學)。1957年,Rosenblatt發(fā)明的感知機爆紅,當時連美國國防部和海軍都資助了他的研究工作,Rosenblatt也一改往日的害羞,經(jīng)常在媒體出鏡,他開跑車,彈鋼琴,到處顯擺。這使得另一派的人相當不爽,Minsky堅定認為,神經(jīng)網(wǎng)絡(luò)不能解決人工智能的問題,還在書中證明單層神經(jīng)網(wǎng)絡(luò)連計算機最基礎(chǔ)的異或問題都無法解決,在Minsky的“強大攻擊”下,Rosenblatt最終遭遇不幸(1971年,Rosenblatt在生日當天劃船時淹死,很多人認為他是自殺。此外有證據(jù)表明,Rosenblatt和Minsky很早就有瓜葛,兩人是中學同學。而且早期,Minsky是神經(jīng)網(wǎng)絡(luò)的支持者)。到了七八十年代,只剩早期神經(jīng)網(wǎng)絡(luò)研究的“幸存者”Hinton等人在學術(shù)界邊緣苦苦堅持。終于到2012年,Hinton的得意門生Ilya Sutskever通過AlexNet解決視覺識別問題,一舉天下聞。而GPT系列更是Ilya在OpenAI率領(lǐng)一眾年輕生力軍幾年磨一劍,通過攻破語言問題,實現(xiàn)人工智能有史以來最大突破。

目前,深度學習方面有很多書,但大部分機器學習的內(nèi)容比較多,偏數(shù)學、理論,不容易懂,而且很多技術(shù)細節(jié)在大模型時代也沒那么重要了。要更直接、深入地理解神經(jīng)網(wǎng)絡(luò),圖靈有兩本書是最適合的。一本是魚書,一本是蘋果書。
“魚書”即《深度學習入門:基于Python的理論與實踐》,最近不少人在用它惡補深度學習基礎(chǔ)知識:


這是一本真正意義上的“入門書”!書中沒有使用內(nèi)容不明的黑盒,而是從我們能理解的最基礎(chǔ)的知識出發(fā),一步一步地實現(xiàn)最先進的深度學習技術(shù)。
美國物理學家費曼說:“What I cannot create,I do not understand.” 只有創(chuàng)造一個東西,才算真正弄懂了一個問題。這本書就是教你如何創(chuàng)建深度學習模型。跟隨這本書,你將從零開始編寫可實際運行的程序,一邊看源代碼,一邊思考。作者齋藤康毅堅信,這種做法對正確理解深度學習是很重要的。
如果把《深度學習入門》比作一本關(guān)于汽車的書,那么本書并不會教你怎么開車,而是要讓你理解汽車的原理。因此,會帶領(lǐng)你打開汽車的引擎蓋,把零件一個一個地拿在手里觀察,并嘗試操作它們。之后,用盡可能簡單的形式提取汽車的本質(zhì),并組裝汽車模型。
本書暢銷多年,在豆瓣上獲得 9.5 分好評!

上周五,云風大佬就在 Twitter 曬了自己的正在讀這本《深度學習入門》:

這條信息還吸引來了作者齋藤康毅:

進而引起了大家對這本“魚書”的討論,紛紛認可這是一本不可多得的入門好書!





第二本是 OpenAI 總裁兼董事長 Greg Brockman 的 AI 入門讀物“蘋果書”——《深入淺出神經(jīng)網(wǎng)絡(luò)與深度學習》:


Greg Brockman 說:在成為 OpenAI 的 CTO 之前,我原本對 AI 和機器學習知之甚少。幸運的是,我有一些在 AI 專家的朋友,包括 Dario Amodei 和 Chris Olah。我問他們一些建議,他們給了我一些很好的初學者資源。其中最有用的是 Michael Nielsen 的書 Neural Networks and Deep Learning,讀完之后,我在 Kaggle 上實踐了自己的新技能。在參加的第一場比賽中,我甚至一度是第一名!


Neural Networks and?Deep Learning by?Michael Nielsen圖靈將這本書翻譯為中文后,給它取了一個好記的名字:蘋果書。蘋果書真正做到了理論與實踐并重。首先,這本書細致地探討神經(jīng)網(wǎng)絡(luò)和深度學習的核心概念,而不是籠統(tǒng)地羅列想法。這些核心概念是理解其他新技術(shù)的基礎(chǔ),類比學習編程語言的話,這相當于掌握一種新語言的核心語法、庫和數(shù)據(jù)結(jié)構(gòu)。你可能只了解某一門編程語言的一小部分,但新的庫和數(shù)據(jù)結(jié)構(gòu)會容易理解。畢竟,技術(shù)興衰起落,而原理是長久的。
其次,本書將通過幾十行代碼,且不涉及特別的庫,教計算機識別手寫數(shù)字。然后通過多次迭代來改進程序,貫徹神經(jīng)網(wǎng)絡(luò)和深度學習的核心思想,同時開發(fā)一個小型神經(jīng)網(wǎng)絡(luò)庫,讓你可以方便地多次試驗、加強理解。因此基于本書內(nèi)容,你可以構(gòu)建出一個功能完備的生產(chǎn)級神經(jīng)網(wǎng)絡(luò)庫。希望有了理論和實踐的基礎(chǔ),你可以走得更遠。
此外,本書還得到了李航、馬少平等多位科學家重磅推薦:

這是一本非常好的深度學習入門書,相信一定會得到大家的喜愛。
——李航字節(jié)跳動科技有限公司人工智能實驗室總監(jiān) ACL會士、IEEE會士、ACM杰出科學家
這本書從神經(jīng)網(wǎng)絡(luò)和深度學習的基本原理入手,詳細地解釋了神經(jīng)網(wǎng)絡(luò)和深度學習的核心概念,兼顧理論和實踐,是深入了解神經(jīng)網(wǎng)絡(luò)和深度學習的一本好書。
——馬少平 清華大學計算機系教授 博士生導師
我從看完第1章開始就被其深入淺出的文字以及清晰的代碼實現(xiàn)所吸引。我相信,這本書的正式出版一定會讓更多的讀者受益。
——車萬翔 哈爾濱工業(yè)大學計算機科學與技術(shù)學院信息檢索研究中心教授 博士生導師
這是一本獨特且有趣的神經(jīng)網(wǎng)絡(luò)入門書,其細致程度基本上做到了手把手教學,非常適合初學者。我期待這本書能照亮更多人的人工智能之路。
——俞揚南 京大學人工智能學院教授 博士生導師
這是一位物理學家寫的機器學習書,內(nèi)容清晰易懂,對神經(jīng)網(wǎng)絡(luò)的描述也直觀形象,非常適合用來入門神經(jīng)網(wǎng)絡(luò)和深度學習。
——邱錫鵬 復(fù)旦大學計算機學院教授 博士生導師
這是一本關(guān)于神經(jīng)網(wǎng)絡(luò)和深度學習的“親近”易讀的書,它將帶領(lǐng)你輕松入門人工智能世界。
——張偉楠 上海交通大學計算機科學與工程系副教授 博士生導師
這本不可多得的好書通過豐富的示例和代碼實踐做到了知行合一。
——王昊奮 同濟大學特聘研究員 OpenKG聯(lián)合創(chuàng)始人
這本量子物理學家筆下的好書以一個個生動的實例驅(qū)動你恨不得一口氣讀完!
——徐涵 華為歐洲研究院高級戰(zhàn)略規(guī)劃經(jīng)理

被這么多靠譜的大佬推薦的好書,絕對值得信賴~
步入GPT時代,相信你我都意識到了:學習 AI 基礎(chǔ)知識,再也不是“只有研究 AI 的人需要”,我們每個人都該了解,如果你打算了解人工智能,使用人工智能,那么本文提到的三本書,都可以閉眼入!
最后,和大家分享一張 2018 年利用假期時間瘋狂學習的 Greg Brockman,共勉!
