只要你懂 Python，大概記得高中學(xué)過的求導(dǎo)知識，看完這個視頻你還不理解反向傳播和神經(jīng)網(wǎng)絡(luò)核心要點的話，那我就吃鞋:D

Andrej Karpathy，前特斯拉 AI 高級總監(jiān)、曾設(shè)計并擔(dān)任斯坦福深度學(xué)習(xí)課程 CS231n 講師、OpenAI 創(chuàng)始成員和研究科學(xué)家。在 7 月離職特斯拉后，Andrej 在家錄制了一個詳解反向傳播的課程，自信表示“這是 8 年來領(lǐng)域內(nèi)對神經(jīng)網(wǎng)絡(luò)和反向傳播的最佳講解”，并在推特打賭“看不懂就吃鞋”。

?雖然很想看 Andrej 直播吃鞋，但實話實說，作為小白的我，好像真的看懂了。

課程視頻

（視頻字幕由矩池云翻譯制作）

課程介紹

課程時長 2 小時 25 分鐘，基于micrograd詳細介紹并演示了神經(jīng)網(wǎng)絡(luò)的搭建和反向傳播的過程。Micrograd是 Andrej 于 2020 年編寫并開源的微型 autograd（自動梯度）引擎。其中用100 行代碼實現(xiàn)了針對動態(tài)構(gòu)建的 DAG 的反向傳播算法，并用50行代碼實現(xiàn)了類 PyTorch API 的庫。目前，micrograd 項目的 GitHub Star 量已達 2.6k。

基于 micrograd，Andrej 介紹了只有一個輸入的簡單函數(shù)的求導(dǎo)（ y = 3x2 - 4x + 5 這個函數(shù)中，求 y 對 x 的導(dǎo)數(shù)）和具有多個輸入的簡單函數(shù)的求導(dǎo)（已知3個輸入 a、b、c，并且d = a * b + c，求 d 分別對 a、b、c 的導(dǎo)數(shù)）、啟動 micrograd 的核心 Value 對象及其可視化的方法，并舉了兩個手動反向傳播的例子。接下來 Andrej 系統(tǒng)地介紹了：

• 為單個運算實現(xiàn)反向傳播；

• 為整個表達式圖實現(xiàn)反向函數(shù)；

• 修復(fù)反向傳播中一個節(jié)點多次使用出現(xiàn)的 bug；

• 使用更多運算替換 tanh 激活函數(shù)；

• 在 PyTorch 中實現(xiàn)上述運算并與 micrograd 進行比較；

• 用 micrograd 構(gòu)建一個神經(jīng)網(wǎng)絡(luò)庫（MLP）；

• 創(chuàng)建一個微型數(shù)據(jù)集，編寫損失函數(shù)；

• 收集神經(jīng)網(wǎng)絡(luò)的所有參數(shù)；

• 手動進行梯度下降優(yōu)化，訓(xùn)練網(wǎng)絡(luò)。

• 最后 Andrej 總結(jié)了反向傳播與現(xiàn)代神經(jīng)網(wǎng)絡(luò)的關(guān)系。此外，Andrej 還探究了 PyTorch 中 tanh 激活函數(shù)的反向傳播機制

課程主講

Andrej Karpathy出生于斯洛伐克，15歲隨家人移民加拿大。

來到加拿大的 Andrej 還不會說英語，但數(shù)學(xué)成績非常優(yōu)秀，完成高中學(xué)業(yè)后進入多倫多大學(xué)計算機科學(xué)與物理系并輔修數(shù)學(xué)，在那里他遇到了 Geoffrey Hinton 教授，也是在 Geoff 的課上，他接觸到了深度學(xué)習(xí)算法。

2009 - 2011 年，Andrej 碩士就讀于加拿大不列顛哥倫比亞大學(xué)，其導(dǎo)師為計算機科學(xué)系教授 Michiel van de Panne，主要研究物理模擬中用于敏捷機器人的機器學(xué)習(xí)。

• CS231n 初露鋒芒

2011 年，Andrej 進入斯坦福大學(xué)攻讀博士學(xué)位，師從李飛飛主攻深度學(xué)習(xí)和圖像識別。在斯坦福，他和導(dǎo)師李飛飛一起研究圖像識別與深度學(xué)習(xí)算法，主導(dǎo)設(shè)計了斯坦福第一門深度學(xué)習(xí)課程《CS231n：用于視覺識別的卷積神經(jīng)網(wǎng)絡(luò)》，并和李飛飛共同擔(dān)任主講人。很快，這門課成為斯坦福的網(wǎng)紅課程，注冊學(xué)生從開課時的150人增加到兩年后的750人。

在讀博期間，Andrej 發(fā)表的多篇論文都是 CV 領(lǐng)域的高引文章，還在 Google、DeepMind 兩家公司實習(xí)。

• “他會是全世界最頂級的AI領(lǐng)袖”

2016年 Andrej 成為 OpenAI 創(chuàng)始成員，也是在這里，他的天賦被馬斯克看中，馬斯克不惜得罪 OpenAI 其他成員把 Andrej 從 OpenAI 帶到了特斯拉。五年里，Andrej 一手促成了 Autopilot 的開發(fā)。隨著特斯拉從最開始的自動駕駛慢慢擴展到更廣泛的人工智能領(lǐng)域，他也被提為特斯拉的AI高級總監(jiān)，直接向馬斯克匯報工作。

據(jù)說馬斯克曾說過，很多人把 Andrej 當(dāng)做優(yōu)秀的 AI 視覺科學(xué)家，但我知道，他會是全世界最頂級的 AI 領(lǐng)袖。

而這位 AI 領(lǐng)袖現(xiàn)在才36歲...

參考及鏈接

1. 矩池云?https://www.matpool.com/

2. Micrograd?https://github.com/karpathy/micrograd/

3. Andrej Karpathy https://karpathy.ai/

?