吳恩達深度學習課程目錄，共計 5 個部分，16周，183P。

1. 神經網絡和深度學習
2. 改善深層神經網絡：超參數(shù)調試、正則化以及優(yōu)化
3. 結構化機器學習項目
4. 卷積神經網絡
5. 序列模型

1. 神經網絡和深度學習

第一周 ?深度學習概論：

學習驅動神經網絡興起的主要技術趨勢，了解現(xiàn)今深度學習在哪里應用、如何應用。

1.1 ?歡迎來到深度學習工程師微專業(yè)

1.2 ?什么是神經網絡？

1.3 ?用神經網絡進行監(jiān)督學習

1.4 ?為什么深度學習會興起？

1.5 ?關于這門課

1.6 ?課程資源

?

第二周 ?神經網絡基礎：

學習如何用神經網絡的思維模式提出機器學習問題、如何使用向量化加速你的模型。

2.1 ?二分分類

2.2 ?logistic 回歸

2.3 ?logistic 回歸損失函數(shù)

2.4 ?梯度下降法

2.5 ?導數(shù)

2.6 ?更多導數(shù)的例子

2.7 ?計算圖

2.8 ?計算圖的導數(shù)計算

2.9 ?logistic 回歸中的梯度下降法

2.10 ?m 個樣本的梯度下降

2.11 ?向量化

2.12 ?向量化的更多例子

2.13 ?向量化 logistic 回歸

2.14 ?向量化 logistic 回歸的梯度輸出

2.15 ?Python 中的廣播

2.16 ?關于 python / numpy 向量的說明

2.17 ?Jupyter / Ipython 筆記本的快速指南

2.18 ?（選修）logistic 損失函數(shù)的解釋

?

第三周 ?淺層神經網絡：

學習使用前向傳播和反向傳播搭建出有一個隱藏層的神經網絡。

3.1 ?神經網絡概覽

3.2 ?神經網絡表示

3.3 ?計算神經網絡的輸出

3.4 ?多樣本向量化

3.5 ?向量化實現(xiàn)的解釋

3.6 ?激活函數(shù)

3.7 ?為什么需要非線性激活函數(shù)？

3.8 ?激活函數(shù)的導數(shù)

3.9 ?神經網絡的梯度下降法

3.10 ?（選修）直觀理解反向傳播

3.11 ?隨機初始化

?

第四周 ?深層神經網絡：

理解深度學習中的關鍵計算，使用它們搭建并訓練深層神經網絡，并應用在計算機視覺中。

4.1 ?深層神經網絡

4.2 ?深層網絡中的前向傳播

4.3 ?核對矩陣的維數(shù)

4.4 ?為什么使用深層表示

4.5 ?搭建深層神經網絡塊

4.6 ?前向和反向傳播

4.7 ?參數(shù) VS 超參數(shù)

4.8 ?這和大腦有什么關系？

2.改善深層神經網絡：超參數(shù)調試、正則化以及優(yōu)化

第一周 ?深度學習的實用層面

1.1 ?訓練/開發(fā)/測試集

1.2 ?偏差/方差

1.3 ?機器學習基礎

1.4 ?正則化

1.5 ?為什么正則化可以減少過擬合？

1.6 ?Dropout 正則化

1.7 ?理解 Dropout

1.8 ?其他正則化方法

1.9 ?正則化輸入

1.10 ?梯度消失與梯度爆炸

1.11 ?神經網絡的權重初始化

1.12 ?梯度的數(shù)值逼近

1.13 ?梯度檢驗

1.14 ?關于梯度檢驗實現(xiàn)的注記

第二周 ?優(yōu)化算法

2.1 ?Mini-batch 梯度下降法

2.2 ?理解 mini-batch 梯度下降法

2.3 ?指數(shù)加權平均

2.4 ?理解指數(shù)加權平均

2.5 ?指數(shù)加權平均的偏差修正

2.6 ?動量梯度下降法

2.7 ?RMSprop

2.8 ?Adam 優(yōu)化算法

2.9 ?學習率衰減

2.10 ?局部最優(yōu)的問題

第三周 ?超參數(shù)調試、Batch正則化和程序框架

3.1 ?調試處理

3.2 ?為超參數(shù)選擇合適的范圍

3.3 ?超參數(shù)訓練的實踐：Pandas VS Caviar

3.4 ?正則化網絡的激活函數(shù)

3.5 ?將 Batch Norm 擬合進神經網絡

3.6 ?Batch Norm 為什么奏效？

3.7 ?測試時的 Batch Norm

3.8 ?Softmax 回歸

3.9 ?訓練一個 Softmax 分類器

3.10 ?深度學習框架

3.11 ?TensorFlow

3.結構化機器學習項目

第一周 ?機器學習（ML）策略（1）

1.1 ?為什么是ML策略

1.2 ?正交化

1.3 ?單一數(shù)字評估指標

1.4 ?滿足和優(yōu)化指標

1.5 ?訓練/開發(fā)/測試集劃分

1.6 ?開發(fā)集合測試集的大小

1.7 ?什么時候該改變開發(fā)/測試集和指標

1.8 ?為什么是人的表現(xiàn)

1.9 ?可避免偏差

1.10 ?理解人的表現(xiàn)

1.11 ?超過人的表現(xiàn)

1.12 ?改善你的模型的表現(xiàn)

第二周 ?機器學習（ML）策略（2）

2.1 ?進行誤差分析

2.2 ?清楚標注錯誤的數(shù)據

2.3 ?快速搭建你的第一個系統(tǒng)，并進行迭代

2.4 ?在不同的劃分上進行訓練并測試

2.5 ?不匹配數(shù)據劃分的偏差和方差

2.6 ?定位數(shù)據不匹配

2.7 ?遷移學習

2.8 ?多任務學習

2.9 ?什么是端到端的深度學習

2.10 是否要使用端到端的深度學習

4.卷積神經網絡

第一周? 卷積神經網絡

1.1? 計算機視覺

1.2? 邊緣檢測示例

1.3? 更多邊緣檢測內容

1.4? Padding

1.5? 卷積步長

1.6? 卷積為何有效

1.7? 單層卷積網絡

1.8? 簡單卷積網絡示例

1.9? 池化層

1.10? 卷積神經網絡示例

1.11? 為什么使用卷積？

第二周? 深度卷積網絡：實例探究

2.1? 為什么要進行實例探究

2.2? 經典網絡

2.3? 殘差網絡

2.4? 殘差網絡為什么有用？

2.5? 網絡中的網絡以及 1×1 卷積

2.6? 谷歌 Inception 網絡簡介

2.7? Inception 網絡

2.8? 使用開源的實現(xiàn)方案

2.9? 遷移學習

2.10? 數(shù)據擴充

2.11? 計算機視覺現(xiàn)狀

第三周? 目標檢測

3.1? 目標定位

3.2? 特征點檢測

3.3? 目標檢測

3.4? 卷積的滑動窗口實現(xiàn)

3.5? Bounding Box預測

3.6? 交并比

3.7? 非極大值抑制

3.8? Anchor Boxes

3.9? YOLO 算法

3.10? RPN網絡

第四周? 特殊應用：人臉識別和神經風格轉換

4.1? 什么是人臉識別？

4.2? One-Shot 學習

4.3? Siamese 網絡

4.4? Triplet 損失

4.5? 面部驗證與二分類

4.6? 什么是神經風格轉換？

4.7? 什么是深度卷積網絡？

4.8? 代價函數(shù)

4.9? 內容代價函數(shù)

4.10? 風格代價函數(shù)

4.11 一維到三維推廣

5.序列模型

第一周? 循環(huán)序列模型

本周的知識點是循環(huán)神經網絡。這種類型的模型已經被證明在時間數(shù)據上表現(xiàn)非常好，它有幾個變體，包括 LSTM、GRU 和雙向神經網絡，本周的課程中也都包括這些內容。

1.1? 為什么選擇序列模型

1.2? 數(shù)學符號

1.3? 循環(huán)神經網絡模型

1.4? 通過時間的反向傳播

1.5? 不同類型的循環(huán)神經網絡

1.6? 語言模型和序列生成

1.7? 對新序列采樣

1.8? 帶有神經網絡的梯度消失

1.9? GRU 單元

1.10? 長短期記憶（LSTM）

1.11? 雙向神經網絡

1.12? 深層循環(huán)神經網絡

第二周? 自然語言處理與詞嵌入

自然語言處理與深度學習是特別重要的組合。使用詞向量表示和嵌入層，可以訓練在各種行業(yè)中表現(xiàn)出色的循環(huán)神經網絡。應用程序示例包括情緒分析、物體識別和機器翻譯。

2.1? 詞匯表征

2.2? 使用詞嵌入

2.3? 詞嵌入的特性

2.4? 嵌入矩陣

2.5? 學習詞嵌入

2.6? Word2Vec

2.7? 負采樣

2.8? GloVe 詞向量

2.9? 情緒分類

2.10? 詞嵌入除偏

第三周??序列模型和注意力機制

注意力機制可以增強序列模型。這個算法將幫助你的模型理解，在給出一系列的輸入時，它應該把注意力放在什么地方。本周，你還將學習語音識別以及如何處理音頻數(shù)據。

3.1? 基礎模型

3.2? 選擇最可能的句子

3.3? 定向搜索

3.4? 改進定向搜索

3.5? 定向搜索的誤差分析

3.6? Bleu 得分（選修）

3.7? 注意力模型直觀理解

3.8? 注意力模型

3.9? 語音辨識

3.10? 觸發(fā)字檢測

3.11? 結論和致謝