標(biāo)量導(dǎo)數(shù)

亞導(dǎo)數(shù)

• 將導(dǎo)數(shù)拓展到不可微的函數(shù)

梯度

• 將導(dǎo)數(shù)拓展到向量

• y 是一個(gè)標(biāo)量，x是一個(gè)向量
• 結(jié)果是一個(gè)行向量
• 在等高線上某一點(diǎn)做切線，然后作正交線（梯度和等高線是正交的：梯度指向的是值變化最大的方向，通常是往大的值走）

樣例

• y 是一個(gè)向量，x是一個(gè)標(biāo)量
• 結(jié)果也是一個(gè)列向量

• x，y 都是向量
• 結(jié)果是一個(gè)矩陣
• y 的每一個(gè)元素與向量x進(jìn)行求導(dǎo)，最終得到一個(gè)矩陣

Q&A

14、導(dǎo)數(shù)的作用主要是進(jìn)行梯度下降，但容易陷入局部最優(yōu)解？請問可以使用李雅普諾夫函數(shù)或者其他方法（例如模擬退火算法）來使得下降得到全局最優(yōu)解嗎？

• 如果是凸函數(shù)的話，可以達(dá)到最優(yōu)，如果不是凸函數(shù)的話，其實(shí)很難拿到最優(yōu)解，理論上，數(shù)學(xué)是可以拿到最優(yōu)解的，但是數(shù)學(xué)上幾乎是拿不到最優(yōu)解的
• 機(jī)器學(xué)習(xí)幾乎是不會(huì)處理凸函數(shù)的，如果問題能夠得到最優(yōu)解的話，就是P的問題，機(jī)器學(xué)習(xí)不關(guān)心P的問題，只關(guān)心NP的問題

15、一個(gè)向量的單位向量對其自身求導(dǎo)是多少？ d[x / |x| ] / d[ x ],分子是把它變單位向量，分母是其自身

沒有白板，不進(jìn)行展開計(jì)算

16、Pytorch和MXNet是采用的自動(dòng)微分和計(jì)算圖吧，不會(huì)再使用手動(dòng)微分實(shí)現(xiàn)吧？

• 馬上會(huì)講到自動(dòng)微分和計(jì)算圖，不會(huì)讓我們手動(dòng)求導(dǎo)，但是基礎(chǔ)數(shù)學(xué)希望大家知道（導(dǎo)數(shù)大概的計(jì)算過程，不需要知道整個(gè)的計(jì)算過程，但至少能夠清楚導(dǎo)數(shù)的形狀和input的形狀大概應(yīng)該是一個(gè)什么樣的關(guān)系）

----end----