梯度下降法 gradient descent

梯度：對一個多元函數(shù)求偏導(dǎo),會得到多個偏導(dǎo)函數(shù).這些導(dǎo)函數(shù)組成的向量，一元函數(shù)的梯度可以理解為就是它的導(dǎo)數(shù)。

當圖像為嚴格的凸函數(shù)，可求解全局最優(yōu)解。

當圖像為非嚴格意義的凸函數(shù)時，會因初始值的不同找到不同的局部最優(yōu)解。

梯度下降給出的辦法是:先隨便蒙一個點出來,然后根據(jù)這個點每次下降一點點，什么時候下降得到的值(點帶入偏導(dǎo)函數(shù)得到的)和上一次的值基本基本一樣也就是相差特別特別小的時候,我們認為就到了最低點.

其實求解多元函數(shù)和一元函數(shù)的道理是一樣的,只不過函數(shù)是一元的時候,梯度中只有一個導(dǎo)函數(shù),函數(shù)時多元的時候,梯度中有多個導(dǎo)函數(shù).當我們把梯度中的所有偏導(dǎo)函數(shù)都變?yōu)?的時候,就可以找到每個未知數(shù)的對應(yīng)解