【Pytorch學習】用隨機梯度下降算法思想求函數(shù)極值
隨機梯度下降(Stochastic gradient descent,SGD)算法,在深度學習中,經(jīng)常被用來對神經(jīng)網(wǎng)絡模型的參數(shù)進行更新。這里,為了便于學習理解,我們用參照這種算法思想和原理來求解函數(shù)的極值。
已知函數(shù) f(x),定義域 {-11 <?x?<?10}
?
首先,我們借助 python 將函數(shù)圖像繪制出來,如下圖所示:

接下來,我們用 pytorch 提供的自動求導功能,根據(jù)隨機梯度下降算法的思想來求函數(shù)的極值。
經(jīng)過多輪的 x 值的更新迭代之后,可以看到 y 的值已經(jīng)逼近函數(shù)的最小值了。

如果不確定這個值是否正確,我們可以手動計算一下。
極值點為:
?時,

標簽: