散文網(wǎng) » 生活 »日常 » 第一次懂了梯度下降算法

第一次懂了梯度下降算法

2023-08-13 15:44 作者:陽光-積極成長版 0人讀過 | 我要投稿

下面以例子為例來解釋：

一元線性回歸

$h_%7B%5Ctheta%7D(x)%3D%5Ctheta_0%2B%5Ctheta_1x%2C%20J(%5Ctheta)%3D%5Cfrac%7B1%7D%7B2n%7D%5Csum_%7Bi%3D1%7D%5En(%5Ctheta_0%2B%5Ctheta_1x-y)%5E2$

其中 $J(%5Ctheta)$ 是目標(biāo)函數(shù)，梯度下降更新 $%5Ctheta$ 即：

$%5Ctheta_j%3A%3D%5Ctheta_j-%5Calpha%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20%5Ctheta_j%7DJ(%5Ctheta)$

其中 $%5Calpha$ 為學(xué)習(xí)率，對于一元線性回歸模型就是求參數(shù) $%5Ctheta_0%2C%5Ctheta_1$ ，即：

$%5Ctheta_0%3D%5Ctheta_0-%5Calpha%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5En%20(%5Ctheta_0%2B%5Ctheta_1x-y)%5C%5C%0A%5Ctheta_1%3D%5Ctheta_1-%5Calpha%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5En(%5Ctheta_0%2B%5Ctheta_1x-y)x$

代碼表示就是：

Logistic模型

$h_%7B%5Ctheta%7D(x)%3D%5Cfrac%7B1%7D%7B1%2Be%5E%7B-%5Ctheta%5ETx%7D%7D%3Dsigmoid(z)%5C%5C%0ALoss(h_%7B%5Ctheta%7D(x)%2Cy)%3D-%5Csum_%7Bi%3D1%7D%5En%5Bylog(h_%7B%5Ctheta%7D(x))%2B(1-y)log(1-h_%7B%5Ctheta%7D(x))%5D$

其中， $Loss$ 為目標(biāo)函數(shù)，且 $%5Cfrac%7B%5Cpartial%20Loss%7D%7B%5Cpartial%20%5Ctheta%7D%3D%5Csum_%7Bi%3D1%7D%5Enx(h_%7B%5Ctheta%7D(x)-y)$ ，梯度下降更新 $%5Ctheta$ 即：