**3.5 談?wù)撎荻认陆捣??????** 嘿，梯度下降法（Gradient Descent）是機(jī)器學(xué)習(xí)中經(jīng)常出現(xiàn)的一個(gè)算法，它能幫我們找到函數(shù)的局部極小值，也被親切地稱為"最速下降法"?？赡阒肋@家伙到底是個(gè)啥玩意兒?jiǎn)幔? **梯度下降法**：??? 梯度下降法是一種一階最優(yōu)化算法，用于尋找函數(shù)的局部極小值。它通過(guò)不斷迭代搜索，以負(fù)梯度方向的規(guī)定步長(zhǎng)距離點(diǎn)，來(lái)逼近函數(shù)的極小值點(diǎn)。如果你敢往梯度的正方向前進(jìn)，那就會(huì)找到函數(shù)的局部極大值點(diǎn)，這叫做梯度上升法。額，梯度是什么呢？ **梯度**：?? 在單變量實(shí)值函數(shù)中，梯度就是導(dǎo)數(shù)；對(duì)于線性函數(shù)，它等同于線的斜率。 還不明白？別著急，我們可以用一個(gè)生動(dòng)的例子來(lái)解釋。假設(shè)我們正在建立一個(gè)房屋估價(jià)系統(tǒng)，要預(yù)測(cè)房屋價(jià)值，考慮到房屋的面積。這里，房屋面積就是一個(gè)特征（Feature），而房屋價(jià)值是我們的目標(biāo)（Target）。 如果有一些已有的房屋銷售數(shù)據(jù)，我們可以繪制一個(gè)圖表，橫軸是房屋面積，縱軸是房屋售價(jià)。如下：  現(xiàn)在，假設(shè)有一間房屋的面積是我們之前的數(shù)據(jù)中沒(méi)有的，我們?cè)趺搭A(yù)測(cè)它的價(jià)格呢？ 我們可以使用一條曲線來(lái)擬合這些數(shù)據(jù)，然后根據(jù)這個(gè)曲線上對(duì)應(yīng)點(diǎn)的值來(lái)預(yù)測(cè)新房屋的價(jià)格。如果我們使用一條直線來(lái)擬合數(shù)據(jù)，可能如下圖所示：  那些綠色的點(diǎn)就是我們想要預(yù)測(cè)的新房屋數(shù)據(jù)點(diǎn)。 現(xiàn)在，為了建立數(shù)學(xué)模型，我們引入一些概念和符號(hào)： - **房屋銷售記錄表（訓(xùn)練集）：** 這是我們的輸入數(shù)據(jù)，通常用 x 表示。 - **房屋銷售價(jià)錢：** 這是輸出數(shù)據(jù)，通常用 y 表示。 - **擬合函數(shù)（假設(shè)或模型）：** 通常寫作 y = h(x)。 - **訓(xùn)練數(shù)據(jù)的數(shù)量：** 通常用 n 表示。 - **輸入數(shù)據(jù)的維度（特征數(shù)量）：** 通常用 #features 表示。 接下來(lái)，我們進(jìn)行典型的機(jī)器學(xué)習(xí)過(guò)程。首先，我們有了一個(gè)輸入數(shù)據(jù)，我們的算法會(huì)通過(guò)一系列步驟得到一個(gè)估計(jì)的函數(shù)，這個(gè)函數(shù)能夠?qū)ξ匆?jiàn)過(guò)的新數(shù)據(jù)進(jìn)行估計(jì)，也就是構(gòu)建一個(gè)模型。 我們使用 X1，X2...Xn 來(lái)描述特征的分量，比如 x1 可以是房間的面積，x2 可以是房間的朝向等等。我們可以使用一個(gè)估計(jì)函數(shù)： h(x) = θ0 + θ1 * x1 + θ2 * x2 + ... + θn * xn 在這里，θ 是參數(shù)，代表每個(gè)分量對(duì)結(jié)果的影響力，就是確定房間面積和地段哪個(gè)更重要的問(wèn)題。 如果我們令 X0 = 1，我們可以用向量的方式表示： X = [X0, X1, X2, ..., Xn] 接下來(lái)，我們需要一個(gè)機(jī)制來(lái)評(píng)估我們的 θ 是否好。為此，我們使用損失函數(shù)（Loss Function）來(lái)描述 h 函數(shù)的好壞程度，通常稱為 J 函數(shù)。損失函數(shù)描述了 h 函數(shù)與實(shí)際值的差異程度。對(duì)于單一樣本，這通常是誤差的平方和，前面乘以系數(shù) 1/2 是為了方便求導(dǎo)。 J(θ) = 1/2 * (h(x) - y)^2 那么，如何調(diào)整 θ 以使 J(θ) 取得最小值呢？有很多方法，其中包括最小二乘法（最小平方法），以及我們今天的主角，梯度下降法。 **梯度下降算法流程**：???♂? 1. 首先，給 θ 賦初值，可以是隨機(jī)的，也可以是全零向量。 2. 改變 θ 的值，使 J(θ) 沿著負(fù)梯度的方向減小。為了更清晰地描述，看下面的圖表： ?? ??這個(gè)圖表示參數(shù) θ 和誤差函數(shù) J(θ) 的關(guān)系。紅色部分表示 J(θ) 較高的地方，我們需要的是能讓 J(θ) 盡量低的地方，也就是深藍(lán)色區(qū)域（最小化誤差/損失）。θ0 和 θ1 表示 θ 向量的兩個(gè)維度。 ??在前面提到的梯度下降法的第一步，我們給 θ 一個(gè)初始值，假設(shè)是圖中的十字點(diǎn)。 ??接下來(lái)，我們調(diào)整 θ，使得 J(θ) 向著 更低的方向變化，如下圖所示。算法結(jié)束時(shí)，J(θ) 下降到無(wú)法繼續(xù)減小的地方。 ?? 當(dāng)然，最終的梯度下降點(diǎn)可能不是全局最小點(diǎn)，而是局部最小點(diǎn)，如下圖所示：  上圖描述了一個(gè)局部最小點(diǎn)，這是在重新選擇初始點(diǎn)后得到的，看來(lái)初始點(diǎn)的選擇會(huì)在很大程度上影響我們的算法是否陷入局部最小點(diǎn)。 現(xiàn)在，讓我們通過(guò)一個(gè)例子來(lái)說(shuō)明梯度下降的過(guò)程。對(duì)于我們的函數(shù) J(θ)，我們計(jì)算偏導(dǎo)數(shù) ?J/?θ，然后使用以下更新過(guò)程，即θi 向著梯度最小的方向變化： θi = θi - α * ?J/?θi 一個(gè)重要的點(diǎn)是，梯度有方向，對(duì)于向量θ，每一維分量θi 都有一個(gè)梯度方向，我們可以找到一個(gè)整體的方向，在變化時(shí)，我們朝著最陡峭的方向前進(jìn)，以達(dá)到最小點(diǎn)，無(wú)論是局部還是全局的。 希望這解釋了梯度下降法的基本概念和原理。這是一個(gè)非常重要的算法，廣泛用于訓(xùn)練機(jī)器學(xué)習(xí)模型，無(wú)論是線性回歸還是深度神經(jīng)網(wǎng)絡(luò)。梯度下降法為我們提供了一種有效的方式，讓我們的模型更好地?cái)M合數(shù)據(jù)，找到最佳參數(shù)配置。??????