大家好，今天我們要討論的主題是，最小二乘法的使用和推導(dǎo)。

最小二乘法的公式，θ=X轉(zhuǎn)置乘X，它的逆矩陣，再乘以X的轉(zhuǎn)置乘y。相信這個公式大家一定不陌生。但它怎么用？又是如何推導(dǎo)出來的？這就是我們今天要講的內(nèi)容。

最小二乘法解決線性回歸

最小二乘法是解決線性回歸問題的常用方法。線性回歸用于研究自變量X與因變量Y之間的關(guān)系。

例如，設(shè)自變量X對應(yīng)房子面積，Y是房子的價格，我們希望研究面積與價格之間的關(guān)系，就可以基于最小二乘法，構(gòu)建出線性回歸模型。

為了弄清楚最小二乘法算法，我們需要先了解線性回歸，包括線性回歸模型的定義和模型的代價函數(shù)兩個內(nèi)容。

設(shè)線性回歸模型為hθ(x)。在該模型中，θ是模型的參數(shù)，x是輸入的自變量，n是x的維度。模型根據(jù)輸入的X，給出預(yù)測值hθ(x)。

在面積x與價格y這一問題中，令hθ(x)=θ1x+θ0，它代表價格的預(yù)測值。最初參數(shù)θ1和θ0是未知的，我們希望通過算法，計算出一組θ1和θ0，使得模型hθ(x)能盡量的準確預(yù)測價格y。

例如，將已知的8個樣本數(shù)據(jù)，畫在坐標系中。接著畫出3條直線，每條直線對應(yīng)一組θ0和θ1。這時可以觀察到，直線3是最好的擬合這些樣本的直線，其次是直線2，最后是直線1。

那么，如何求出那個最好的直線的參數(shù)θ呢？答案就是最小二乘法。在這個公式中，X和y就是已知樣本的面積和價格對應(yīng)的矩陣。將這些數(shù)據(jù)放到公式中進行計算，就得到了結(jié)果θ。

為了引出這個公式。我們需要了解模型的代價函數(shù)。實際上，我們的目的是求線性回歸模型hθ(x)中理想的參數(shù)θ。

到底哪組參數(shù)θ更好，需要定義一個算式去衡量。而這個衡量θ好壞的式子，被稱為代價函數(shù)。

線性回歸的代價函數(shù)

線性回歸的代價函數(shù)，是基于均方誤差定義的。在公式中，m是數(shù)據(jù)個數(shù)，第i個數(shù)據(jù)的特征為x-i，真實值是y-i，預(yù)測值是hθ(xi)。

由于每個樣本的橫坐標x和縱坐標y都是已知的，所以在代價函數(shù)J(θ)中，未知數(shù)是直線方程的參數(shù)，截距θ0與斜率θ1。

下面我們以一元線性回歸來說明這個公式。例如，表格中有3個樣本，其中θ0+θ1*50這一列是預(yù)測值，280這一列是真實值。

將3個樣本的預(yù)測值和真實值帶入到J(θ)中，并將J(θ)展開，會得到一個關(guān)于θ0 和θ1 的二元函數(shù)。

這個函數(shù)的值越大，說明θ0和θ1就越不合適。因此，我們要求出使得代價函數(shù)J(θ)取得最小值時，參數(shù)θ0和θ1的取值。

有許多方法可以求出參數(shù)θ，我們可以使用基于迭代的梯度下降算法，也可以使用基于求導(dǎo)的數(shù)學(xué)方法。

最小二乘法，就是基于矩陣微分推導(dǎo)出來的θ的求解公式。下面我們就來看該公式的推導(dǎo)過程。

?

最小二乘法的推導(dǎo)

在推導(dǎo)最小二乘法的公式時，需要將X、y和θ都看做是一個整體，進行矩陣的加、減、乘和求導(dǎo)運算。在計算過程中，矩陣θ是未知數(shù)，矩陣X和y是已知的。

為了求出θ，需要求代價函數(shù)J(θ)關(guān)于矩陣θ的偏導(dǎo)數(shù)，然后令該偏導(dǎo)數(shù)等于0，進而求出矩陣θ的值。

J(θ)表達式的化簡

為了對該矩陣方程求解，需要對矩陣的運算進行化簡，然后對矩陣求導(dǎo)。首先根據(jù)矩陣轉(zhuǎn)置的公式，將轉(zhuǎn)置運算化簡到括號內(nèi)，得到y(tǒng)轉(zhuǎn)置減θ轉(zhuǎn)置乘X轉(zhuǎn)置，然后再乘以y減X乘θ。

將這個算式展開，會得到一個關(guān)于θ矩陣的多項式，一共有4項。我們可以對這四項，分別求關(guān)于θ矩陣的偏導(dǎo)數(shù)。

矩陣的求導(dǎo)公式

關(guān)于矩陣的求導(dǎo)，需要依賴下面這3個公式:

在公式中，矩陣X是未知量，矩陣A是常數(shù)矩陣，也就是要求關(guān)于X的偏導(dǎo)數(shù)。

在使用公式時，我們將待求導(dǎo)的算式與公式中的每一項進行對應(yīng)。這里要注意，使用公式時，需要嚴格的一項一項的對應(yīng)使用，并且要避免對應(yīng)的錯誤。

例如，在待求導(dǎo)的算式中，yTX、XTy、XTX，這三個矩陣的計算結(jié)果對應(yīng)公式中的常數(shù)A，而θ矩陣對應(yīng)公式中的未知量X。

關(guān)于矩陣的求導(dǎo)、矩陣微分，我們不必深究這些矩陣求導(dǎo)的公式是如何推導(dǎo)出來的，只需要知道如何使用它們就可以了。

?

對J(θ)進行求導(dǎo)和化簡

根據(jù)這三個公式，對J(θ)偏導(dǎo)數(shù)中的4項分別進行求導(dǎo)和化簡:

第1項是對常數(shù)矩陣求導(dǎo)，結(jié)果直接是0。

而第2、3、4項，需要將未知量矩陣θ，看做是公式中的矩陣X，已知的矩陣看做是公式中的A。

具體來說，化簡第2項，需要根據(jù)公式1，其中y的轉(zhuǎn)置乘X看做是矩陣A，θ矩陣看做公式中的X。得到的結(jié)果是A的轉(zhuǎn)置，也就是矩陣X的轉(zhuǎn)置乘y。

化簡第3項，根據(jù)公式2，將X的轉(zhuǎn)置乘y看做A，結(jié)果是X的轉(zhuǎn)置乘y。

化簡第4項，根據(jù)公式3，將X的轉(zhuǎn)置乘X看做A，結(jié)果是2倍的X轉(zhuǎn)置乘X再乘未知的矩陣θ。

?

求關(guān)于θ的矩陣方程

因此，經(jīng)過矩陣求導(dǎo)后，這四項結(jié)果相加的和是0，整理后得到方程，負2倍的X轉(zhuǎn)置乘y加2倍的X轉(zhuǎn)置乘X再乘矩陣θ。

解這個關(guān)于θ的方程，需要移項和化簡。這里要注意，在化簡時，方程的兩邊，需要同時乘以，X轉(zhuǎn)置乘X的逆矩陣，進而解出未知矩陣θ。

因此我們就通過解矩陣方程的方法，求出在代價函數(shù)J(θ)取得最小值時，參數(shù)矩陣θ的值，它是一個關(guān)于特征向量矩陣X和標簽矩陣y的算式。這個結(jié)果可以直接使用，非常的方便。

另外要說明的是，需要是一個滿秩矩陣，其行列式的值det()不等于0，這樣才會有逆矩陣。

那么到這里，最小二乘法的使用和推導(dǎo)就講完了，感謝大家的觀看，我們下節(jié)課再會。