最小二乘法，想必很多人熟悉又陌生，今天咱們來聊聊！

最小二乘法（ordinary least squares）是一種數(shù)學優(yōu)化方法，又稱最小平方法，由勒讓德和數(shù)學小王子高斯分別獨立提出，但高斯先發(fā)明（1809發(fā)表），勒讓德先發(fā)表（1805發(fā)表）。最小二乘法在機器學習領(lǐng)域里的應用便是最小二乘參數(shù)估計，當然最小二乘法與我們熟知的算數(shù)平均數(shù)以及正態(tài)分布之間也有密切關(guān)系，本推送將一一揭秘。

圖圖還記得，從小學二年測量數(shù)學課本邊長開始，數(shù)學老師就告訴我們要多次測量取平均值，具體操作就是將幾次測量結(jié)果加起來除以測量次數(shù)。

后來我們知道了這是為了求得算數(shù)平均值——用多次觀測值的算數(shù)平均值逼近真實值。

此處以y代表真實值，yhat代表算數(shù)平均值，y_i代表每次的觀測值；

這么做基于如下重要事實與假設(shè)：

• 真實值是無法得到的；

• 單次的測量誤差是隨機的；

在往后的中學與大學學習中我們也繼續(xù)這么使用。可是這樣有道理嘛？我們?yōu)槭裁床挥谜{(diào)和平均數(shù)？幾何平均數(shù)？為什么不用眾數(shù)或者中位數(shù)？來反映課本邊長的真值？

為了解決這個疑惑，我們不妨換個角度思考問題。

既然測量的誤差是隨機的，那么誤差應該圍繞真實值上下隨機波動（可以參考無偏估計的概念）。

由于誤差含有絕對值，進行微積分運算比較麻煩，所以干脆以平方值代替，同樣可以反映出誤差的大小：

假設(shè)某次測量有n個觀測（測量）值，那么測量值與真值之間的誤差平方和Rn為：

注意此時只有真值y是不知道的。我們知道yi圍繞y值隨機地上下波動，問題就變成了如何根據(jù)已有數(shù)據(jù)確定y的值。

舉例說明：如下圖所示，黃色數(shù)據(jù)為觀測值，其算數(shù)平均值為5；黑色橫線為真值，因為真值不確定，所以讓真值在數(shù)據(jù)間波動以尋找規(guī)律，發(fā)現(xiàn)當真值等于算數(shù)平均值時，誤差平方和最小，以此作為真值。

（動態(tài)繪圖代碼見文末~）

這是自洽的，也蠻符合直覺。因為如果誤差是隨機的，誤差應該圍繞著真值，真值應該使得誤差平方和最小。

下面我們讓Rn對y求兩次導，進行簡單的數(shù)學證明：

顯然Rn任意階連續(xù)可微，又二階導數(shù)恒為正，所以一階導數(shù)為0的點便是極小值點；

這一解答便是算數(shù)平均值。

也就是說算術(shù)平均數(shù)可以讓誤差（歐幾里得范數(shù)意義下）最小。

算數(shù)平均值只是最小二乘法應用的特例，可以看作是一組數(shù)據(jù)的0階擬合，多項式擬合以及函數(shù)逼近就是更廣泛一點的應用了。

以我們熟悉的線性擬合為例：

下圖中有一些數(shù)據(jù)點，它們似乎符合某種線性關(guān)系

由于不知道是什么關(guān)系，只能假設(shè)為：

根據(jù)最小二乘法的原理得到極值條件方程組（線性方程組）

方程組的解即為系數(shù)a和b。

對于上述數(shù)據(jù)，利用MATLAB求解出的曲線如下所示：

對于更高次的擬合，方法相同：

我們再來觀察一下對于15個數(shù)據(jù)點，從1次到16次多項式依次擬合的情況：

（動態(tài)繪圖代碼見文末~）

注意到，隨著擬合次數(shù)的增加，更多的點靠近擬合曲線（代數(shù)精度提升），但是曲線的振蕩變得更加嚴重（龍格現(xiàn)象），如何解決這一問題？這個部分我們之后再討論~

上述的合理性基于一個重要假設(shè)！使得誤差平方和最小的值為數(shù)據(jù)的真值，這個假設(shè)是符合直觀感受的，那么它是否合理呢？勒讓德雖然提出了最小二乘法，但高斯最早從概率分布的角度給出了更為具體的證明。

以一開始的書本邊長測量為例，設(shè)測量誤差為隨機變量epsilon，服從未知的概率分布p，

進而得到似然函數(shù)L(y)。根據(jù)極大似然估計的思想，聯(lián)合概率最大的情況最應該出現(xiàn)，那么似然估計的隨機變量y需要滿足下方駐值條件：

如果最小二乘是對的，那么:

解上方微分方程組得到：

這就是正態(tài)分布。并且可以證明正態(tài)分布和均值互為充要條件。

也就是說，如果誤差的分布是正態(tài)分布，那么最小二乘法得到的就是最有可能的值。

誤差的分布是正態(tài)分布嗎？如果誤差是由于隨機的、無數(shù)的、獨立的、多個因素造成的，那么根據(jù)中心極限定理，誤差的分布就應該是正態(tài)分布。至此，推理鏈已經(jīng)完整。

相信通過上述過程，您已經(jīng)基本了解了最小二乘法，算數(shù)平均值以及正態(tài)分布之間的關(guān)系，更多文中提到的相關(guān)的數(shù)值計算與概率方面的內(nèi)容將后續(xù)更新~

（文中的部分解答參考：https://www.zhihu.com/question/37031188/answer/411760828）

• 需文中的擬合與繪圖代碼，評論區(qū)留郵箱

• 動畫演示：