【銀蛇出品】數(shù)學(xué)漫談14——關(guān)于最小二乘擬合的一些思考

2022-10-13 15:31 作者:山舞_銀蛇 0人讀過 | 我要投稿

前置知識：線性代數(shù)、插值、數(shù)值逼近

前言：最小二乘擬合是進(jìn)行數(shù)值逼近的常用手段。本文主要考慮兩個問題，其一是最小二乘擬合與插值之間的關(guān)系，其二是如何利用已知點各階導(dǎo)數(shù)值的信息做最小二乘擬合。在最后還將附上針對第二個問題的Matlab代碼。

關(guān)鍵內(nèi)容：最小二乘擬合、插值、導(dǎo)數(shù)值

一、最小二乘擬合的范數(shù)與內(nèi)積觀點

??? 假設(shè)我們已知點

$(x_i%2Cf(x_i))%2Ci%3D1%2C2%2C%5Ccdots%2Cn$

選擇基函數(shù)

$%5C%7B%5Cvarphi_i%3D%5Cvarphi_i(x)%3Ai%3D1%2C2%2C%5Ccdots%2Cm%5C%7D$

進(jìn)行擬合。按照范數(shù)的觀點，我們應(yīng)該尋找一個

$%5Cvarphi%3D%5Csum_%7Bj%3D1%7D%5E%7Bm%7Dc_j%5Cvarphi_j$

使得 $%5C%7C%5Cvarphi-f%5C%7C$ 達(dá)到最小，這只需令 $%5Cfrac%7B%5Cmathrm%7Bd%7D%5C%7C%5Cvarphi-f%5C%7C_p%5Ep%7D%7B%5Cmathrm%7Bd%7Dc_j%7D%3D0$ 。由于考慮的是離散點，我們按如下方式取范數(shù)：

$%5C%7Cf%5C%7C_p%3D%5Cleft(%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%7Cf(x_i)%7C%5Ep%5Cright)%5E%5Cfrac%7B1%7Dp%7B%7D$

計算可得

$%5Cfrac%7B%5Cmathrm%7Bd%7D%5C%7C%5Cvarphi-f%5C%7C_p%5Ep%7D%7B%5Cmathrm%7Bd%7Dc_j%7D%3Dp%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft(%7C%5Cvarphi(x_i)-f(x_i)%7C%5E%7Bp-2%7D(%5Cvarphi(x_i)-f(x_i))%5Cvarphi_j(x_i)%5Cright)%3D0$

如果取 $p%3D2$ ，上式就比較簡單

$%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%5Cleft(%5Csum_%7Bk%3D1%7D%5Em%20c_k%5Cvarphi_k(x_i)-f(x_i)%5Cright)%5Cvarphi_j(x_i)%3D0$

這也是我們通常選擇2-范數(shù)構(gòu)建最小二乘擬合方程的原因。

??? 同時我們注意到，按這種取法的2-范數(shù)滿足平行四邊形公式，因此可以由它誘導(dǎo)出一種內(nèi)積。事實上我們知道這種內(nèi)積就應(yīng)該是：

$(f%2Cg)%3D%5Csum_%7Bi%3D1%7D%5Enf(x_i)g(x_i)$

那么，可不可以直接用內(nèi)積的觀點看最小二乘擬合呢？這個問題實際上就是在 $%5Cmathrm%7Bspan%7D%5C%7B%5Cvarphi_i%5C%7D$ 上尋找 $f$ 的投影，即

$(f-%5Cvarphi%2C%5Cvarphi_j)%3D0$

容易驗證，這與基于2-范數(shù)給出的擬合方程是一致的。

二、最小二乘擬合與插值的聯(lián)系

??? 插值所做的事情可以描述為：仍假設(shè)已知 $n$ 個點，但給定 $n$ 個簡單函數(shù) $%5Cvarphi_i%3D%5Cvarphi_i(x)$ ，找到其線性組合使得其剛好通過所有給定點。記

$%5Cboldsymbol%5Cvarphi_i%5E%5Cmathrm%7BT%7D%3D(%5Cvarphi_i(x_1)%2C%20%5Cvarphi_i(x_2)%2C%5Ccdots%2C%5Cvarphi_i(x_n))$

$%5Cboldsymbol%7Bf%7D%5E%5Cmathrm%7BT%7D%3D(f(x_1)%2C%20f(x_2)%2C%5Ccdots%2Cf(x_n))$

則尋找線性組合系數(shù) $%5Cboldsymbol%7Bc%7D%5E%5Cmathrm%7BT%7D%3D(c_1%2Cc_2%2C%5Ccdots%2Cc_n)$ 事實上就是求解線性方程組

$(%5Cboldsymbol%7B%5Cvarphi%7D_1%2C%5Cboldsymbol%7B%5Cvarphi%7D_2%2C%5Ccdots%2C%5Cboldsymbol%7B%5Cvarphi%7D_n)%5Cboldsymbol%7Bc%7D%3D%5Cboldsymbol%7Bf%7D$

當(dāng)基函數(shù)選為 $%5Cvarphi_i(x)%3Dx%5E%7Bi-1%7D$ 時，系數(shù)矩陣事實上就是Vandermonde矩陣，只要所給兩點橫坐標(biāo)不相同，那么該方程就有且只有唯一解。（若選擇多項式形式的基函數(shù)，總可在此基礎(chǔ)上通過適當(dāng)?shù)目赡孀儞Q實現(xiàn)，從而說明這種情況也是有且只有唯一解的。對于更一般的非多項式形式，應(yīng)該需要額外驗證。）

??? 通過觀察能夠發(fā)現(xiàn)，做擬合相較于做插值，就是所給基函數(shù)的個數(shù)少于已知點的個數(shù)，這導(dǎo)致前邊的方程組變?yōu)?/p>

$(%5Cboldsymbol%7B%5Cvarphi%7D_1%2C%5Cboldsymbol%7B%5Cvarphi%7D_2%2C%5Ccdots%2C%5Cboldsymbol%7B%5Cvarphi%7D_m)%5Cboldsymbol%7Bc%7D%3D%5Cboldsymbol%7Bf%7D$

系數(shù)矩陣的行數(shù)大于列數(shù)，說明這是個超定方程，一般情況下是無解的。這時可以尋求其最佳最小二乘解，在左右兩邊同時左乘系數(shù)矩陣的轉(zhuǎn)置得

$%5Cleft(%5Cbegin%7Barray%7D%7Bc%7D%0A%5Cboldsymbol%7B%5Cvarphi%7D_1%5E%5Cmathrm%7BT%7D%5C%5C%0A%5Cboldsymbol%7B%5Cvarphi%7D_2%5E%5Cmathrm%7BT%7D%5C%5C%0A%5Cvdots%5C%5C%0A%5Cboldsymbol%7B%5Cvarphi%7D_m%5E%5Cmathrm%7BT%7D%0A%5Cend%7Barray%7D%5Cright)(%5Cboldsymbol%7B%5Cvarphi%7D_1%2C%5Cboldsymbol%7B%5Cvarphi%7D_2%2C%5Ccdots%2C%5Cboldsymbol%7B%5Cvarphi%7D_m)%5Cboldsymbol%7Bc%7D%3D%5Cleft(%5Cbegin%7Barray%7D%7Bc%7D%0A%5Cboldsymbol%7B%5Cvarphi%7D_1%5E%5Cmathrm%7BT%7D%5C%5C%0A%5Cboldsymbol%7B%5Cvarphi%7D_2%5E%5Cmathrm%7BT%7D%5C%5C%0A%5Cvdots%5C%5C%0A%5Cboldsymbol%7B%5Cvarphi%7D_m%5E%5Cmathrm%7BT%7D%0A%5Cend%7Barray%7D%5Cright)%5Cboldsymbol%7Bf%7D$

由于 $(%5Cboldsymbol%7B%5Cvarphi%7D_i%2C%5Cboldsymbol%7B%5Cvarphi%7D_j)%3D%5Cboldsymbol%7B%5Cvarphi%7D_i%5E%5Cmathrm%7BT%7D%5Cboldsymbol%7B%5Cvarphi%7D_j$ ，上式進(jìn)一步整理就成為了

$%5Cleft(%5Cbegin%7Barray%7D%7Bcccc%7D%0A(%5Cboldsymbol%7B%5Cvarphi%7D_1%2C%5Cboldsymbol%7B%5Cvarphi%7D_1)%20%26%20%0A(%5Cboldsymbol%7B%5Cvarphi%7D_1%2C%5Cboldsymbol%7B%5Cvarphi%7D_2)%20%26%20%5Ccdots%20%26%0A(%5Cboldsymbol%7B%5Cvarphi%7D_1%2C%5Cboldsymbol%7B%5Cvarphi%7D_m)%5C%5C%0A(%5Cboldsymbol%7B%5Cvarphi%7D_2%2C%5Cboldsymbol%7B%5Cvarphi%7D_1)%20%26%20%0A(%5Cboldsymbol%7B%5Cvarphi%7D_2%2C%5Cboldsymbol%7B%5Cvarphi%7D_2)%20%26%20%5Ccdots%20%26%0A(%5Cboldsymbol%7B%5Cvarphi%7D_2%2C%5Cboldsymbol%7B%5Cvarphi%7D_m)%5C%5C%0A%5Cvdots%20%26%20%5Cvdots%20%26%20%26%20%5Cvdots%5C%5C%0A(%5Cboldsymbol%7B%5Cvarphi%7D_m%2C%5Cboldsymbol%7B%5Cvarphi%7D_1)%20%26%20%0A(%5Cboldsymbol%7B%5Cvarphi%7D_m%2C%5Cboldsymbol%7B%5Cvarphi%7D_2)%20%26%20%5Ccdots%20%26%0A(%5Cboldsymbol%7B%5Cvarphi%7D_m%2C%5Cboldsymbol%7B%5Cvarphi%7D_m)%0A%5Cend%7Barray%7D%5Cright)%5Cboldsymbol%7Bc%7D%3D%5Cleft(%5Cbegin%7Barray%7D%7Bc%7D%0A(%5Cboldsymbol%7B%5Cvarphi%7D_1%2C%5Cboldsymbol%7Bf%7D)%5C%5C%0A(%5Cboldsymbol%7B%5Cvarphi%7D_2%2C%5Cboldsymbol%7Bf%7D)%5C%5C%0A%5Cvdots%5C%5C%0A(%5Cboldsymbol%7B%5Cvarphi%7D_m%2C%5Cboldsymbol%7Bf%7D)%0A%5Cend%7Barray%7D%5Cright)$

這與最小二乘擬合方程完全一致。于是說明，某種意義下，最小二乘擬合是插值的最佳最小二乘解。

??? 反過來，如果給定的基函數(shù)與已知點個數(shù)一樣多，那么此時插值問題的解與其最佳最小二乘解一致，這時擬合問題可以退化為插值問題。

三、利用已知點各階導(dǎo)數(shù)值的信息做最小二乘擬合

??? 如果已知一些點導(dǎo)數(shù)值信息，能否在做最小二乘擬合時將它們用上呢？只要能夠構(gòu)造一種適當(dāng)?shù)膬?nèi)積，其中包含導(dǎo)數(shù)值信息就可以了。我們先來構(gòu)造這樣一個運算：

$(f%2Cg)_1%3D%5Cint_a%5Eb%20f'(x)g'(x)%5C%2C%5Cmathrm%7Bd%7Dx$

容易驗證，該運算是雙線性、對稱、正定的（但可能是退化的，例如對于 $f(x)%5Cequiv%20c$ 就有 $(f%2Cf)_1%3D0$ ），將它與我們熟知的函數(shù)內(nèi)積做一線性組合：

$(f%2Cg)_1%5E%5Cprime%3D%5Cint_a%5Eb%20(f(x)g(x)%2Bf'(x)g'(x))%5Cmathrm%7Bd%7Dx$

可以驗證，該運算滿足內(nèi)積的定義。由于其中包含了導(dǎo)數(shù)值信息，所以它是有可能實現(xiàn)我們的想法的。不過該內(nèi)積是對連續(xù)函數(shù)來說的，下邊直接給出其針對離散點的版本：

$(f%2Cg)_1%5E%5Cprime%3D%5Csum_%7Bi_0%3D1%7D%5E%7Bn_0%7Df(x_%7Bi_0%7D)g(x_%7Bi_0%7D)%2B%5Csum_%7Bi_1%3D1%7D%5E%7Bn_1%7Df'(x_%7Bi_1%7D)g'(x_%7Bi_1%7D)%2C%5Cquad%20n_0%2Bn_1%3Dn$

??? 此時，已知點的信息也要作出相應(yīng)調(diào)整：

$(x_%7Bi_0%7D%2Cf(x_%7Bi_0%7D))%2Ci_0%3D1%2C2%2C%5Ccdots%2Cn_0$

$(x_%7Bi_1%7D%2Cf'(x_%7Bi_1%7D))%2Ci_1%3D1%2C2%2C%5Ccdots%2Cn_1$

如何驗證這樣構(gòu)造的內(nèi)積實現(xiàn)的擬合效果的準(zhǔn)確性呢？前邊提到過在適當(dāng)情況下，擬合問題可以退化為插值問題，而對于已知某點導(dǎo)數(shù)信息做插值的問題，我們可以使用Hermite插值。所以我們只要用這個內(nèi)積驗證一道Hermite插值的例題就能證明其準(zhǔn)確的必要性了。

例1. 已知

$f%5Cleft(%5Cfrac%7B1%7D%7B4%7D%5Cright)%3D%5Cfrac%7B1%7D%7B8%7D%2Cf(1)%3D1%2Cf%5Cleft(%5Cfrac%7B9%7D%7B4%7D%5Cright)%3D%5Cfrac%7B27%7D%7B8%7D%2Cf'(1)%3D%5Cfrac%7B3%7D%7B2%7D$

求其三次Hermite插值多項式。

??? 插值問題不是我們研究的重點，略去步驟，直接給出插值的結(jié)果為：

$P(x)%3D-%5Cfrac%7B14%7D%7B225%7Dx%5E3%2B%5Cfrac%7B263%7D%7B450%7Dx%5E2%2B%5Cfrac%7B233%7D%7B450%7Dx-%5Cfrac%7B1%7D%7B25%7D$

按照前邊定義的內(nèi)積，構(gòu)建出的擬合方程為

$%5Cleft(%5Cbegin%7Barray%7D%7Bcccc%7D%0A3%20%26%20%5Cdfrac%7B7%7D%7B2%7D%20%26%20%5Cdfrac%7B49%7D%7B8%7D%20%26%20%5Cdfrac%7B397%7D%7B32%7D%5C%5C%0A%5Cdfrac%7B7%7D%7B2%7D%20%26%20%5Cdfrac%7B57%7D%7B8%7D%20%26%20%5Cdfrac%7B461%7D%7B32%7D%20%26%20%5Cdfrac%7B3793%7D%7B128%7D%5C%5C%0A%5Cdfrac%7B49%7D%7B8%7D%20%26%20%5Cdfrac%7B461%7D%7B32%7D%20%26%20%5Cdfrac%7B3921%7D%7B128%7D%20%26%20%5Cdfrac%7B33109%7D%7B512%7D%5C%5C%0A%5Cdfrac%7B397%7D%7B32%7D%20%26%20%5Cdfrac%7B3793%7D%7B128%7D%20%26%20%5Cdfrac%7B33109%7D%7B512%7D%20%26%20%5Cdfrac%7B286201%7D%7B2048%7D%0A%5Cend%7Barray%7D%5Cright)%5Cleft(%5Cbegin%7Barray%7D%7Bc%7D%0Ac_1%20%5C%5C%20c_2%20%5C%5C%20c_3%20%5C%5C%20c_4%0A%5Cend%7Barray%7D%5Cright)%3D%5Cleft(%5Cbegin%7Barray%7D%7Bc%7D%0A%5Cdfrac%7B9%7D%7B2%7D%20%5C%5C%20%5Cdfrac%7B81%7D%7B8%7D%20%5C%5C%20%5Cdfrac%7B675%7D%7B32%7D%20%5C%5C%20%5Cdfrac%7B5625%7D%7B128%7D%0A%5Cend%7Barray%7D%5Cright)$

解得

$c_1%3D-%5Cfrac%7B1%7D%7B25%7D%2Cc_2%3D%5Cfrac%7B233%7D%7B450%7D%2Cc_3%3D%5Cfrac%7B263%7D%7B450%7D%2Cc_4%3D-%5Cfrac%7B14%7D%7B225%7D$

與Hermite插值給出的結(jié)果一致。

??? 至于該方法能否推出Hermite插值的結(jié)果，筆者沒有嘗試，但猜測應(yīng)該是成立的，感興趣的讀者可以嘗試證明。

??? 如果已知的是更高階導(dǎo)數(shù)的信息呢？通過測試，筆者給出如下形式的內(nèi)積：

$(f%2Cg)_l%5E%5Cprime%3D%5Csum_%7Bj%3D0%7D%5E%7Bl%7D%5Csum_%7Bi_j%3D1%7D%5E%7Bn_j%7D(l!)%5E2f%5E%7B(l)%7D(x_%7Bi_0%7D)g%5E%7B(l)%7D(x_%7Bi_0%7D)%2C%5Cquad%20%5Csum_%7Bj%3D0%7D%5E%7Bl%7Dn_j%3Dn$