散文網(wǎng) » 科技 »學(xué)習(xí) » 一文看懂機(jī)器學(xué)習(xí)中欠擬合和過擬合知識點(diǎn)

一文看懂機(jī)器學(xué)習(xí)中欠擬合和過擬合知識點(diǎn)

2021-10-22 18:19 作者:深度之眼官方賬號 0人讀過 | 我要投稿

簡單介紹下欠擬合和過擬合

令人困惑的術(shù)語在剛開始學(xué)習(xí)機(jī)器學(xué)習(xí)的時候會碰到很多，諸如過擬合、欠擬合、偏差-方差權(quán)衡等術(shù)語，但是這些概念通常是機(jī)器學(xué)習(xí)的核心，不能不學(xué)，本文會幫助你理解一些專業(yè)術(shù)語。

機(jī)器學(xué)習(xí)模型的唯一目的是很好地泛化，泛化是模型從以前從未遇到過的輸入中創(chuàng)建合理輸出的能力。

通常，程序只能“機(jī)械地”響應(yīng)他們熟悉的輸入。模型的性能以及整個應(yīng)用程序的性能在很大程度上取決于模型的泛化。如果模型泛化得很好，它將達(dá)到其目的。

過擬合和欠擬合等概念是指可能影響模型性能的缺陷。這意味著了解模型的性能“如何”至關(guān)重要。

假設(shè)我們想用如下所示的數(shù)據(jù)集建立一個機(jī)器學(xué)習(xí)模型：

X 軸是輸入值，Y 軸是輸出值。

在機(jī)器學(xué)習(xí)中，構(gòu)建模型可以像線性回歸一樣通過在數(shù)據(jù)點(diǎn)之間擬合一條線來將輸入值映射到輸出值。這條擬合線負(fù)責(zé)欠擬合和過擬合。

在機(jī)器學(xué)習(xí)的訓(xùn)練階段，假設(shè)在線性回歸中，我們希望我們的模型遵循下圖中給出的一條線，這就是這兩個術(shù)語（欠擬合和過擬合）出現(xiàn)的地方。

在我們進(jìn)一步討論之前，讓我們先澄清兩個重要術(shù)語：

偏差和方差

假設(shè)使函數(shù)更易于學(xué)習(xí)的機(jī)器學(xué)習(xí)模型稱為偏差，當(dāng)在訓(xùn)練數(shù)據(jù)上訓(xùn)練模型并獲得非常低的誤差時，就會發(fā)生方差，但是當(dāng)您更改數(shù)據(jù)然后訓(xùn)練相同的先前模型時，會得到非常高誤差。

過擬合

過度擬合是指我們的模型訓(xùn)練從訓(xùn)練數(shù)據(jù)集中完成太多，因此總體成本將非常小，因此模型的泛化不可靠。

模型訓(xùn)練越多，過擬合的可能性就越大。我們總是希望我們的模型應(yīng)該找到趨勢，而不是所有數(shù)據(jù)點(diǎn)的擬合線。

如果處理不當(dāng)，過度擬合也可能被稱為高方差導(dǎo)致得不償失。當(dāng)我們進(jìn)行訓(xùn)練時，模型學(xué)習(xí)是好的，并且適合于它，但是當(dāng)我們的測試數(shù)據(jù)來預(yù)測時，新的準(zhǔn)確度會降低，從而導(dǎo)致啟發(fā)降低。

欠擬合

當(dāng)我們的機(jī)器學(xué)習(xí)模型沒有從訓(xùn)練數(shù)據(jù)中學(xué)到足夠的知識，因此做出不可靠的預(yù)測時，就會發(fā)生欠擬合。

我們還期望我們的模型從輸入數(shù)據(jù)點(diǎn)中學(xué)習(xí)太多（即太多模式），并且可以通過提前停止訓(xùn)練來完成，也可以應(yīng)用任何其他方法。這些結(jié)果將導(dǎo)致模型無法從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)足夠的模式，并且也無法捕捉到主導(dǎo)趨勢。這就是欠擬合的情況。