3.26 機器學習中的正則化究竟是什么？ 在各種文獻和資料中，我們經(jīng)常會見到正則化這個術(shù)語，尤其是在討論一般的目標函數(shù)時，它通常包含以下兩項： 1. 誤差/損失函數(shù)（激勵模型擬合訓練數(shù)據(jù)，減少偏差）。 2. 正則化項（鼓勵模型保持簡單性，減少過擬合風險，提高模型的穩(wěn)定性）。 但是一直沒有一篇清晰地解釋什么是正則化的文章。要理解正則化，我們需要從過擬合問題開始討論。 **1) 過擬合問題** 讓我們從一個具體的例子開始，比如線性回歸中的房價問題： a) 欠擬合（underfitting，也稱為高偏差）： b) 適當擬合： c) 過擬合（overfitting，也稱為高方差）： **什么是過擬合（Overfitting）？** 當我們有大量特征時，模型可能會在訓練集上表現(xiàn)得非常好，但在新數(shù)據(jù)上的預測性能很差。這是典型的過擬合情況。為了解決過擬合問題，我們通?？紤]以下兩種途徑： **a) 減少特征數(shù)量：** ??- 人工選擇要保留的特征。 ??- 使用適當?shù)奶卣鬟x擇算法。 ?? **b) 正則化：** ??- 保留所有特征，但降低參數(shù)的值。 ??- 正則化的好處在于，當特征數(shù)量很多時，每個特征都會對預測產(chǎn)生適當?shù)挠绊?，從而防止過擬合。 如上圖所示，紅色的曲線代表過于復雜、上下波動劇烈的情況，這就是過擬合。結(jié)合圖示和正則化的定義，我們可以將正則化視為對目標函數(shù)增加了一些規(guī)則（限制），以防止其自我膨脹，防止無規(guī)律地上下波動，以保持合理的行為。 **L1正則化和L2正則化** 在機器學習中，損失函數(shù)后面經(jīng)常會添加一個額外項。這個額外項通常有兩種，英文稱為`?1-norm`和`?2-norm`，中文稱為L1正則化和L2正則化。它們可以看作是對損失函數(shù)的一種懲罰項。 - L1正則化和L2正則化可以看作是對模型參數(shù)的一種限制。對于線性回歸模型，使用L1正則化的模型被稱為Lasso回歸，使用L2正則化的模型被稱為Ridge回歸（嶺回歸）。 **L1正則化和L2正則化的區(qū)別：** - L1正則化是參數(shù)權(quán)重向量w中各個元素的絕對值之和，通常表示為`α|w|`。 - L2正則化是參數(shù)權(quán)重向量w中各個元素的平方和再開平方根，通常表示為`α||w||2`。 一般來說，正則化項前面都會有一個系數(shù)，通常用α表示。這個系數(shù)由用戶指定。 **為什么要添加L1和L2正則化？** - L1正則化可以產(chǎn)生稀疏權(quán)重矩陣，即產(chǎn)生一個稀疏模型，可用于特征選擇。 - L2正則化可以防止模型過擬合。同時，L1正則化也可以一定程度上防止過擬合。 **稀疏模型與特征選擇** 稀疏模型是指大部分權(quán)重為零的模型，只有少數(shù)權(quán)重是非零值的模型。這對于特征選擇非常有用。當模型變得稀疏時，意味著只有少數(shù)特征對模型的貢獻很大，大多數(shù)特征對模型幾乎沒有影響。這使得我們可以只關(guān)注那些具有非零權(quán)重的特征，從而實現(xiàn)特征選擇的目標。 **正則化和特征選擇** 正則化的引入相當于對模型的參數(shù)設(shè)定了一個先驗（貝葉斯觀點）。L1正則化對應(yīng)Laplace先驗，L2正則化對應(yīng)高斯先驗，它們由參數(shù)σ確定。在數(shù)據(jù)量較小的情況下，先驗知識可以防止過擬合。 **總結(jié)** 正則化是機器學習中的一種重要概念，通過對目標函數(shù)增加一些限制，它有助于防止過擬合、產(chǎn)生稀疏模型和實現(xiàn)特征選擇。L1正則化和L2正則化是兩種常用的正則化方法，它們在防止過擬合和稀疏性方面有不同的效果。選擇適當?shù)恼齽t化方法和參數(shù)是構(gòu)建高性能機器學習模型的關(guān)鍵一步。希望這個解釋能幫助你更好地理解正則化的核心概念。?????????