部分一：損失函數(shù)的權重衰減

損失函數(shù)：

帶有L2范數(shù)懲罰項的損失函數(shù)：

參數(shù)更新：

可以發(fā)現(xiàn)，令權重w1和w2先自乘小于1的數(shù)，再減去不含懲罰項的梯度；權重衰減通過懲罰絕對值較大的參數(shù)，為需要學習的模型增加了限制，可緩解過擬合問題。

部分二：自定義實現(xiàn)權重衰減

以擬合多項式函數(shù)舉例：

結果：

部分三：pytorch實現(xiàn)權重衰減

結果：