模型選擇

• 我們其實(shí)更關(guān)注泛化誤差
• 訓(xùn)練誤差是模型在有標(biāo)簽的數(shù)據(jù)上的誤差
• 泛化誤差是在新的數(shù)據(jù)上的誤差

如何計算訓(xùn)練誤差和泛化誤差？

一般有兩種數(shù)據(jù)集：

• 驗(yàn)證數(shù)據(jù)集：評估模型好壞的數(shù)據(jù)集（多層感知機(jī)的模型大小、學(xué)習(xí)率大小等是通過驗(yàn)證數(shù)據(jù)集來進(jìn)行確定的）
• 測試數(shù)據(jù)集

• 通常將訓(xùn)練數(shù)據(jù)集對半分，一半的數(shù)據(jù)集用來訓(xùn)練模型，另一半（驗(yàn)證數(shù)據(jù)集）用來測試精度，根據(jù)精度的大小來對模型的超參數(shù)進(jìn)行調(diào)整，然后再在驗(yàn)證數(shù)據(jù)集上測試精度，重復(fù)操作來調(diào)整超參數(shù)
• 驗(yàn)證數(shù)據(jù)集沒有參與訓(xùn)練，所以在一定程度上確實(shí)能夠反映超參數(shù)選擇的好壞
• 驗(yàn)證數(shù)據(jù)集一定不能與訓(xùn)練數(shù)據(jù)集混在一起（ImageNet數(shù)據(jù)集和谷歌搜出來的圖片是有交集的，不能用測試數(shù)據(jù)集的結(jié)果作為調(diào)整超參數(shù)的依據(jù)，相當(dāng)于考試作弊）
• 測試數(shù)據(jù)集只能被使用一次
• 驗(yàn)證數(shù)據(jù)集上的精度也可能是虛高的，超參數(shù)很有可能是在驗(yàn)證數(shù)據(jù)集上調(diào)出來的，所以可能導(dǎo)致驗(yàn)證數(shù)據(jù)集上的精度可能不能代表在新數(shù)據(jù)上的泛化能力

經(jīng)常會遇到?jīng)]有那么多訓(xùn)練數(shù)據(jù)的問題，沒有足夠多的數(shù)據(jù)來進(jìn)行使用，解決這個問題常見的方法是K-fold cross-validation(K-折交叉驗(yàn)證)

• 拿到數(shù)據(jù)集后先進(jìn)行隨機(jī)打亂，然后再分割成K塊，每一次將第K塊數(shù)據(jù)集作為驗(yàn)證數(shù)據(jù)集，其余的作為訓(xùn)練數(shù)據(jù)集

• 數(shù)據(jù)集大的話K可以取5或者更小，數(shù)據(jù)集大的話K可以取10或者更大

總結(jié)

過擬合和欠擬合

• 根據(jù)數(shù)據(jù)集的復(fù)雜度來選擇對應(yīng)的模型容量
• 過擬合可能導(dǎo)致模型的泛化能力差
• 欠擬合可能導(dǎo)致模型精度低

模型容量

模型容量的影響

• 訓(xùn)練誤差并不是越高越好，如果數(shù)據(jù)中含有大量的噪音可能導(dǎo)致模型訓(xùn)練不起作用，并且模型的泛化能力變差
• 真正關(guān)心的是泛化誤差

• 核心任務(wù)是要使泛化誤差的最優(yōu)點(diǎn)降低，并且縮小在該最優(yōu)點(diǎn)同一模型容量下泛化誤差與訓(xùn)練誤差之間的差距（有時候?yàn)榱私档头夯`差可能會選擇接受一定程度的過擬合）
• 過擬合本身不是一件壞事，首先是模型的容量要充足，然后再去控制模型的容量，使得泛化誤差下降（深度學(xué)習(xí)的核心）

估計模型容量

• 參數(shù)值的選擇范圍越大，模型的復(fù)雜度就越高

統(tǒng)計理論的核心思想：VC維

數(shù)據(jù)復(fù)雜度

• 多樣性是指數(shù)據(jù)集中類別的多少

總結(jié)

----to be continued----