大家好，今天來給大家講一下常說的概念——過擬合、欠擬合。為了dreambooth訓(xùn)練打下良好的理論基礎(chǔ)。

在看這期專欄以前，可以先看看我的這個視頻，理解一下AI訓(xùn)練實際是在干什么。

話不多說，直接開始。

一、AI的訓(xùn)練與測試

說到訓(xùn)練AI，那么就離不開這兩個事情。和人學(xué)習(xí)也一樣，AI同樣需要 “訓(xùn)練”、“測試”。

或許可以理解為：學(xué)習(xí)了教材上的例題，需要考試來衡量學(xué)習(xí)效果。

以AI繪畫為例，我們的訓(xùn)練集就是訓(xùn)練AI的時候喂給AI的那些圖片。但是我們一直在玩的這個AI繪畫的訓(xùn)練，卻沒有一個合適的測試集去衡量我們訓(xùn)練的效果如何。這里姑且模糊的定義為使用“文生圖”、“圖生圖” 的圖片生成效果。

這里就引出一個問題：需要一個定義，去闡述AI在訓(xùn)練數(shù)據(jù)上學(xué)習(xí)完以后，在測試數(shù)據(jù)集中實踐的好壞。也就是常說的幾個詞：“過擬合”、“欠擬合”、?“泛化能力”。

二、不收斂、欠擬合、過擬合、泛化能力

不收斂就是根本沒學(xué)會。

欠擬合是指模型不能在訓(xùn)練集上取得好的結(jié)果（獲得足夠低的loss）。學(xué)會了點，但是也沒學(xué)會。模型在訓(xùn)練集、測試集上表現(xiàn)都很差。

過擬合是指在訓(xùn)練集上表現(xiàn)很好，但是測試集上表現(xiàn)很差。簡單來說，就是學(xué)過頭了。比如說，學(xué)半天1+1=2然后只會這個了，到了1+2就不會算了。模型對訓(xùn)練集"死記硬背"，沒有理解背后的規(guī)律。

泛化能力，也就是指的AI對未知樣本的推理、適應(yīng)能力。泛化能力差是過擬合的直接表現(xiàn)。

下面這張圖，是一個圖例，用一根線去模擬點的分布（可能有人發(fā)現(xiàn)這個是線性回歸的圖，一個意思）

我們訓(xùn)練AI，就是要模型達(dá)到“擬合”，不會過度擬合，也不會欠擬合。

光這么說可能很多人也一頭霧水，這里舉個小栗子。

給AI一堆貓貓圖片讓他學(xué)，學(xué)半天沒學(xué)會怎么畫貓，這個叫不收斂。會畫了，但是畫的不是很像貓或者哪里不對，這是欠擬合。學(xué)完了只會畫白毛貓貓，怎么描述都不會畫金貓，這個叫過擬合，只會畫白貓了，直接看到的現(xiàn)象就是泛化能力差。

三、嚴(yán)重的問題

我常說，AI繪畫根本不是抄襲。但這也不絕對。在訓(xùn)練某個特定畫師的模型時候，常常會因為畫師本身的圖就很少，再加上訓(xùn)練的步數(shù)過多，非常非常容易過擬合?。?！

上面也說了，過擬合可以理解為死記硬背。比如說你用十幾張這個畫師的圖，跑了1w步訓(xùn)練了一個模型，那他有極其大的可能性過擬合了，死記硬背那真的是等于描圖疊圖抄襲了。

在dreambooth的訓(xùn)練中，當(dāng)你用少量圖訓(xùn)練的時候，非常非?？赡馨l(fā)生這種情況。有更離譜的情況是什么呢：三五張圖，學(xué)習(xí)了大量的步數(shù)。AI甚至可以直接把原圖整張吐出來。

比如之前風(fēng)波比較大的某個國內(nèi)畫師模型，其實有很明顯的過擬合痕跡。更有某個高訓(xùn)練步數(shù)明顯過擬合的白蛋模型，直接把原圖吐出來了。

這些明顯過擬合的模型——換言之訓(xùn)練失敗的模型，為什么要發(fā)出來呢？