NovelAI的喂圖小技巧

NovelAI也用了一段時(shí)間,大體上人物怎么訓(xùn)練也摸清楚了。這里主要說一下訓(xùn)練人物的一些小技巧,作為各位大神教程的一些補(bǔ)充。
大家是不是還在煩惱要么過擬合要么出古神?
這里就說一下人物訓(xùn)練時(shí)候要注意的一些問題。這里以Embedding訓(xùn)練為例。
訓(xùn)練集的準(zhǔn)備過程就不詳細(xì)說了,大家要注意的有兩點(diǎn):1.有必要的話可以手動(dòng)在訓(xùn)練集里面添加一些Tags,比如環(huán)境和服裝或者鏡頭過于統(tǒng)一的情況,這樣子AI在訓(xùn)練的時(shí)候就能將這些情況分清楚,不會(huì)將背景什么的識(shí)別為人物特征,這樣就不會(huì)出現(xiàn)你不管出什么圖都會(huì)帶著訓(xùn)練集背景之類的情況。2.圖的類型最好全面一點(diǎn),全身的、半身的、還有臉部特寫,這個(gè)很重要,有必要的話可以自己裁剪。服裝雜一點(diǎn)倒是沒關(guān)系,但是如果過于統(tǒng)一,也要注意打上Tags。
然后就可以開始訓(xùn)練了,最大步數(shù)跑不到10萬,一般1.5-2萬步內(nèi)即可完成訓(xùn)練。保險(xiǎn)一點(diǎn)可以設(shè)到2.5萬左右,學(xué)習(xí)率同樣是從默認(rèn)開始,后面每暫停操作一次可以降低一個(gè)數(shù)量級(jí)。
第一次學(xué)習(xí)的停止時(shí)機(jī)可以看Loss率,最主要看出圖效果,Loss率如果訓(xùn)練集差異過大很可能降不下來,覺得相對(duì)穩(wěn)定了就可以停止,如果訓(xùn)練集質(zhì)量比較高,Tags比較全的話一般5000步以內(nèi)即可成功,注意沒必要到出圖非常清晰的程度,當(dāng)然如果你的訓(xùn)練集質(zhì)量比較高這一步出的圖就會(huì)很清晰。
然后就可以抽圖了,第一步訓(xùn)練是訓(xùn)練AI識(shí)別整個(gè)人物的大體形象,下面我們需要進(jìn)一步提高AI的繪圖精度,把人物的全身像全部抽出來,只留半身以上的,把學(xué)習(xí)率降低一個(gè)數(shù)量級(jí),這一步就可以構(gòu)建人物的準(zhǔn)確形象了,同樣一開始Loss率會(huì)很高,但會(huì)逐漸降低,等到出圖相對(duì)穩(wěn)定之后,一般需要2000-5000步,就停止訓(xùn)練。
繼續(xù)上述操作,只不過這一步只留下人物臉部特寫。學(xué)習(xí)率繼續(xù)降低一個(gè)數(shù)量級(jí)。這一步就是教會(huì)AI怎么畫臉,一般也是2000-5000步內(nèi)可以完成。訓(xùn)練大體到這一步就可以完成了,完成以后就可以去文字出圖那里驗(yàn)證訓(xùn)練效果,可以多視幾個(gè)不同的風(fēng)格、發(fā)色、瞳色、服裝之類的,成功訓(xùn)練的Ai應(yīng)該是很容易按照你給的Tag來改變出圖效果,但是人物仍然看上去是那個(gè)人物。
下面是幾張驗(yàn)證圖,我改了不同的風(fēng)格、背景、人物特征,但出圖效果相對(duì)還是比較穩(wěn)定的,一次出50張左右。



如果出圖效果不穩(wěn)定,或者是細(xì)節(jié)上不清晰,還可以補(bǔ)充進(jìn)一步訓(xùn)練,把訓(xùn)練集抽到剩3-5張你覺得最滿意的臉,不用降低學(xué)習(xí)率,繼續(xù)進(jìn)行訓(xùn)練,穩(wěn)定后可以再降低一次學(xué)習(xí)率,讓AI學(xué)會(huì)畫眼睛細(xì)節(jié)之類的特征。
到這一步訓(xùn)練就基本上完成了,但如果是訓(xùn)練集質(zhì)量不高,很可能出圖的人臉還是不穩(wěn)定。也就是所謂的欠擬合。AI不會(huì)收斂怎么辦?我們可以幫它收斂,讓它大量出圖,挑出你覺得滿意的圖片,可以混合之前訓(xùn)練集中你覺得滿意的圖片繼續(xù)訓(xùn)練一個(gè)新的模型,這就是所謂的迭代。一般2-3次迭代以后就會(huì)有比較穩(wěn)定的出圖效果,那么這個(gè)人物也就算訓(xùn)練成功。

那么這就是NovelAI訓(xùn)練人物的一些小技巧,那么大家學(xué)廢了嗎?