兩個新的lora訓練思路(一圖練角色,三圖練畫風)
先寫個文字版,過兩天出視頻
希望各位到時候能三連捧個場
一,改良版“手動正則法”(一圖流角色訓練)
在講這個方法之前,請先看原先的“手動正則法”視頻,理解大致的訓練原理和思路
【傾囊相授】手動正則法解決冷門角色及OC訓練難題_嗶哩嗶哩_bilibili
回來之后,現(xiàn)在我來說明一下改良之后的方法
改良之后的優(yōu)點是:1.只需要一到兩張圖片作為訓練數(shù)據(jù)集
????????????????? 2.可以很輕松的訓練出一個角色的多套衣服(也就是多合一lora)
????????????????? 3.操作比原版更加簡單
那么新的方法怎么操作呢
首先是reg文件夾,改良方法中reg文件夾仍和原來方法中使用一樣的圖片和處理方式
但是在新方法中reg文件夾的圖片不再限定數(shù)量,姿勢越多樣,泛化性能越好
在新方法中,我們不再建立face文件夾,只留一個body文件夾,在里面放入我們要訓練的角色的圖片
一到兩張即可,如果僅有一張圖片,可以開鏡像翻轉(zhuǎn)變成兩張

最好是全身(當然像我這樣用半身也問題不大),要求臉部特征一定要清楚,如果你還追求氣質(zhì)相似的話,最好使用官方立繪(前提是足夠清晰)
Body文件夾的打標仍然是使用tagger進行打標之后刪除一切重復標簽(有重復語義的標簽,比如標簽中同時出現(xiàn)blue dress和dress時,選擇這兩個標簽之一進行刪除)
刪除標簽之后,在這個角色的所有標簽的開頭打上一個無意義的詞匯作為觸發(fā)詞

就像這里的jin
這樣做的目的是將角色的總體特征與reg文件夾區(qū)分開防止污染
然后設(shè)置兩個文件的repeat
Reg文件夾repeat建議為2,保證reg文件夾中的圖片數(shù)×repeat等于或略微大于body文件夾中的圖片數(shù)×repeat
之后開始訓練就行了
如果想要訓練多合一的lora
可以多建立一個或幾個body文件夾,分別設(shè)置觸發(fā)詞和打標
最后保證eg文件夾中的圖片數(shù)×repeat等于或略微大于各個body文件夾中的圖片數(shù)×repeat
即可

注意這里兩套衣服要設(shè)置不同的觸發(fā)詞,比如這個例子中怪盜服是zhen1,校服是zhen2
之后照著默認訓練參數(shù)訓練即可
二,差異閾值法訓練畫風lora(少圖練畫風)
提醒:這個方法目前不夠穩(wěn)定,確實能夠訓練出來畫風,但是有時候會出現(xiàn)過擬的情況,需要配合lora分層插件使用(不過有時候訓練出來的lora效果很好)
很多時候我們喜歡某個畫師的風格,但是這個畫師又沒有足夠的圖片,又或者這個畫師的風格比較多變,某個特定風格的作品較少
導致我們在訓練的時候難度很大
所以我研究出了這個訓練方法,可以在較少圖的情況下達到訓練畫風的目的
此方法目前有些瑕疵,后續(xù)還會進行改善
首先我們還是需要準備一個reg文件夾,這個文件夾中,需要放各種風格的作品,風格種類越多越雜,效果越好(建議爬取p站或者danbooru排行榜作為reg文件夾)

比如這樣
接著我們用tagger對這個文件夾中的圖片進行打標處理

值得一提的是,這里tagger的閾值參數(shù)應(yīng)該調(diào)低,使得打標盡可能細碎和重復(比如我設(shè)置的就是0.1)
然后我們再創(chuàng)建一個新文件夾,里面放入我們要訓練的畫師的作品,命名為body,
這個文件夾中的圖片可多可少,比如娛樂這里就用過三張圖片開鏡像翻轉(zhuǎn)變成6張來訓練畫風,最后效果還不錯

仍然是在tagger中進行打標

但是這里的閾值應(yīng)該為0.5以上或者更高(娛樂這里用了0.6)
然后對body文件夾中的標簽進行批處理,給所有標簽加上一個無意義的詞作為觸發(fā)詞
比如個lora里面的觸發(fā)詞就是Mcolor
(PS.這里其實有效果更好的方法,就是用人力對body文件夾里面的圖片進行打標,只是有點累和反人類)
最后設(shè)置repeat,這里推薦reg文件夾的repeat為1-2,接著保證兩個文件夾的repeat×圖片數(shù)大致相同即可。
至于這么做的原理
其中一點和上面提到的“手動正則法”相同,就是同時使用reg文件夾中的雜圖,對于lora中數(shù)據(jù)進行一定程度的泛化
而打標時候的差異閾值,則是為了降低reg文件夾的污染,閾值越低,打標越碎,那么reg文件夾圖片與tag的關(guān)聯(lián)性就會變差,同理body文件夾中圖片與tag關(guān)聯(lián)性會升高,也就不會出現(xiàn)圖片越多,lora效果越不明顯的問題了
不過還是疊個甲,這個方法謹慎使用,目前有待優(yōu)化,僅是一種思路參考
那么就是這樣
視頻教程大概后天出,希望各位老爺們能三連支持一下