最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

兩個新的lora訓練思路(一圖練角色,三圖練畫風)

2023-08-02 15:27 作者:娛樂Eisthol  | 我要投稿

先寫個文字版,過兩天出視頻

希望各位到時候能三連捧個場

一,改良版“手動正則法”(一圖流角色訓練)

在講這個方法之前,請先看原先的“手動正則法”視頻,理解大致的訓練原理和思路

【傾囊相授】手動正則法解決冷門角色及OC訓練難題_嗶哩嗶哩_bilibili

回來之后,現(xiàn)在我來說明一下改良之后的方法

改良之后的優(yōu)點是:1.只需要一到兩張圖片作為訓練數(shù)據(jù)集

????????????????? 2.可以很輕松的訓練出一個角色的多套衣服(也就是多合一lora)

????????????????? 3.操作比原版更加簡單

那么新的方法怎么操作呢

首先是reg文件夾,改良方法中reg文件夾仍和原來方法中使用一樣的圖片和處理方式

但是在新方法中reg文件夾的圖片不再限定數(shù)量,姿勢越多樣,泛化性能越好

在新方法中,我們不再建立face文件夾,只留一個body文件夾,在里面放入我們要訓練的角色的圖片

一到兩張即可,如果僅有一張圖片,可以開鏡像翻轉(zhuǎn)變成兩張


最好是全身(當然像我這樣用半身也問題不大),要求臉部特征一定要清楚,如果你還追求氣質(zhì)相似的話,最好使用官方立繪(前提是足夠清晰)

Body文件夾的打標仍然是使用tagger進行打標之后刪除一切重復標簽(有重復語義的標簽,比如標簽中同時出現(xiàn)blue dress和dress時,選擇這兩個標簽之一進行刪除)

刪除標簽之后,在這個角色的所有標簽的開頭打上一個無意義的詞匯作為觸發(fā)詞


就像這里的jin

這樣做的目的是將角色的總體特征與reg文件夾區(qū)分開防止污染

然后設(shè)置兩個文件的repeat

Reg文件夾repeat建議為2,保證reg文件夾中的圖片數(shù)×repeat等于或略微大于body文件夾中的圖片數(shù)×repeat

之后開始訓練就行了

如果想要訓練多合一的lora

可以多建立一個或幾個body文件夾,分別設(shè)置觸發(fā)詞和打標

最后保證eg文件夾中的圖片數(shù)×repeat等于或略微大于各個body文件夾中的圖片數(shù)×repeat

即可


注意這里兩套衣服要設(shè)置不同的觸發(fā)詞,比如這個例子中怪盜服是zhen1,校服是zhen2

之后照著默認訓練參數(shù)訓練即可

二,差異閾值法訓練畫風lora(少圖練畫風)

提醒:這個方法目前不夠穩(wěn)定,確實能夠訓練出來畫風,但是有時候會出現(xiàn)過擬的情況,需要配合lora分層插件使用(不過有時候訓練出來的lora效果很好)

很多時候我們喜歡某個畫師的風格,但是這個畫師又沒有足夠的圖片,又或者這個畫師的風格比較多變,某個特定風格的作品較少

導致我們在訓練的時候難度很大

所以我研究出了這個訓練方法,可以在較少圖的情況下達到訓練畫風的目的

此方法目前有些瑕疵,后續(xù)還會進行改善

首先我們還是需要準備一個reg文件夾,這個文件夾中,需要放各種風格的作品,風格種類越多越雜,效果越好(建議爬取p站或者danbooru排行榜作為reg文件夾)


比如這樣

接著我們用tagger對這個文件夾中的圖片進行打標處理


值得一提的是,這里tagger的閾值參數(shù)應(yīng)該調(diào)低,使得打標盡可能細碎和重復(比如我設(shè)置的就是0.1)

然后我們再創(chuàng)建一個新文件夾,里面放入我們要訓練的畫師的作品,命名為body,

這個文件夾中的圖片可多可少,比如娛樂這里就用過三張圖片開鏡像翻轉(zhuǎn)變成6張來訓練畫風,最后效果還不錯

仍然是在tagger中進行打標


但是這里的閾值應(yīng)該為0.5以上或者更高(娛樂這里用了0.6)

然后對body文件夾中的標簽進行批處理,給所有標簽加上一個無意義的詞作為觸發(fā)詞

比如個lora里面的觸發(fā)詞就是Mcolor

(PS.這里其實有效果更好的方法,就是用人力對body文件夾里面的圖片進行打標,只是有點累和反人類)

最后設(shè)置repeat,這里推薦reg文件夾的repeat為1-2,接著保證兩個文件夾的repeat×圖片數(shù)大致相同即可。

至于這么做的原理

其中一點和上面提到的“手動正則法”相同,就是同時使用reg文件夾中的雜圖,對于lora中數(shù)據(jù)進行一定程度的泛化

而打標時候的差異閾值,則是為了降低reg文件夾的污染,閾值越低,打標越碎,那么reg文件夾圖片與tag的關(guān)聯(lián)性就會變差,同理body文件夾中圖片與tag關(guān)聯(lián)性會升高,也就不會出現(xiàn)圖片越多,lora效果越不明顯的問題了

不過還是疊個甲,這個方法謹慎使用,目前有待優(yōu)化,僅是一種思路參考

那么就是這樣

視頻教程大概后天出,希望各位老爺們能三連支持一下


兩個新的lora訓練思路(一圖練角色,三圖練畫風)的評論 (共 條)

分享到微博請遵守國家法律
修水县| 荥阳市| 巴塘县| 伊金霍洛旗| 三亚市| 阿拉善左旗| 徐闻县| 吴川市| 登封市| 岑巩县| 寿宁县| 大兴区| 丹凤县| 新沂市| 韶山市| 自贡市| 衡南县| 友谊县| 甘肃省| 安国市| 潮安县| 花垣县| 大港区| 泉州市| 巨野县| 寿光市| 伊川县| 东港市| 喀什市| 读书| 瓦房店市| 安新县| 沐川县| 游戏| 永年县| 兴山县| 两当县| 榆树市| 老河口市| 舒兰市| 黄浦区|