LoRA訓(xùn)練入門小技巧之圖像預(yù)處理
入門時候的一點經(jīng)驗,低技術(shù)含量,我也是看站內(nèi)大佬的文章自己實踐后總結(jié)的,如有錯誤,歡迎斧正。
lora訓(xùn)練環(huán)境的安裝部署參考站內(nèi)其他大佬的文章和視頻,我使用的是秋葉的autodl腳本,租的autodl的3090。這里只說如何對圖像做預(yù)處理,尤其是你手上高質(zhì)量的圖很少的時候,就更要對預(yù)處理上點心了。
簡單來說,圖像預(yù)處理就是為了讓有限的訓(xùn)練集發(fā)揮出更大的作用,對于訓(xùn)練lora時用到的預(yù)處理方式,只講我實踐的一種,就是裁剪。實際上了解深度學(xué)習(xí)的人都知道還有很多常用的方式,比如旋轉(zhuǎn),鏡像之類的,你也可以自行嘗試。
如果你會用PS,知道lora干什么的,而且已經(jīng)部署好了環(huán)境,準備動手煉自己的第一個lora,那么省流版本:用PS切出指定分辨率頭像,上下半身,全身的部分,再把這些切好的圖送去打tag,再扔去訓(xùn)練。這個分辨率就是你腳本里設(shè)定的那個,默認512x512。
如果你看完這幾句還是不清楚,那繼續(xù)看下面的部分。
首先第一點,不要用webui的自動裁切!就是下圖這個:

你需要準備任意版本的Photoshop,和幾張細節(jié)豐富的圖,最好是用官方的設(shè)定圖或者全身立繪,同人作品少選取幾張比較精細,透視和遮擋關(guān)系不復(fù)雜的即可。站內(nèi)有大佬只用官方立繪出了效果不錯的lora,雖然過擬合很嚴重,但是降低權(quán)重或者使用lora分層控制就可以解決。這個算是避免侵犯第三方畫師版權(quán)問題的一種辦法了。
另外一點,用于訓(xùn)練的圖不要有透明背景,如果你在PRTS上下載方舟的人物立繪,那圖片就是透明背景,訓(xùn)練時可能會出奇怪的問題,最好打開ps給它加個白色背景。
說回重點,準備好圖,打開Photoshop,左上角找到裁切工具,選中,在頂部設(shè)置裁切的尺寸。

如果你要裁切的尺寸就是經(jīng)典的512x512,那就直接選和我一樣的選項,在后面的框里輸入 512px ,注意得把 px 倆字母敲進去,默認數(shù)字無單位可能會變成厘米。至于后面的像素/厘米,不重要,不想思考的話可以跟我一樣填72。
然后打開你要切的素材,這里以能天使的精一立繪為例。按以下原則切分:頭像,上半身,腳部出框或者全身,下半身。首先切分頭部的素材,拖動鼠標(biāo)差不多框住頭部以后移動幾下底圖,回車確認。

注意,如果人物有什么和頭部綁定的特征,光環(huán),飾品,耳朵,角,帽子之類的,最好和頭部框在一起,盡量避免其他身體部位出現(xiàn)。比如這里框住能天使的光環(huán),避開手?;剀囈院螅泶鏋閳D片,注意不要直接按Ctrl S,會覆蓋原圖,如果你手賤按了也沒事,打開歷史記錄使用敗者食塵。切完另存以后,用歷史記錄回退到裁切前,繼續(xù)切下一部分。

上半身同理:

有全身精細立繪的,可以單獨切一張下半身,保證褲子裙子之類的下裝細節(jié)正確。不用擔(dān)心ai分不清這是什么部分,只要你訓(xùn)練集的特征統(tǒng)一就行,別把不同服裝的扔一起,想多概念訓(xùn)練參考站內(nèi)其他大佬視頻和文章。
最后直接把全身也切一張512x512的,這里圖經(jīng)常不是正方形或者你指定的分辨率比例,無所謂,拖住裁切框往外拉,括住全身即可。按回車后可能會給你填黑色背景,也可能是透明背景,如果是透明背景,記得往下面加個圖層用油漆桶涂成白色或者圖片的底色。
如果你覺得官方立繪不夠,下了幾張同人圖,但是發(fā)現(xiàn)里面有其他角色,也可以扔進stable diffusion里面局部重繪把人抹掉。直接用套索或者選區(qū)工具圈住其他角色,按delete鍵,在對話框里選“內(nèi)容識別”,確認,一次效果可能不夠好,多來幾次就行。


處理完繼續(xù)按上述辦法切圖。
后面打tag什么的參考其他大佬教程,這里貼幾個鏈接供各位學(xué)習(xí)。




煉出來lora可以先用0.6的權(quán)重試一試,特征保留得差不多就可以看作成功了。如果你發(fā)現(xiàn)過擬合有點嚴重,可以參考這個教程使用分層控制減少過擬合:

一般訓(xùn)練時候會每2個epoch存一次lora,20個epoch最后會有10個lora。需要篩選效果最好的。我一般使用0.6權(quán)重,或者0.8搭配減輕過擬合的分層權(quán)重,用xyz腳本跑圖篩選lora,基本上三四輪下來就能拿出一個可堪一用的lora了。
就寫這么多吧,目前也沒別的可分享了。