最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

LoRA訓(xùn)練入門小技巧之圖像預(yù)處理

2023-04-02 01:12 作者:1lch2  | 我要投稿

入門時候的一點經(jīng)驗,低技術(shù)含量,我也是看站內(nèi)大佬的文章自己實踐后總結(jié)的,如有錯誤,歡迎斧正。

lora訓(xùn)練環(huán)境的安裝部署參考站內(nèi)其他大佬的文章和視頻,我使用的是秋葉的autodl腳本,租的autodl的3090。這里只說如何對圖像做預(yù)處理,尤其是你手上高質(zhì)量的圖很少的時候,就更要對預(yù)處理上點心了。

簡單來說,圖像預(yù)處理就是為了讓有限的訓(xùn)練集發(fā)揮出更大的作用,對于訓(xùn)練lora時用到的預(yù)處理方式,只講我實踐的一種,就是裁剪。實際上了解深度學(xué)習(xí)的人都知道還有很多常用的方式,比如旋轉(zhuǎn),鏡像之類的,你也可以自行嘗試。

如果你會用PS,知道lora干什么的,而且已經(jīng)部署好了環(huán)境,準備動手煉自己的第一個lora,那么省流版本用PS切出指定分辨率頭像,上下半身,全身的部分,再把這些切好的圖送去打tag,再扔去訓(xùn)練。這個分辨率就是你腳本里設(shè)定的那個,默認512x512。

如果你看完這幾句還是不清楚,那繼續(xù)看下面的部分。

首先第一點,不要用webui的自動裁切!就是下圖這個:

自己手動切比它切得好

你需要準備任意版本的Photoshop,和幾張細節(jié)豐富的圖,最好是用官方的設(shè)定圖或者全身立繪,同人作品少選取幾張比較精細,透視和遮擋關(guān)系不復(fù)雜的即可。站內(nèi)有大佬只用官方立繪出了效果不錯的lora,雖然過擬合很嚴重,但是降低權(quán)重或者使用lora分層控制就可以解決。這個算是避免侵犯第三方畫師版權(quán)問題的一種辦法了。

另外一點,用于訓(xùn)練的圖不要有透明背景,如果你在PRTS上下載方舟的人物立繪,那圖片就是透明背景,訓(xùn)練時可能會出奇怪的問題,最好打開ps給它加個白色背景。

說回重點,準備好圖,打開Photoshop,左上角找到裁切工具,選中,在頂部設(shè)置裁切的尺寸。

不是這個圖標(biāo)的話,左鍵長按出來的菜單里選

如果你要裁切的尺寸就是經(jīng)典的512x512,那就直接選和我一樣的選項,在后面的框里輸入 512px ,注意得把 px 倆字母敲進去,默認數(shù)字無單位可能會變成厘米。至于后面的像素/厘米,不重要,不想思考的話可以跟我一樣填72。

然后打開你要切的素材,這里以能天使的精一立繪為例。按以下原則切分:頭像,上半身,腳部出框或者全身,下半身。首先切分頭部的素材,拖動鼠標(biāo)差不多框住頭部以后移動幾下底圖,回車確認。

注意,如果人物有什么和頭部綁定的特征,光環(huán),飾品,耳朵,角,帽子之類的,最好和頭部框在一起,盡量避免其他身體部位出現(xiàn)。比如這里框住能天使的光環(huán),避開手?;剀囈院螅泶鏋閳D片,注意不要直接按Ctrl S,會覆蓋原圖,如果你手賤按了也沒事,打開歷史記錄使用敗者食塵。切完另存以后,用歷史記錄回退到裁切前,繼續(xù)切下一部分。

頂部菜單->窗口->歷史記錄

上半身同理:

有全身精細立繪的,可以單獨切一張下半身,保證褲子裙子之類的下裝細節(jié)正確。不用擔(dān)心ai分不清這是什么部分,只要你訓(xùn)練集的特征統(tǒng)一就行,別把不同服裝的扔一起,想多概念訓(xùn)練參考站內(nèi)其他大佬視頻和文章。

最后直接把全身也切一張512x512的,這里圖經(jīng)常不是正方形或者你指定的分辨率比例,無所謂,拖住裁切框往外拉,括住全身即可。按回車后可能會給你填黑色背景,也可能是透明背景,如果是透明背景,記得往下面加個圖層用油漆桶涂成白色或者圖片的底色。

如果你覺得官方立繪不夠,下了幾張同人圖,但是發(fā)現(xiàn)里面有其他角色,也可以扔進stable diffusion里面局部重繪把人抹掉。直接用套索或者選區(qū)工具圈住其他角色,按delete鍵,在對話框里選“內(nèi)容識別”,確認,一次效果可能不夠好,多來幾次就行。


上面那個固定形狀的選區(qū)也行,不過套索更自由點

處理完繼續(xù)按上述辦法切圖。

后面打tag什么的參考其他大佬教程,這里貼幾個鏈接供各位學(xué)習(xí)。

煉出來lora可以先用0.6的權(quán)重試一試,特征保留得差不多就可以看作成功了。如果你發(fā)現(xiàn)過擬合有點嚴重,可以參考這個教程使用分層控制減少過擬合:

一般訓(xùn)練時候會每2個epoch存一次lora,20個epoch最后會有10個lora。需要篩選效果最好的。我一般使用0.6權(quán)重,或者0.8搭配減輕過擬合的分層權(quán)重,用xyz腳本跑圖篩選lora,基本上三四輪下來就能拿出一個可堪一用的lora了。

就寫這么多吧,目前也沒別的可分享了。

LoRA訓(xùn)練入門小技巧之圖像預(yù)處理的評論 (共 條)

分享到微博請遵守國家法律
巴东县| 云和县| 临安市| 延津县| 独山县| 固始县| 临江市| 松溪县| 东乌珠穆沁旗| 洛川县| 蒙自县| 灵台县| 合阳县| 平乐县| 东辽县| 益阳市| 合川市| 德钦县| 黑龙江省| 丹阳市| 舟曲县| 成都市| 清徐县| 大邑县| 广汉市| 沁源县| 会宁县| 大田县| 疏勒县| 南和县| 福州市| 郯城县| 双江| 若尔盖县| 崇仁县| 富源县| 西宁市| 三明市| 洛隆县| 开封市| 庄河市|