個(gè)人lora煉丹筆記

畢竟也煉了半年多的丹了,想簡(jiǎn)單談?wù)勑牡茫ㄒ矝](méi)想到我一個(gè)煉丹業(yè)余玩家也能有c站小牌牌)

(這次只談?wù)勛罨A(chǔ)的lora訓(xùn)練,并且說(shuō)得抽象,基本是給自己看的,不涉及l(fā)oha,locon,金字塔及其分層訓(xùn)練那些花里胡哨的,因?yàn)槲艺J(rèn)為這些東西都不是訓(xùn)練一個(gè)好模型的關(guān)鍵因素才不是因?yàn)槲覒些?;′_`)┏)
先簡(jiǎn)單說(shuō)說(shuō)決定訓(xùn)練質(zhì)量的因素(純個(gè)人體感):
訓(xùn)練集>>訓(xùn)練底模選擇>打標(biāo)☆>學(xué)習(xí)率≈學(xué)習(xí)步數(shù)>其它

先說(shuō)說(shuō)角色訓(xùn)練集準(zhǔn)備吧,首先準(zhǔn)備的訓(xùn)練集圖片一定要清晰,不能有顏色條條(最常見(jiàn)于工具裁剪時(shí)出現(xiàn)的黑條條),人物最好是有背景(不然出圖時(shí)人物背景可能要用prompt引出),然后畫風(fēng)極差的同人圖不建議作為訓(xùn)練集,拿番劇截圖做訓(xùn)練是可以的并且可以保證畫風(fēng)統(tǒng)一但會(huì)導(dǎo)致畫風(fēng)過(guò)擬,但球球了別拿個(gè)720p的畫質(zhì)去截圖做訓(xùn)練集,不然到時(shí)候出圖的時(shí)候跟著一起糊除非你喜歡糊糊的年代感。
緊接著是訓(xùn)練集圖片尺寸,最好是自己截不建議用訓(xùn)練工具自帶的裁剪工具,這樣更能選出你想讓ai學(xué)的內(nèi)容,個(gè)人喜歡512*(512~768)這個(gè)區(qū)間,其它區(qū)間有試過(guò)但翻車之后就沒(méi)再嘗試了,人物截圖時(shí)除非角色下半身有明顯屬于該角色的人物特征,不然只建議截上半身,下半身給ai學(xué)太容易過(guò)擬了,訓(xùn)練集中可以包含人物的背身圖和側(cè)身圖,但正面圖一定要在七成以上除非你喜歡欣賞背影。一個(gè)理想的訓(xùn)練圖片應(yīng)長(zhǎng)下面這樣:


緊接著說(shuō)說(shuō)訓(xùn)練底模的選擇(僅限二次元),個(gè)人是nai模釘子戶,但其他例如anything、sd1.5應(yīng)該也不錯(cuò),這里就不多闡述了,上面提及的三個(gè)都挺穩(wěn)定,其它的需要自己嘗試。

然后說(shuō)說(shuō)地獄難度的打標(biāo)環(huán)節(jié)吧,這個(gè)首先得看訓(xùn)練底模對(duì)不同prompt的匹配度,目前我感覺(jué)nai模的prompt大多與danbooru這個(gè)圖片網(wǎng)站匹配(ai早期魔法吟唱的tag我都會(huì)去這個(gè)網(wǎng)站查)
之后就是打標(biāo)了,目前有很多打標(biāo)工具,我用的是超古典的deepdanbooru,其實(shí)這些打標(biāo)工具都差不多,麻煩的是后續(xù)人工處理tag
先用抽象的方式說(shuō)說(shuō)打標(biāo)是干嘛的
你可以認(rèn)為你給ai喂的訓(xùn)練集會(huì)放在一個(gè)雙層樓中,訓(xùn)練時(shí)ai會(huì)根據(jù)你給每一張訓(xùn)練圖片打上的tag一個(gè)個(gè)識(shí)別元素并與底模元素匹配去逐步迭代微調(diào)底模元素的內(nèi)容,并將這些元素放到房屋第二層中先不在第一層露面,那些未被打標(biāo)或者無(wú)法被識(shí)別的元素會(huì)被放置在第一層(大部分情況是底模中沒(méi)有這個(gè)tag對(duì)應(yīng)的元素)調(diào)用lora即出現(xiàn),當(dāng)訓(xùn)練好一個(gè)lora后,調(diào)用lora會(huì)直接讓第一層的元素露面,而想讓第二層元素露面就需要我用之前打好的tag去引出他們

所以為什么一般訓(xùn)練角色都會(huì)將角色特征有關(guān)的tag刪掉,這是為了調(diào)用時(shí)方便直接引出角色的特征,當(dāng)然如果保留角色服裝tag的話就能使角色換裝更簡(jiǎn)單。同時(shí)如果訓(xùn)練集少的情況下打標(biāo)盡量復(fù)雜,訓(xùn)練集多的情況打標(biāo)盡量簡(jiǎn)單,如果不介意過(guò)擬合或者欠擬合可以忽略這步,畢竟可以調(diào)lora權(quán)重。
不過(guò)還有一種邪教訓(xùn)練方式,就是我經(jīng)常用的單標(biāo)法,每個(gè)圖片只打1girl這一個(gè)標(biāo),或者再隨便加一點(diǎn),例如角色是純白背景的話我可能會(huì)加個(gè)white_background tag使白色背景不容易被調(diào)用出來(lái)防止以后出圖時(shí)背景單一。單標(biāo)法是懶人必備,并且分概念訓(xùn)練也很簡(jiǎn)單,只要自定義一個(gè)tag觸發(fā)詞再加1個(gè)1girl(加1girl能提高泛化性但極有可能導(dǎo)致概念雜糅)就能給一個(gè)圖片打好標(biāo)。
上面提及的都是角色訓(xùn)練,再順便提提畫風(fēng)訓(xùn)練吧,畫風(fēng)我也煉了不少但畫風(fēng)模型一般涉及畫師所以不會(huì)分享出來(lái)
煉畫風(fēng)就比角色輕松多了,打標(biāo)的話直接打全標(biāo),不需要手動(dòng)人工修改(至于為啥道理自己揣摩一下就懂了)唯一需要注意的點(diǎn)是畫風(fēng)lora和角色lora分開(kāi)用雖然沒(méi)問(wèn)題,但在共用時(shí),盡量用訓(xùn)練底模出圖,不然會(huì)有概率色塊污染情況,舉個(gè)例子
我訓(xùn)練了一個(gè)我一個(gè)喜歡的畫師狗姐(狗神煌)早期的畫風(fēng)lora,狗姐早期畫風(fēng)大概長(zhǎng)這樣

用訓(xùn)練底模配合人物lora的出圖效果:

用非訓(xùn)練底模配合人物lora的出圖效果:

差別是不是顯而易見(jiàn)呢

最后談?wù)剬W(xué)習(xí)率和學(xué)習(xí)步數(shù)吧,這個(gè)基本只影響擬合度,一般默認(rèn)學(xué)習(xí)率就行,步數(shù)可以高點(diǎn),畢竟過(guò)擬合的lora可以降權(quán)重解決,欠擬合就真沒(méi)法解決了
到這里基本環(huán)節(jié)就結(jié)束了,剩下的交給ai吧,同時(shí)以上所說(shuō)的全是個(gè)人感受,每個(gè)人的訓(xùn)練愛(ài)好和方式肯定天差地別,看我的圖個(gè)樂(lè)就行了ヽ(ー_ー)ノ