【AI繪畫(huà)】lora干貨！新手小進(jìn)階（上）！三種打標(biāo)方式對(duì)比及正則化對(duì)人物訓(xùn)練作用討論
摘要
????????本專欄將用具體例子向你展示三種打標(biāo)方式（全標(biāo)、刪去人物特征、只保留喚起標(biāo)簽）在lora人物訓(xùn)練中不同的效果，并給出各自的優(yōu)缺點(diǎn)。同時(shí)你也會(huì)看到正則化對(duì)人衣分離的作用。最后我會(huì)給出推薦的訓(xùn)練方式。
注意，我是開(kāi)啟keep token和打亂標(biāo)簽的，lion優(yōu)化器
關(guān)鍵詞：LoRA模型、打標(biāo)方式、正則化、訓(xùn)練方式、心得
參考：
全文2550字，如果你想看證明過(guò)程就慢慢看，會(huì)有具體圖片例子
如果你只想得到結(jié)論，直接拉到最后的總結(jié)部分（但我相信如果你不看圖片，可能理解的不是那么好）
看完這篇專欄大概5分鐘，訓(xùn)練、測(cè)試、得出結(jié)論，最后寫(xiě)專欄卻要好幾天。
如果你能看到最后，覺(jué)得有用，不要忘了結(jié)尾的約定。
如果覺(jué)得沒(méi)用，很抱歉我浪費(fèi)了你的時(shí)間，你可以給我留言改進(jìn)的意見(jiàn)或者指出我的錯(cuò)誤。
測(cè)試模型、訓(xùn)練集、正則化集、tag文件、train.sh文件、xyz圖我稍后會(huì)上傳，請(qǐng)留意評(píng)論區(qū)
序言
阿慈谷日步美是?Nexon?發(fā)行的游戲《蔚藍(lán)檔案》及其衍生作品中的登場(chǎng)角色。
其通常形象為背著佩洛洛風(fēng)格背包的金發(fā)雙馬尾JK少女
在此次實(shí)驗(yàn)中，我使用8張圖片做為訓(xùn)練集；測(cè)試了在合理參數(shù)設(shè)置下，三種打標(biāo)方式及全標(biāo)+正則化的訓(xùn)練成品。
正文
（一）訓(xùn)練集展示（僅8張）
（二）參數(shù)
我一共訓(xùn)練了7組模型，先給出基礎(chǔ)參數(shù)：
（三）prompt：naifu起手式+以下組合
全標(biāo)：全都有
刪特征：人物被刪去，其他保留
僅喚起：人物被刪去；衣服（除了shoes，school uniform，bag被保留外）被刪去；其余保留
其中在keep token = 3作用下，第一欄（hifumi，girl，solo）成為喚起詞
（四）模型：
其中最后一列的all_plus已經(jīng)有點(diǎn)過(guò)擬合了，接下來(lái)的分析我不會(huì)提到它，放哪里給大家做個(gè)對(duì)比
下面的XYZ圖按這個(gè)順序從左到右排序，重點(diǎn)分析前3列（三種打標(biāo)）和第4/5列（正則化）
（五）模型測(cè)試（prompt測(cè)試）
5.1? 喚醒詞 測(cè)試
可以看到在開(kāi)啟keep token時(shí)，三種打標(biāo)在一定程度上都完成了喚起；
考察面部還原、胸前蝴蝶結(jié)：
易調(diào)用性： 僅喚起 > 刪特征 > 全標(biāo)
其中正則化還未完全擬合，（如果僅使用喚起詞，其還原程度，在擬合后，理論上應(yīng)該是弱于全標(biāo)的）
5.2??喚起+人物 測(cè)試
可以看到還原程度： 僅喚起（實(shí)際上是過(guò)擬合了） > 刪特征 > 全標(biāo)
考察對(duì)人物的還原，全標(biāo) 和 刪特征 均滿足了要求。
但是請(qǐng)注意，我并未輸入衣服tag，但是 僅喚起 直接把JK還原了，這意味著 僅喚起 已經(jīng)過(guò)擬合了。
同時(shí)，也可以大膽推斷，在未過(guò)擬合的情況下，全標(biāo) 和 刪特征 是可以完成換衣的，也就是在不使用正則化的情況下具有一定程度的泛化性。（在5.4中被證明）
泛化性（換裝能力）：全標(biāo)>刪特征>僅喚起
5.3??人物+衣服?測(cè)試
可以看到在 人物+衣服 的 prompt 下，無(wú)明顯差別（除了正則化還未擬合）
5.4??泛化?測(cè)試 （僅人物+full body+swimsuit）
可以看到 僅喚起 已經(jīng)不可避免的過(guò)擬合，換裝失敗；其余的均很好完成了換裝。
這證明了5.2的結(jié)論：在未過(guò)擬合的情況下，全標(biāo)?和?刪特征?是可以完成換衣的，也就是在不使用正則化的情況下具有一定程度的泛化性。
泛化性（換裝能力）：全標(biāo)>刪特征>僅喚起
5.5? 僅衣服?測(cè)試
注意，這個(gè)測(cè)試是重點(diǎn)，直接反應(yīng)了泛化性的差距。
可以看到 僅喚起、刪特征、全標(biāo)，人物均不同程度受到了衣服tag的影響（僅喚起的人物幾乎已是日富美；全標(biāo)受影響最小），只有正則化最好的完成了人物與衣服的剝離。
泛化能力：正則化>>全標(biāo)>刪特征>>僅喚起
不要覺(jué)得正則化還原的衣服不像，那是因?yàn)?epoch的正則化模型還未擬合，下面是一張14epoch已經(jīng)擬合的正則化圖片（僅衣服tag）
也就是說(shuō)，如果你有多concept互換衣服的需求，或者訓(xùn)練衣服的需求，是一定要用正則化的
5.6? 全標(biāo) 測(cè)試（細(xì)節(jié)測(cè)試）
這個(gè)也是重要指標(biāo)，這里只考察對(duì)非人物細(xì)節(jié)的學(xué)習(xí)，如槍和佩洛洛背包的還原
細(xì)節(jié)能力：正則化≈>全標(biāo)>刪特征>僅喚起
還是那句話，不要覺(jué)得圖里正則化的背包不像，那是因?yàn)檫€沒(méi)擬合。
總結(jié)
過(guò)擬合風(fēng)險(xiǎn)：僅喚起>>刪特征>全標(biāo)>正則化
擬合能力（對(duì)人物的學(xué)習(xí)速度/出成品速度）：全標(biāo)≈=僅喚起≈=刪特征>>正則化
（正則化處理不好臉部還原會(huì)有難度，這個(gè)在大訓(xùn)練集中特別明顯）
細(xì)節(jié)能力（非人物細(xì)節(jié)，如光環(huán)，繡肩，佩洛洛背包，畫(huà)風(fēng)等）：正則化≈>全標(biāo)>刪特征>僅喚起
還原性（人物+衣服/全標(biāo);擬合后）：無(wú)明顯差別
易調(diào)用性：?僅喚起 > 刪特征 > 全標(biāo)>>正則化
換裝能力（不過(guò)擬合情況）：正則化>全標(biāo)≈>刪特征>>僅喚起
泛化能力：正則化>>全標(biāo)>刪特征>>僅喚起
訓(xùn)練容易程度（包括訓(xùn)練集準(zhǔn)備、tag處理，調(diào)參來(lái)避免欠/過(guò)擬合）：全標(biāo)≈>刪特征>僅特征≈=正則化（小訓(xùn)練集）>>>正則化（大訓(xùn)練集）
同時(shí)，如果有多concept互換衣服的需求，或者訓(xùn)練衣服的需求，總之如果想把人物和服裝分離，是一定要用正則化的
為什么刪特征會(huì)略比全標(biāo)難呢？因?yàn)閯h特征最好給點(diǎn)臉部特寫(xiě)，而且特征tag最好刪干凈了，不然會(huì)丟特征。
為什么僅特征更難？因?yàn)?span id="s0sssss00s" class="color-pink-03">必須 一定 要保證相關(guān)tag刪干凈了，同時(shí)它太容易過(guò)擬合了，而且細(xì)節(jié)的學(xué)習(xí)要給很多特寫(xiě)。
為什么正則化最難，因?yàn)槿绻麉?shù)沒(méi)調(diào)好，訓(xùn)練集和正則化的比重沒(méi)弄好，擬合是有難度難度（特別是大訓(xùn)練集）；這往往需要一定的經(jīng)驗(yàn)。
小訓(xùn)練集耗時(shí)相對(duì)少（試錯(cuò)空間大），臉部擬合也不是太難（給特寫(xiě)），同時(shí)也面臨過(guò)擬合的困擾，所以用正則化是不錯(cuò)的選擇。這也是我最開(kāi)始推薦使用正則化的原因，因?yàn)楫?dāng)時(shí)我的訓(xùn)練集較小，每個(gè)concept只有30張左右。
但是最近有人和我反應(yīng)大訓(xùn)練集用正準(zhǔn)化效果不佳，這是因?yàn)?/strong>
大訓(xùn)練集使用正則化一定要謹(jǐn)慎！因?yàn)槟槻繑M合有難度，而且耗時(shí)會(huì)大幅增加！
如果你非要用，控制比重在5%~10%以下，同時(shí)要給臉部特寫(xiě)！
建議：
新手訓(xùn)練自用的 單角色 模型直接全標(biāo)完事。（還原又好，細(xì)節(jié)又好，還能換裝，泛化好，擬合風(fēng)險(xiǎn)又小，真是有夠爽的）
稍微熟練后可嘗試刪特征。（刪特征訓(xùn)練的特寫(xiě)和tag處理具體教程，下下周可能我會(huì)講，看有沒(méi)有空）
熟練掌握調(diào)參和訓(xùn)練集、tag處理后，有發(fā)布易調(diào)用模型的需求，僅喚起。
有極強(qiáng)的泛化需求,或者有分離服裝需求，可以用正則化。（還是那句話，大訓(xùn)練集有難度，推薦小訓(xùn)練集用）
結(jié)尾
? ? ? ??最后只放一張圖（我的模型沒(méi)煉好，這個(gè)8張訓(xùn)練集的我不滿意XD）
????????你看完這篇專欄只要5分鐘，我訓(xùn)練、測(cè)試、得出結(jié)論最后編寫(xiě)專欄要好幾天。
????????所以覺(jué)得本專欄對(duì)你有用的，或者圖片好看的，不妨點(diǎn)個(gè)三連、分享吧。
by Happy_WSH
