摘要

????????本專欄將向你展示一個筆者目前認(rèn)為泛化性與還原性基本達(dá)到要求的彩奈模型，模型中包含了差異較大的兩個人物風(fēng)格，并且在滿足還原性的情況下，實現(xiàn)了衣服的混穿（但仍有一定瑕疵）。同時本專欄也會用具體圖片向你證明正則化圖片確有其用。結(jié)尾展示了幾張筆者認(rèn)為很好看的圖片。

關(guān)鍵詞：LoRA模型、泛化性、黑白彩奈、正則化探討、碧藍(lán)檔案

序言

彩奈（又名阿羅娜）是游戲碧藍(lán)檔案中的向?qū)?NPC 和廣告牌娘。

其通常形象為白藍(lán)主題，但在前不久的劇情中推出了反轉(zhuǎn)形象--黑色彩奈。黑白彩奈可視為同一個人，但黑彩奈在設(shè)計上刻意追求了反差、對比（衣服、光環(huán)、眼睛等等），這使得兩個彩奈在人物形象上存在諸多相似處的同時，又有著極為明顯的不同，可以說是矛盾與對立的統(tǒng)一。

這直接導(dǎo)致了在lora模型中混用二者存在一定困難，同時訓(xùn)練過程中的tag的處理也存在一定考究。筆者認(rèn)為這是一個非常好的研究案例。

如果周末有空，看的人多的話，可能會出一期新手向圖片與tag處理的視頻（我猜沒空XD）

以下圖片的模型在正則化下訓(xùn)練完成，保留了全部體征tag。

正文

（一）還原性

首先還原性成果展示

訓(xùn)練集展示

各位覺得效果如何呢？

筆者個人認(rèn)為已經(jīng)達(dá)到了要求。

——————————————————————————————

（二）泛化性

接著筆者刪除去了全部衣服的tag，保留了各自的體征tag

如何？這些衣服均不存在與訓(xùn)練集。

當(dāng)然，你想保留衣服，換個人也是可以的。

是不是感覺有了一定的泛化性？

不止如此！

——————————————————————————————

（三）風(fēng)格混搭

通過合適的訓(xùn)練tag，學(xué)習(xí)率，和采用正則化避免過擬合，最后加上精心的tag魔法吟唱，

兩個彩奈實現(xiàn)了風(fēng)格的互換。

當(dāng)然，這其中還有一些瑕疵，比如

1. 不能畫全身（推測訓(xùn)練集給的全身圖像太少了）

2. 如果一個風(fēng)格的人物元素調(diào)用太多，會影響另一個風(fēng)格的衣服元素（可能text過擬合了）

——————————————————————————————

（五）正則化的討論

今天我注意到一位Up青龍圣者講了正則化的正確作用，他的視頻也做得很不錯，推薦大伙去看看，【正則化和卷積應(yīng)用】。

我的經(jīng)驗是，正則化對人物的訓(xùn)練確實是有作用的，你也可以從我上文圖片可以看出擬合效果是很令人滿意的。

同時，其避免過擬合的特性也使得學(xué)習(xí)率在不要過于離譜的情況下不會出壞圖，這是很適合于新手的。

這里我給出兩張XYZ調(diào)試圖片，每張都有27mb，我將其上傳到百度網(wǎng)盤。（怎么生成的？有什么用？可以去看青龍圣者的視頻，他的視頻質(zhì)量很不錯）

一張是黑彩奈，一張是白彩奈，X軸為8,10,12....32,34個epoch模型；Y軸為0.6,0.7,0.8,0.9的lora權(quán)重。兩張的生成均使用了各自的體征tag，同時我強行加上了訓(xùn)練集中沒有的full body和labcoat（白大褂），觀察其的擬合與泛化特性。

這里我可以告訴大家，第14個epoch是擬合拐點，第28個epoch是泛化拐點（怎么看的？看青龍視頻！），好模型要從15~27選，我后續(xù)有空會說要怎么看這個圖和loss。

結(jié)尾

? ? ? ??最后在放一些圖，覺得本專欄對你有用的，或者圖片好看的，不妨點個三連吧。

by Happy_WSH