先傳一個(gè)文字版教程，看看好不好過審

======================================================================

Hello,大家好

今天給大家?guī)淼氖且惶兹碌挠脴O少數(shù)據(jù)集訓(xùn)練角色lora的方法

經(jīng)過測(cè)試下來，用這套方法練出來的角色lora在特征的擬合程度上以及泛化能力上都是很不錯(cuò)的，和用十幾張圖作為數(shù)據(jù)集練出來的lora差不多，在泛化能力上甚至表現(xiàn)的更好

而且操作十分簡(jiǎn)便，只需要2-4張圖，

很適合訓(xùn)練冷門角色，或者你的OC

又或者你想省事，也可以用這種方法去練一個(gè)quick lora。

在教程開始之前，首先要感謝reo老師，l4t老師以及五月老師提供的靈感

這種訓(xùn)練方法暫時(shí)沒有人命名，那么我就先起個(gè)名字，叫“手動(dòng)正則法”好了。

那么話不多說，在彈幕上扣個(gè)1，開始今天的教程吧

咱這個(gè)訓(xùn)練流程，很多地方都和傳統(tǒng)訓(xùn)練角色lora一樣啊，都是找好數(shù)據(jù)集然后打標(biāo)

就像這樣，這里娛樂是用了四張圖作為數(shù)據(jù)集，當(dāng)然這個(gè)角色不可能只有這四張圖，這里是故意減少數(shù)據(jù)集來模擬一下數(shù)據(jù)集缺失的情況，方便后面我們進(jìn)行對(duì)比。

角色lora的打標(biāo)是一個(gè)老生常談的話題，有人建議刪除所有和角色描述有關(guān)的標(biāo)簽，也有人建議保留一部分，也有人喜歡打全標(biāo)然后什么都不動(dòng)，主打一個(gè)原湯化原食。

但是在我們這個(gè)訓(xùn)練流程里，娛樂建議的打標(biāo)方法略有些特殊，具體為什么這么打標(biāo)等下再講

1.首先描寫發(fā)色瞳色的標(biāo)簽全部刪除，這是為了我們以后觸發(fā)方便

2.接著是描寫衣服的標(biāo)簽，娛樂建議的是，為角色的頭部，上半身，下半身，足部這四個(gè)部分分別設(shè)置一到兩個(gè)個(gè)觸發(fā)詞，添加到所有圖片的標(biāo)簽中，而其他描述服裝的tag刪除

比如這個(gè)角色，就保留了以下觸發(fā)詞:”cowboy hat(頭部)”，”fur_trim,dress”(上半身)，“brown thighhighs”（下半身）,”boots”（足部）

3.再然后，就是一些描寫細(xì)微特征的部分，比如頭飾，或者臉上的紋身，這里娛樂的建議還是全部保留。

處理好這幾張圖片之后，我們把這幾張圖片放在一個(gè)文件夾中，設(shè)置repeat數(shù)為10，也就是命名為10_body

4張圖，10repeat，20個(gè)epoch，這樣的數(shù)據(jù)量已經(jīng)足夠lora在服飾上進(jìn)行擬合了。

如果你訓(xùn)練的是自己的oc，連四張圖都找不到的話，那么娛樂這里建議的是一張側(cè)身，一張正面，兩張圖開一個(gè)鏡像翻轉(zhuǎn)湊成四張去訓(xùn)練，一樣可以達(dá)到較好的效果

就像這樣

接著，我們?cè)俳⒌诙€(gè)文件夾，設(shè)置repeat數(shù)為6，命名為6_face,我們打開ps或者其他的圖片處理軟件，新開一個(gè)512×512的畫布，截取我們body文件夾中圖像的臉部，將兩到三張臉部的特寫放入這個(gè)文件夾中，使用和我們body文件夾同樣的打標(biāo)方式。

我們用這個(gè)文件夾是希望進(jìn)行一個(gè)臉部的擬合

最后，就是我們整個(gè)流程最妙的一步了，我們?cè)傩陆ㄒ粋€(gè)最后的文件夾，設(shè)置repeat為4，命名為4_reg，去進(jìn)行一個(gè)手動(dòng)的正則化處理

先講一下為什么要做一個(gè)手動(dòng)的正則而不是使用lora訓(xùn)練自帶的正則吧，因?yàn)檫@個(gè)訓(xùn)練程序自帶的正則文件夾權(quán)重過高而且不容易控制，很容易造成污染，

所以我們這里就干脆用一個(gè)低repeat的文件夾去做一個(gè)正則化的訓(xùn)練，去減輕動(dòng)作以及畫風(fēng)的過擬

這是因?yàn)檎齽t文件夾中包含的各種動(dòng)作，雖然權(quán)重較小，但還是存在，我們?cè)谂軋D過程中可以通過tag去調(diào)取，這樣就保證了動(dòng)作不會(huì)過擬

而正則文件夾中的畫風(fēng)，也是會(huì)影響到這個(gè)lora的畫風(fēng)，從而防止畫風(fēng)過擬的出現(xiàn)。

那么我們這個(gè)正則文件夾里面具體要放什么圖片呢，

實(shí)不相瞞，我們需要的是4-5張各種姿勢(shì)的，可以展現(xiàn)出人類身體美與精神美的，充滿自由與自然的圖片，說人話就是果圖。這里面可以用其他角色的，只要身材和這個(gè)角色相差不大就行，要求打全標(biāo)。

真沒給各位開玩笑啊，咱們這是正經(jīng)教學(xué)，干的一切事都是為了正經(jīng)用途，我給大家詳細(xì)講一下為什么要這么干啊。

有一個(gè)說法叫拔了毛的鳳凰不如雞，那說明不管是鳳凰還是雞，這拔了毛之后看起來應(yīng)該是大差不差的，對(duì)于人來說也是一樣，所以我們使用這樣的圖片，再加上文件夾的低repeat，可以很輕松的防止我們要訓(xùn)練的那個(gè)角色服飾被污染。

還記得我們body文件夾里面的打標(biāo)方式嗎，之所以用那樣的打標(biāo)方式，就是為了提高prompt和圖像的一致度，進(jìn)一步的去減輕正則文件夾的污染。

然后有人就要問了，你這文件夾里放別的角色的圖，把臉給污染怎么辦啊？
這個(gè)問題，也有解決辦法，而且相當(dāng)簡(jiǎn)單粗暴，我們只要把這個(gè)角色的臉給涂黑，然后在標(biāo)簽里打上faceless就可以了。

舉個(gè)例子，這里應(yīng)該用無衣的，為了過審用了其他圖片進(jìn)行演示

這里給大家講一下原理，就是這個(gè)lora訓(xùn)練，最重要的是數(shù)據(jù)集，第二重要的是打標(biāo)處理，

我們把正則文件夾里面的所有圖臉部都給遮起來，再打上faceless，那么所有的這些黑塊都和faceless這一個(gè)tag聯(lián)系起來了，只要不輸入faceless，就不會(huì)出現(xiàn)這樣的大黑塊，

而我們所有數(shù)據(jù)集里面能和1girl關(guān)聯(lián)的臉型，就只有body和face中的臉部特征了，這樣自然可以進(jìn)行臉部的擬合。

至此，我們用這種方法訓(xùn)練出來的lora，解決了擬合度的問題，解決了污染的問題，解決了畫風(fēng)和動(dòng)作過擬的問題，自然可以訓(xùn)練出一個(gè)優(yōu)質(zhì)的lora。

最后提醒一下，這個(gè)reg文件夾做好之后，是可以重復(fù)利用的，這也就意味著你想做quick lora所需要的數(shù)據(jù)量大幅度減少，處理數(shù)據(jù)集和訓(xùn)練時(shí)間都會(huì)加快。

還有就是reg，face，body這三個(gè)文件夾的repeat數(shù)不是固定的，各位可以根據(jù)自己的數(shù)據(jù)集進(jìn)行改變，只需要注意body的圖片數(shù)×repeat應(yīng)該大于reg的兩倍左右就ok了

明天出視頻教程，準(zhǔn)備好三連把娛樂gg灌滿吧