【AI繪畫】利用LoRA分層控制高效且有目的地融合畫風(fēng)

Lora融合畫風(fēng)
1.?確定畫風(fēng)起點(diǎn):畫風(fēng)基礎(chǔ)模型,可以是現(xiàn)成畫風(fēng)lora模型或從大模型中提取lora,調(diào)試lora模型融合比大模型方便得多
2.?模型a選擇需要的畫風(fēng)大模型,模型b選擇之后準(zhǔn)備調(diào)試的基礎(chǔ)模型,維度可默認(rèn)128,再點(diǎn)擊提取lora
3.?對(duì)lora降維:選擇需要的lora模型與目標(biāo)維度,合并lora即可,也可對(duì)lora整體或部分層的權(quán)重進(jìn)行編輯:{lora名稱}:{lora整體強(qiáng)度}:{lora分層強(qiáng)度},<第二個(gè)lora>....
4.?lora融合:
(1)維度越小的lora對(duì)目標(biāo)還原能力越差,但也可使崩壞降低
?
(2)?部分lora對(duì)構(gòu)圖影響較大,可以分層控制權(quán)重,例如只保留對(duì)面部的權(quán)重,再調(diào)整不同強(qiáng)度
?
(3)?融合完成后,檢查肢體崩壞情況,若崩壞嚴(yán)重,可使用hipoly3D lora進(jìn)行修復(fù)(強(qiáng)度偏低,作用于臉部之外的區(qū)域)
(4)?Lora偏多后,為避免運(yùn)算緩慢,可先將lora合并進(jìn)大模型。將目前所有l(wèi)ora連同參數(shù)復(fù)制到supermerger輸入欄內(nèi),再只保留lora名稱與強(qiáng)度/各層強(qiáng)度,各個(gè)lora之間只用一個(gè)半角逗號(hào)隔開,例:<lora:chilloutmix_32:0.8>,<lora:beautifulDetailedEyes_v10:0.5:face>→chilloutmix_32:0.8,beautifulDetailedEyes_v10:0.5:face
然后選擇剛剛調(diào)試時(shí)使用的大模型,點(diǎn)擊merge loras即可。并入后在左上角刷新模型即可選擇并入的模型
(5)若想將多個(gè)lora合并成一個(gè)lora,并已經(jīng)調(diào)試完畢,則不要使用supermerge的合并功能,應(yīng)先將lora合并進(jìn)大模型,再減去基本模型提取lora才可使效果一致