【AI繪畫】把任何模型變?yōu)榫植恐乩L(inpainting)模型的方法

你一共需要 ABC 三個(gè)模型
A是 Stable Diffusion 1.5 inpainting 模型?https://huggingface.co/runwayml/stable-diffusion-inpainting/tree/main
B是你需要進(jìn)行轉(zhuǎn)化的模型,比如NovelAI, Anything
C是 Stable Diffusion 1.5 的普通模型?https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main
進(jìn)入WebUI的Checkpoint Merger界面,把ABC分別填進(jìn)去
下面的Custome Name,給模型起個(gè)名字,你自己能找到就好
Multiplier系數(shù),拉到最右邊,1。
Interpolation Method選擇第三個(gè) Add difference。
格式選safetensors就行,如果你想順便把vae烤進(jìn)去,就在bake in vae中選B模型用的vae。
其他的不用動(dòng),點(diǎn)Merge就行了。
這樣融合過的模型,在進(jìn)行局部重繪時(shí),融入原畫面的能力會(huì)大大增強(qiáng)。



原理:Add difference 的公式是 A + (B - C) * M。
當(dāng)M=1時(shí),相當(dāng)于 A - C + B。
A - C 就是重繪模型和普通模型的差,也就是重繪模型獨(dú)特的部分。把它加給B,你自己的模型也就有了重繪能力。
來源:https://www.reddit.com/r/sdforall/comments/zyieht/how_to_turn_any_model_into_an_inpainting_model/