贊,Controlnet 1.1.222添加了一個(gè)新的修復(fù)預(yù)處理器:inpaint_only+lama 更強(qiáng)
文章來源?https://github.com/Mikubill/sd-webui-controlnet/discussions/1597
翻譯整理:大華說AI
controlNet 1.1.222添加了一個(gè)新的修復(fù)預(yù)處理器:inpaint_only+lama
LaMa:使用傅立葉卷積(Apache-2.0 許可證)
進(jìn)行分辨率穩(wěn)健的大掩膜修復(fù) Roman Suvorov、Elizaveta Logacheva、Anton Mashikhin、Anastasia Remizova、Arsenii Ashukha、Aleksei Silvestrov、Naejin Kong、Harshith Goka、Kiwoong Park、Victor Lempitsky(三星研究院和洛桑聯(lián)邦理工學(xué)院)
“inpaint_only+lama”的基本思路是受到Automaic1111的upscaler設(shè)計(jì)的啟發(fā):使用一些其他的神經(jīng)網(wǎng)絡(luò)(比如超分辨率GANs)來處理圖像,然后使用Stable Diffusion來細(xì)化和生成最終圖像。
我們將類似的想法帶到了 inpaint 中。當(dāng)您使用新的inpaint_only+lama預(yù)處理器時(shí),您的圖像將首先使用模型LAMA進(jìn)行處理,然后 lama 圖像將由您的 vae 編碼并混合到 Stable Diffusion 的初始噪聲以指導(dǎo)生成。
inpaint_only+lama的結(jié)果通常看起來與inpaint_only相似,但更“干凈”一點(diǎn):不那么復(fù)雜,更一致,隨機(jī)對(duì)象更少。這使得inpaint_only+lama適用于圖像重繪或?qū)ο笠瞥?/p>
比較

配置



(調(diào)整模式“調(diào)整大小和填充”啟用涂色)
結(jié)果:
inpaint_only

(9 個(gè)非精心挑選的原始輸出)
inpaint_only+lama

(9 個(gè)非 cherry-picked 原始輸出)
你可以看到inpaint_only+lama比inpaint_only更“干凈”一點(diǎn)(也更健壯一點(diǎn))。
您至少需要1.1.222才能使用此功能。