Stable Diffusion 插件 ContorlNet 更新了 1.1 版本,更加強(qiáng)大
2023?年 4?月 13?日,StableDiffusion 最強(qiáng)大的插件 ContorlNet 更新了 1.1 版本,這是一個(gè)重大的更新,舊模型增加了很多數(shù)據(jù),進(jìn)行了重新訓(xùn)練,目前模型總數(shù)達(dá)到了 14 個(gè),新增了 4 個(gè)模型,可能會(huì)給 Stabel diffusion 帶來(lái)新的玩法。
下面是具體的更新內(nèi)容:
- 更改了模型命名規(guī)則:從 ControlNet 1.1 開(kāi)始,我們開(kāi)始使用標(biāo)準(zhǔn) ControlNet 命名規(guī)則 (SCNNR) 來(lái)命名所有模型。我們希望此命名規(guī)則可以改善用戶體驗(yàn)。
- 現(xiàn)有的 Depth、Normal、Canny、Scribble、MLSD、HED 模型在增加數(shù)據(jù)后進(jìn)行了更多的訓(xùn)練效果有不同程度的提升。
- Openpose 增加了對(duì)面部和手部的支持,可以選擇只針對(duì)身體生效,還是對(duì)身體+面部+手部生效。
- 線稿專用模型支持手繪線稿和自動(dòng)識(shí)別兩種模式
- 新增 Content Shuffle 模型:能夠重新組織圖像。使用隨機(jī)流程將圖像混洗,然后利用控制StableDiffusion 來(lái)重新組合圖像。
- 新增 Instruct Pix2Pix 模型:可以理解為原有的 Pix2Pix 模型,他們做了一些優(yōu)化,使其更易用。
- 新增 Inpaint 模型:主要功能是對(duì)圖像進(jìn)行修復(fù),比如涂抹的區(qū)域,此外這個(gè)模型可能也會(huì)用來(lái)解決生成視頻的連續(xù)性問(wèn)題。
- 新增 Tile 模型(未完成):嘗試解決利用 Tile 控制 Stable diffusion 時(shí)提示將始終影響每個(gè)區(qū)域的問(wèn)題。對(duì)于給定的區(qū)域,它識(shí)別區(qū)域內(nèi)部的內(nèi)容,并增加了該識(shí)別出的語(yǔ)義的影響,如果內(nèi)容不匹配,則還減少了全局提示的影響。
Github鏈接:https://github.com/lllyasviel/ControlNet-v1-1-nightly
Huggingface模型下載鏈接:https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main