文章來源：lllyasviel/ControlNet-v1-1-nightly官方
翻譯整理：大華說AI

ControlNet 1.1介紹

從 ControlNet 1.1 開始，我們開始使用標(biāo)準(zhǔn) ControlNet 命名規(guī)則 (SCNNRs) 來命名所有模型。我們希望這個(gè)命名規(guī)則能夠提升用戶體驗(yàn)。
文件名上的字母標(biāo)識(shí)：p是最終版，e是測(cè)試版，u是未完成

ControlNet 1.1 包括 14 個(gè)模型（11 個(gè)生產(chǎn)就緒模型、2 個(gè)實(shí)驗(yàn)?zāi)Ｐ秃?1 個(gè)未完成模型）：

control_v11p_sd15_canny
control_v11p_sd15_mlsd
control_v11f1p_sd15_depth
control_v11p_sd15_normalbae
control_v11p_sd15_seg
control_v11p_sd15_inpaint
control_v11p_sd15_lineart
control_v11p_sd15s2_lineart_anime
control_v11p_sd15_openpose
control_v11p_sd15_scribble
control_v11p_sd15_softedge
control_v11e_sd15_shuffle
control_v11e_sd15_ip2p control_v11u_sd15_tile


您可以從我們的HuggingFace 模型頁面下載所有這些模型。所有這些模型都應(yīng)該放在“models”文件夾中。

您需要下載 Stable Diffusion 1.5 模型“v1-5-pruned.ckpt”并將其放在“models”文件夾中。

我們的 python 代碼將自動(dòng)下載其他注釋器模型，如 HED 和 OpenPose。不過，如果您想手動(dòng)下載這些，您可以從此處下載所有其他注釋器模型。所有這些模型都應(yīng)該放在文件夾“annotator/ckpts”中。

ControlNet 1.1 Depth (深度)

用深度圖控制穩(wěn)定擴(kuò)散。

模型文件：control_v11f1p_sd15_depth.pth

配置文件：control_v11f1p_sd15_depth.yaml

訓(xùn)練數(shù)據(jù)：Midas depth（分辨率256/384/512）+ Leres Depth（分辨率256/384/512）+ Zoe Depth（分辨率256/384/512）。多分辨率的多深度圖生成器作為數(shù)據(jù)增強(qiáng)。

可接受的預(yù)處理器：Depth_Midas、Depth_Leres、Depth_Zoe。該模型非常穩(wěn)健，可以處理來自渲染引擎的真實(shí)深度圖。

一個(gè)帥哥? 隨機(jī)種子12345? 提示詞?("a handsome man")?生成結(jié)果如下：

ControlNet 1.1 Normal （正常）

使用法線貼圖控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_normalbae.pth

配置文件：control_v11p_sd15_normalbae.yaml

訓(xùn)練數(shù)據(jù)：Bae 的法線圖估計(jì)方法。

可接受的預(yù)處理器：普通 BAE。只要法線貼圖遵循ScanNet 的協(xié)議，該模型就可以接受來自渲染引擎的法線貼圖。也就是說，您的法線貼圖的顏色應(yīng)該看起來像這張圖片的第二列。

請(qǐng)注意，此方法比 ControlNet 1.1 中的 normal-from-midas 方法合理得多。以前的方法將被放棄。

花做的人??隨機(jī)種子 12345?提示詞?("a man made of flowers")?生成結(jié)果如下：

房間 隨機(jī)種子 12345?提示詞? ("room")?生成結(jié)果如下：

ControlNet 1.1 Canny （邊緣檢測(cè)-精明)

使用 Canny Maps 控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_canny.pth

配置文件：control_v11p_sd15_canny.yaml

訓(xùn)練數(shù)據(jù)：具有隨機(jī)閾值的 Canny。

可接受的預(yù)處理器：Canny。

我們修復(fù)了之前訓(xùn)練數(shù)據(jù)集中的幾個(gè)問題。

房間里的狗 隨機(jī)種子 12345?提示詞("dog in a room")?生成結(jié)果如下：

ControlNet 1.1 MLSD(線條檢測(cè))

用 M-LSD 直線控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_mlsd.pth

配置文件：control_v11p_sd15_mlsd.yaml

訓(xùn)練數(shù)據(jù)：M-LSD 線。

可接受的預(yù)處理器：MLSD。

我們修復(fù)了之前訓(xùn)練數(shù)據(jù)集中的幾個(gè)問題。該模型從 ControlNet 1.0 恢復(fù)并使用 A100 80G 的 200 GPU 小時(shí)進(jìn)行訓(xùn)練。

房間 隨機(jī)種子 12345? 提示詞("room")?生成結(jié)果如下：

ControlNet 1.1 Scribble（涂鴉）

用涂鴉控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_scribble.pth

配置文件：control_v11p_sd15_scribble.yaml

訓(xùn)練數(shù)據(jù)：合成的涂鴉。

可接受的預(yù)處理器：合成涂鴉（Scribble_HED、Scribble_PIDI 等）或手繪涂鴉。

我們修復(fù)了之前訓(xùn)練數(shù)據(jù)集中的幾個(gè)問題。該模型從 ControlNet 1.0 恢復(fù)并使用 A100 80G 的 200 GPU 小時(shí)進(jìn)行訓(xùn)練。

# To test synthesized scribbles python gradio_scribble.py # To test hand-drawn scribbles in an interactive demo python gradio_interactive.py

圖書館里的男人 隨機(jī)種子 12345?提示詞("man in library")?生成結(jié)果如下：

美麗的風(fēng)景 隨機(jī)種子 12345? 提示詞(interactive, "the beautiful landscape")?生成結(jié)果如下：

ControlNet 1.1 Soft Edge(軟邊緣)

使用軟邊控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_softedge.pth

配置文件：control_v11p_sd15_softedge.yaml

訓(xùn)練數(shù)據(jù)：SoftEdge_PIDI、SoftEdge_PIDI_safe、SoftEdge_HED、SoftEdge_HED_safe。

可接受的預(yù)處理器：SoftEdge_PIDI、SoftEdge_PIDI_safe、SoftEdge_HED、SoftEdge_HED_safe。

與以前的模型相比，該模型有了顯著改進(jìn)。所有用戶應(yīng)盡快更新。

ControlNet 1.1 中的新功能：現(xiàn)在我們添加了一種名為“SoftEdge_safe”的新型軟邊緣。這是因?yàn)?HED 或 PIDI 傾向于在軟估計(jì)中隱藏原始圖像的損壞灰度版本，而這種隱藏模式會(huì)分散 ControlNet 的注意力，從而導(dǎo)致不良結(jié)果。解決方案是使用預(yù)處理將邊緣圖量化為多個(gè)級(jí)別，以便完全刪除隱藏的模式。實(shí)現(xiàn)在 annotator/util.py 的第 78 行。

性能可以大致記為：

魯棒性：SoftEdge_PIDI_safe > SoftEdge_HED_safe >> SoftEdge_PIDI > SoftEdge_HED

最高結(jié)果質(zhì)量：SoftEdge_HED > SoftEdge_PIDI > SoftEdge_HED_safe > SoftEdge_PIDI_safe

考慮到權(quán)衡，我們建議默認(rèn)使用 SoftEdge_PIDI。在大多數(shù)情況下，它工作得很好。

帥哥? 隨機(jī)種子12345?提示詞??("a handsome man")?生成結(jié)果如下：

ControlNet 1.1 Segmentation（分段）

用語義分割控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_seg.pth

配置文件：control_v11p_sd15_seg.yaml

訓(xùn)練數(shù)據(jù)：COCO + ADE20K。

可接受的預(yù)處理器：Seg_OFADE20K (Oneformer ADE20K)、Seg_OFCOCO (Oneformer COCO)、Seg_UFADE20K (Uniformer ADE20K) 或手動(dòng)創(chuàng)建的掩碼。

現(xiàn)在該模型可以接收 ADE20K 或 COCO 兩種類型的注釋。我們發(fā)現(xiàn)識(shí)別分段協(xié)議對(duì)于 ControlNet 編碼器來說是微不足道的，并且訓(xùn)練多個(gè)分段協(xié)議的模型可以帶來更好的性能。

使用隨機(jī)種子 12345?提示詞?(ADE20k protocol, "house")

?房子 random seed 12345 (COCO protocol, "house"):

ControlNet 1.1 Openpose （姿態(tài)檢測(cè)）

使用 Openpose 控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_openpose.pth

配置文件：control_v11p_sd15_openpose.yaml

該模型經(jīng)過訓(xùn)練，可以接受以下組合：

• 打開姿勢(shì)身體

• 張開手

• 打開姿勢(shì)臉

• Openpose 身體 + Openpose 手

• Openpose 身體 + Openpose 臉部

• Openpose 手 + Openpose 臉

• Openpose 身體 + Openpose 手 + Openpose 臉

• 然而，提供所有這些組合太復(fù)雜了。我們建議只為用戶提供兩種選擇：

• “Openpose”= Openpose 身體

• "Openpose Full" = Openpose 身體 + Openpose 手 + Openpose 臉

穿西裝的人?隨機(jī)種子 12345 提示詞?("man in suit")

野外多人，“派對(duì)帥哥? ?隨機(jī)種子 12345? 提示詞(multiple people in the wild, "handsome boys in the party")

ControlNet 1.1 Lineart（線稿）

用線稿控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_lineart.pth

配置文件：control_v11p_sd15_lineart.yaml

該模型是在 awacke1/Image-to-Line-Drawings 上訓(xùn)練的。預(yù)處理器可以從圖像（Lineart 和 Lineart_Coarse）生成詳細(xì)或粗略的線稿。該模型經(jīng)過足夠的數(shù)據(jù)增強(qiáng)訓(xùn)練，可以接收手動(dòng)繪制的線稿。

詳細(xì)的藝術(shù)線條提取器，“書包”??隨機(jī)種子 12345? 提示詞?(detailed lineart extractor, "bag")

隨機(jī)種子12345 提示詞(coarse lineart extractor, "Michael Jackson's concert")

使用手動(dòng)繪制的線稿，“狼”??隨機(jī)種子12345 提示詞(use manually drawn linearts, "wolf"):

ControlNet 1.1 Anime Lineart（動(dòng)漫線稿）

用動(dòng)漫藝術(shù)線條控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15s2_lineart_anime.pth

配置文件：control_v11p_sd15s2_lineart_anime.yaml

培訓(xùn)數(shù)據(jù)和實(shí)施細(xì)節(jié)：（已刪除說明）。

該模型可以將真實(shí)的動(dòng)漫線條圖或提取的線條圖作為輸入。

一些重要的通知：

1. 您需要一個(gè)文件“anything-v3-full.safetensors”來運(yùn)行演示。我們不會(huì)提供文件。請(qǐng)自行在 Internet 上查找該文件。

2. 該模型使用 3x 令牌長度和 clip skip 2 進(jìn)行訓(xùn)練。

3. 這是一個(gè)長提示模型。除非您使用 LoRA，否則長提示的結(jié)果會(huì)更好。

4. 此型號(hào)不支持猜測(cè)模式。

隨機(jī)種子2345? 提示詞("1girl, in classroom, skirt, uniform, red hair, bag, green eyes"):

?隨機(jī)種子12345?提示詞?("1girl, saber, at night, sword, green eyes, golden hair, stocking"):

隨機(jī)種子12345?提示詞(extracted line drawing, "1girl, Castle, silver hair, dress, Gemstone, cinematic lighting, mechanical hand, 4k, 8k, extremely detailed, Gothic, green eye"):

ControlNet 1.1 Shuffle（洗牌）

通過內(nèi)容隨機(jī)播放控制穩(wěn)定的傳播。

模型文件：control_v11e_sd15_shuffle.pth

配置文件：control_v11e_sd15_shuffle.yaml

該模型經(jīng)過訓(xùn)練以重組圖像。我們使用隨機(jī)流來打亂圖像并控制穩(wěn)定擴(kuò)散來重組圖像。

香港 隨機(jī)種子 12345?提示詞("hong kong")

在右側(cè)的 6 張圖像中，左上角的圖像是“打亂”的圖像。其他都是輸出。

事實(shí)上，由于 ControlNet 被訓(xùn)練來重組圖像，我們甚至不需要打亂輸入——有時(shí)我們可以只使用原始圖像作為輸入。

這樣，這個(gè)ControlNet可以通過提示或其他ControlNet的引導(dǎo)來改變圖像風(fēng)格。

請(qǐng)注意，此方法與 CLIP 視覺或其他一些模型無關(guān)。

這是一個(gè)純 ControlNet。

鋼鐵俠?隨機(jī)種子 12345? 提示詞("iron man")

蜘蛛俠?random seed 12345 ("spider man"):

如果您實(shí)施自己的推理，則很重要：

請(qǐng)注意，此 ControlNet 需要在 ControlNet 編碼器輸出和 SD Unet 層之間添加全局平均池“x = torch.mean(x, dim=(2, 3), keepdim=True)”。并且 ControlNet 必須僅放在 cfg 規(guī)模的條件側(cè)。我們建議使用 yaml 文件中的“global_average_pooling”項(xiàng)來控制此類行為。

極其重要

請(qǐng)注意，此 ControlNet Shuffle 將是唯一一種圖像風(fēng)格化方法，我們將在長期支持中保持穩(wěn)健性。

我將重復(fù)這 3 次，因?yàn)樗鼈兎浅Ｖ匾ú灰賳栁覍?duì) XXX 其他方法有何看法）：

所有其他 CLIP 圖像編碼器、Unclip、圖像標(biāo)記化和基于圖像的提示在本質(zhì)上和根本上都是有限的。所有這些方法都不能 (!!!) 與用戶提示或額外/多個(gè) U-Net 注入一起使用。使這些方法運(yùn)作良好是不可能的。我們已經(jīng)放棄了那些方法。另請(qǐng)參閱此處、此處等證據(jù)。

所有其他 CLIP 圖像編碼器、Unclip、圖像標(biāo)記化和基于圖像的提示在本質(zhì)上和根本上都是有限的。所有這些方法都不能 (!!!) 與用戶提示或額外/多個(gè) U-Net 注入一起使用。使這些方法運(yùn)作良好是不可能的。我們已經(jīng)放棄了那些方法。另請(qǐng)參閱此處、此處等證據(jù)。

所有其他 CLIP 圖像編碼器、Unclip、圖像標(biāo)記化和基于圖像的提示在本質(zhì)上和根本上都是有限的。所有這些方法都不能 (!!!) 與用戶提示或額外/多個(gè) U-Net 注入一起使用。使這些方法運(yùn)作良好是不可能的。我們已經(jīng)放棄了那些方法。另請(qǐng)參閱此處、此處等證據(jù)。

ControlNet Shuffle 是唯一一種有可能與所有其他 ControlNet 和用戶提示一起很好地工作的方法。

ControlNet Shuffle 是唯一一種有可能與所有其他 ControlNet 和用戶提示一起很好地工作的方法。

ControlNet Shuffle 是唯一一種有可能與所有其他 ControlNet 和用戶提示一起很好地工作的方法。

ControlNet 1.1 指導(dǎo) Pix2Pix

使用 Instruct Pix2Pix 控制穩(wěn)定擴(kuò)散。

模型文件：control_v11e_sd15_ip2p.pth

配置文件：control_v11e_sd15_ip2p.yaml

這是一個(gè)在Instruct Pix2Pix 數(shù)據(jù)集上訓(xùn)練的控制網(wǎng)絡(luò)。

不同于官方的Instruct Pix2Pix，這個(gè)模型是用50%的指令提示和50%的描述提示來訓(xùn)練的。例如，“一個(gè)可愛的男孩”是描述提示，而“讓男孩變得可愛”是指令提示。

因?yàn)檫@是一個(gè)ControlNet，所以你不需要為原來的IP2P的double cfg tuning而煩惱。并且，該模型可以應(yīng)用于任何基礎(chǔ)模型。

此外，似乎“將其變成 X”之類的指令比“將 Y 變成 X”更有效。

讓它著火??隨機(jī)種子 12345?提示詞（“make it on fire”）

讓它過冬?隨機(jī)種子?12345?提示詞("make it winter")

讓他成為鋼鐵俠?隨機(jī)種子?12345?提示詞 ("make he iron man"):

ControlNet 1.1 Inpaint（修復(fù)）

使用 Inpaint 控制穩(wěn)定擴(kuò)散。

模型文件：control_v11p_sd15_inpaint.pth

配置文件：control_v11p_sd15_inpaint.yaml

演示：

python gradio_inpaint.py

一些注意事項(xiàng)：

1. 這個(gè)修復(fù) ControlNet 使用 50% 的隨機(jī)掩碼和 50% 的隨機(jī)光流遮擋掩碼進(jìn)行訓(xùn)練。這意味著該模型不僅可以支持修復(fù)應(yīng)用程序，還可以處理視頻光流扭曲。也許我們將來會(huì)提供一些示例（取決于我們的工作量）。

2. 此 gradio 演示不包括后期處理。理想情況下，您需要在每次擴(kuò)散迭代中對(duì)潛像進(jìn)行后處理，并對(duì) vae 解碼后的圖像進(jìn)行后處理，使未遮罩區(qū)域保持不變。然而，這實(shí)現(xiàn)起來很復(fù)雜，也許更好的想法是在 a1111 中實(shí)現(xiàn)。在這個(gè) gradio 示例中，輸出只是擴(kuò)散的原始輸出，圖像中未遮罩的區(qū)域可能會(huì)因?yàn)?vae 或擴(kuò)散過程而改變。

帥哥 隨機(jī)種子12345?一個(gè)帥鍋("a handsome man"):

ControlNet 1.1 Tile（未完成）

用瓷磚控制穩(wěn)定擴(kuò)散。

模型文件：control_v11u_sd15_tile.pth

配置文件：control_v11u_sd15_tile.yaml

演示：

python gradio_tile.py

越來越多的人開始考慮采用不同的方法在拼貼處進(jìn)行漫射，以便圖像可以非常大（4k 或 8k）。

問題是，在 Stable Diffusion 中，您的提示總是會(huì)影響每個(gè)板塊。

比如你的提示是“a beautiful girl”，你把一張圖片分成4×4=16個(gè)block，每個(gè)block做diffusion，那么你得到的是16個(gè)“beautiful girls”，而不是“a beautiful girl”。這是一個(gè)眾所周知的問題。

現(xiàn)在人們的解決辦法是使用一些無意義的提示，比如“清晰、清晰、超清晰”來擴(kuò)散塊。但是你可以預(yù)料，如果去污強(qiáng)度高，結(jié)果會(huì)很糟糕。而且由于提示很糟糕，所以內(nèi)容非常隨機(jī)。

ControlNet Tile 就是解決這個(gè)問題的模型。對(duì)于給定的圖塊，它識(shí)別圖塊內(nèi)部的內(nèi)容并增加識(shí)別語義的影響，如果內(nèi)容不匹配，它還會(huì)減少全局提示的影響。

隨機(jī)種子12345?提示詞：一個(gè)帥鍋?("a handsome man")