散文網(wǎng) » 科技 »學(xué)習(xí) » Stable Diffusion的ControlNet插件之入門篇（Stable Diffusion研習(xí)系列06）

Stable Diffusion的ControlNet插件之入門篇（Stable Diffusion研習(xí)系列06）

2023-05-28 21:30 作者:虎赳虎叔虎AI 0人讀過 | 我要投稿

ControlNet介紹

ControlNet 直譯就是控制網(wǎng)，是一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它通過添加額外的條件來控制擴散模型，為 Stable Diffusion 帶來了前所未有的控制水平，它很好的解決了文生圖大模型的關(guān)鍵問題：單純的關(guān)鍵詞的控制方式無法滿足對細(xì)節(jié)控制的需要。

ControlNet 的主要優(yōu)勢在于其簡單易用的特性，能夠有效地幫助人們完成復(fù)雜的圖像處理任務(wù)。它把每一種不同類別的輸入分別訓(xùn)練了模型，目前公開的有下面14種控制方式，分別是1.0版本時就有的：Canny、Depth、MLSD、Normal、OpenPose、Scribble，SoftEdge、Seg。和1.1版本新增的：Lineart、Shuffle、Tile、inpaint、iP2P、Reference。目前，ControlNet 能夠做到骨骼綁定、精準(zhǔn)控線、語義分割、依據(jù) 3D 視圖的法線進行繪圖、線稿上色、依據(jù)深度圖結(jié)構(gòu)透視精準(zhǔn)重繪等。

===========================

ControlNet1.1插件的安裝要點

ControlNet的安裝，同其他插件的安裝方法一樣，不同的是，他還需要下載不少量的模型文件到該插件目錄下的“models”目錄中。目前一共需要下載14個模型（.pth后綴名）和每個模型對應(yīng)的配置文件（.yaml后綴名），共計28個文件。

安裝文件地址和模型文件地址都在篇末提供了。

===========================

ControlNet的使用界面

PS：ControlNet控制器數(shù)量設(shè)置步驟

===========================

ControlNet的預(yù)處理器和模型的關(guān)系

1.1版本的模型進行了更多訓(xùn)練和調(diào)整后的新模型，出來的效果會比1.0版本的更好更穩(wěn)定許多，同時還細(xì)分了一些模型出來分別應(yīng)用，因此控制類別和模型都會比1.0版本多。

1.1版的預(yù)處理器有很多，使用上，一般情況是調(diào)用一種預(yù)處理器，對應(yīng)地也需要搭配一種模型來使用，除了Reference這類預(yù)處理器沒有對應(yīng)的模型外。

還有一種情況是不需要預(yù)處理器，直接調(diào)用模型來執(zhí)行，這種情況在使用OpenPoss的控制方式時候可能會遇到，就是你直接將處理好的人偶姿勢的圖像置入圖像框時，這時候是只需要調(diào)用OpenPoss的模型即可。

===========================

ControlNet1.1版中原有模型簡介

msld：

更適合找一些帶直角的建筑類的線條。在原先的基礎(chǔ)上做了些改進，識別更準(zhǔn)確細(xì)致。

normal_bae：法線貼圖提取

新版的法線貼圖提取，效果比舊版的好許多。一般推薦用這個normal_bae。

depth_zoe：景深提取

一般推薦用depth_zoe。用到手動景深depth_leres++時，會多出兩個手動取景深的調(diào)節(jié)欄，用于排除不同程度景深的畫面元素。

seg_ofcoco：語義分割

用了coco這個更專業(yè)的協(xié)議的語義分割，能標(biāo)注出的色塊間線條以及識別率更準(zhǔn)確。色塊控制畫面呈現(xiàn)，使得我們對畫面的掌控感瞬間提升。

Segment Anything技術(shù)，他的強大不僅作為Stable Diffusion的一款插件輔助繪畫，更有其更廣闊的運用場景。

openposs_full：姿勢

1.1版本，細(xì)分了很多種姿勢部位的組合。目前的臉部和手部的預(yù)處理器組合還是有些問題，但細(xì)分后的預(yù)處理器，已經(jīng)比之前1.0版本單一的處理器優(yōu)化許多。

Canny：樣條檢測

邊緣檢測，新版本還是有做了許多付出和改進。

softdeg_pidinet：軟描邊檢測

軟描邊檢測，新版本推出了4種預(yù)處理器，大致效果差不多，官方推薦的是softdeg_pidinet，對圖片的細(xì)節(jié)和邊緣把握得更強，另一個角度理解就是出圖時可發(fā)揮的空間就小了。

帶safe結(jié)尾的2種預(yù)處理器則處理出的線條更明亮也更明確，那結(jié)果就是更穩(wěn)定，具體的區(qū)別可以自己嘗試和體會試試。

scribble：涂鴉

===========================

ControlNet1.1版中新開發(fā)模型簡介

lineart：線稿檢測

置入ControlNet圖像框中作為參考圖的，可以是一張圖像或線稿圖，提取出線稿后，再根據(jù)提示詞和基礎(chǔ)模型生成以提取出的線稿為框架的新的圖像。

不同類型的參考圖，采用不同的線稿提取方式的采樣器。

動漫線稿提取-去噪，則是用來處理動漫線稿有些糙的（偏素描類）圖像；

粗略線稿提取，則是用來處理素描類的圖像線稿提取；

純動漫圖像（因為生成圖時clip是設(shè)定為2）的線稿提取，與寫實圖像（生成圖時clip是設(shè)定為1）線稿的提取，在線稿提取時是需要區(qū)別開的。

標(biāo)準(zhǔn)線稿提取，則可以在提取場景的圖像時試試；對于場景的線稿提取，也可以試試粗略線稿提取，會有不同的效果。

shuffle:重組/打亂的處理方式

這個模型，目前只有一種處理器，就是shuffle預(yù)處理器。

工作原理是，將預(yù)處理的圖像的配色都打散了后，生成的預(yù)處理圖像則可以理解為是原圖配色的一個調(diào)色盤，再將此配色盤的顏色作用到新生成的圖像上。

可以用來對構(gòu)圖類似，但風(fēng)格不同的圖像的作風(fēng)格遷移的嘗試。

Pix to Pix:

這是一個沒有預(yù)處理器的模型，使用時預(yù)處理器選none，直接在控制類型欄選IP2P。

幫我們將先有的畫面，改成我們想要其呈現(xiàn)出新畫面的方向，通過提示詞中給到畫面變化的描述，最后生成的畫面達(dá)成這個描述效果。

注意這個提示詞的寫法，再正向提示詞中，需要帶make（就是想讓生成的畫面變成怎樣的描述）。

目前這個模型還處于可控性不夠強的程度，文件名中“control_v11e_sd15_ip2p”，也可以看出，還是屬于e版本非p類版本。

inpaint_global_harmonious

inpaint模型和tile模型是1.1版本，我個人感覺最常用的模型。inpaint模型的使用，需要搭配相應(yīng)的帶inpaint功能的基礎(chǔ)模型，這類模型的拼接，在我們之前的“界面標(biāo)簽頁的介紹（Stable Diffusion研習(xí)系列04）”中有講到過，模型的合并就可以自己做自己常用模型的inpaint模型。

有了inpaint模型后，再通過Controlnet的這個inpaint模型，可以很好地用圖生圖功能對畫面進行更精準(zhǔn)地重繪和控制。

具體如何用inpaint和tile來完成一個比較完美的工作流，我們將專門起一期來講解。

tile_resample

tile模型是重繪方式的升級版，跟inpaint區(qū)別的是他會在保持原有構(gòu)圖線條不被太大改變的情況下進行的重繪，并增加生成圖像的細(xì)節(jié)；而inpaint則是會改變原有構(gòu)圖線條的情況下做重繪。

而且tile還強大在，可以對分辨率很低的圖像，進行增加細(xì)節(jié)的重繪，配合放大功能后，可以將圖像做最大還原度的高清放大處理。

放大處理時，就需要講到一個參數(shù)“Down Sampling Rate”，降噪采樣值越大，預(yù)處理后的圖像分辨率越低，則代表了重繪生成的圖像有更多的變化空間。

reference_only：

這個預(yù)處理器功能，可以讓我們生成的圖會更接近于我們提交的參考圖。包括人物的樣貌和姿勢。

之后又出了2個reference_adain和reference_adain+attn，在Reference_only不理想的情況下可以嘗試，是一種新的融合方式，特別是reference_adain+attn，個人感覺效果會比沒有attn的更好些。

想更多了解，可以看看我們之前發(fā)過的一條內(nèi)容：

【ReferenceOnly的用法簡介（翻譯版）】 https://www.bilibili.com/video/BV1ga4y1u7ig/?share_source=copy_web&;vd_source=96188266665c90578cc52f2450fb0552

雖然Reference_only不能替代lora的效果，但可以作為不錯的一種相似度很高的出圖方法，但從基本工作原理來說，達(dá)不到使用lora輸出的那么穩(wěn)定。

?

===========================

參考學(xué)習(xí)視頻資源：

【ControlNet1.1之后大幅升級，性能提升驚人，改善優(yōu)化全解析，讓AI繪畫更上一層樓！】

https://www.bilibili.com/video/BV1Ya4y1u7MB/?share_source=copy_web&;vd_source=96188266665c90578cc52f2450fb0552

【Ai新時代ControlNet，6大全新功能震撼上線|全面解析一網(wǎng)打盡，助你突破瓶頸，輕松地創(chuàng)作！】

https://www.bilibili.com/video/BV1Ws4y1z76v/?share_source=copy_web&;vd_source=96188266665c90578cc52f2450fb0552

【AI繪畫】 ControlNet1.1版本新功能超高質(zhì)量重采樣像素完美模式解決分辨率適配問題改善出圖質(zhì)量你一定要學(xué)會！Stablediffusion】

https://www.bilibili.com/video/BV16h4y1n7Mt/?share_source=copy_web&;vd_source=96188266665c90578cc52f2450fb0552

常用到的基礎(chǔ)模型和插件（持續(xù)更新中）以及本期的插圖文件也做了一份在云盤

鏈接：https://pan.baidu.com/s/1c9utQmWlGcRqLTr_kftTyA?pwd=1111?

本系列的下一期我們將跟大家聊聊ControlNet如此強大能力的插件中我常用到的模型使用心得，希望能給大家?guī)硪恍﹩l(fā)。

關(guān)鍵詞：模型合并、inpaint、tile colorfix、Controlnet1.1、控制器數(shù)量、預(yù)處理器與模型。

=========================

加入我們：

歡迎關(guān)注我們公眾號，共同研習(xí)。

也歡迎掃碼入群，可以與我們有更多的探討與交流。

?