妙用Controlnet控制Stable Diffusion AI繪圖中人物姿勢
在使用Stable?Diffusion進(jìn)行人物煉丹時(shí)很多人都會發(fā)現(xiàn)人物的姿態(tài)即便用很多的提示詞也很難實(shí)現(xiàn)完全控制,而且經(jīng)常會畫出很奇怪的手部動作,多一個(gè)手指或少一個(gè)手指的情況幾乎成了家常便飯。那么如何才能控制AI繪圖中人物的姿態(tài)呢?其實(shí)通過大名鼎鼎的Controlnet插件就能比較完美的控制人物姿勢,今天小編就為大家講解一下如何利用Controlnet插件中的openpose功能來實(shí)現(xiàn)更加隨心所欲的煉丹術(shù)。

部署Controlnet插件

可以在Stable?Diffusion?WebUI的擴(kuò)展中搜索Controlnet插件,網(wǎng)絡(luò)狀態(tài)好的話就直接能夠通過點(diǎn)擊安裝完成快速部署。不能在WebUI中安裝的朋友也可手動下載進(jìn)行部署,下載地址https://github.com/Mikubill/sd-webui-controlnet


點(diǎn)擊上圖中綠色的Code按鈕后再點(diǎn)擊Download?ZIP字樣,就能將代碼下載到本地。之后解壓縮至Stable?Diffusion根目錄中的extensions文件夾中即可。ControlNet會需要用到很多模型文件,這時(shí)候讓程序自動下載的話可能會比較慢或是連接不上的情況。因此小編更加推薦到https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main手動下載。

模型的體積還是比較大的,如果都安裝全至少要占用20GB以上的硬盤空間。下載完畢后放入Stable?Diffusion根目錄下的extensions\sd-webui-controlnet-main\models文件夾中。需要注意的是,文件名結(jié)尾為e的是測試版,請優(yōu)先下載文件名結(jié)尾為p的穩(wěn)定版本。

接下來還要安裝Openpose?editor用于人物動作的編輯和微調(diào)。簡便的方法就是在WebUI中搜索并安裝。如不能實(shí)現(xiàn)自動安裝可在https://github.com/huchenlei/sd-webui-openpose-editor下載該插件后加壓縮至Stable?Diffusion根目錄中的extensions文件夾中。
Controlnet?Openpose實(shí)戰(zhàn)


在Stable?Diffusion?WebUI中將Controlnet展開后把張目標(biāo)姿勢圖片粘貼進(jìn)去,Control?Type選擇Openpose后點(diǎn)擊爆炸按鈕后就能夠得到一張火柴人姿態(tài)圖。這時(shí)候通過提示字的描寫就能夠輸出一張與目標(biāo)圖片姿勢幾乎一模一樣的新圖。


安裝Openpose?editor后在火柴人姿態(tài)圖右側(cè)會出現(xiàn)editor按鈕,點(diǎn)擊便可開啟姿態(tài)編輯功能。在這里可以手動點(diǎn)擊、框選、拖拽、拉長或縮短肢體姿態(tài),調(diào)整完成后點(diǎn)擊發(fā)送至Controlnet就能利用編輯后的姿態(tài)圖進(jìn)行煉丹了。

上圖就是小編通過Openpose?editor讓右手向后擺動生成的圖片,想要控制Stable?Diffusion中AI人物的姿勢就是這么簡單!

人的手部關(guān)節(jié)太多,很難控制得很完美,稍有偏差就會出現(xiàn)畸形手的情況。因此可以將手部姿態(tài)刪除,僅保留四肢與頭部動作,手就讓AI自由發(fā)揮也是不錯(cuò)的選擇。

Openpose如此好用,所以很多AI煉丹師制作了很多pose模型并上傳到C站供大家下載。感興趣的朋友可以通過篩選器選擇pose模型就能夠下載海量有意思的Json姿態(tài)模型了。

下載好Json姿態(tài)模型后可通過openpose?editor中的上傳json功能將姿態(tài)模型發(fā)送至Controlnet中,很簡單的哦!



上面幾張圖片就是小編下載Json姿態(tài)模型后使用不同模型與提示詞生成的圖片,可見不管是真實(shí)系、二次元或是3D效果,Controlnet?Openpose插件都能很好的完成它的使命,為我們帶來可控姿態(tài)的AI人物圖片。

Stable?Diffusion本就對電腦的配置和性能要求很高,使用Controlnet插件后內(nèi)存和顯存占用率會更加夸張,因此小編建議大家使用機(jī)械革命曠世16?Super游戲本。憑借著GeForce?RTX4080筆記本電腦GPU能夠提供相當(dāng)高的迭代速度,12GB的大容量顯存對于生成高分辨率圖片以及適配SDXL大模型簡直就是絕配。主流游戲本的16GB內(nèi)存面對Stable?Diffusion來說很捉襟見肘,而曠世16?Super游戲本標(biāo)配了32GB的高頻DDR5內(nèi)存,配合酷睿i9?13900HX處理器以及1TB的固態(tài)硬盤能夠成就更多可能。

另外值得一提的是曠世16?Super還可以搭配第2代冰河分體式水冷散熱器使用,在高強(qiáng)度的AI運(yùn)算中能夠讓GeForce?RTX4080筆記本電腦GPU以更低溫度、更高頻率運(yùn)行,從而實(shí)現(xiàn)更快的迭代速度,出圖效率大大提升。關(guān)于AI作圖,小編也是正在學(xué)習(xí)中,后續(xù)還會為大家?guī)砀嗑蕛?nèi)容,最后的最后,還是那句老話:祝大家玩得愉快!