AI繪畫超強功能ControlNet之OpenPose骨架姿勢控制篇

同學們,大家好,又見面了,
昨天給大家介紹了controlnet之canny篇的教程。
今天給大家?guī)淼氖荂ontrolnet使用篇之openpose篇教程。
Openpose就是傳說中那個可以指定人物姿勢動作的神奇控件。
在此之前,如果要指定人物姿勢動作,基本上需要在prompt提示詞寫很詳細,或者用圖生圖加上詳細的prompt才能小概率生成滿意的姿勢。
而如果是一些稍微復雜一些的動作,幾乎只能開盲盒了,很難控制,效率特別低。
而現(xiàn)在,只要用contolnet,就能精確控制人物姿勢了,可以說,AI繪圖可控性又前進了一大步。

那么,怎么使用呢?
一.
1.首先,你需要已經(jīng)安裝stable diffusion webui程序,ControlNet插件,下載好了Openpose模型。
2.打開stable-diffusion-webui。
3.找一張人體姿勢比較復雜的圖
正臉上半身美女我們已經(jīng)見太多了,姿勢動作非常單一,看多了就審美疲勞了。
我網(wǎng)上隨便找一張相對少見點的姿勢,考考controlnet的效果。
比如這張。

4.稍微裁剪一下,讓人物更大一點。
5.把圖片放進controlnet,Enable打開,預處理器選擇openpose,引導模型選擇openpose,然后點擊Preview annotator result按鈕,生成預處理預覽圖。

6.看預覽的骨架圖,識別還算精確。
(找的圖最好是真人,不要動漫,識別會準一點。如果識別出來的動作不對,則要換圖,或者用openpose插件手動調(diào)整骨架的節(jié)點。文章后半部分有樣例。)
7.接下來,準備要生成圖片了。
基礎(chǔ)模型選動漫類模型。
(這里建議選擇漫畫類模型,真人模型感覺姿勢庫可能少一些,效果不是很好)。
Prompt提示詞我就寫“girl,jump”(女孩,跳躍)。
8.然后點擊generate生成按鈕。

可以看出來,雖然一些細節(jié)還是表現(xiàn)不太好,比如手部,腳掌鞋子等。但姿勢還是比較還原的,已經(jīng)算是很強了。
(如果要優(yōu)化局部的話,可以用inpaint功能重繪一下,或者自己用PS調(diào)整一下細節(jié)。)
就一張圖沒啥說服力,我們接著再來隨便找一張圖試試。
二.
換個方向,還是跳躍。

(攝圖網(wǎng))
1.還是導入圖片,選擇預處理器 openpose,模型openpose。調(diào)節(jié)一下畫布長寬,保持與原圖比例一致。點擊preview。

2.發(fā)現(xiàn)預處理圖沒啥問題,于是輸入prompt,還是寫girl,jump。
3.生成,看看效果。

嗯,發(fā)現(xiàn)也還好,姿勢基本到位了。
細節(jié)一般般。如果要提升細節(jié)可以在prompt里面加一些質(zhì)感相關(guān)的圖,比如detailed,masterpiece,wallpaper之類。然后增大處理步數(shù)steps之類。
今天主要玩controlnet的openpose,就不展開講了。
三.
接下來,我們再來玩一下openpose插件。上次讓大家下載openpose,終于派上用場了。
1.首先,我們?nèi)ゾW(wǎng)上隨便找一張圖,比如坤坤的雞你太美。

((畫外音)IKUN震怒:小黑子,你終于露出雞腳了?。?/p>
我攤手:咱不是小黑子也不是IKUN,只是學術(shù)研究,不要激動哈。
2.接下來我們繼續(xù),會發(fā)現(xiàn),這圖小腿部分不完整,沒關(guān)系,先上傳到openpose。
3.點擊openpose editor頁面,點擊detect from image,發(fā)現(xiàn)已經(jīng)自動識別骨架圖了(沒有這個選項框的證明你這個插件安裝不成功,看看歷史教程檢查確認一下)

發(fā)現(xiàn)識別的骨架圖有點不對,坤坤的左腿小腿需要調(diào)整下,另外右大長腿需要延長一點。
4.于是用ps之類的工具,把截圖拉長一點,再點擊reset,并點擊detect from image把拉長后的截圖上傳到openpose editor,同時調(diào)整一下相關(guān)骨骼節(jié)點,來還原正確的人物姿勢。
5.調(diào)整結(jié)束后,點擊save png來保存骨架圖。

6.接著,把剛剛保存的骨架圖上傳到controlnet,預處理器選none,引導模型選openpose,調(diào)整一下畫布長寬,使之與原圖比例一致。

7.接著prompt部分,我就寫 girl,dance。點generate看看結(jié)果。

嗯,姿勢動作倒是符合的,還很有氣質(zhì),美呀。
四.
那么,我有一個大膽的想法,是不是可以生成一首完整的雞你太美?
查了一下,果然已經(jīng)有人這樣做了,笑死。

另外,openpose editor除了可以自己上傳圖片后調(diào)整骨架,也可以直接添加初始骨架,然后手動調(diào)整成想要的姿勢動作。
調(diào)好之后,保存骨架圖,放在control net插件里,就能生成自己想要的姿勢啦。

如果要生成多人圖片,也是從openpoce插件里面,生成多個骨架然后調(diào)整姿勢。原理是一樣的。就不一一演示了。

(圖:TomLikesRobots,twitter)
好啦,今天的教程先到這里,咱們明天見,下課~
注:
Controlnet插件對顯卡性能要求較高,除了需要加載ckpt基礎(chǔ)模型,還要加載controlnet預處理模型,和引導模型,建議顯卡6G以上顯存。
Controlnet使用時會經(jīng)常爆顯卡,顯示顯存不足,尤其是顯存較小的同學。
顯示顯存不足時就不會有引導效果,所以你會感覺controlnet沒用,不像。
解決辦法是可以勾選low VRAM選項,同時有時候可能要重啟webui以便釋放顯存。還有一種處理辦法就是降低畫布canvas和生成圖片的長寬。以節(jié)省顯存,避免報錯。
AI繪畫相關(guān)問題都可以私我解決。
注:本文含AI創(chuàng)作內(nèi)容。