AI繪畫:利用Blender輔助ControlNet控制AI生成100%穩(wěn)定的動(dòng)作加手指方法的終極解決方案


????????眾所周知,AI生成的圖片會(huì)隨機(jī)動(dòng)作,并且有很高的概率生成出畸形的手指。而如何控制AI生成穩(wěn)定的姿勢(shì)與手指就是這篇文章的重要組成部分。該文章會(huì)介紹1種可以極為穩(wěn)定的生成指定的動(dòng)作與手指的繪圖方法,此方法與3D輔助2D繪圖有一定的相似之處,并且會(huì)為大家提供一個(gè)Blender模板文件,可以通過(guò)修改姿勢(shì)與鏡頭快速便捷的出圖。
參考文件與課件地址:
鏈接: https://pan.baidu.com/s/1tZePh_GLMBB234yUVxdSXg?pwd=2qmu 提取碼: 2qmu?
具體步驟:
????????首先我們要安裝AI繪畫工具 web UI,并安裝插件controNet,可以參考其他教程視頻,這里主要講如何使用controNet實(shí)現(xiàn)完全控制AI行為。
首先我們打開設(shè)置界面,將controNet的控制數(shù)量設(shè)置為4

然后我們回到文生圖界面,這時(shí)候先不要著急進(jìn)行下一步。我們打開課件中的belnder文件,一鍵生成AI骨骼 描邊loar專用版。

切換到Layout界面,我們可以看到一個(gè)制作好的模型骨骼文件。

再點(diǎn)擊左上角:物體按鈕,在下拉菜單中選擇姿態(tài)模式

然后我們就可以快樂(lè)的編輯想要的人物動(dòng)作了,這需要我們有一定的blender操作能力。推薦可以去看“辣椒醬”的新手教程視頻。
注意:這里要講一下文件中的物體配置:分別有遠(yuǎn)景墻,近景區(qū)間,人物,攝像機(jī),以及地面。

擺完poss之后,調(diào)整攝像機(jī)到合適位置(按小鍵盤0,可以快速切換到攝像機(jī)視角)。我們按下F12按鈕,在課件中我已經(jīng)為大家制作好了輸出模板,在桌面或者文件根目錄下會(huì)生成4張圖片。(自制門檻有點(diǎn)高,如果沒(méi)有足夠經(jīng)驗(yàn)請(qǐng)不要自行嘗試制作)
四張圖片分別是:場(chǎng)景深度圖,人物四肢深度圖,骨骼圖,手腳的描邊圖




我們需要使用這四張圖片去控制AI生成我們想要結(jié)果。
這個(gè)教程課件里面提供了3種參數(shù),其中2種是超網(wǎng)格計(jì)算法,1種是非超網(wǎng)格計(jì)算。
使用超網(wǎng)格計(jì)算需要極大的顯存,所以顯存不夠的同學(xué)推薦使用非超網(wǎng)格版本。
這里著重講解最難的1種,4圖控制法。
首先我們想要介紹一個(gè)tag,tag分為正面和負(fù)面,該方法調(diào)用了lora和超網(wǎng)格運(yùn)算
正面tag:
[(white background:1.5)::5], hexagon,<hypernet:ekmix-style2-81000:0.25>,
1girl,? full body, __color__,__hair__,__skirt__,
butterflies, flowers,floating petal,cloud,sun,dusk,sunset,beautiful detailed gate,beautiful detailed thunder, beautiful detailed ice,? <lora:gachaSplashLORA_gachaSplashWideShot:0.9>
負(fù)面
bad anatomy, extra fingers, watermark, (worst quality, low quality:1.4), text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
解釋:
<hypernet:ekmix-style2-81000:0.25>是超網(wǎng)格運(yùn)算,如果機(jī)器顯存不足請(qǐng)不要使用該參數(shù),或者降低該參數(shù),正常使用該參數(shù)請(qǐng)調(diào)整為(0.2~0.25)
<lora:gachaSplashLORA_gachaSplashWideShot:0.9> lora調(diào)用,如果使用lora,請(qǐng)注意,有些lora樣本比較少,請(qǐng)降低調(diào)用比例,因?yàn)樵诳刂品ㄖ?,骨骼控制?huì)讓lora奔潰,產(chǎn)生各種畸形圖片。
這是詳細(xì)的參數(shù):需要打開高精度修復(fù)

然后就是將我們的4張圖導(dǎo)入到controlNet中的時(shí)候了
這里需要強(qiáng)調(diào)注意!
以下參數(shù)中權(quán)重,引導(dǎo)介入時(shí)機(jī),引導(dǎo)退出時(shí)機(jī)請(qǐng)不要隨意修改,
會(huì)導(dǎo)致意料之外的BUG出現(xiàn),因?yàn)樵谶@4張圖的使用規(guī)則是強(qiáng)行干預(yù)AI的出圖流程,在不同的運(yùn)算階段,干預(yù)AI的運(yùn)算,以達(dá)到按照規(guī)定出圖的效果。




需要注意的是,畫布寬度要與最終出圖的比例相同4張參考圖的比例必須完全相同
比如:出圖像素1080:1080,四張參考圖必須設(shè)置4次都是 960:960。
特別說(shuō)明:AI的反骨
????????因?yàn)槊總€(gè)大模型的訓(xùn)練方式不同,會(huì)導(dǎo)致AI在出圖過(guò)程中,反抗骨骼控制,導(dǎo)致肢體錯(cuò)亂,這時(shí)候需要微調(diào)骨骼參考圖的參數(shù)的權(quán)重,引導(dǎo)介入時(shí)機(jī),引導(dǎo)退出時(shí)機(jī)。
骨骼介入的時(shí)機(jī)不易太靠前,在0.1之后。
而骨骼引導(dǎo)退出時(shí)機(jī)的時(shí)候不宜太靠后,大約在0.25~0.35之間
(這里強(qiáng)調(diào)一點(diǎn),每個(gè)大模型反骨時(shí)機(jī)不同,反骨弱的,你控制時(shí)間過(guò)長(zhǎng),他就會(huì)把臉畫崩掉。反骨強(qiáng)的大模型,會(huì)經(jīng)常改肢體,控制時(shí)間短就會(huì)被AI砍掉四肢。)
景深說(shuō)明:
非超網(wǎng)格的參考圖中景深有較強(qiáng)拉伸
這個(gè)是由于第三張圖,深度圖導(dǎo)致的。深度圖會(huì)導(dǎo)致繪畫的時(shí)候,背景距離遠(yuǎn)離畫面
出這個(gè)圖深度圖權(quán)重是0.4,實(shí)際上權(quán)重調(diào)低到0.2左右會(huì)更好。
配置好一切之后,我們就可以愉快的出我們想要的動(dòng)作和手型了,這里在強(qiáng)調(diào)一個(gè)部分。
手型控制!
注意:手畫的是否準(zhǔn)確與手在圖中所占比例有關(guān),手的比例越大,識(shí)別度越高,畫出的效果越好。反而手在畫中所占比例很小,那么無(wú)論分辨率如何提高,都不能將手準(zhǔn)確的畫出來(lái)。
而且手的準(zhǔn)確性還被大模型的數(shù)據(jù)所影響,如果大模型的手相關(guān)參數(shù)比較少,那么定制手形的時(shí)候,可能會(huì)遇到找不到合適的樣本,導(dǎo)致出圖失敗,這時(shí)候可以考慮降低線稿圖的權(quán)重,讓AI自動(dòng)擬合手型。
手型控制:
hu畫風(fēng)對(duì)AI出圖的影響,二次元作畫,線稿與骨骼控制的效果往往會(huì)受到大模型的樣本影響,導(dǎo)致不能生成想要的樣子。強(qiáng)行控制不是崩掉臉就是崩掉手。
而2.5D或者3D則能很好的獲得線稿和骨骼數(shù)據(jù),進(jìn)行擬合輸出。但是2.5D和3D在繪制背景上很難用深度圖控制其背景生成規(guī)則。
而在二次元圖中,簡(jiǎn)單的深度變化圖就可以擬合出符合邏輯的背景圖片。
接下來(lái)讓我們看一下我利用強(qiáng)制控制法生成的AI圖像吧!







