造夢師手記:Stable Diffusion畫手100%成功的插件


我經(jīng)常說,AI迭代速度特別快,尤其是在畫手方面,有越來越多的解決方案。
但幾乎所有的解決方案,都不能很完美的畫出滿意的手型。大部分依賴于抽卡(批跑多張圖選取表現(xiàn)尚可的一兩張),有沒有畫手一定成功的辦法嗎?
有,能100%成功,但依然不完美。

有一個(gè)叫Depth Library的插件,可以實(shí)現(xiàn)100%的手型,為什么說不完美呢?
因?yàn)槭中蛨D是預(yù)設(shè)的,手部姿態(tài)千變?nèi)f化,我們不可能有提前做好的手型圖。
這個(gè)插件的原理比較簡單粗暴,提前在指定位置“預(yù)留”手型,然后利用ControlNet引導(dǎo)AI生成該手型的圖片。
可以結(jié)合“圖生圖”使用,用來修復(fù)手型不完美的圖。
如果預(yù)設(shè)的手型沒有自己滿意的怎么辦?
可以請(qǐng)出你的女朋友,讓她模擬想要的姿態(tài),拍一張(背景空白),然后在PS里處理成黑白深度圖,再導(dǎo)入。
什么?
沒有女朋友?
那只好親自出場了。
拍一張底色純白(比如靠著墻)的手型圖:

(其實(shí)這張是我從某度搜的)
然后在PS里摳圖、去色處理。

保存為PNG文件備用。
下面開始一步步來。
準(zhǔn)備工作,安裝Depth Library插件。

https://github.com/jexom/sd-webui-depth-lib
安裝完畢后,重啟啟動(dòng)器,會(huì)發(fā)現(xiàn)菜單多了一欄,說明安裝成功。

1、先用提示詞和種子生成想要修正的圖片。
模型:breakdomainrealistic_R2333
提示詞:
a lovely painting of a girl in the forest with light snow falling, <lora:add_detail:1>
負(fù)面提示詞:
nsfw,logo,text,badhandv4,EasyNegative,ng_deepnegative_v1_75t,rev2-badprompt,verybadimagenegative_v1.3,negative_hand-neg,mutated hands and fingers,poorly drawn face,extra limb,missing limb,disconnected limbs,malformed hands,ugly,FastNegativeV2,aid291,NegfeetV2
種子:
2623699978

2、我們對(duì)這個(gè)手型不滿意,想要改成滿意的手型。
打開Depth Library選項(xiàng)卡。
選擇“添加背景圖片”,注意圖片的尺寸和文生圖的尺寸保持一致,此處是512*768.
背景圖片的意思是將剛才生成的圖片作為參考,方便調(diào)試手型位置。

3、然后從默認(rèn)20多種手型中選擇想要生成的手型,也可“點(diǎn)擊上傳”直接使用前文做好在女朋友/自己的手型文件。
此處上傳一個(gè)比較容易識(shí)別的“勝利”姿勢手型。

使用鼠標(biāo)調(diào)整手型的位置和大小,注意區(qū)分好左右手。

4、點(diǎn)擊發(fā)送到ControlNet

預(yù)處理器不需要選擇,模型務(wù)必選擇control_v11f1p_sd15_depth,
如果出現(xiàn)錯(cuò)誤提示,則是模型未下載,該模型下載地址:
https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1p_sd15_depth.pth
下載后安裝至extensions\sd-webui-controlnet\models
控制模式選擇“更偏向ControlNet”。
引導(dǎo)介入時(shí)機(jī)建議選擇0.3-0.5之間,引導(dǎo)的過早(小于0.3)可能會(huì)生成一些和手型無關(guān)的奇奇古怪的圖。

然后點(diǎn)擊啟用。
5、生成圖片。

咦,似乎也不是那么完美。
意思到了。
手部占畫面比較小的情況下,形狀能跑出來,但依然有一點(diǎn)瑕疵。
盡量使用五指張開這些簡單的手型,很容易得到完美的效果。
