給AI修手的心路歷程--三種工具聯(lián)用進(jìn)行AI繪圖手指修復(fù)

本文總結(jié)了個(gè)人對比較中意的一張圖進(jìn)行崩壞手指修復(fù)的經(jīng)驗(yàn),提出了基于StableDiffusion +PS +DesignDoll三種工具聯(lián)用修復(fù)流程。適用于手指疑難雜癥的暴力替換修復(fù)。只想了解流程核心思路的可以跳到最終的總結(jié)部分。

結(jié)果:
先看下最終結(jié)果吧,右側(cè)是原圖,左側(cè)是修了之后的最終結(jié)果。乍一看,好像,似乎,不額外注意的話,還可以x


修圖過程:
一切始于一次平平無奇的抽卡。
這種tag我曾經(jīng)在一篇鑒賞專欄中提到過,基于ink splashing(潑墨)、monochrome(單色)和watercolor(水彩),效果格外不錯(cuò)。中間抽出來的有一張,構(gòu)圖、人物姿勢、整體風(fēng)格我都比較滿意。但不幸的是,這張圖中的兩只手都崩了。
在這張圖里,兩只手、手中持物的結(jié)構(gòu)和遮擋關(guān)系、劍的結(jié)構(gòu)組成(指劍柄劍鐔劍身劍鞘的順序和形狀)、劍的空間關(guān)系(指不要斷成兩截),都是AI難以處理的地方,單純靠局部重繪抽卡,幾乎不可能抽出令人滿意的結(jié)果。
事實(shí)上這張圖我前后局部重繪了不說上百次,幾十次是肯定有的,都沒有好結(jié)果,導(dǎo)致我一度放棄這張圖了。(當(dāng)然,局部重繪+PS修些小瑕疵還是好用的,詳見之前講解inpant的一篇專欄。只不過這個(gè)例子的癥狀有點(diǎn)太復(fù)雜了,必須出重拳)

某天在群里聽說了designdoll這個(gè)軟件,界面大致如下,可以通過簡單的鼠標(biāo)操作讓模型做不同的動(dòng)作。軟件本來好像是給畫師用來做人物動(dòng)作參考的,群里聊到這個(gè)也是想用它做img2img(圖生圖)的原料,以調(diào)控生成人物的動(dòng)作。但是由于界面色彩過于晦暗,結(jié)果并不好用。
軟件可以在網(wǎng)上下載到免費(fèi)版,功能對于本文來說已經(jīng)夠用了。

軟件支持拖動(dòng)鼠標(biāo)對手部每一個(gè)關(guān)節(jié)的角度進(jìn)行細(xì)節(jié)調(diào)整,可以擺出任何你想要的姿勢。由此我想到,拿來做整個(gè)人的姿勢不好用,只拿來控制手的姿勢呢?

一開始,我嘗試把DesignDoll里的手截圖覆蓋到原圖上,然后直接扔到img2img里重繪,如下圖左側(cè)所示,但是抽了幾次之后,效果還是不好。右側(cè)是抽出來的最像樣的結(jié)果了。

走投無路之下我甚至想過自己從負(fù)基礎(chǔ)開始學(xué)畫畫,只畫手的那種:

筆者痛定思痛,決定思路打開,直接用PS+DesignDoll把手的形狀和遮擋關(guān)系定下來,只在最后用StableDiffusion,把denoising strength開低后做個(gè)簡單的重繪。(或者不用SD也行)
下圖是用PS處理DesignDoll截圖的示例。

(PS最新的對象選擇工具真的很好用,算法優(yōu)化過后的智能選擇把摳圖從體力活變成了有手就行的活)
可以看出這里的手和劍的色彩和原圖差異還是很大的。如下圖左圖所示。我最終的處理辦法是,把原圖中藍(lán)得比較均勻圓潤的部分截下來,墊在手和劍下面,然后把手和劍的圖層的混合模式調(diào)成明度。PS應(yīng)該有對應(yīng)的專業(yè)技巧或者參數(shù)能做到更好的效果,但,unfortunately,我不會。
最終適當(dāng)調(diào)整比例以避免違和,結(jié)果如右圖所示。右下角的另一只手也做了類似的處理。


總結(jié):
總結(jié)來說,這套流程的整體思路在于,在情況過于復(fù)雜時(shí),放棄AI繪圖生成合理手指的嘗試。轉(zhuǎn)而以DesignDoll直接生成正常的手指姿態(tài),并借助PS做出合理的空間遮擋關(guān)系和色調(diào)調(diào)整。缺點(diǎn)在于,DesignDoll的3d模型畫風(fēng)可能和原圖不太類似。如果只是用來修補(bǔ)不顯眼的手指,或許還不那么引人注目,如果手部在畫面里占比過大,這個(gè)方法修改過后可能也很違和。但總歸是多提出了一種應(yīng)對方案。
至于這個(gè)問題的根本性解決,還是要靠AI算法和模型的優(yōu)化了。