????????ai繪畫的controlnet想必大家已經(jīng)使用過，我嘗試了一下繪制深度圖來達到對ai生成畫面的控制。

????????先看看最終效果，我想生成一張大透視帶有巨型雙馬尾的少女。

????????為什么選擇深度圖depth呢，depth可以對畫面中的整體構(gòu)圖進行控制，而且可以控制畫面的深度?？梢钥吹?，紅線是我們depth的剪影輪廓，生成的ai圖基本一致，包括巨型雙馬尾的形狀控制，這種定制感是openpose是無法做到的，另外，利用depth最主要的就是為了生成一張我們想要的大透視效果，在擁有大透視的圖中，candy和hed的表現(xiàn)也不盡如人意，也需要更高完成度的線稿，通過一些嘗試，depth的成功率還是很高的，而且繪制一張深度圖的成本也是很低的，可以用來當作草圖，可以作為一種控制構(gòu)圖的手段。

????????下面來說明一下如何操作：

????????首先畫一張深度圖，掌握技巧之后畫起來并不復(fù)雜，與繪畫中空氣透視的原理類似（剛好相反），近處顏色更淺遠處要深，有一點注意過渡要弱對比，在需要產(chǎn)生層次的位置做強對比，特別弱對比的位置直接平涂即可，不需要太多細節(jié)，注意與地板鏈接的位置要盡可能弱對比不然人可能飄起來。

????????當然你也可以用3d之類的去做這個，用相似動態(tài)的圖片導(dǎo)入也可以，但是這里只討論如何用手工繪制的方式。

????????然后可以嘗試把我們的深度圖導(dǎo)入controlnet:

????????然后跑圖?

???????迭代步數(shù)20差不多，等下要修復(fù),采樣方法可以選擇DPM++SDE Karras,這個生成的信息量就我目前的經(jīng)驗來看是最多的。euler a的信息量比較低，但是出圖的想象力要更豐富一些，圖生圖有奇效，后面會用到。

????????一開始可以生成小一些，根據(jù)你導(dǎo)入的深度圖大小根據(jù)比例縮放（我的深度圖是512*712，除以2等于256*356），這樣出圖比較快，本人渣機3060 12g也能在30秒出7張。)

????????寫上你要繪制的tag，from above可以保證你畫出的圖是鏡頭在上方的視角，如果你沒有定制構(gòu)圖的需求直接用這個tag就完事。

????????挑一張還合適的圖（少許崩壞，少許面部崩壞不要緊），放到圖生圖里面修復(fù)。

? ??? ? 這里選擇直接縮放，用這個可以修復(fù)崩壞，并且產(chǎn)生更多的信息量，前三個是在你目前的圖上增加像素，如果崩壞比較弱的話用前面也可以，而且不會糊。

????????迭代步數(shù)有一點點影響，但有限，選擇20-40之間，采樣方法選euler a最佳，放大時候糊的情況會比較輕，寬度和高度改成之前生成的圖的二倍（如果想再變得更大的話，第一步生成的圖可以考慮生成大一些，或者是在修復(fù)之后再進行一次修復(fù)。

????????重繪幅度很關(guān)鍵，調(diào)低會糊掉，調(diào)高會使你的圖變得和原本的構(gòu)圖差距很大，我的經(jīng)驗是0.35-0.6之間，如果生成的圖糊了，請調(diào)高這個數(shù)值。（并且別忘了啟用Euler a采樣器。

????????經(jīng)過這些步驟就可以生成一個根據(jù)我們深度圖類似的圖片。當然，你可以可以配合其他的controlnet模型進行更好的控制：比如與openpose一起進行控制?；蛘咭恍┢渌腸ontrolnet模型都可以。

????????用posex做出骨骼圖：

????????結(jié)果

????????生成結(jié)果中頭上再帶一個巨型帽子的情況消失了。

????????目前存在的問題是，深度圖可能會誤判物體，可能會出現(xiàn)奇怪的東西代替的情況。

????????可以考慮增加其他的控制方案，比如seg之類的，都可以進行嘗試，如何合理利用根據(jù)個人情況以及實際需求選擇合適的方法即可。