經(jīng)常使用Stable Diffusion出圖的小伙伴們可能都苦壞手久矣。盡管已經(jīng)陸陸續(xù)續(xù)有了非常多的方法，比如：ControlNet的OpenPose、inPainting、甚至是做出了很多手部的深度圖等等方式，但是只有大量出圖，又有這非常精確控制需求的小伙伴心里最清楚，這些方法或者無法打到穩(wěn)定、準確，或者非常麻煩復(fù)雜，或者需要掌握一定的ps修圖能力……

不過，國人再次提升了CN控圖的上限，這就是來自IDEA-Research（粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院）的全身姿態(tài)估算模型。這是幾位作者：Zhendong Yang,?Ailing Zeng,?Chun Yuan,?Yu Li。

他們是怎么做到的呢？

首先，據(jù)官方介紹，他們是使用了兩段蒸餾的方法實現(xiàn)的。同時，訓(xùn)練的基礎(chǔ)是來自MMPose和ControlNet。

ControlNet已經(jīng)如雷貫耳了，有興趣看這篇帖子的圖友應(yīng)該已經(jīng)用的熟的不能再熟了。那么MMPose又是何方神圣，可能就沒那么多人知道了。

MMPose是來自另一個國人團隊，香港中文大學(xué)-商湯科技聯(lián)合實驗室（Open-MMLab）的項目，他們在B站有自己的官方賬號（OpenMMLab的個人空間），他們出品的所有視頻，UP幾乎是每期必看！

我們還是繼續(xù)回來說說DWPose吧！所謂兩段蒸餾是什么意思呢？摘抄論文的簡要如下：

“第一階段，是提煉設(shè)計了一種權(quán)重遞減策略，同時利用教師（Teacher）的中間特征和最終對數(shù)，以及可見和不可見的關(guān)鍵點，從頭開始監(jiān)督學(xué)生（Student）。

第二階段，對學(xué)生模型本身進行提煉，以進一步提高成績。與之前的自我知識提煉不同，這一階段作為即插即用的訓(xùn)練策略，只需 20% 的訓(xùn)練時間即可對學(xué)生的大腦進行微調(diào)。

由于數(shù)據(jù)限制，我們探索了 UBody 數(shù)據(jù)集，該數(shù)據(jù)集包含現(xiàn)實生活中應(yīng)用的各種面部表情和手勢。綜合實驗表明，我們提出的方法簡單而有效。我們在 COCO-WholeBody 上取得了新的一流性能，將 RTMPose-l 的全身 AP 從 64.8% 顯著提高到 66.5%，甚至超過了 RTMPose-x 教師 65.3% 的 AP。我們發(fā)布了一系列不同尺寸的模型，從很小到很大，以滿足各種下游任務(wù)的需要。我們的代碼和模型可通過Github上的項目存儲庫獲取。”

官方也展示了一些示例圖，來對比DWPose和OpenPose在人體姿態(tài)估算上的區(qū)別。

以上4組圖片，都使用了包含雙手的源圖，并且臉部再畫面中的分辨率也比較小，說明了作者團隊在研發(fā)這款模型的過程中挑戰(zhàn)了比較高的難度。從Keypoints圖就能看出來對于源圖手部細節(jié)的估算遠遠超過傳統(tǒng)的OpenPose。

官方還給出了在COCO 2017數(shù)據(jù)集上做的多項測試對比結(jié)果。（個人推測對比圖Arch里面，t應(yīng)該就是teacher模型，s應(yīng)該是student模型，m是混合了兩者，最終得到了兩個不同輸入分辨率的latest模型，如果不對，請大佬們予以指正）。最良心的是，不同版本的pth模型都給出了百度網(wǎng)盤的下載鏈接，突出顯示了國人團隊為國人用戶考慮的周到！

Git上很快就有另一位國人跟進并重構(gòu)了模型的推理，并放出了自己的對比。

當我在今天（2023年8月5日）下午18點多看到CN更新的時候，相當激動，迫不及待地在群里和群友們分享了這個重要的消息。并馬上上手開始寫這篇帖子。不過非?？上У氖?，當我一邊更新WebUI一邊寫稿的時候，發(fā)現(xiàn)更新之后mmpose模塊一直加載失敗，再試還是失敗……

到了20點之后發(fā)現(xiàn)ControlNet已經(jīng)版本回退到了1.1.234，給出的原因是更新的代碼中使用了mmcv 和 detectron這兩個危險列表中的項目，合并了DWPose的新版本在Ubuntu上可以成功安裝并運行，但是在4臺Windows系統(tǒng)上更新全部報錯（來自lvmin大佬的親自測試，居然大佬突然親自現(xiàn)身，可見這個DWPose有多強！國人威武！mmcv是一個視覺基礎(chǔ)庫，希望不會給DWPose加入CN帶來太大的阻礙吧）

不過，這么好的國人AI之光項目，相信很快就能再次修復(fù)這個問題！