CVPR2023 Highlight | ECON：最新單圖穿衣人三維重建SOTA算法
作者：寧了個(gè)寧 ?| 來源：3D視覺工坊
在公眾號(hào)「計(jì)算機(jī)視覺工坊」后臺(tái)，回復(fù)「原論文」可獲取論文pdf。
添加微信：dddvisiona，備注：三維重建，拉你入群。文末附行業(yè)細(xì)分群。
這篇文章討論了單圖像的穿著人類重建問題。
隱式方法可以用來表示任意3D穿著人類形狀，因?yàn)樗灰蕾囉谕負(fù)浣Y(jié)構(gòu)，因此具有更高的靈活性。這種方法的缺點(diǎn)是難以擴(kuò)展到多種服裝樣式，限制了其在真實(shí)場景中的應(yīng)用。
相比之下，顯式方法則使用網(wǎng)格或深度圖或點(diǎn)云來重建3D人類。這些方法主要關(guān)注于估計(jì)或回歸最小穿著的3D身體網(wǎng)格，而忽略了衣服。為了考慮穿著人類的形狀，另一類工作通過添加3D偏移量到身體網(wǎng)格上來進(jìn)行建模。這種方法與當(dāng)前的動(dòng)畫管道兼容，因?yàn)樗鼈兝^承了從統(tǒng)計(jì)身體模型中得出的層次化骨架和權(quán)重。然而，這種方法對于寬松的衣服來說不夠靈活，因?yàn)樗鼈兣c身體拓?fù)浣Y(jié)構(gòu)有很大的不同，例如衣服和裙子。為了增加拓?fù)潇`活性，一些方法通過識(shí)別服裝類型并使用適當(dāng)?shù)哪Ｐ蛠碇亟ㄋ５?，這種方法很難擴(kuò)展到多種服裝樣式，限制了其在真實(shí)場景中的泛化能力。
這篇文章介紹了穿著人類重建的最新進(jìn)展和挑戰(zhàn)，通過將隱式方法和顯式方法相結(jié)合實(shí)現(xiàn)了更好的單圖穿衣人重建。這里也推薦「3D視覺工坊」新課程《徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)》。
深度學(xué)習(xí)、藝術(shù)家策劃的掃描和隱式功能(IF)的結(jié)合，使從圖像中創(chuàng)建詳細(xì)的、有衣的3D人體成為可能。然而，現(xiàn)有的方法還遠(yuǎn)遠(yuǎn)不夠完美。基于隱式功能(IF)的方法恢復(fù)了自由幾何形狀，但會(huì)產(chǎn)生無實(shí)體的肢體或退化的形狀，以實(shí)現(xiàn)新穎的姿勢或衣服。為了增加這些情況的魯棒性，現(xiàn)有工作使用顯式的參數(shù)化的身體模型來約束表面重建，但這限制了自由形狀表面的恢復(fù)，例如偏離身體的寬松衣服。我們想要的是一種結(jié)合隱式表示和顯式體正則化的最佳特性的方法。為此，我們做了兩個(gè)關(guān)鍵的觀察:(1)目前的網(wǎng)絡(luò)比全3d表面更擅長推斷詳細(xì)的2D地圖，(2)參數(shù)化模型可以被看作是將詳細(xì)的表面斑塊拼接在一起的“畫布”?；谶@些，我們的方法ECON有三個(gè)主要步驟:(1)它推斷出一個(gè)穿著衣服的人的正面和背面的詳細(xì)2D法線圖。(2)從中，它恢復(fù)2.5D前后表面，稱為d-BiNI，這些表面同樣詳細(xì)，但不完整，并在SMPL-X的幫助下相互注冊這些w.r.t.，在從照片恢復(fù)的SMPL-X身體面片的幫助下該方法通過在d-BiNI表面之間“修復(fù)”丟失的幾何形狀，可以推斷出高保真的3D人物，即使在穿著寬松的衣服和擺出具有挑戰(zhàn)性的姿勢時(shí)也能做到。根據(jù)在CAPE和Renderpeople數(shù)據(jù)集上的定量評估，這超過了以前的方法。此外，感知研究還表明，ECON的感知現(xiàn)實(shí)主義也明顯更好。
給定RGB圖像，ECON首先估計(jì)前后法線貼圖(第2.1節(jié))，然后將它們轉(zhuǎn)換為前后部分表面(第2.2節(jié))，最后在IF-Nets+(第2.3節(jié))的幫助下“繪制”缺失的幾何形狀。參見圖3中的ECON概述。
在大量RGB圖像和法線圖像對的訓(xùn)練下，使用圖像到圖像的轉(zhuǎn)換網(wǎng)絡(luò)可以從RGB圖像中準(zhǔn)確地估計(jì)出“前”法線映射 ，如PIFuHD或ICON。這兩種方法還可以從圖像中推斷出一個(gè)“反向”法線貼圖 。但是，缺少圖像線索會(huì)導(dǎo)致 過于光滑。為了解決這個(gè)問題，我們對ICON的背面正常預(yù)測器 進(jìn)行了微調(diào)，增加了額外的MRF損失，通過最小化特征空間中預(yù)測的 和ground truth (GT) 之間的差異來增強(qiáng)局部細(xì)節(jié)。
為了指導(dǎo)法線貼圖預(yù)測并使其對各種身體姿態(tài)具有魯棒性，ICON訓(xùn)練了法線映射預(yù)測模塊，在身體法線貼圖 ，從估計(jì)的身體 中渲染。因此，準(zhǔn)確地對齊估計(jì)的身體和衣服輪廓是很重要的。除了ICON中使用的和外，我們還在額外的損失項(xiàng)中應(yīng)用2D身體標(biāo)志來進(jìn)一步優(yōu)化從PIXIE或PyMAF-X推斷的SMPL-X身體M。
現(xiàn)在我們將覆蓋的法線貼圖提升到2.5D表面。我們期望這些2.5D表面滿足三個(gè)條件:(1)高頻表面細(xì)節(jié)與預(yù)測的覆蓋法線圖一致;(2)低頻表面變化(包括不連續(xù)面)與SMPL-X的一致;(3)前后輪廓的深度彼此接近。
與PIFuHD或ICON訓(xùn)練神經(jīng)網(wǎng)絡(luò)從法線圖回歸隱式表面不同，我們使用變分法正交積分方法，對深度與法線的關(guān)系進(jìn)行顯式建模。具體的，我們利用粗略先驗(yàn)、深度圖和輪廓一致性，對最近提出的雙向正常集成(BiNI)方法進(jìn)行定制，用于全身網(wǎng)格重建。
為了滿足這三個(gè)條件，我們提出了一種深度感知輪廓一致的雙邊法向積分(d-BiNI)方法，對前后服裝深度圖進(jìn)行聯(lián)合優(yōu)化
對于沒有自我遮擋的簡單身體姿勢，如FACSMILE和Moduling Humans中所做的那樣，以直接的方式合并前后d-BiNI表面，可以產(chǎn)生完整的3D服裝掃描。然而，通常會(huì)導(dǎo)致自咬合，從而導(dǎo)致大部分表面缺失。在這種情況下，泊松表面重建(PSR)會(huì)導(dǎo)致斑點(diǎn)狀偽影。
使用SMPL-X ()完成PSR。“填充”缺失表面的一種簡單方法是利用估計(jì)的SMPL-X體。我們從中移除前后攝像頭可見的三角形。剩下的三角形“湯”包含側(cè)視圖邊界和遮擋區(qū)域。我們將PSR應(yīng)用于和d-BiNI曲面{}的并集，得到一個(gè)水密重建r。雖然避免了四肢或側(cè)面的缺失，但由于SMPL-X與實(shí)際的衣服或頭發(fā)之間的差異，它不能為原來缺失的衣服和頭發(fā)表面產(chǎn)生一致的表面;見圖5中的。
使用IF-Nets+ ()進(jìn)行繪畫。 為了提高重建的一致性，我們使用學(xué)習(xí)的隱函數(shù)(IF)模型來“補(bǔ)繪”給定的前后缺失的幾何形狀d-BiNI表面。具體來說，我們將通用形狀補(bǔ)全方法IF-Nets定制為SMPL-X引導(dǎo)的方法，稱為IF-Nets+。IF-Nets從缺乏的3D輸入(如不完整的3D人體形狀或低分辨率體素網(wǎng)格)完成3D形狀。受Li等人[44]的啟發(fā)，我們通過在體素化的SMPL-X身體上調(diào)節(jié)IF-Nets來處理姿態(tài)變化。IF-Nets+以體素化的正面和背面地真深度圖()和體素化(估計(jì)的)的身體網(wǎng)格()作為輸入進(jìn)行訓(xùn)練，并使用地真3D形狀進(jìn)行監(jiān)督。在訓(xùn)練過程中，為了對遮擋的魯棒性，我們隨機(jī)屏蔽。在推理過程中，我們將估計(jì)的和輸入IF-Nets+中以獲得占用場，并從中提取入畫網(wǎng)格，并使用Marching cubes。
用 ()完成PSR。 為了獲得我們最終的網(wǎng)格R，我們應(yīng)用PSR來縫合(1)d-BiNI表面，(2)來自Rir的側(cè)面和閉塞的三角形湯紋，以及(3)從估計(jì)的SMPL-X裁剪的臉或手,(3)的必要性源于的手/臉重建不佳，見圖6的差異。該方法表示為。
值得注意的是，盡管已經(jīng)是一個(gè)完整的人體網(wǎng)格，但由于輸入的有損體素化和Marching cubes算法的有限分辨率，它在某種程度上平滑了的細(xì)節(jié)，這些細(xì)節(jié)是通過d-BiNI優(yōu)化的(見圖5中的 vs )。雖然更好地保留了d-BiNI的細(xì)節(jié)，但的側(cè)視圖和遮擋部分在泊松步驟中被融合。
在實(shí)驗(yàn)方面，作者將ECON與身體不可知論方法(即PIFu和PIFuHD)和身體感知方法(即PaMIR和ICON)進(jìn)行比較，見表1。
為了公平比較，作者使用ICON中的PIFu和PaMIR的重新實(shí)現(xiàn)，因?yàn)樗鼈兙哂邢嗤木W(wǎng)絡(luò)設(shè)置和輸入數(shù)據(jù)。的性能與ICON相當(dāng)，并且在包含偏離分布(OOD)姿勢(CAPE)的圖像上優(yōu)于其他方法，距離誤差低于1cm。在分發(fā)套件(Renderpeople)方面，的表現(xiàn)與PaMIR相當(dāng)，比PIFuHD要好得多。當(dāng)涉及到法線測量的高頻細(xì)節(jié)時(shí)，在兩個(gè)數(shù)據(jù)集上都達(dá)到了SOTA的性能。
為評估野外圖像上的ECON。測試圖像分為三類:“具有挑戰(zhàn)性的姿勢”、“寬松的衣服”和“時(shí)尚圖像”。挑戰(zhàn)性姿勢和寬松服裝的例子如圖9所示。
參與者被要求在基線方法和ECON之間選擇他們認(rèn)為更現(xiàn)實(shí)的重建方法。我們在表2中計(jì)算了每個(gè)基線優(yōu)于ECON的可能性。這里也推薦「3D視覺工坊」新課程《徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)》。
感知研究的結(jié)果證實(shí)了表1中的定量評估。對于“具有挑戰(zhàn)性的姿勢”圖像，ECON明顯優(yōu)于PIFuHD，并且優(yōu)于ICON。對于穿著寬松衣服的人的圖像，ECON比ICON更受歡迎和優(yōu)于PIFuHD。
最后在消融實(shí)驗(yàn)里作者將d-BiNI和BiNI，IF-Nets+和IF-Nets進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如下表所示：
雖然ECON在單圖人體三維重建上達(dá)到了一個(gè)全新的高度，但是從單個(gè)圖像中恢復(fù)SMPL-X體(或類似模型)仍然是一個(gè)開放的問題，并沒有完全解決。任何故障都可能導(dǎo)致ECON故障，如圖8-A和圖8-B所示。由于合成數(shù)據(jù)變得足夠逼真，它們與真實(shí)數(shù)據(jù)的領(lǐng)域差距顯著縮小，可以預(yù)見，這種限制將被消除。ECON的重建質(zhì)量主要依賴于預(yù)測法線圖的準(zhǔn)確性。較差的法線貼圖會(huì)導(dǎo)致前后表面過近甚至相交，如圖8-C和圖8-D所示。
未來的工作。除了解決上述限制之外，其他幾個(gè)方向?qū)?shí)際應(yīng)用也很有用。目前，ECON只重建三維幾何。人們還可以恢復(fù)底層骨骼和皮膚權(quán)重，以獲得完全可動(dòng)畫的化身。此外，生成后視紋理將產(chǎn)生完全紋理的頭像。從恢復(fù)的幾何圖形中分離服裝、發(fā)型或配飾，將使模擬、合成、編輯和轉(zhuǎn)移這些樣式成為可能。ECON的重建，連同它下面的SMPL-X體，可以在學(xué)習(xí)神經(jīng)化身之前作為3D形狀使用。
CVPR2023 Highlight | ECON：最新單圖穿衣人三維重建SOTA算法的評論 (共 條)
你需要登录后才可以评论。