作者：小張Tt | 來(lái)源：計(jì)算機(jī)視覺(jué)工坊

在公眾號(hào)「計(jì)算機(jī)視覺(jué)工坊」后臺(tái)，回復(fù)「原論文」可獲取論文pdf和代碼鏈接

添加微信：dddvisiona，備注：三維重建，拉你入群。文末附行業(yè)細(xì)分群

本文展示了一種具有動(dòng)態(tài)松散服裝的虛擬角色模型，并提出了神經(jīng)迭代最近點(diǎn)（N-ICP）算法用于跟蹤服裝形狀。通過(guò)將輸入的RGB-D圖像重新映射到紋理對(duì)齊的特征，并輸入到可預(yù)測(cè)的虛擬角色模型，能夠忠實(shí)地重構(gòu)服裝的外觀細(xì)節(jié)。通過(guò)與其他方法的比較和對(duì)N-ICP算法的分析，證明了本文的方法在不同環(huán)境下具有普適性，并能夠產(chǎn)生高保真度和忠實(shí)的服裝動(dòng)態(tài)和外觀。

讀者理解：

這篇文章是一篇關(guān)于使用深度學(xué)習(xí)和圖形學(xué)技術(shù)來(lái)創(chuàng)建一個(gè)能夠模擬真實(shí)人物的外觀、動(dòng)作和服裝的虛擬化身的研究論文。

• 這篇文章展示了一種創(chuàng)新的技術(shù)，可以從稀疏的RGB-D輸入中生成一個(gè)具有動(dòng)態(tài)服裝細(xì)節(jié)的可駕駛的化身。這種技術(shù)可以讓用戶在元宇宙中擁有一個(gè)忠實(shí)的全身遙感，增強(qiáng)了虛擬交互的真實(shí)感和沉浸感。

• 這篇文章的優(yōu)點(diǎn)是不需要掃描特定于主題的模板，也不需要復(fù)雜的服裝捕捉設(shè)備，只需要一臺(tái)普通的RGB-D相機(jī)，就可以為各種類型的服裝自動(dòng)構(gòu)建可動(dòng)畫(huà)的人類化身。這種技術(shù)降低了創(chuàng)建虛擬化身的成本和難度，提高了用戶的便利性和自由度。

1 引言

本文提出了一種逼真的全身虛擬角色模型，包括動(dòng)態(tài)服裝，在忠實(shí)重新合成主體外貌和幾何原始狀態(tài)方面表現(xiàn)出色。本文引入了一種神經(jīng)迭代最近點(diǎn)算法，通過(guò)學(xué)習(xí)迭代地更新變形模型，高效地跟蹤輸入點(diǎn)云。通過(guò)將虛擬角色的驅(qū)動(dòng)信號(hào)擴(kuò)展為稀疏的RGB-D輸入，能夠更好地處理寬松服裝，并實(shí)現(xiàn)更高的質(zhì)量和泛化能力。這里也推薦「3D視覺(jué)工坊」新課程《基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]》。

2 相關(guān)工作

本文針對(duì)相關(guān)領(lǐng)域的研究工作進(jìn)行了探討，分為逼真的著裝虛擬人物、基于感應(yīng)的遠(yuǎn)程交互和基于圖像條件的新視圖合成與學(xué)習(xí)優(yōu)化非剛性跟蹤三個(gè)方面。在逼真的著裝虛擬人物方面，研究方法主要根據(jù)外觀模型分為融合粗糙人體幾何的延遲神經(jīng)渲染方法、將人類先驗(yàn)融入神經(jīng)輻射場(chǎng)的方法和基于網(wǎng)格和動(dòng)態(tài)紋理的方法。在基于感應(yīng)的遠(yuǎn)程交互方面，研究方法主要利用感應(yīng)輸入進(jìn)行表面重建，并利用神經(jīng)渲染來(lái)補(bǔ)償重建幾何中的偽影。在基于圖像條件的新視圖合成方面，研究方法主要利用稀疏輸入圖像進(jìn)行場(chǎng)景重建，并結(jié)合人體先驗(yàn)知識(shí)實(shí)現(xiàn)更好的效果。在學(xué)習(xí)優(yōu)化非剛性跟蹤方面，研究方法主要將深度神經(jīng)網(wǎng)絡(luò)與優(yōu)化求解器相結(jié)合進(jìn)行非剛性跟蹤和重建。

3 方法

本文提供了一種從稀疏的RGB-D圖像中生成主體照片級(jí)真實(shí)渲染的方法。它包含兩個(gè)主要模塊：神經(jīng)迭代最近點(diǎn)模塊和面元對(duì)齊衣物化身模塊。在神經(jīng)迭代最近點(diǎn)模塊中，通過(guò)使用變形圖模型，該方法能夠?qū)捤煞b表面進(jìn)行粗略跟蹤。然后，通過(guò)將稀疏的驅(qū)動(dòng)RGB-D圖像轉(zhuǎn)換為面元對(duì)齊特征，并將其輸入到面元為條件的著裝化身中，該方法能夠推斷出詳細(xì)的幾何和視角相關(guān)的紋理。最后，通過(guò)光柵化，生成最終的輸出圖像。該方法在訓(xùn)練過(guò)程中使用了密集攝像系統(tǒng)捕獲的主體圖像。整體而言，該方法為實(shí)現(xiàn)主體照片級(jí)真實(shí)渲染提供了一個(gè)有用的方法。

4 實(shí)驗(yàn)

本文使用了多視圖捕獲系統(tǒng)，通過(guò)采集多個(gè)RGB相機(jī)的圖像來(lái)獲取訓(xùn)練數(shù)據(jù)。作者使用多視圖立體重建（Multi-View Stereo，MVS）來(lái)重建幾何信息，并將其轉(zhuǎn)化為深度圖作為驅(qū)動(dòng)虛擬人物的輸入。此外，作者還在不同背景和照明條件下的新環(huán)境中捕獲了使用相同服裝的主體，以展示本文的方法在遠(yuǎn)程傳輸中的應(yīng)用。

作者針對(duì)N-ICP算法進(jìn)行了評(píng)估，并使用了通過(guò)非剛性ICP進(jìn)行離線配準(zhǔn)的地面真值。在評(píng)估中，使用了與完整方法相同的輸入：融合了來(lái)自三個(gè)驅(qū)動(dòng)視圖深度圖的點(diǎn)云。作者使用了平方點(diǎn)到三角形距離的評(píng)估指標(biāo)，從預(yù)測(cè)到地面真值和從地面真值到預(yù)測(cè)的兩個(gè)方向上進(jìn)行評(píng)估。作者將N-ICP與傳統(tǒng)優(yōu)化求解器（包括L-BFGS和非線性共軛梯度）以及Levenberg-Marquart進(jìn)行了比較。作者的方法收斂速度比基線方法更快。

在完整方法評(píng)估中，作者使用了密集的多視圖捕獲系統(tǒng)得到的高質(zhì)量數(shù)據(jù)。作者在具有挑戰(zhàn)性的松散T恤和長(zhǎng)裙序列上與其他方法進(jìn)行了比較。還與使用NeRF方法建模的方法進(jìn)行了比較，并與基于傳感器的基準(zhǔn)方法進(jìn)行了比較。另外，作者還進(jìn)行了消融研究和與基于姿勢(shì)驅(qū)動(dòng)模型進(jìn)行了比較。

在新環(huán)境中的結(jié)果測(cè)試顯示，本文的方法能夠直接適應(yīng)新環(huán)境并保持外觀風(fēng)格，并且進(jìn)行細(xì)調(diào)后，模型的輸出質(zhì)量進(jìn)一步提高。這里也推薦「3D視覺(jué)工坊」新課程《基于深度學(xué)習(xí)的三維重建MVSNet系列 [論文+源碼+應(yīng)用+科研]》。

5 總結(jié)

本研究提出了一個(gè)框架，用于構(gòu)建能夠通過(guò)稀疏的RGB-D輸入驅(qū)動(dòng)并忠實(shí)地再現(xiàn)松散服裝動(dòng)作的逼真全身虛擬人物。作者的方法可以準(zhǔn)確重建主體具有挑戰(zhàn)性的服裝外觀，從而解決了現(xiàn)有姿勢(shì)驅(qū)動(dòng)虛擬人物的一個(gè)主要缺點(diǎn)。然而，作者的模型仍然是針對(duì)具體人物和服裝的，并且無(wú)法處理遠(yuǎn)離形變圖模型的形變空間的服裝運(yùn)動(dòng)，例如拓?fù)渥兓Ｓ腥さ奈磥?lái)研究方向是將作者的方法擴(kuò)展到多身份的設(shè)置，并開(kāi)發(fā)一種能夠處理更通用服裝類別（如隱含表示）的表達(dá)形式。

3D視覺(jué)細(xì)分群成立啦！

目前工坊已經(jīng)建立了3D視覺(jué)方向多個(gè)社群，包括SLAM、工業(yè)3D視覺(jué)、自動(dòng)駕駛方向。
細(xì)分群包括：
[工業(yè)方向]三維點(diǎn)云、結(jié)構(gòu)光、機(jī)械臂、缺陷檢測(cè)、三維測(cè)量、TOF、相機(jī)標(biāo)定、綜合群；
[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機(jī)器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；
[自動(dòng)駕駛方向]深度估計(jì)、Transformer、毫米波|激光雷達(dá)|視覺(jué)攝像頭傳感器討論群、多傳感器標(biāo)定、自動(dòng)駕駛綜合群等。
[三維重建方向]NeRF、colmap、OpenMVS、MVSNet等。
[無(wú)人機(jī)方向]四旋翼建模、無(wú)人機(jī)飛控等。
除了這些，還有求職、硬件選型、視覺(jué)產(chǎn)品落地等交流群。
大家可以添加小助理微信: dddvisiona，備注：加群+方向+學(xué)校|公司, 小助理會(huì)拉你入群