查看引用/信息源請點擊：映維網(wǎng)Nweon

穿衣Avatar建模

（映維網(wǎng)Nweon?2022年09月28日）照片真實感Avatar是遠程社交的重要組成環(huán)節(jié)，系A(chǔ)R/VR的關(guān)鍵應(yīng)用之一。實際上，如果你有關(guān)注映維網(wǎng)的分享，你會注意到Meta一直在積極探索相關(guān)的解決方案。在名為《Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing》的論文中，由Meta、卡內(nèi)基梅隆大學(xué)和明尼蘇達大學(xué)組成的團隊又針對穿衣Avatar建模提出了相關(guān)的思考方案。

盡管關(guān)于全身Avatar的研究已經(jīng)產(chǎn)生了能夠從稀疏信號中生成人類照片真實感合成表示的可動畫模型，但合成真實感服飾依然是Avatar建模中的一個挑戰(zhàn)。

同時，服飾是一種基本的自我表達形式，而創(chuàng)造出高品質(zhì)的穿衣真實感動畫的根本需要。關(guān)于可動畫穿衣Avatar的現(xiàn)有研究主要可以分為兩大類：1. 服飾模擬通過動力學(xué)創(chuàng)建逼真的服飾變形，但只關(guān)注幾何建模；2. 另一項研究則利用真實世界捕捉來構(gòu)建服飾幾何的神經(jīng)表示。然而，相關(guān)系統(tǒng)通常會阻礙服飾的動態(tài)性，難以泛化到看不見的姿態(tài)，并且無法很好地處理碰撞。

Meta團隊的主要見解是，這兩條路線實際上是相輔相成，可以將它們結(jié)合起來并利用兩者的優(yōu)勢。在研究中，研究人員建議將基于物理的服飾模擬集成到Avatar建模中，以便Avatar的服飾可以與身體一起進行照片真實感的動畫化，同時實現(xiàn)高質(zhì)量的動力學(xué)、碰撞處理、以及使用新服飾對Avatar進行動畫制作和渲染的能力。

值得一提的是，這項研究是以全身Codec Avatars作為基礎(chǔ)，利用Variational Autoencoder（VAE）來模擬人體的幾何結(jié)構(gòu)和外觀。特別是，他們遵循多層公式，但重新設(shè)計了服飾層，從而集成基于物理的模擬器。

在訓(xùn)練階段，團隊通過動態(tài)服飾配準管道處理原始捕獲，使用真實世界的數(shù)據(jù)學(xué)習(xí)服飾外觀模型。在測試時，使用適當?shù)牟馁|(zhì)參數(shù)模擬底層身體模型之上的服飾幾何，然后應(yīng)用學(xué)習(xí)的外觀模型合成最終輸出。

遺憾的是，這個管道的簡單實現(xiàn)存在兩個主要問題。首先，模擬器輸出和從實際數(shù)據(jù)獲得的追蹤之間存在差距。盡管在受控設(shè)置或僅在估計身體參數(shù)方面取得了一定的進展，但估計身體和服飾的全套物理參數(shù)以忠實地再現(xiàn)穿衣身體配置依然是一個尚未解決的問題。手動選擇參數(shù)的測試時間模擬輸出與用于訓(xùn)練的真實服飾幾何圖形之間存在不可避免的差異。

其次，高精度追蹤服飾和潛在的身體幾何形狀依然是一個十分具有挑戰(zhàn)性的問題，特別是對于寬松的服飾，如裙子和連衣裙。

這兩個問題，訓(xùn)練和測試場景之間的不一致性，以及不可靠的追蹤，使得學(xué)習(xí)一個可泛化的外觀模型更具挑戰(zhàn)性。

為此，研究人員根據(jù)架構(gòu)和輸入表示設(shè)計了本地化模型。他們同時從基于物理的渲染中獲得靈感，將外觀分解為局部漫反射組件、依賴視圖和全局照明效果，如陰影。

特別是，團隊依賴于一個無監(jiān)督的陰影網(wǎng)絡(luò)，以從身體和服飾幾何顯式計算的環(huán)境遮擋貼圖為條件。因此，即使在測試時針對不同的基礎(chǔ)身體模型，其都可以有效地建模動態(tài)陰影。所述方法可以生成物理真實的動力學(xué)和照片真實感外觀，支持復(fù)雜身體-服飾交互中的各種身體運動。

另外，相關(guān)公式允許在不同個人的Avatar之間轉(zhuǎn)移服飾。團隊指出，這一方法為照片級真實感Avatar穿著新衣開辟了可能性。

方法介紹

研究人員的目標是構(gòu)建具有動態(tài)服飾和照片級真實感外觀的姿勢驅(qū)動型全身Avatar。他們對Avatar進行了多視角拍攝序列的訓(xùn)練，每個主體都穿著感興趣的服飾。在測試時，Avatar由骨架運動的稀疏驅(qū)動信號設(shè)置動畫，并可以在新的camera視點中渲染。團隊的目標是實現(xiàn)高保真動畫，無論是從人類主體的外觀還是從時間的服飾動態(tài)來看都足夠逼真。

為此，他們開發(fā)了一個由三個模塊組成的動畫管道：底層身體Avatar模型、基于物理的服飾模擬和、以及服飾外觀模型。

底層身體Avatar將骨架姿勢作為輸入，并輸出身體幾何體。給定一系列身體幾何圖形，然后使用服飾模擬生成具有自然和豐富動力學(xué)的服飾幾何圖形，并與底層身體的運動在物理上保持一致。

最后，將服飾外觀模型應(yīng)用于模擬幾何體并生成照片級真實感紋理。其中，所述紋理不僅考慮了服飾幾何體，同時考慮了Avatar身體遮擋造成的陰影。服飾投射在身體上的陰影在底層身體Avatar中進行了類似建模。圖2顯示了整體管道。

團隊發(fā)現(xiàn)，服飾的高效照片級外觀建模是這樣一個管道中缺少的關(guān)鍵組件。為了構(gòu)建這樣一個系統(tǒng)，他們解決了兩個主要的技術(shù)挑戰(zhàn)。一方面，他們開發(fā)了一個深度服飾外觀模型，它可以有效生成具有動態(tài)視相關(guān)和陰影效果的高度真實感服飾紋理。對于模型的設(shè)計，研究人員側(cè)重于生成外觀的泛化，因為來自服飾模擬器的輸入幾何體可能不同于用于訓(xùn)練外觀模型的追蹤服飾幾何。

另一方面，為了生成外觀模型的訓(xùn)練數(shù)據(jù)，他們擴展了以前的服飾配準算法，從而處理高度動態(tài)的服飾類型，包括裙子和連衣裙。另外，研究人員通過匹配顯著特征來追蹤服飾上的光度對應(yīng)關(guān)系（所述特征對于高紋理服飾外觀的建模至關(guān)重要）。

穿衣身體配準

由于服飾配準不是這項研究的核心貢獻，所以他們重點關(guān)注大型服飾動態(tài)和豐富紋理帶來的挑戰(zhàn)，因為這是實現(xiàn)高保真動畫必須解決的問題。數(shù)據(jù)采集設(shè)置與之前的工作類似。這一管道以對象的多視圖圖像序列作為輸入，并在兩個單獨的層中輸出服飾和底層身體的配準網(wǎng)格。

研究人員將原始幾何體重建和網(wǎng)格分割到身體和服飾區(qū)域。他們同樣估計了運動身體姿態(tài)和內(nèi)層身體表面。

動態(tài)服飾配準的目標是以一致的對應(yīng)關(guān)系在單個網(wǎng)格拓撲中表示服飾幾何體。團隊的服飾配準方法包括兩個主要步驟，幾何配準和光度校準。圖3說明了服飾配準方法的概述。

幾何配準

在這一步中，使用非剛性Iterative Closest Point（ICP）算法將服飾模板擬合到重建網(wǎng)格的分段服飾區(qū)域。非剛性ICP算法類似于之前的研究，因此團隊省略了相關(guān)細節(jié)。為了追蹤寬松和動態(tài)服飾類型（如裙子和連衣裙），為非剛性ICP提供良好的初始化非常重要。

他們觀察到，服飾邊界提供了關(guān)于服飾整體方向和變形的有用信息。因此，他們首先估計粗糙邊界對應(yīng)。利用每件服飾都有固定數(shù)量的邊界這一事實，通過查詢追蹤的內(nèi)身體表面中最近的頂點，將目標服飾邊界上的每個點與模板網(wǎng)格邊界相關(guān)聯(lián)?？紤]到這種粗糙的邊界對應(yīng)關(guān)系，他們使用Biharmonic Deformation Fields來求解滿足邊界對齊約束的逐頂點變形，同時最小化內(nèi)部變形。

研究人員使用Biharmonic Deformation Fields的輸出作為非剛性ICP算法的初始化。

光度校準

幾何配準方法通過最小化表面距離將衣服飾幾何與單個模板拓撲對齊，但沒有明確求解內(nèi)部對應(yīng)。為了有效地建模服飾外觀，有必要確保模板中的每個頂點始終跟蹤相同的顏色（基本上是反射比），這稱為光度對應(yīng)。他們觀察到，基于chunk的逆繪制算法可以糾正幾何配準步驟中光度對應(yīng)的小偏差，但無法從初始化中的大誤差中恢復(fù)。

在這里，他們通過匹配服飾高紋理區(qū)域中的顯著特征來明確解決光度對應(yīng)問題。對于序列中的每一幀，首先使用上一步中幾何對齊的網(wǎng)格將多視圖圖像中的平均紋理展開到UV空間。然后，使用DeepMatching在展開紋理和模板紋理之間建立稀疏對應(yīng)對。團隊同時使用RANSAC來刪除錯誤的通信。

然后，通過求解拉普拉斯方程，將稀疏對應(yīng)加密到每個頂點，類似于上一步中的Biharmonic Deformation Fields。最后，在模板和目標網(wǎng)格之間運行彩色ICP以測光對齊所有頂點。

深度動態(tài)服飾外觀模型

服飾外觀模型是實現(xiàn)照片級真實感服飾動畫系統(tǒng)的關(guān)鍵技術(shù)組件。給定服飾幾何體作為輸入，服飾外觀模型的目標是生成可與輸入幾何體一起用于光柵化的服飾紋理，以生成照片級真實感外觀。

他們構(gòu)建了一個數(shù)據(jù)驅(qū)動的服飾外觀模型，以便從實際捕獲的圖像序列中學(xué)習(xí)復(fù)雜的照片級真實感外觀。在設(shè)計這種模型時，需要考慮幾個因素。

首先，外觀模型根據(jù)前一個配準步驟中的跟蹤幾何體進行訓(xùn)練，但在測試時，它將模擬服飾幾何體作為輸入。因此，模型必須彌合訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間的泛化差距。

其次，生成的紋理應(yīng)包括照片級真實感外觀的各個方面，例如視相關(guān)效果和動態(tài)陰影。

第三，為了提高效率，模型應(yīng)該只涉及可以從服飾幾何體中輕松推導(dǎo)出的基本量，而不需要計算成本高昂的操作，例如多反彈蒙特卡羅光線追蹤。

研究人員從捕獲設(shè)置中獲得了一系列配準的服飾網(wǎng)格{???? } 和基礎(chǔ)身體網(wǎng)格{???? }，并與多視圖圖像配對。他們從外觀函數(shù)??學(xué)習(xí)從幾何圖形???? , ????和視點到真實照片級UV紋理。圖4顯示了服飾外觀模型。

根據(jù)分析，函數(shù)?? 應(yīng)該能夠?qū)植柯瓷渫庥^、依賴于視圖的效果、以及投射陰影進行建模。根據(jù)假設(shè)，每個位置的漫反射分量由法向和漫反射系數(shù)確定。因此，視圖獨立部分以法線方向n為條件來編碼照明方向。

他們使用帶untied biases的2D卷積來編碼服飾上空間變化的反射率。實驗表明，作為局部幾何性質(zhì)的法向在用作輸入條件時比絕對頂點位置更適用于泛化????。網(wǎng)絡(luò)中與視圖相關(guān)的部分同時將獲取視點信息作為輸入，并預(yù)測附加的視相關(guān)外觀偏移。

對于動態(tài)陰影效果，之前的研究表明，陰影網(wǎng)絡(luò)根據(jù)環(huán)境遮擋預(yù)測的陰影貼圖可以在輸出質(zhì)量和計算效率之間實現(xiàn)良好的權(quán)衡。因此，團隊遵循這一點，并使用陰影網(wǎng)絡(luò)預(yù)測準陰影貼圖。輸入環(huán)境光遮擋是通過光線網(wǎng)格與身體和服飾幾何相交來計算。他們使用2D卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為外觀模型的架構(gòu)。網(wǎng)絡(luò)的所有輸入都將根據(jù)固定的UV映射轉(zhuǎn)換為2D要素貼圖。與編Codec Avatar的自動編碼器結(jié)構(gòu)不同，這三個部分中的每一部分都采用了U-Net架構(gòu)。所述架構(gòu)可以關(guān)注每個輸入位置周圍的本地信息，以學(xué)習(xí)可泛化的外觀函數(shù)。

結(jié)果

他們使用基于GPU的服飾模擬器和基于擴展位置的動力學(xué)公式。在9k個頂點的身體序列之上模擬35k個頂點服飾時，模擬解算器每幀的平均運行時間在8ms之間，在Nvidia Tesla V100 GPU上每幀執(zhí)行20步時為10毫秒。對于部署，他們使用PyTorch實時（JIT）編譯來提高性能。在Lambda工作站的Nvidia RTX 3090 GPU上，這兩個模塊組合在一起的平均運行時間為78毫秒。他們使用多個GPU來并行化推理。例如，可以用3個GPU并行實現(xiàn)>30 fps。補充視頻展示了在VR頭顯中查看動畫序列的演示。其中，服飾模擬是預(yù)先計算，而身體Avatar和服飾外觀是實時渲染。盡管目前分別運行服飾模擬器和神經(jīng)網(wǎng)絡(luò)，但考慮到三個模塊中每個模塊的計算量不大，所述管道有潛力集成到一個完整的實時在線系統(tǒng)之中。

局限

團隊展示了高效的全身穿衣Avatar，其具有物理上看似合理的動力學(xué)和照片級的外觀。所述方法實現(xiàn)了動態(tài)服飾幾何體的高保真配準，并基于配準的幾何體學(xué)習(xí)深度服裝外觀模型進行訓(xùn)練。在測試時，服飾通過基于物理的模擬變形，并通過外觀模型進行渲染。為了彌補訓(xùn)練時追蹤服飾幾何和測試時模擬服飾幾何體之間的差距，他們設(shè)計了一個輸入表示和一個由三個模塊組成的架構(gòu)。一旦一件服飾被建模，系統(tǒng)就可以用它來打扮一個新的Avatar。

然而，服飾存在非常的幾何和外觀變化空間。盡管所述方法處理單層寬松衣服的效果比以前的研究要好得多，但在處理極寬松服飾的大褶皺時可能會有困難，例如和服等內(nèi)層明顯被遮擋的多層服飾。另外，如果由于錯誤的初始化和/或重復(fù)模式而導(dǎo)致特征匹配不準確，光度配準可能會失敗。

另外，由于模擬的實時限制，基于物理的服飾模擬在處理高度復(fù)雜的手布交互時可能面臨挑戰(zhàn)。

盡管服飾外觀模型是使用僅為一個對象捕獲的數(shù)據(jù)進行訓(xùn)練，但陰影分支在用于打扮新穎Avatar時顯示出合理的泛化能力，因為它僅通過光線的遮擋間接地受到身體形狀的影響。然而，由于可獲得的最低著裝量數(shù)據(jù)有限，所述模型如何適用于極端體型尚未得到測試。對不同服飾和身份的陰影進行系統(tǒng)研究是一個有趣的未來方向。另外，研究人員不考慮服飾和身體之間，以及衣服褶皺之間照明的復(fù)雜相互反射。

他們在給新Avatar穿衣時同樣假設(shè)了一致的照明條件。當假設(shè)不成立時，會觀察到輕微的不一致。未來，他們希望通過將重新照明功能與更新的捕獲設(shè)置結(jié)合到Avatar和服飾模型中，從而環(huán)節(jié)這一限制。

相關(guān)論文：Dressing Avatars: Deep Photorealistic Appearance for Physically Simulated Clothing

總而言之，這一研究的貢獻如下：

• 展示了可設(shè)置動畫的穿衣Avatar，其具有數(shù)據(jù)驅(qū)動的照片級真實感外觀和來自模擬的物理真實感服飾動態(tài)；

• 開發(fā)了一個深度服飾外觀模型，可生成照片級真實感的服飾外觀。這一模型彌補了訓(xùn)練用追蹤服飾幾何圖形和測試時模擬服飾幾何圖形之間的泛化差距；

• 動畫系統(tǒng)進一步實現(xiàn)了不同主體之間的服飾轉(zhuǎn)換以及服飾尺寸的編輯。在實驗中，團隊通過設(shè)置多種特征和服飾類型的動畫來評估方法的有效性，并對現(xiàn)有技術(shù)進行全面的定性和定量比較。

---
原文鏈接：https://news.nweon.com/101122