查看引用/信息源請點擊：映維網Nweon

通過增加面部landmark的數量來實現更精確的3D面部重建

（映維網Nweon?2022年10月26日）計算機視覺是計算機科學中最引人注目的領域之一。它的發(fā)展速度非常迅速，并且有望顯著影響人們的生活和工作方式。近年來，機器學習和計算機視覺的融合交叉進展正在加速，并為眾多領域帶來了重大進展，包括醫(yī)療保健、機器人、汽車工業(yè)和增強現實。

為了幫助人們實現更多目標，微軟研究人員一直在與所述領域的學者和專家合作，共同開展一系列的計算機視覺項目。一個例子是PeopleLens。這款以HoloLens作為靈感的頭戴式設備可以通過空間化音頻識別周圍的人員，從而幫助失明人士或視力低下人士在社交場合進行互動。另一個例子是Swin Transformer。這個計算機視覺架構在目標檢測中實現了高精度，并提供了將計算機視覺和自然語言處理（NLP）架構統一的機遇。

在日前舉行的2022年歐洲計算機視覺大會（ECCV），微軟介紹了團隊在計算機領域的最新成果。下面將重點與混合現實相關的兩份研究論文。第一篇是通過增加面部landmark的數量來實現更精確的3D面部重建，在降低所需計算能力的同時獲得最先進的結果。另一篇主要涉及一個利用AR設備對真實世界進行視覺定位和映射的數據集。以下是第一篇“3D face reconstruction with dense landmarks”的分享。

延伸閱讀：微軟研究團隊分享：用數據集LaMAR開發(fā)AR場景定位、映射算法

1. 方法介紹

Landmark通常在人臉分析中起著關鍵作用，但關于身份或表情的眾多方面無法僅用稀疏Landmark來進行表示。為了更精確地重建人臉，行業(yè)通常將Landmark與深度圖像等附加信號或微分渲染等技術相結合。

通常，從業(yè)者用來訓練ML模型的公共數據集包含68個面部Landmark的注釋。然而，人臉并不能僅用68個Landmark來精確地表示，需要額外的方法來補充Landmark檢測，而這增加了訓練工作的復雜性，并增加了所需的計算能力。

所以，研究人員好奇的一個問題是：為了進一步簡化流程和優(yōu)化資源利用，是否可以單純依靠（密集）Landmark來實現逼真的人臉重建呢？

為了實現準確的3D人臉重建，微軟提出了自己的解決方案：單純依靠密集Landmark來實現逼真人臉重建。其中，團隊表示相關方法可以準確預測十倍于平常的Landmark，覆蓋整個頭部，包括眼睛和牙齒。

正如前面所述，微軟表示他們的方法可以準確預測十倍于平常的Landmark，覆蓋整個頭部，包括眼睛和牙齒，如圖1所示。簡單來說，這是通過使用合成訓練數據來實現，從而保證了完美的Landmark標注。

概括而言，團隊的方法主要包括兩步：

• 首先預測概率密集Landmark L，每個Landmark都具有位置μ和確定性σ。

• 然后，研究人員將3D人臉模型擬合到L，通過優(yōu)化模型參數Φ最小化能量E

值得注意的是，盡管人類可能會始終使用68個Landmark標記圖像，但手動使用密集Landmark標注圖像是不可能的。為了保證完美的Landmark標注，微軟使用人臉合成系統渲染了100000張合成訓練圖像。團隊指出，沒有合成數據提供的完美注釋，密集地標預測是不可能的。

相關論文：3D Face Reconstruction with Dense Landmarks

通過將可變形模型擬合到密集Landmark，研究人員實現了自然場景下最先進的單目3D人臉重建結果。通過在單目和多視圖場景中展示準確和富有表現力的面部表現捕捉，團隊表明密集的Landmark是跨幀整合面部形狀信息的理想信號。實驗比較證明了所述方法的高效性：可以預測密集Landmark，并在單個CPU線程以超過150FPS的速度擬合3D人臉模型。

2. 使用合成數據提高隱私、公平和效率

在計算機視覺領域，尤其是人臉重建領域，在訓練ML模型時對匿名性的擔憂可以理解，因為訓練數據通常來自真人。微軟提出的方法顯著減少了隱私問題，因為它只使用合成數據來訓練ML模型，不使用真人的圖像。換句話說，當建立合成數據管道時，微軟非常注重保護用戶的隱私，并且獲得了數百名被試的同意。團隊指出：“如果我們要使用真實數據，這是必要的環(huán)節(jié)?！?/p>

使用合成數據有助于保護數據主體的隱私，以及攝影師和內容創(chuàng)作者的權利。微軟強調，他們都是以符合道德和負責任的方式來構建技術。另外，由于數據集中不包括用戶的私人信息，如果ML模型受到攻擊，只有合成數據會受到損害。

合成數據同時為解決包容性和公平性問題提供了機會。這主要是因為數據的分布完全受控，ML從業(yè)者可以通過在數據集中包含不同的樣本來管理表示的公平性，并且所有需要這樣做的數據都會被完美地標記

使用合成數據訓練ML模型同時存在其他優(yōu)點。例如，模型需要大量的數據，而這給從業(yè)者獲取數據帶來了諸多困難，例如找到所需人數的后勤、在實驗室安排時間，以及設置多個攝像頭以捕捉人臉的不同角度。合成數據大大減少了所述方面的擔憂。

另外，由于數據不需要來自真人，所以提高3D人臉重建質量的迭代速度非常高，從而創(chuàng)建了一個穩(wěn)健的工作流程。當使用合成數據時，沒有必要對每個Landmark的圖像應用QA過程，這是另一個節(jié)省成本和時間的優(yōu)勢。另一點是這增加了Landmark數據的精度、速度和成本效益。因為要求某人在一組圖像中一致地標記703個Landmark幾乎不可能實現。

微軟總結道：“人臉分析是眾多ML系統的基礎，例如人臉識別和控制Avatar。使用一種既能提供精度和效率，又能解決隱私和公平問題的方法打破了現有技術的界限。使用密集Landmark和合成數據實現3D人臉重建的能力有可能真正改變ML?！?/p>

---
原文鏈接：https://news.nweon.com/101929