原創(chuàng) | 文 BFT機器人

01

背景

在非剛性點云匹配領域，將兩個或多個形狀的點云對應起來是一個具有挑戰(zhàn)性的任務。在這個問題中，形狀的變形可能會導致點云之間的幾何形狀和拓撲結構的差異。因此，點云匹配方法需要能夠識別和建立這些非剛性變形下的對應關系。

以往的點云匹配方法通常依賴于手工設計的特征描述符或采用迭代優(yōu)化的方法。然而，這些方法往往對數(shù)據(jù)的特征表示和模型的選擇非常敏感，并且需要大量的標記數(shù)據(jù)或結構幾何信息來進行監(jiān)督。此外，許多方法還依賴于離線基礎構建的步驟，這增加了算法的復雜性和計算成本。

為了解決這些問題，論文提出了一種名為神經內在嵌入（Neural Intrinsic Embedding，簡稱NIE）的方法來進行非剛性點云匹配。NIE的目標是通過學習將點云的頂點嵌入到高維空間中，同時保留形狀的內在結構。為了實現(xiàn)這一目標，NIE通過訓練來逼近點云表面上對應點之間的測地距離。通過這種方式，NIE能夠學習到點云之間的非剛性變形，并將其編碼為高維嵌入空間中的向量表示。。

通過在實驗中與現(xiàn)有的點云匹配方法進行比較，論文展示了NIE的有效性。實驗結果表明，NIE在不同數(shù)據(jù)集和場景下都能取得與或優(yōu)于現(xiàn)有方法的性能，同時不需要更多的監(jiān)督信息或結構幾何輸入。這證明了NIE在非剛性點云匹配中的潛力和優(yōu)越性。

圖1 點云分割成具有內在幾何感知的聚類

02

算法介紹

這篇論文的研究背景主要涉及到功能映射（functional maps）和線性不變嵌入（linear invariant embedding）等相關概念。功能映射是一種點對點映射的替代表示方法，它主要基于拉普拉斯-貝爾特拉米算子的特征基。給定一對形狀S1和S2，首先計算它們的前k個特征函數(shù)，并將它們存儲為矩陣Φi ∈ Rni×k，其中i = 1, 2 。線性不變嵌入（LIE）是另一種與我們的框架密切相關的方法。

本論文提出的方法與LIE不同之處在于：

（1）對形狀之間的對應關系沒有監(jiān)督；

（2）在幾何上提供了更多的信息；

（3）與LIE不同，即使在小規(guī)模數(shù)據(jù)集上訓練也能很好地推廣。

論文中提出的算法稱為神經內在嵌入（Neural Intrinsic Embedding，簡稱NIE）。它旨在解決在可變形形狀的點云之間建立對應關系的挑戰(zhàn)。NIE旨在將點云的每個頂點嵌入到高維空間中，同時保持底層對象的內在結構。通過訓練NIE來逼近表面上對應點之間的測地距離，實現(xiàn)了這種嵌入。

基于NIE，該論文進一步提出了一種非剛性點云配準的弱監(jiān)督學習框架。與以前需要大量和敏感的離線基礎構建的方法不同，NIE不依賴這種過程。所提出的框架不需要基于地面真實對應標簽進行監(jiān)督。通過實驗證明了該框架的有效性，結果顯示與需要更多監(jiān)督和/或結構幾何輸入的最先進基線方法相比，性能相當或更好。

03

論文的創(chuàng)新點

1. 提出了一種新的非剛性點云匹配方法，稱為神經內在嵌入（Neural Intrinsic Embedding，NIE）。與現(xiàn)有的方法相比，NIE能夠更好地保留點云的內在結構，從而實現(xiàn)更準確的匹配。

2. 提出了一種新的點云嵌入方法，稱為點云自適應嵌入（Point Cloud Adaptive Embedding，PCAE）。PCAE能夠自適應地學習點云的嵌入表示，從而更好地捕捉點云的幾何特征。

3. 提出了一種新的點云對齊方法，稱為點云對齊網絡（Point Cloud Alignment Network，PCAN）。PCAN能夠將兩個點云嵌入到同一空間中，并通過最小化它們之間的距離來實現(xiàn)點云對齊。

04

實驗

1.評估了學習到的嵌入表示，并提供了消融研究來驗證他們提出的設計。他們通過比較不同的實驗設置和參數(shù)選擇來分析嵌入表示的性能。

2.展示了他們提出的NIM網絡的匹配結果，并將其與幾種競爭性的基線方法進行了比較。他們使用平均測地誤差來評估匹配結果，這些結果是在形狀歸一化到單位面積的情況下僅使用點云進行推斷時得出的。

3.展示了他們的NIE和NIM網絡對于噪聲和各種局部性等偽影的魯棒性。他們通過引入不同類型的偽影來評估網絡的魯棒性，并分析其對匹配結果的影響。

在實驗部分，作者提供了使用的數(shù)據(jù)集的詳細信息，包括FAUST數(shù)據(jù)集的重新網格化版本和包含100個人體形狀的訓練和測試集的劃分。

表1 ?不同方法在基礎數(shù)據(jù)集上的比較結果

表1提供了不同方法在基礎數(shù)據(jù)集上的比較結果，包括OPT（×100）和相對測地誤差（x100）。該表格顯示了不同方法在這兩個指標上的性能。其中，"Ours"指的是該論文提出的方法，"MDS"是多維縮放方法，"LBO basis"和"PCD LBO basis"是基于LBO的方法，"LIE"是基于正交約束的方法。從表格中可以看出，該論文提出的方法在OPT和相對測地誤差方面都表現(xiàn)最佳。

表2 ?關于訓練損失的消融研究結果

表2提供了關于訓練損失的消融研究結果，包括OPT（×100）、相對測地誤差（x100）和最終匹配誤差（x100）。該表格顯示了在不同訓練損失項和修改后的DGCNN上進行的實驗的結果。以下是表格中的結果：

- 使用僅相對測地損失時，雖然可以獲得最低的誤差，但NIE存在秩缺失問題，導致最差的OPT得分。

- 使用相對測地損失和時，可以獲得更好的OPT和相對測地誤差。

- 使用相對測地損失、和時，可以進一步改善OPT和相對測地誤差。

- 使用包含樣本的完整模型時，可以獲得最佳的OPT、相對測地誤差和最終匹配誤差。

這些結果表明，在訓練過程中使用多個損失項和修改后的DGCNN可以顯著改善匹配結果的質量。

05

結論

提出的神經內在嵌入方法可以有效地解決非剛性點云匹配問題，并且在多個數(shù)據(jù)集上取得了優(yōu)于其他方法的結果。該方法可以在不需要額外的先驗知識或手動標記的情況下，從點云中提取內在的幾何信息，并將其用于點云匹配和分割任務。此外，該方法還具有良好的魯棒性，可以處理噪聲和部分點云等常見的數(shù)據(jù)偽影。

論文標題：

Neural Intrinsic Embedding for Non-rigid Point Cloud Matching

更多精彩內容請關注公眾號：BFT機器人

本文為原創(chuàng)文章，版權歸BFT機器人所有，如需轉載請與我們聯(lián)系。若您對該文章內容有任何疑問，請與我們聯(lián)系，將及時回應。