SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

論文地址：在公眾號「3D視覺工坊」，后臺回復(fù)「SpinNet」，即可獲取。

針對的問題：

現(xiàn)有的基于學(xué)習(xí)的局部描述符要么對旋轉(zhuǎn)變換敏感，要么依賴于傳統(tǒng)的手工特征，這些特征既不一般也不具有代表性。

注1：文末附【點云配準(zhǔn)】交流群

注2：整理不易，請點贊支持！

作者：Bryan_Jiang | 來源：3D視覺工坊微信公眾號

論文的貢獻：

1.作者提出了一種新的用于三維曲面匹配的神經(jīng)特征學(xué)習(xí)方法。它具有旋轉(zhuǎn)不變性、代表性，并且在看不見的場景中具有優(yōu)越的泛化能力。

2.通過將轉(zhuǎn)換后的三維曲面形成一個圓柱體，作者引入了一個強大的三維柱面卷積來學(xué)習(xí)豐富和一般的特征。

3.作者進行了大量的實驗和消融研究，證明了方法的卓越泛化，。

算法理論：

圖1 空間點轉(zhuǎn)換器的詳細組成和處理步驟

空間點的轉(zhuǎn)換器

這個模塊用來對輸入進行空間轉(zhuǎn)換，將三維表面轉(zhuǎn)化為圓柱形體，克服旋轉(zhuǎn)變化，同時不丟棄局部圖案的關(guān)鍵信息。如圖1所示，它由四個組件組成：與參考軸對齊、球形體素化、XY平面上的變換、圓柱體積公式。

總結(jié)來說，該方法若能給定一個輸入局部表面，作者提出的空間點轉(zhuǎn)換器能顯式地將其z軸與參考軸對齊，并主動變換XY平面上的球狀體素圖案，通過圓柱形體積公式保護拓撲表面結(jié)構(gòu)，該模塊保留了所有的表面圖案，供后續(xù)的神經(jīng)特征提取器學(xué)習(xí)。

圖2提出的神經(jīng)特征提取器

神經(jīng)特征提取器

這個模塊對每個圓柱形體素內(nèi)的轉(zhuǎn)換點使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一般特征。如圖2所示，它由點層和三維柱面卷積層組成。

實驗部分：

作者首先在室內(nèi)3DMatch數(shù)據(jù)集和室外KITTI數(shù)據(jù)集上評估了提出的SpinNet，然后，評估該方法在不同傳感器獲取的多個未見數(shù)據(jù)集中的泛化能力，最后，進行了廣泛的消融研究。

首先是基于室內(nèi)3DMatch數(shù)據(jù)集的實驗。作者比較了SpinNet和其他基于強基線的算法 (包括LMVD，D3Feat, FCGF, PerfectMatch, PPFNet, PPF-FoldNet)，實驗結(jié)果如下：

可以看出，作者提出的方法生成的描述子在原始數(shù)據(jù)集和旋轉(zhuǎn)數(shù)據(jù)集上均獲得了最高的平均FMR分?jǐn)?shù)和最低的標(biāo)準(zhǔn)偏差，優(yōu)于目前最先進的方法。

首先是基于戶外KITTI數(shù)據(jù)集的實驗。為了進行公平比較，作者遵循D3Feat中使用的數(shù)據(jù)集分割和預(yù)處理方法，相對而言以平動誤差(RTE)、相對旋轉(zhuǎn)誤差(RRE)和成功率作為評價指標(biāo)。實驗結(jié)果如下：

相比之下, 所有基于強基線的算法，例如D3Feat、FCGF、3DMatch和CGF在ETH數(shù)據(jù)集上的性能都出現(xiàn)了明顯的下降。與最初的結(jié)果相比，他們的FMR分?jǐn)?shù)下降了80%

3DMatch數(shù)據(jù)集的性能甚至低于手工制作的描述符，如SHOT。從根本上說，這些方法的泛化效果不佳是由于D3Feat、FCGF和3DMatch學(xué)習(xí)到的描述符對于旋轉(zhuǎn)、平移等剛性轉(zhuǎn)換是不同的。而作者提出的SpinNet生成的描述符在所有四個場景中獲得了最高的FMR分?jǐn)?shù)，顯著地超過了第二最佳方法(LMVD)約13%。

圖3 SpinNet在不可見數(shù)據(jù)集上的定性結(jié)果。第一行是從3DMatch到ETH，第二行是從KITTI到3DMatch，第三行是從3DMatch到KITTI。

結(jié)論：

在本文中，作者提出了一種新的神經(jīng)描述子來學(xué)習(xí)復(fù)雜三維曲面的緊湊表示。學(xué)習(xí)到的表示是旋轉(zhuǎn)不變的，描述性的，并能夠保持復(fù)雜的局部幾何圖案。大量的實驗表明，該描述子在不可見場景中具有顯著的泛化能力，在三維點云配準(zhǔn)中取得了較好的效果。

備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個超干貨的3D視覺學(xué)習(xí)社區(qū)

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請聯(lián)系刪文。

3D視覺工坊-點云配準(zhǔn)交流群

已建立3D視覺工坊-點云配準(zhǔn)微信交流群！想要進點云配準(zhǔn)學(xué)習(xí)交流群的同學(xué)，可以直接加微信號：CV_LAB。加的時候備注一下：點云配準(zhǔn)+學(xué)校+昵稱，即可。然后就可以拉你進群了。

強烈推薦大家關(guān)注3D視覺工坊知乎賬號和3D視覺工坊微信公眾號，可以快速了解到最新優(yōu)質(zhì)的3D視覺與SLAM論文。