隨著自動駕駛汽車和機器人技術(shù)的發(fā)展，深度傳感器如激光雷達（LiDAR）的使用逐漸增多。這些傳感器可以在三維空間中收集大量點數(shù)據(jù)，這些點的組合形成了被稱為點云的三維表示。點云表示在許多應(yīng)用中被廣泛使用，因為它可以輕松轉(zhuǎn)換為其他三維數(shù)據(jù)表示形式，如體素（voxel）和網(wǎng)格（mesh），并可用于從現(xiàn)實世界中獲取信息。然而，從現(xiàn)實世界傳感器獲取的點云通常存在不完整和稀疏的問題，原因包括遮擋、傳感器分辨率限制和視角限制等，導(dǎo)致了一些幾何信息的丟失，同時也增加了進一步應(yīng)用的難度。因此，點云補全成為一個至關(guān)重要的任務(wù)，它通過使用這些不完整的點云觀測來推斷并完成幾何三維形狀的重建。這里也推薦「3D視覺工坊」新課程《徹底搞懂基于Open3D的點云處理教程》。

以往的深度學習方法已經(jīng)能夠使用完整的點云真值數(shù)據(jù)來解決這個任務(wù)，盡管這些方法取得了不錯的性能，但它們在真實場景中并不適用，因為真實場景中的真值點云很難獲取?；谶@些原因，人們嘗試通過使用點云的多個視圖以無監(jiān)督和弱監(jiān)督的方式來克服缺乏高質(zhì)量和大規(guī)模配對訓練數(shù)據(jù)的問題，然而，結(jié)合多視圖一致性可以重建完整的3D點云，這可能被視為弱監(jiān)督。此外，在真實世界的場景中收集物體的多個部分視圖與獲取真值點云一樣困難。因此，多視圖一致性的必要性阻止了這種方法完全自監(jiān)督。其他方法利用不配對的部分和完整點云或在合成數(shù)據(jù)上預(yù)訓練的模型來克服收集真值數(shù)據(jù)的難題，對不配對數(shù)據(jù)的需求限制了該方法僅對少部分類別適用。為了克服上述提到的挑戰(zhàn)，作者提出了一種新穎的自監(jiān)督學習方法ACL-SPC，用于點云補全，該方法僅需要輸入單個部分點云，嘗試從一個未知視點捕獲的單個部分輸入生成完整的點云，而不需要任何先驗信息或一致的多視圖，并且可以從重建的點云中模擬部分點云。在實驗中，作者測試了ACL-SPC在點云補全任務(wù)上的性能，以及其設(shè)計的損失函數(shù)對保留細節(jié)和提高定量性能的影響。并且采用各種數(shù)據(jù)集對ACL-SPC進行了評估，驗證了該方法在實際應(yīng)用中的可行性。本文的主要貢獻可以總結(jié)如下：

• 開發(fā)了自適應(yīng)控制循環(huán)框架ACL，提出了ACL-SPC，以自監(jiān)督的方式解決點云補全問題。

• 設(shè)計了一種有效的自監(jiān)督損失函數(shù)，用于訓練ACL-SPC，無需任何其他信息，僅使用從未知視點捕獲的單個部分點云。

• 在真實世界的場景中，與在合成數(shù)據(jù)集上訓練的方法相比，該方法取得了卓越的性能，并且在其他無監(jiān)督方法進行了性能對比。

傳統(tǒng)幾何方法： 一些傳統(tǒng)的基于幾何的方法嘗試使用部分點云的幾何信息來完成形狀，而無需依賴外部數(shù)據(jù)。還有一些方法利用對象的對稱性質(zhì)來完成不完整的點云。深度學習方法： 隨著深度學習的發(fā)展，一些學習驅(qū)動的方法出現(xiàn)，它們使用大量數(shù)據(jù)實現(xiàn)點云補全。一些方法將點云轉(zhuǎn)換為體素，以應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)（CNNs），PCN作為第一個點云數(shù)據(jù)驅(qū)動方法，直接用點云訓練補全網(wǎng)絡(luò)，而不是將其轉(zhuǎn)換為其他表示形式。后續(xù)的工作提出了各種架構(gòu)和技術(shù)改進，包括根樹結(jié)構(gòu)、3D網(wǎng)格表示、feedback refinement module和Transformer等，以提高點云完成任務(wù)的性能。盡管這些方法取得了進展，但它們離真實場景的應(yīng)用還有一段距離，因為獲取真值點云數(shù)據(jù)成本高昂且不切實際。

由于真值數(shù)據(jù)獲取困難，研究人員開始采用無監(jiān)督學習方法來解決點云補全問題，同時，弱監(jiān)督方法嘗試使用多個局部視圖來預(yù)測完整的點云，這在現(xiàn)實場景中并不總是可用，PointPnCNet引入了一個修補框架，具備幾何一致性，以克服上述問題。還有一些方法嘗試利用來自合成數(shù)據(jù)集的不配對完整點云來解決無法獲得真值數(shù)據(jù)的問題。由于不配對的完整點云和部分點云之間存在領(lǐng)域差距，這些方法設(shè)計了可以在兩個領(lǐng)域之間進行轉(zhuǎn)換的架構(gòu)，最終解決了這個問題。然而，這些方法只適用于合成數(shù)據(jù)集中提供的類別。

自監(jiān)督學習因其實用性和避免了需要昂貴的注釋數(shù)據(jù)集的需求而在計算機視覺領(lǐng)域引起了越來越多的關(guān)注。隨著卷積神經(jīng)網(wǎng)絡(luò)的進步，最近的自監(jiān)督學習方法已經(jīng)融合了生成式和對比式方法，以從未標記的數(shù)據(jù)中學習特征，其中輸入本身提供了監(jiān)督信號。此外，研究人員已經(jīng)開始將自監(jiān)督方法應(yīng)用于點云數(shù)據(jù)，以克服繁瑣的注釋任務(wù)。這些工作已經(jīng)成功地在特征學習方面表現(xiàn)出很高的性能，可以處理諸如分類、分割或上采樣等任務(wù)。

自適應(yīng)閉環(huán)（ACL）系統(tǒng)是一種各個領(lǐng)域中都有許多應(yīng)用的控制系統(tǒng)，在ACL中，控制器會自動提供經(jīng)過補償?shù)男盘?，以?yīng)對系統(tǒng)變化，以確保整體輸出結(jié)果的穩(wěn)定。對于點云補全任務(wù)來說，獲得一個不受捕獲部分點云視圖影響的完整點云生成器是至關(guān)重要的。作者認為ACL系統(tǒng)的上述屬性可以用于這項任務(wù)，因為它適合構(gòu)建相同的完整點云，無論部分對象點云以何種方式輸入。因此作者提出了一種新穎的自監(jiān)督部分點云補全框架(ACL-SPC)。

本文的網(wǎng)絡(luò)框架如上圖所示，由編碼器-解碼器風格的網(wǎng)絡(luò)組成，框架中所有的編碼器-解碼器結(jié)構(gòu)之間參數(shù)共享。該網(wǎng)絡(luò)采用PolyNet作為編碼器，三個全連接層作為解碼器。數(shù)據(jù)處理過程：網(wǎng)絡(luò)首先獲取輸入的部分點云并生成估計的完整點云。在的基礎(chǔ)上，采用部分點云生成器合成新的部分點云；然后，將多個合成的部分點云作為新的輸入，輸出估計的完整點云，網(wǎng)絡(luò)的處理流程可簡化為以下公式表示：其中代表網(wǎng)絡(luò)中的編碼器-解碼器結(jié)構(gòu)網(wǎng)絡(luò)，是用于生成不同的完整點云數(shù)據(jù)的隨機參數(shù)。

為了訓練ACL-SPC中的網(wǎng)絡(luò) ，作者使用兩個自監(jiān)督損失函數(shù)。首先，為了優(yōu)化ACL-SPC并保證生成相同的預(yù)測完整點云，本文設(shè)計預(yù)測完整點云和之間的一致性損失函數(shù)如下：其中，分別為網(wǎng)絡(luò)輸出點云的點數(shù)和網(wǎng)絡(luò)總共輸出的預(yù)測完整點云個數(shù)，L2范數(shù)用于計算預(yù)測點云之間的差異。文中進一步利用了帶權(quán)重的Chamfer距離損失，用于衡量預(yù)測的完整點云與輸入的部分點云之間的距離。帶權(quán)重的Chamfer距離具有對點的順序排列不變性，由兩部分組成，其中包含相應(yīng)的權(quán)重，如下所示：第一項測量源點云中每個點到目標點云中最近點的平均距離，而第二項測量目標點云中每個點到源點云中最近點的平均距離。因此，第二項導(dǎo)致預(yù)測點云覆蓋目標點云中的點，而第一項充當正則化項。在這里，設(shè)置了α = 0.1和β = 0.9，以強制點覆蓋點云中非缺失部分，并允許其余點具有靈活性來填補缺失的部分?？倱p失是前述兩個損失函數(shù)的加權(quán)求和：

實驗分別測試了網(wǎng)絡(luò)在合成數(shù)據(jù)集和真實數(shù)據(jù)集上的性能。合成數(shù)據(jù)集：ShapeNet（飛機、汽車和椅子）；真實數(shù)據(jù)集：ScanNet（椅子，桌子）、MatterPort3D （椅子，桌子），KITTI （汽車）。度量標準：作者采用單向Chamfer距離（UCD）和單向Hausdorff距離（UHD）作為衡量性能的標準，這兩個度量標準在沒有真值數(shù)據(jù)的情況下提供了公平度量標準。

表1中的定量結(jié)果顯示，ACL-SPC在CD上平均超越了無監(jiān)督方法DPC 和PointPnCNet，差距分別為1.01和1.68，與Gu等人的方法相比，性能僅低0.23。因此，與一些利用多個部分視圖的無監(jiān)督方法相比，ACL-SPC可以在沒有任何先驗信息的情況下學習得更好。

實驗結(jié)果表明，ACL-SPC方法在真實世界情境中表現(xiàn)出色，覆蓋度方面優(yōu)于精度，能夠填補輸入點云中的缺失部分。此外，ACL-SPC方法在不需要合成數(shù)據(jù)集的情況下，與其他無監(jiān)督方法相比具有競爭力，能夠在點云完成任務(wù)中表現(xiàn)出色。這里也推薦「3D視覺工坊」新課程《徹底搞懂基于Open3D的點云處理教程》。

消融實驗分別測試了Loss函數(shù)、預(yù)測點云個數(shù)、分類類別和輸入視角個數(shù)對ACL-SPC性能的影響，實驗結(jié)果如下圖：

在本文中，作者提出了ACL-SPC，這是第一個自監(jiān)督的點云補全方法，僅使用單一輸入的部分點云。該方法通過在閉環(huán)系統(tǒng)中自適應(yīng)控制輸出來學習補全部分點云。作者還引入了一種一致性損失，以生成相同的完整點云并學習對象的幾何特征。通過實驗驗證，與其他方法相比，該方法在真實世界的場景中更加實用，性能不會下降。在大多數(shù)情況下，覆蓋度方面表現(xiàn)更好，展示了在填補缺失部分方面的出色性能。不足之處：ACL-SPC沒有約束生成多余的點；未來工作：該方法在其他點云恢復(fù)任務(wù)中是否能發(fā)揮出卓越的性能，例如去噪和上采樣。

https://zhuanlan.zhihu.com/p/625456198

標簽：