原創(chuàng) | 文 BFT機器人

《KPConv: Flexible and Deformable?Convolution?for Point Clouds》是一篇發(fā)表于2019年的研究論文，作者為Hugues Thomas、Charles R. Qi、Jean-Emmanuel Deschaud、Beatriz Marcotegui和Fran?ois Goulette。這篇論文關(guān)注于點云數(shù)據(jù)上的卷積操作，提出了一種名為KPConv的卷積方法，旨在解決點云數(shù)據(jù)上的靈活性和可變形性問題。

01背景

點云數(shù)據(jù)是從3D傳感器（如激光雷達）獲得的場景的一種表示形式，逐漸在自動駕駛、機器人導(dǎo)航、三維場景重建等領(lǐng)域得到廣泛應(yīng)用。因為點云數(shù)據(jù)直接捕捉了真實世界的幾何信息，因此在處理三維信息方面具有獨特的優(yōu)勢。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在圖像領(lǐng)域獲得了巨大成功，但直接將CNN應(yīng)用于點云數(shù)據(jù)上存在一些挑戰(zhàn)。點云數(shù)據(jù)是無序和不規(guī)則的，不同于像素網(wǎng)格。因此，需要設(shè)計新的卷積操作來適應(yīng)點云數(shù)據(jù)的特點。點云數(shù)據(jù)中的物體形狀和分布可能會因為姿態(tài)、視角和尺度的變化而產(chǎn)生巨大的變化。為了準(zhǔn)確地捕捉這些變化，需要在點云上進行靈活的卷積操作，并能夠處理可變形的形狀。

該論文的研究背景強調(diào)了點云數(shù)據(jù)的特點、點云數(shù)據(jù)上的卷積問題以及靈活性與可變形性的需求，為提出新的KPConv方法提供了合理性和必要性。

圖1?用2D點表示KPConv

02工作內(nèi)容

論文的工作內(nèi)容主要包括以下幾個方面：

1、KPConv的設(shè)計與定義：論文提出了KPConv，即"Kernel Point Convolution"，這是一種基于核心點的卷積操作。核心點是預(yù)定義的一組點，它們的位置和形狀可以自適應(yīng)地進行調(diào)整。KPConv通過計算輸入點云中的每個點與核心點之間的關(guān)系，實現(xiàn)了一種適應(yīng)點云數(shù)據(jù)特點的卷積操作。

2、自適應(yīng)核心點位置和形狀：KPConv中的核心點不僅僅是靜態(tài)的，它們的位置和形狀可以根據(jù)輸入點云的局部結(jié)構(gòu)和變化進行自適應(yīng)調(diào)整。這種自適應(yīng)性使得KPConv能夠靈活地捕捉點云數(shù)據(jù)中物體的形狀變化和分布情況。

3、卷積過程：KPConv的卷積過程包括確定核心點、計算點云中每個點與核心點之間的關(guān)系、根據(jù)關(guān)系進行加權(quán)聚合等步驟。通過這一過程，KPConv可以在點云上有效地傳播特征信息，并捕捉局部的幾何結(jié)構(gòu)。

4、實驗驗證：通過在不同的點云數(shù)據(jù)集上進行實驗驗證了KPConv的性能。實驗結(jié)果表明，KPConv在點云分割和點云分類任務(wù)中取得了優(yōu)越的結(jié)果，證明了其在處理點云數(shù)據(jù)上的卓越性能。

5、可視化分析：通過可視化分析展示了KPConv的效果，展示了其在不同場景中捕捉幾何結(jié)構(gòu)和變化的能力。這有助于更好地理解KPConv的工作原理和優(yōu)勢。

03算法介紹

圖2?KPConv工作流程

該論文提出了一種新的點卷積設(shè)計，稱為可變形卷積（deformable KPConv）。該設(shè)計基于點云數(shù)據(jù)，通過在點云上定義核點來執(zhí)行卷積操作。與傳統(tǒng)的固定網(wǎng)格卷積相比，KPConv具有更大的靈活性，因為它可以使用任意數(shù)量的核點，并且這些點在空間上是連續(xù)的，可以通過網(wǎng)絡(luò)進行學(xué)習(xí)。此外，KPConv還可以通過學(xué)習(xí)適應(yīng)局部幾何形狀的核點來擴展到可變形卷積。具體步驟如下：

1、核心點的選擇與定義：首先，選擇一組核心點，這些點是預(yù)先定義的，并且可以分布在不同的形狀上。對于每個核心點，定義一個局部坐標(biāo)系，其中核心點為原點，坐標(biāo)軸也可以自適應(yīng)地根據(jù)局部點云的幾何結(jié)構(gòu)進行旋轉(zhuǎn)。

2、關(guān)系計算：對于輸入點云中的每個點，計算它與所有核心點之間的關(guān)系。這個關(guān)系可以用來描述該點與核心點之間的相對位置和距離。

3、權(quán)重計算：基于關(guān)系計算的結(jié)果，計算每個點與核心點之間的權(quán)重。權(quán)重用于將核心點的特征信息傳遞給輸入點。

4、特征聚合：對于每個輸入點，根據(jù)權(quán)重對核心點的特征進行加權(quán)聚合，生成該點的新特征表示。這樣，每個點都會受到其周圍核心點的影響，從而捕捉局部幾何結(jié)構(gòu)和特征信息。

5、網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練：在網(wǎng)絡(luò)結(jié)構(gòu)中，KPConv被用作一個模塊，可以嵌入到不同的架構(gòu)中。網(wǎng)絡(luò)通過反向傳播進行訓(xùn)練，優(yōu)化KPConv中的權(quán)重和核心點的位置。

KPConv算法通過自適應(yīng)的核心點和權(quán)重計算，以及特征聚合的方式，實現(xiàn)了在點云數(shù)據(jù)上的卷積操作。它能夠有效地處理點云數(shù)據(jù)的無序性和不規(guī)則性，捕捉局部幾何結(jié)構(gòu)和特征信息，同時具有適應(yīng)不同形狀和分布的靈活性和可變形性。在實驗中，KPConv在點云分類和點云分割等任務(wù)中表現(xiàn)出色，證明了其在點云數(shù)據(jù)上的有效性。

圖3?用2D點表示KPConv可變形性

04實驗論述

論文的實驗過程旨在驗證提出的KPConv算法在點云分類和點云分割任務(wù)中的性能。以下是論文中實驗過程的主要內(nèi)容：

1、數(shù)據(jù)集選擇：論文選擇了一些常用的點云數(shù)據(jù)集，例如ModelNet40和ShapeNet，用于點云分類任務(wù)。對于點云分割任務(wù)，使用了Semantic3D和S3DIS數(shù)據(jù)集，這些數(shù)據(jù)集包含了具有不同類別的點云以及對應(yīng)的標(biāo)簽信息。

2、網(wǎng)絡(luò)架構(gòu)搭建：在實驗中，KPConv被嵌入到深度學(xué)習(xí)網(wǎng)絡(luò)中，作為卷積操作的組成部分。具體的網(wǎng)絡(luò)架構(gòu)可以是基于PointNet、PointNet++等。論文中還可以對比使用傳統(tǒng)的點云卷積方法進行性能比較，以顯示KPConv的優(yōu)越性。

3、訓(xùn)練與評估：使用選定的數(shù)據(jù)集和網(wǎng)絡(luò)架構(gòu)，將網(wǎng)絡(luò)進行訓(xùn)練。訓(xùn)練過程中，使用損失函數(shù)對網(wǎng)絡(luò)進行優(yōu)化，以使其能夠準(zhǔn)確預(yù)測點云的類別或分割標(biāo)簽。在每個訓(xùn)練輪次結(jié)束后，使用驗證集對網(wǎng)絡(luò)進行評估，以監(jiān)控性能的變化和收斂情況。

4、性能指標(biāo)：對于點云分類任務(wù)，常用的性能指標(biāo)包括準(zhǔn)確率（Accuracy）等，用于評估網(wǎng)絡(luò)對點云數(shù)據(jù)進行分類的能力。對于點云分割任務(wù)，可以使用IoU（Intersection over Union）等指標(biāo)來衡量網(wǎng)絡(luò)對點云的分割精度。

5、結(jié)果分析與對比：論文通過在測試集上的性能表現(xiàn)，對KPConv在點云分類和點云分割任務(wù)上的效果進行分析。還可能與其他點云卷積方法進行比較，以展示KPConv的優(yōu)越性和性能提升。

6、可視化分析：為了更好地理解KPConv的工作原理，論文可能會進行可視化分析，展示KPConv如何捕捉點云數(shù)據(jù)中的幾何結(jié)構(gòu)和特征信息。

通過以上實驗過程，論文可以驗證提出的KPConv算法在點云分類和點云分割任務(wù)上的性能，并與現(xiàn)有的點云處理方法進行比較，從而證明其有效性和優(yōu)越性。這些實驗結(jié)果有助于向研究社區(qū)和實際應(yīng)用中展示KPConv的實際價值。

05結(jié)論

可變形KPConv是一種有效的點云卷積設(shè)計，具有靈活性、高效性和適應(yīng)性，能夠?qū)W習(xí)和適應(yīng)核點，從而在分類和分割任務(wù)中優(yōu)于現(xiàn)有的方法。論文還表明，可變形KPConv在大型和多樣化的數(shù)據(jù)集上具有描述能力，可以在更大的數(shù)據(jù)集上發(fā)揮作用。此外，論文還提供了消融研究和可視化結(jié)果，以驗證可變形KPConv的描述能力。

作者 |?Azukii

排版?|?小河

審核?| 貓

若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，我們將及時回應(yīng)。如果想要了解更多的前沿資訊，記得點贊關(guān)注哦~