點(diǎn)云作為一種重要的數(shù)據(jù)表示,廣泛應(yīng)用于自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)和機(jī)器人技術(shù)等領(lǐng)域。由于點(diǎn)云數(shù)據(jù)量通常很大,對(duì)其進(jìn)行采樣以獲得一個(gè)具有代表性的點(diǎn)集子集是三維計(jì)算機(jī)視覺(jué)中的一個(gè)基礎(chǔ)和重要的任務(wù)。除了隨機(jī)采樣和最遠(yuǎn)點(diǎn)采樣之外,大多數(shù)傳統(tǒng)的點(diǎn)云采樣方法都是基于數(shù)學(xué)統(tǒng)計(jì)的,例如均勻采樣、網(wǎng)格采樣和幾何采樣等，這些方法對(duì)于點(diǎn)云密度和分布比較敏感。最近,一些基于神經(jīng)網(wǎng)絡(luò)的方法開(kāi)始通過(guò)端到端的任務(wù)驅(qū)動(dòng)學(xué)習(xí)方式進(jìn)行更好的任務(wù)定向采樣,例如S-Net、SampleNet、DA-Net等。但是這些方法大多是基于生成模型的,而不是直接選擇點(diǎn)。另一方面，為點(diǎn)云設(shè)計(jì)基于神經(jīng)網(wǎng)絡(luò)的局部特征聚合算子的工作越來(lái)越多。雖然其中一些（例如 PointCNN 、PointASNL 、GSS ）在學(xué)習(xí)潛在特征時(shí)減少了點(diǎn)數(shù)，但由于處理過(guò)程中不存在真正的空間點(diǎn)，它們很難被認(rèn)為是真實(shí)意義上的采樣方法。此外，上述方法都沒(méi)有將形狀輪廓視為特殊特征。受 Canny 邊緣檢測(cè)算法和注意力機(jī)制的啟發(fā)，本文提出了一種基于非生成注意力的點(diǎn)云邊緣采樣方法 (APES)，結(jié)合了基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和基于數(shù)學(xué)統(tǒng)計(jì)的直接點(diǎn)選擇。APES使用注意力機(jī)制來(lái)計(jì)算相關(guān)圖和樣本邊緣點(diǎn)，這些邊緣點(diǎn)的屬性反映在這些相關(guān)圖中。提出了兩種具有不同注意力模式的 APES。此外，我們的方法可以將輸入點(diǎn)云下采樣到任何所需的大小。基于鄰居到點(diǎn)(N2P)注意，計(jì)算每個(gè)點(diǎn)與其相鄰點(diǎn)之間的相關(guān)映射，提出了基于局部的APES 基于點(diǎn)對(duì)點(diǎn) (P2P) 注意力，它計(jì)算所有點(diǎn)之間的相關(guān)性圖，提出了基于全局的 APES 本文的貢獻(xiàn)如下：

1）一種點(diǎn)云邊緣采樣方法，稱為 APES，它結(jié)合了基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和基于數(shù)學(xué)統(tǒng)計(jì)的直接點(diǎn)選擇

2）通過(guò)使用兩種不同的注意力模式，基于局部的 APES 和基于全局的 APES 的兩種變體

3）公共點(diǎn)云基準(zhǔn)上的良好定性和定量結(jié)果，證明了所提出的采樣方法的有效性。這里也推薦「3D視覺(jué)工坊」新課程《三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總》。

傳統(tǒng)點(diǎn)云采樣方法

• 隨機(jī)采樣(RS):簡(jiǎn)單高效,但無(wú)法控制采樣點(diǎn)分布。

• 最遠(yuǎn)點(diǎn)采樣(FPS):迭代選擇點(diǎn)云中最遠(yuǎn)點(diǎn),目前最廣泛使用。

• 均勻采樣:選擇點(diǎn)云中均勻分布的點(diǎn)。

• 網(wǎng)格采樣:使用規(guī)則網(wǎng)格采樣點(diǎn),無(wú)法精確控制點(diǎn)數(shù)。

• 幾何采樣:基于局部幾何信息采樣,例如曲率。

• 逆密度采樣(IDIS):采樣距離和值較小的點(diǎn)。

深度學(xué)習(xí)點(diǎn)云采樣方法

• S-Net:直接從全局特征生成新點(diǎn)坐標(biāo)。

• SampleNet:在S-Net基礎(chǔ)上引入軟投影操作。

• DA-Net:考慮點(diǎn)云密度進(jìn)行自適應(yīng)采樣。

• MOPS-Net:學(xué)習(xí)采樣變換矩陣與原點(diǎn)云相乘生成新點(diǎn)云。

• PST-NET:使用self-attention層替代S-Net中的MLP層。

但是現(xiàn)有的深度學(xué)習(xí)采樣方法大多基于生成模型,不能直接選擇點(diǎn)，也沒(méi)有考慮形狀邊緣作為特殊特征。

Canny圖像邊緣檢測(cè)流程：

• (i）應(yīng)用高斯濾波器平滑圖像；

• (ii) 找到圖像的強(qiáng)度梯度；

• (iii) 應(yīng)用梯度幅度閾值或下限截止抑制；

• (iv) 應(yīng)用雙閾值來(lái)確定潛在邊；

• (v) 通過(guò)抑制所有其他弱且不連接到強(qiáng)邊的邊來(lái)最終檢測(cè)邊緣。

核心思想是計(jì)算每個(gè)像素的梯度強(qiáng)度。可以更通用地考慮:

• 定義像素與鄰域像素之間的相關(guān)特性

• 計(jì)算歸一化的相關(guān)性映射，是像素的鄰域；

• 計(jì)算的標(biāo)準(zhǔn)差，大的像素點(diǎn)為邊緣點(diǎn)

使用標(biāo)準(zhǔn)差代替了梯度計(jì)算，該方法相比原本的圖像的Canny邊緣檢測(cè)器計(jì)算成本更高，但卻可以將其應(yīng)用于點(diǎn)云邊緣采樣。相比圖像規(guī)整的排列，點(diǎn)云通常是不規(guī)則的，無(wú)序的，甚至是稀疏的，因此基于體素的3D卷積不適用。與圖像具有多種屬性（如RGB或灰度值）相比，對(duì)于許多點(diǎn)云來(lái)說(shuō)，點(diǎn)坐標(biāo)可能是唯一可用的特征。

圖1 使用標(biāo)準(zhǔn)偏差來(lái)選擇邊緣像素/點(diǎn)的圖示。在中心像素/點(diǎn)與其相鄰像素之間計(jì)算歸一化相關(guān)圖。中心像素/點(diǎn)作為鄰居自包含。歸一化相關(guān)圖中的較大標(biāo)準(zhǔn)偏差意味著它是邊緣像素/點(diǎn)的可能性更高。

對(duì)于點(diǎn)云，我們定義近鄰定義每個(gè)點(diǎn)的局部鄰域點(diǎn)云，然后延續(xù)剛剛的替換Canny邊緣檢測(cè)算法的思路。

• 定義點(diǎn)與鄰域點(diǎn)的基于局部的相關(guān)特性

• 計(jì)算歸一化的基于局部的相關(guān)性映射

• 計(jì)算的標(biāo)準(zhǔn)差，大的像素點(diǎn)為邊緣點(diǎn)

其中，與原始的Transformer的模型相比，和 ?分別表示應(yīng)用于查詢輸入和關(guān)鍵輸入的線性層，即為，特征維度計(jì)數(shù)平方根用作比例因子 稱之為鄰域-點(diǎn)(N2P)注意力,它捕獲局部信息。

對(duì)于采樣問(wèn)題，全局信息也是至關(guān)重要的?？紤]k = N的情況，利用線性層Q和K共享所有點(diǎn)，將其稱為點(diǎn)對(duì)點(diǎn) (P2P) 注意力，基于全局的相關(guān)特性與相關(guān)性映射如下：得到全相關(guān)性圖本文改為按列計(jì)算和（而不是行），計(jì)算得到，較大的點(diǎn)作為邊緣點(diǎn)采樣。主要考慮到，如果點(diǎn)鄰近邊緣點(diǎn),那么應(yīng)較大，如果在中對(duì)應(yīng)的列元素的值也較大，那么也可能是邊緣點(diǎn)。

圖2 所提出方法的關(guān)鍵思想。N 表示點(diǎn)的總數(shù)，而 k 表示用于基于局部采樣方法的鄰居數(shù)量。

基于上述兩種模塊，本文構(gòu)建了分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，如下圖所示

圖3 用于分類的網(wǎng)絡(luò)架構(gòu)（左上）和分割（右上）。還給出了 N2P 注意力特征學(xué)習(xí)層（左下）、兩個(gè)替代下采樣層（左下）和上采樣層（右下）的結(jié)構(gòu)。這兩種下采樣層將點(diǎn)云從 N 個(gè)點(diǎn)下采樣到 M 個(gè)點(diǎn)，而上采樣層將其從 M 個(gè)點(diǎn)上采樣到 N 個(gè)點(diǎn)。

主要組成部分：

• 編碼層:提取點(diǎn)云特征。

• 采樣層:應(yīng)用提出的基于局部或全局的邊緣點(diǎn)采樣方法進(jìn)行下采樣。

• 解碼層:使用注意力機(jī)制進(jìn)行上采樣。

數(shù)據(jù)集：ModelNet40 定量比較：分類精度與SOTA方法處于同水平

表1 ?ModelNet40 上的分類結(jié)果。與其他僅使用原始點(diǎn)云作為輸入的 SOTA 方法相比。請(qǐng)注意，我們報(bào)告的結(jié)果沒(méi)有考慮投票策略。

定性結(jié)果

圖5 基于局部的APES和基于全局的APES在不同形狀上的可視化采樣結(jié)果。所有形狀都來(lái)自測(cè)試集。

數(shù)據(jù)集：ShapeNetPart 定量分析：分割精度略差于SOTA，但對(duì)下采樣點(diǎn)云的中間結(jié)果優(yōu)于SOTA，說(shuō)明下采樣的邊緣點(diǎn)對(duì)于算法的性能貢獻(xiàn)較大，而由于邊緣下采樣改變了點(diǎn)云的分布，導(dǎo)致插值上采樣無(wú)法重構(gòu)。這里也推薦「3D視覺(jué)工坊」新課程《三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總》。

定性結(jié)果

圖6 將可視化分割結(jié)果作為形狀點(diǎn)云進(jìn)行下采樣。所有形狀都來(lái)自測(cè)試集。

數(shù)據(jù)集：ModelNet40 Feature Learning Layer

Embedding Dimension

Choice of k in local-based APES

Successive sampling vs. Direct sampling

Additional edge point supervision

數(shù)據(jù)集：ModelNet40 定量分析：

定性分析：

計(jì)算復(fù)雜度比較

本文提出了一種基于注意力的點(diǎn)云邊緣采樣（APES）方法。它使用注意力機(jī)制相應(yīng)地計(jì)算相關(guān)圖并采樣邊緣點(diǎn)。基于不同的注意力模式，提出了基于局部 APES 和基于全局的 APES 的兩種變體。定性和定量結(jié)果表明，我們的方法在常見(jiàn)的點(diǎn)云基準(zhǔn)任務(wù)上取得了良好的性能。在未來(lái)的工作中，可以為訓(xùn)練設(shè)計(jì)其他補(bǔ)充損失。此外，我們注意到邊緣點(diǎn)采樣的不同點(diǎn)分布阻礙了后期上采樣操作和分割性能。設(shè)計(jì)能夠更好地應(yīng)對(duì)邊緣點(diǎn)采樣的上采樣方法會(huì)很有趣。

https://blog.csdn.net/qazwsxrx/article/details/132187461

標(biāo)簽：