導(dǎo)讀：

由香港大學(xué)CVMI Lab和牛津大學(xué)合作提出了一種點(diǎn)云上具有動態(tài)內(nèi)核組裝的位置自適應(yīng)卷積——PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds，論文已被CVPR2021接收。

PAConv的卷積核由多個(gè)基本權(quán)重矩陣組裝而成，而在組裝過程中，這些權(quán)重矩陣的系數(shù)是通過點(diǎn)的位置關(guān)系自適應(yīng)學(xué)習(xí)得到的。這種以數(shù)據(jù)驅(qū)動構(gòu)建卷積核的方式賦予了PAConv很強(qiáng)的靈活性，以更好地處理不規(guī)則和無序的點(diǎn)云數(shù)據(jù)。此外，與現(xiàn)有點(diǎn)云卷積高度工程化的網(wǎng)絡(luò)結(jié)構(gòu)不同，作者將PAConv直接集成到基于MLP的經(jīng)典點(diǎn)云網(wǎng)絡(luò)架構(gòu)中，而無需更改原有的網(wǎng)絡(luò)配置。即使建立在簡單的網(wǎng)絡(luò)架構(gòu)上，PAConv仍然以很高的效率在點(diǎn)云分類、部件分割和場景分割的任務(wù)中表現(xiàn)SOTA。目前全部的代碼和模型都已開源，歡迎大家follow!

注1：文末附【三維點(diǎn)云】交流群

注2：計(jì)算機(jī)視覺書籍匯總

注3：整理不易，請點(diǎn)贊支持！

作者：Mino | 來源：3D視覺工坊微信公眾號

論文、代碼地址：在公眾號「3D視覺工坊」，后臺回復(fù)「PAConv」，即可直接下載。

一、引言

近年來，深度學(xué)習(xí)在三維點(diǎn)云處理上取得了顯著進(jìn)步，但鑒于點(diǎn)云的稀疏性、不規(guī)則性和無序性，這仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)?，F(xiàn)有方法大致分為三類：第一類是對點(diǎn)云進(jìn)行體素化以便可以采用三維網(wǎng)格卷積處理，然而重要的幾何信息可能由于量化而丟失，體素化通常也會帶來額外的存儲和計(jì)算成本；第二類是用共享MLP處理所有點(diǎn)，這種方式難以表征點(diǎn)云空間復(fù)雜的變化關(guān)系；第三類則是設(shè)計(jì)可以直接處理點(diǎn)云的卷積核，現(xiàn)有方法亦受限于計(jì)算復(fù)雜度或靈活性，本文中也特別對現(xiàn)有的點(diǎn)云卷積與本文方法的關(guān)系和區(qū)別進(jìn)行了詳盡的討論。

本文提出了一種即插即用的位置自適應(yīng)卷積PAConv，通過動態(tài)組裝基本權(quán)重矩陣來構(gòu)造內(nèi)核，這些權(quán)重矩陣的組合系數(shù)由ScoreNet自適應(yīng)地學(xué)習(xí)點(diǎn)的相對位置關(guān)系得到。PAConv以數(shù)據(jù)驅(qū)動的方式靈活地對三維點(diǎn)云的復(fù)雜空間變化和幾何結(jié)構(gòu)進(jìn)行建模，同時(shí)保持很高的效率。另外值得一提的是，最近的點(diǎn)云卷積工作大多采用其量身定制的復(fù)雜網(wǎng)絡(luò)架構(gòu)，使得我們難以評估到底是其自身卷積操作還是網(wǎng)絡(luò)設(shè)計(jì)而帶來性能的提升。所以，作者直接將PAConv集成到最簡單的MLP點(diǎn)云網(wǎng)絡(luò)中，旨在最大程度地降低網(wǎng)絡(luò)結(jié)構(gòu)的影響，以更好地評估PAConv本身的性能。

二、方法概述

接下來，作者設(shè)計(jì)了一個(gè)ScoreNet，根據(jù)點(diǎn)的位置關(guān)系學(xué)習(xí)一個(gè)系數(shù)向量以組合權(quán)重矩陣。具體地，ScoreNet的輸入為點(diǎn)云中某一個(gè)局部區(qū)域的中心點(diǎn)pi和其相鄰點(diǎn)pj之間的相對位置關(guān)系向量，作者在實(shí)驗(yàn)部分也探討了不同的輸入表征。輸出為一個(gè)歸一化的系數(shù)向量：

最終，通過將Weight Bank中的權(quán)重矩陣與ScoreNet預(yù)測出的相應(yīng)系數(shù)進(jìn)行組合，得出PAConv的卷積核函數(shù)：

PAConv以動態(tài)數(shù)據(jù)驅(qū)動的方式構(gòu)造卷積核，其中權(quán)重矩陣的系數(shù)是從點(diǎn)的位置關(guān)系自適應(yīng)學(xué)習(xí)的，該內(nèi)核組裝策略可以靈活地對點(diǎn)云的不規(guī)則幾何結(jié)構(gòu)進(jìn)行建模。

此外，由于權(quán)重矩陣是隨機(jī)初始化的并且可能會收斂為彼此非常相似，因此無法保證權(quán)重矩陣的多樣性。為了避免這種情況，作者設(shè)計(jì)了一個(gè)權(quán)重正則化函數(shù)來懲罰不同權(quán)重矩陣之間的相關(guān)性，其定義為：

從而不同的權(quán)重矩陣將更分散和獨(dú)立，進(jìn)一步確保了所生成卷積核的多樣性。

至此，本文還將PAConv與現(xiàn)有主流的幾種點(diǎn)云卷積PointCNN，PointConv和KPConv進(jìn)行了詳細(xì)的對比論述。

三、簡單的網(wǎng)絡(luò)結(jié)構(gòu)

雖然最近的點(diǎn)云網(wǎng)絡(luò)結(jié)構(gòu)差異較大，但是大多數(shù)可以視為經(jīng)典的MLP點(diǎn)云網(wǎng)絡(luò)的不同變體。為了評估PAConv的有效性并最大程度地減少復(fù)雜網(wǎng)絡(luò)架構(gòu)的影響，作者針對不同的點(diǎn)云任務(wù)采用了三個(gè)基于MLP的經(jīng)典且簡單的網(wǎng)絡(luò)主干來集成我們的PAConv，而不修改原始的網(wǎng)絡(luò)架構(gòu)（如網(wǎng)絡(luò)層數(shù)、特征通道數(shù)）。

對于物體分類和物體部件分割任務(wù)，作者直接使用PAConv替換了DGCNN中的EdgeConv 和PointNet編碼器中的MLP。而對于室內(nèi)場景分割任務(wù)，作者采用了PointNet++最簡單的單尺度分組（SSG）版本，并用PAConv直接替換PointNet ++編碼器中的MLP。

四、實(shí)驗(yàn)

對于物體分類任務(wù)，作者采用了ModelNet40數(shù)據(jù)集，取得了現(xiàn)有方法中最高的分類準(zhǔn)確率，并且在不改變原始骨干網(wǎng)絡(luò)PointNet和DGCNN的結(jié)構(gòu)的情況下，分別帶來了明顯的提升。

其次，本文還在物體部件分割任務(wù)的數(shù)據(jù)集ShapeNet Part上對PAConv進(jìn)行了評估，同樣也給DGCNN帶來了顯著的提升。

最后，作者進(jìn)一步在大規(guī)模室內(nèi)場景分割數(shù)據(jù)集S3DIS上測試了PAConv的性能。值得一提的是，KPConv和PosPool都對輸入點(diǎn)云進(jìn)行了體素化（Grid-sampling）預(yù)處理以獲得更規(guī)則的輸入結(jié)構(gòu)和更多的背景信息來提升性能，然而這種方式不可避免地帶來更多的訓(xùn)練內(nèi)存開銷，所以作者直接參考PointNet++采用了更簡單的塊采樣（Block-sampling）來進(jìn)行數(shù)據(jù)預(yù)處理。PAConv依然為骨干網(wǎng)絡(luò)PointNet++帶來了明顯的提升，并保持著較少的計(jì)算開銷（FLOPs）。

此外，論文還可視化了ScoreNet學(xué)到的系數(shù)在空間中的分布。可以看出，對于每個(gè)權(quán)重矩陣，其系數(shù)的分布是不同的，表明不同的權(quán)重矩陣捕獲了不同的點(diǎn)位置關(guān)系。