通過(guò)分層編碼器，我們得到所有尺度的編碼可見(jiàn)token。

• 從最高 S-th 尺度開(kāi)始，我們?yōu)樗斜谎诒挝恢? 分配一個(gè)共享的可學(xué)習(xí)掩碼token;

• 并將它們與可見(jiàn)`token 連接起來(lái)。我們記為 ，坐標(biāo)為 ，作為分層解碼器的輸入。

我們將解碼器設(shè)計(jì)為輕量級(jí)的 階段，每個(gè)階段只有一個(gè)解碼器塊，這使得編碼器可以嵌入更多的點(diǎn)云語(yǔ)義。

• 每個(gè)解碼器塊由一個(gè)普通的自注意層和一個(gè) FFN 組成。

• 我們沒(méi)有將局部約束應(yīng)用于解碼器中的注意力，因?yàn)榭梢?jiàn)和掩碼token之間的全局理解對(duì)重建至關(guān)重要。

點(diǎn) token 上采樣

我們對(duì)階段之間的點(diǎn)標(biāo)記進(jìn)行上采樣，以便在重建之前逐步恢復(fù)3D形狀的細(xì)粒度幾何形狀。我們規(guī)定解碼器的第 級(jí)對(duì)應(yīng)于編碼器的 -級(jí)，兩者都包含相同的 -階的點(diǎn)標(biāo)記，特征維數(shù) 。

在 (j?1) 和 j 階段之間，$1<j \leq="" s-1$，我們上采樣="" $\left\{h_{j-1}^v,="" h_{j-1}^m\right\}$="" 從坐標(biāo)="" $\left\{p_{s+2-j}^v,="" p_{s+2-j}^m\right\}$="" 變成="" $\left\{p_{s+1-j}^v,="" p_{s+1-j}^m\right\}$="" ，="" 通過(guò)token傳播模塊。

具體地說(shuō)，我們得到了每個(gè)點(diǎn)標(biāo)記的 個(gè)近鄰： ? 以 為索引，參照PointNet++加權(quán)插值恢復(fù)相鄰特征，生成第 j 階段token。

跳連接

為了進(jìn)一步補(bǔ)充細(xì)粒度的幾何形狀，我們通過(guò)跳連接將解碼器的可見(jiàn)標(biāo)記 與編碼器的相應(yīng) ? 階段的 通道巧妙地連接起來(lái)，并采用線性投影層融合它們的特征。

對(duì)于掩碼token,，我們保持它們不變，因?yàn)榫幋a器只包含可見(jiàn)token而不包含掩碼token。

點(diǎn)重建

經(jīng)過(guò)S - 1級(jí)解碼器，我們獲得 ，坐標(biāo)為 ? ;并從掩碼token 重構(gòu)掩碼值。

除了在輸入點(diǎn)云 P 的第 個(gè)尺度上預(yù)測(cè)值之外，我們重建了 的坐標(biāo)，即從第 2 個(gè)尺度 中恢復(fù)第 1 個(gè)尺度 的掩模位置。

在4.1節(jié)和4.2節(jié)中，介紹了Point-M2AE的預(yù)訓(xùn)練實(shí)驗(yàn)，并報(bào)告了在各種下游任務(wù)上的微調(diào)性能。

在第4.3節(jié)中進(jìn)行了消融研究，以驗(yàn)證方法的有效性。

我們?cè)?strong>ShapeNet數(shù)據(jù)集上預(yù)訓(xùn)練Point-M2AE，該數(shù)據(jù)集包含 個(gè)類(lèi)別的 個(gè)合成 D形狀。我們將級(jí)數(shù) 設(shè)為 ，并構(gòu)造一個(gè) 級(jí)編碼器和一個(gè)分層學(xué)習(xí)的兩階段解碼器。

• 我們?cè)诿總€(gè)編碼器階段采用 個(gè)塊，但輕量級(jí)解碼器每階段只采用 個(gè)塊。

• 對(duì)于 尺度點(diǎn)云，我們將點(diǎn)數(shù)和token維度分別設(shè)置為 和 。我們還為 -nn 在不同的尺度上設(shè)置了不同的 ，分別是 。

• 我們以 的高比例遮罩最高尺度的點(diǎn)云，并為所有注意力模塊設(shè)置 個(gè)頭。詳細(xì)的訓(xùn)練設(shè)置見(jiàn)附錄。

線性支持向量機(jī) SVM

在ShapeNet上進(jìn)行預(yù)訓(xùn)練后，我們通過(guò)在ModelNet40上進(jìn)行線性評(píng)估來(lái)測(cè)試PointM2AE的 表示能力。我們從ModelNet40的每個(gè) 形狀中采樣 個(gè)點(diǎn)，并利用我們的凍結(jié)編碼器提取其特征。

在此基礎(chǔ)上，我們訓(xùn)練了一個(gè)線性支持向量機(jī) SVM，并報(bào)告了表 中的分類(lèi)精度。如圖所示，在所有現(xiàn)有的點(diǎn)云自監(jiān)督方法中，Point-M2AE的性能最好，比第二好的 crosspoint高出 。Point-M2AE也比Point-BERT高出 。Point-M2AE是一種具有 MoCo 損失的掩蔽點(diǎn)建模方法，但采用的是標(biāo)準(zhǔn) ，進(jìn)行單尺度學(xué)習(xí)。

值得注意的是，即使我們凍結(jié)所有參數(shù)，準(zhǔn)確率為 的Point-M2AE仍然優(yōu)于ModelNet40上許多完全訓(xùn)練的方法，例如PointNet++的準(zhǔn)確率為 ，DensePoint 的準(zhǔn)確率為 等。實(shí)驗(yàn)充分證明了我們的Point-M2AE具有優(yōu)越的 表示能力。

表1: 支持向量機(jī) SVM對(duì)ModelNet40的線性評(píng)價(jià)。我們報(bào)告了不同的自監(jiān)督學(xué)習(xí)方法，并強(qiáng)調(diào)了第二好的方法。

為了對(duì)下游任務(wù)進(jìn)行微調(diào)，我們?cè)陬A(yù)訓(xùn)練中丟棄了分層解碼器，并為不同的任務(wù)在分層編碼器上附加了不同的頭。

形狀分類(lèi)

我們?cè)趦蓚€(gè)形狀分類(lèi)數(shù)據(jù)集上對(duì)Point-M2AE進(jìn)行微調(diào)：廣泛采用的ModelNet40和具有挑戰(zhàn)性的ScanObjectNN。對(duì)于局部空間關(guān)注層，我們將 尺度點(diǎn)云的球查詢半徑設(shè)為 。我們遵循Point-BERT使用投票策略在ModelNet40上進(jìn)行公平比較。

為了處理有噪聲的空間結(jié)構(gòu)，我們將 -nn 的 增加為 ，以便ScanObjectNN編碼具有更大接受域的局部模式。如表 所示，Point-M2AE 在ModelNet40上達(dá)到了 的準(zhǔn)確率，每個(gè)樣本 點(diǎn)，比Point-BERT微調(diào) 點(diǎn)的準(zhǔn)確率高 ，比 點(diǎn)的準(zhǔn)確率高 。

對(duì)于表 中的ScanObjectNN，我們的Point-M2AE比第二好的Point-BERT的性能有明顯的提升，在三個(gè)拆分中分別達(dá)到 ， 和 ，表明我們?cè)趶?fù)雜情況下通過(guò)多尺度編碼有很大的優(yōu)勢(shì)。由于真實(shí)場(chǎng)景的ScanObjectNN與預(yù)訓(xùn)練的合成ShapeNet在語(yǔ)義上存在較大差距，Point-M2AE對(duì)另一個(gè)域的點(diǎn)云也具有較強(qiáng)的遷移能力。

表2: ModelNet40上的形狀分類(lèi)?！?points”和“Acc”。表示訓(xùn)練點(diǎn)數(shù)和總體準(zhǔn)確率。[S] 表示自監(jiān)督預(yù)訓(xùn)練后的微調(diào)。

表3: ScanObjectNN上的形狀分類(lèi)。我們報(bào)告ScanObjectNN的三類(lèi)數(shù)據(jù)集的準(zhǔn)確性(%)。[S]表示自監(jiān)督預(yù)訓(xùn)練后的微調(diào)。

部件分割

我們?cè)赻`ShapeNetPart上評(píng)估了Point-M2AE`的部件分割，它預(yù)測(cè)了每個(gè)點(diǎn)的部件標(biāo)簽，并且需要詳細(xì)了解局部模式。我們采用了一個(gè)非常簡(jiǎn)單的分割頭來(lái)驗(yàn)證我們的預(yù)訓(xùn)練的有效性，以很好地捕獲高級(jí)語(yǔ)義和細(xì)粒度細(xì)節(jié)。

• 通過(guò)分層編碼器，我們得到 點(diǎn)的 尺度點(diǎn)token，在PointNet++中進(jìn)行特征傳播，將這些token獨(dú)立上采樣到輸入點(diǎn)云的 個(gè)點(diǎn)。

• 然后，我們將每個(gè)點(diǎn)的上采樣 尺度特征連接起來(lái)，并通過(guò)堆疊的線性投影層來(lái)預(yù)測(cè)部件標(biāo)簽。

如表 所示，在簡(jiǎn)單分割頭情況下，Point-M2AE達(dá)到了最佳的 實(shí)例，比第二好的Point-BERT高出 。注意，Point-BERT等方法采用分層分割頭從中間層逐步上采樣點(diǎn)特征，而我們的頭不包含分層結(jié)構(gòu)，僅依靠預(yù)訓(xùn)練的編碼器捕獲點(diǎn)云的多尺度信息。結(jié)果充分說(shuō)明了Point-M2AE的多尺度預(yù)訓(xùn)練對(duì)分割任務(wù)的重要意義。

few-shot分類(lèi)

我們?cè)?strong>ModelNet40上進(jìn)行了few-shot分類(lèi)實(shí)驗(yàn)，在有限的微調(diào)數(shù)據(jù)下評(píng)估Point-M2AE的性能。如表 所示，Point-M2AE在所有四種設(shè)置下均達(dá)到最佳性能，分別比Point-BERT高出 、、 和 。

我們的方法也比其他基于 的方法顯示出更小的偏差，這表明Point-M2AE已經(jīng)學(xué)會(huì)了產(chǎn)生更通用的 D 表示，可以很好地適應(yīng)低數(shù)據(jù)條件下的下游任務(wù)。

表4: 在ModelNet40上的few-shot分類(lèi)。我們報(bào)告了個(gè)獨(dú)立實(shí)驗(yàn)的平均準(zhǔn)確度(%)和標(biāo)準(zhǔn)偏差(%)。

表5: ShapeNetPart上的部件分割。' C '(%)和' I '(%)分別表示數(shù)據(jù)集中所有部件類(lèi)別和所有實(shí)例的平均IoU。

D 目標(biāo)檢測(cè)

為了進(jìn)一步評(píng)估我們?cè)?D 物體檢測(cè)上的分層預(yù)訓(xùn)練，我們應(yīng)用Point-M2AE作為室內(nèi)ScanNetV2數(shù)據(jù)集的特征主干。我們選擇 D ETR-m 作為基準(zhǔn)，它由一個(gè) 塊編碼器和一個(gè) 解碼器組成。

考慮到ShapeNet有 k 個(gè)輸入點(diǎn)，而ScanNetV2有 k 個(gè)輸入點(diǎn)，我們采用與 DETR-m 相同的編碼器架構(gòu)，并保持我們的分層解碼器與跳連接不變，在ScanNetV2上進(jìn)行自監(jiān)督預(yù)訓(xùn)練。

更多關(guān)于模型和訓(xùn)練的細(xì)節(jié)見(jiàn)附錄。如表 所示，與從頭開(kāi)始訓(xùn)練相比，我們的分層預(yù)訓(xùn)練使 DETR-m 的性能提高了 AP 和 AP 。實(shí)驗(yàn)證明了Point-M2AE在學(xué)習(xí)多尺度點(diǎn)云編碼用于目標(biāo)檢測(cè)方面的有效性，以及它在更廣泛的 D 應(yīng)用中的潛力。

表6: 在ScanNetV2上的 目標(biāo)檢測(cè)。我們報(bào)告了基于VoteNet和3DETR-m的自監(jiān)督學(xué)習(xí)方法的性能(%)。

我們?cè)陬A(yù)訓(xùn)練中通過(guò)每次修改一個(gè)組件進(jìn)行消融研究，探索最佳掩蔽策略。我們報(bào)告了在 ModelNet40 上使用線性支持向量機(jī) SVM評(píng)估預(yù)訓(xùn)練表征的分類(lèi)精度。對(duì)于下游任務(wù)，我們從頭開(kāi)始訓(xùn)練網(wǎng)絡(luò)，以驗(yàn)證分層預(yù)訓(xùn)練的重要性。

分層模塊

如表 所示在我們的最終解決方案Point-M2AE之上的第一行，我們分別嘗試從框架中刪除分層編碼器、分層解碼器和跳連接。

• 具體來(lái)說(shuō)，我們將編碼器和解碼器替換為類(lèi)似于MAE的 級(jí)普通架構(gòu)，其中分別包含 個(gè)和 個(gè)vanilla 塊。

• 我們觀察到編碼器和解碼器中沒(méi)有多級(jí)結(jié)構(gòu)會(huì)影響性能，分層編碼器比解碼器發(fā)揮更好的作用。

• 此外，跳連接通過(guò)為解碼器提供補(bǔ)充信息而很好地提高了準(zhǔn)確性。

表7: 分層模塊。' H '表示具有多階段層次結(jié)構(gòu)的編碼器和解碼器。' Skip C. '表示跳躍連接。

掩蔽策略

在表 中，我們報(bào)告了具有不同掩碼設(shè)置的Point-M2AE。如果沒(méi)有多尺度掩碼，我們?cè)诿總€(gè)尺度上隨機(jī)生成掩碼，導(dǎo)致所有尺度的可見(jiàn)區(qū)域都是碎片化的。

• 使用這種策略，網(wǎng)絡(luò)會(huì)在不同階段“窺視”點(diǎn)云的不同部分，這會(huì)干擾表征學(xué)習(xí)并使性能降低 的準(zhǔn)確率。

• 對(duì)于不同的掩碼比例，我們發(fā)現(xiàn) 的掩碼比例最適合構(gòu)建具有適當(dāng)挑戰(zhàn)性的自監(jiān)督預(yù)訓(xùn)練代理任務(wù)。

表8: 不同的掩蔽策略。“MS Mask”和“Ratio”表示多尺度掩碼和掩碼比率。

有和沒(méi)有預(yù)訓(xùn)練

我們?cè)诒? 中報(bào)告了有預(yù)訓(xùn)練和沒(méi)有預(yù)訓(xùn)練的Point-M2AE在下游任務(wù)上的性能。對(duì)于“w/o”，我們隨機(jī)初始化參數(shù)并從頭開(kāi)始訓(xùn)練網(wǎng)絡(luò)。

如圖所示，預(yù)訓(xùn)練可以在四個(gè)數(shù)據(jù)集上分別提高 ，， 和 的性能，這表明了我們分層預(yù)訓(xùn)練的優(yōu)越性和意義。

表9: 預(yù)訓(xùn)練前后。ModelNet40- FS 表示10-way 20-shot 的ModelNet40的few-shot分類(lèi)。

?

多尺度掩蔽

為了便于理解我們的多尺度掩蔽策略，我們?cè)趫D 的每一行中分別可視化了輸入點(diǎn)云、 尺度表示、重建點(diǎn)云和 尺度掩蔽點(diǎn)云。

如圖所示，不同的尺度可以表示點(diǎn)云不同層次的幾何細(xì)節(jié)和語(yǔ)義。通過(guò)多尺度掩蔽策略，我們觀察到掩蔽點(diǎn)云的可見(jiàn)位置在一個(gè)尺度內(nèi)是塊方向的，并且在不同的尺度上是一致的，這對(duì)我們的分層預(yù)訓(xùn)練有重要意義。

細(xì)粒度的信息

細(xì)粒度的 D 結(jié)構(gòu)，例如植物的細(xì)枝，人的手指，飛機(jī)的引擎，對(duì)于區(qū)分相似的形狀非常重要，并且可以通過(guò)我們的分層表示很好地編碼。

在圖 中，我們通過(guò)可視化提取的點(diǎn)特征并在預(yù)訓(xùn)練期間重建點(diǎn)云，將我們的Point-M2AE與多階段和單尺度架構(gòu)進(jìn)行了比較。與單尺度網(wǎng)絡(luò)相比，多尺度網(wǎng)絡(luò)在細(xì)粒度結(jié)構(gòu)中表現(xiàn)出更高的特征響應(yīng)，重構(gòu)出更精確的空間細(xì)節(jié)。

圖4: 細(xì)粒度信息的可視化。我們將分層和非分層架構(gòu)的輸出分別表示為[NH]和[H]。對(duì)于輸入點(diǎn)云(中)，我們將其提取的特征 (左) 和重建結(jié)果 (右) 可視化。

圖5: 多尺度點(diǎn)云可視化。在每一行中，我們可視化了輸入點(diǎn)云、它們的多尺度表示、重建坐標(biāo)和多尺度掩蔽點(diǎn)云。

?

作者提出了一種多尺度掩碼自編碼器Point-M2AE，用于 點(diǎn)云的自監(jiān)督預(yù)訓(xùn)練。通過(guò)分層架構(gòu)，Point-M2AE通過(guò)編碼多尺度點(diǎn)云并從全局到局部上采樣方案重建掩碼坐標(biāo)來(lái)學(xué)習(xí)生成強(qiáng)大的3D表示。

大量的實(shí)驗(yàn)證明了Point-M2AE作為一個(gè)強(qiáng)大的 表征學(xué)習(xí)器的優(yōu)越性。由于局限性和未來(lái)的工作，將專注于將Point-M2AE應(yīng)用于更廣泛的3D應(yīng)用，例如戶外和開(kāi)放世界場(chǎng)景理解。

?

圖6: 多尺度掩蔽的流程。首先利用FPS和 k-NN 得到輸入點(diǎn)云的多尺度表示。然后，隨機(jī)掩蔽最高級(jí)別的點(diǎn)，并將可見(jiàn)位置反向投影到前例尺度中。

?

Transformer。

transformer 首先在自然語(yǔ)言處理中被提出，用于捕獲長(zhǎng)句子中的詞間關(guān)系，并且在大多數(shù)語(yǔ)言任務(wù)中占主導(dǎo)地位。

在此激勵(lì)下，Vision Transformers和DETR將transformer架構(gòu)引入計(jì)算機(jī)視覺(jué)，并激發(fā)后續(xù)工作將 transformer 有效應(yīng)用于廣泛的視覺(jué)任務(wù)，如圖像分類(lèi)、目標(biāo)檢測(cè)、語(yǔ)義分割等。對(duì)于 理解，基于 transformer 的網(wǎng)絡(luò)還用于形狀分類(lèi)、部件分割、從點(diǎn)云和單眼圖像中檢測(cè) 物體。

• PCT 利用相鄰嵌入層聚合局部特征，并通過(guò)transformer塊對(duì)下采樣點(diǎn)云進(jìn)行處理，是一項(xiàng)開(kāi)創(chuàng)性的工作。

• PoinTr 和Point-BERT將點(diǎn)云劃分為多個(gè)空間局部塊，并利用平面架構(gòu)的標(biāo)準(zhǔn) transformer 對(duì)這些塊進(jìn)行編碼。

在此基礎(chǔ)上，我們提出了帶有分層編碼器-解碼器 transformer 的Point-M2AE，該 transformer 設(shè)計(jì)用于MAE風(fēng)格的自監(jiān)督點(diǎn)云預(yù)訓(xùn)練，可以很好地捕獲點(diǎn)云的多尺度特征。

?

位置編碼

為了補(bǔ)充 空間信息，我們對(duì)Point-M2AE中的所有注意層應(yīng)用位置編碼。

• 對(duì)于點(diǎn)token 或 在第 階段，我們利用兩層MLP編碼其對(duì)應(yīng)的 坐標(biāo) 或

• 將 轉(zhuǎn)換為 通道向量，并在進(jìn)入注意層之前明智地將它們與token特征一起添加。

Self-supervised 訓(xùn)練

根據(jù)之前的工作，我們?cè)?strong>ShapeNet中從每個(gè) D 形狀中抽取 個(gè)點(diǎn)進(jìn)行預(yù)訓(xùn)練Point-M2AE。

• 我們預(yù)訓(xùn)練網(wǎng)絡(luò) 次，批大小為 ，并采用 AdamW 作為優(yōu)化器。

• 我們將初始學(xué)習(xí)率和權(quán)重衰減分別設(shè)置為 和 ，并采用余弦調(diào)度器和 epoch預(yù)熱。

在預(yù)訓(xùn)練過(guò)程中，我們利用常見(jiàn)的隨機(jī)縮放和隨機(jī)翻轉(zhuǎn)來(lái)增強(qiáng)數(shù)據(jù)。

對(duì)于ModelNet40上的線性支持向量機(jī) SVM，在分層編碼器之后，我們同時(shí)使用max和average池來(lái)聚合點(diǎn)token之間的特征，并將兩個(gè)池化的特征求和作為點(diǎn)云的編碼全局特征。

形狀分類(lèi)

我們?cè)趦蓚€(gè)數(shù)據(jù)集上對(duì)Point-M2AE進(jìn)行了微調(diào)，用于形狀分類(lèi)。

• 被廣泛采用的ModelNet40由40個(gè)類(lèi)別的合成 形狀組成，其中 個(gè)樣本用于訓(xùn)練， 個(gè)樣本用于驗(yàn)證。

• 具有挑戰(zhàn)性的ScanObjectNN包含15個(gè)類(lèi)別的 個(gè)訓(xùn)練點(diǎn)云和 個(gè)驗(yàn)證點(diǎn)云，這些云是從嘈雜的現(xiàn)實(shí)世界場(chǎng)景中捕獲的，因此與預(yù)訓(xùn)練的ShapeNet數(shù)據(jù)集存在域差距。

• ScanObjectNN分為OBJ-BG、OBJ-ONLY和PB-T50-RS三部分進(jìn)行評(píng)估，其中PB-T50-RS最難識(shí)別。

我們分別從ModelNet40和ScanObjectNN的每個(gè)3D形狀中采樣 和 個(gè)點(diǎn)，并且只使用 通道坐標(biāo)作為輸入。

• 兩個(gè)數(shù)據(jù)集采用相同的訓(xùn)練設(shè)置。

• 我們對(duì)網(wǎng)絡(luò)進(jìn)行了 個(gè)epoch的微調(diào)，批大小為 ，并將學(xué)習(xí)率設(shè)置為 ，權(quán)重衰減 。

對(duì)于其他訓(xùn)練超參數(shù)，我們保持它們與預(yù)訓(xùn)練實(shí)驗(yàn)相同。

部件分割

ShapeNetPart包含 個(gè)對(duì)象類(lèi)別和 個(gè)部件類(lèi)別的 個(gè)合成3D形狀，其中用于訓(xùn)練和驗(yàn)證的樣本分別為 個(gè)和 個(gè)。

• 我們從每個(gè)形狀中抽取 個(gè)點(diǎn)作為輸入，并預(yù)測(cè)所有點(diǎn)的部件類(lèi)別。

• 我們微調(diào)了 個(gè)epoch的Point-M2AE，批大小為 ，并將學(xué)習(xí)率設(shè)置為 ，權(quán)重衰減為 。

• 其他訓(xùn)練設(shè)置與形狀分類(lèi)實(shí)驗(yàn)相同。

Few-shot分類(lèi)

我們遵循前人的研究，在ModelNet40上采用 “K-way N-shot” 設(shè)置進(jìn)行few-shot分類(lèi)。

• 我們從 個(gè)類(lèi)中隨機(jī)選擇K個(gè)，每個(gè)類(lèi)樣本 N+ 個(gè) 3D 形狀，個(gè)用于訓(xùn)練， 個(gè)用于測(cè)試。

• 我們對(duì)Point-M2AE進(jìn)行了四種few-shot設(shè)置: -way -shot, -way -shot, -way -shot和 -way -shot。

為了減輕隨機(jī)抽樣的方差，我們對(duì)每個(gè)few-shot設(shè)置進(jìn)行了 次獨(dú)立運(yùn)行，并報(bào)告了平均精度和標(biāo)準(zhǔn)差。我們采用與形狀分類(lèi)實(shí)驗(yàn)相同的訓(xùn)練設(shè)置，但只微調(diào)了 個(gè)epoch的Point-M2AE。

3D對(duì)象檢測(cè)

我們?cè)?strong>ScanNetV2上對(duì)Point-MAE進(jìn)行預(yù)訓(xùn)練和微調(diào)，用于3D物體檢測(cè)。

• 該數(shù)據(jù)集包含 個(gè)掃描的室內(nèi)場(chǎng)景，包含 個(gè)類(lèi)別的軸對(duì)齊 3D 邊界框， 個(gè)用于訓(xùn)練， 個(gè)用于驗(yàn)證。

由于我們?cè)?DETR-m中采用了相同的2級(jí)編碼器架構(gòu)，因此我們將解碼器的級(jí)數(shù)設(shè)置為 ，這符合S級(jí)編碼器和 級(jí)解碼器的規(guī)則。

在ShapeNet預(yù)訓(xùn)練實(shí)驗(yàn)中，我們對(duì)Point-M2AE進(jìn)行了 個(gè)epoch的預(yù)訓(xùn)練，學(xué)習(xí)率為 ，并遵循其他超參數(shù)。對(duì)于微調(diào)，我們采用了與原論文中從頭開(kāi)始訓(xùn)練 3der-m相同的設(shè)置，以進(jìn)行公平的比較。

圖7: 預(yù)訓(xùn)練前后的Point-M2AE學(xué)習(xí)曲線我們?cè)?strong>ModelNet40和ScanObjectNN上可視化準(zhǔn)確率(左)和損失曲線(右)。我們放大了收斂精度和損失進(jìn)行比較。

?

多尺度掩蔽流程

在圖6中，我們展示了簡(jiǎn)化的掩碼流程，它清楚地說(shuō)明了掩碼是如何在最高規(guī)模下生成的，并向后投影到先前的層。

學(xué)習(xí)曲線

為了比較有預(yù)訓(xùn)練和沒(méi)有預(yù)訓(xùn)練的訓(xùn)練，我們?cè)?strong>ModelNet40和ScanObjectNN上給出了它們的損失和準(zhǔn)確率曲線。

如圖7.2所示，與未進(jìn)行預(yù)訓(xùn)練的曲線相比，經(jīng)過(guò)預(yù)訓(xùn)練的曲線收斂速度更快，分類(lèi)準(zhǔn)確率更高。這充分證明了Point-M2AE分層預(yù)訓(xùn)練的有效性。

t-SNE

在圖8中，我們將在ModelNet40上進(jìn)行微調(diào)前后，Point-M2AE提取的特征分布可視化。如圖所示，預(yù)訓(xùn)練后的Point-M2AE無(wú)需微調(diào)，就可以產(chǎn)生不同類(lèi)別的判別特征。

然后，進(jìn)一步對(duì)同一類(lèi)別的特征進(jìn)行聚類(lèi)，對(duì)不同類(lèi)別的特征進(jìn)行分離。

圖8: t-SNE 在ModelNet40上的可視化。我們展示了Point-M2AE在微調(diào)之前(左)和之后(后)提取的特征分布。

局部空間注意力

我們?cè)趫D9中可視化了ModelNet40上有和沒(méi)有局部 attention 的 attention 權(quán)重。

• 如圖所示，在局部 attention 下，查詢點(diǎn)(星號(hào)標(biāo)記)只在局部空間范圍內(nèi)(黃色虛線圈標(biāo)記)具有較大的 attention 值，而不會(huì)分散在整個(gè)3D形狀上(黃色箭頭標(biāo)記)。

• 這使得每個(gè)點(diǎn)在捕獲細(xì)節(jié)結(jié)構(gòu)的早期階段更多地集中在鄰近的局部特征上。

圖9: 局部空間注意力的可視化。我們將沒(méi)有(上)和有(下)局部空間注意的 attention 權(quán)重可視化。查詢點(diǎn)用星號(hào)標(biāo)記。 attention 范圍用箭頭和黃色虛線圈標(biāo)出。

部件分割結(jié)果

通過(guò)我們的分層架構(gòu)學(xué)習(xí)的細(xì)粒度3D模式在很大程度上有利于具有密集預(yù)測(cè)的3D下游任務(wù)，例如部件分割。

• 在圖10中，我們通過(guò)將提取的點(diǎn)特征和ShapeNetPart上的分割結(jié)果可視化，將我們的Point-M2AE與多階段和單尺度架構(gòu)進(jìn)行了比較。

• 如圖所示，多尺度體系結(jié)構(gòu)為對(duì)象預(yù)測(cè)了更細(xì)粒度的部件標(biāo)簽。

圖10: 部件分割結(jié)果的可視化。我們將分層和非分層架構(gòu)的輸出分別表示為 [NH] 和 [H] 。對(duì)于輸入點(diǎn)云(中)，我們將其提取的特征(左)和部件分割結(jié)果(右)可視化。

?

transformer級(jí)

Point-M2AE中的每個(gè)階段都對(duì)點(diǎn)云的相應(yīng)尺度進(jìn)行編碼。在表11中，我們探索了在預(yù)訓(xùn)練過(guò)程中學(xué)習(xí)多尺度點(diǎn)云特征的編碼器和解碼器的最佳級(jí)數(shù)?？芍?， 級(jí)編碼器與 級(jí)解碼器表現(xiàn)最好。

如果像編碼器一樣，解碼器也有三級(jí)，并在 級(jí)尺度上重建點(diǎn)云，則會(huì)對(duì)性能產(chǎn)生不利影響。

表11: transformer級(jí)數(shù)。我們?cè)?strong>Point-M2AE中實(shí)驗(yàn)了不同級(jí)數(shù)的分層編碼器和解碼器。

transformer塊數(shù)

在每個(gè)階段，我們應(yīng)用幾個(gè) transformer 塊來(lái)編碼點(diǎn)token的特征。我們?cè)诒?2的編碼器和解碼器的每個(gè)階段使用不同的塊數(shù)進(jìn)行實(shí)驗(yàn)。

我們觀察到，編碼器每級(jí)堆疊五個(gè)塊，解碼器每級(jí)只堆疊一個(gè)塊，可以達(dá)到最高的精度。這種非對(duì)稱結(jié)構(gòu)使得編碼器包含更多的點(diǎn)云語(yǔ)義信息，有利于提高Point-M2AE的傳輸能力。

表12: transformer塊。在3級(jí)編碼器和2級(jí)解碼器的基礎(chǔ)上，我們實(shí)驗(yàn)了每級(jí)不同的塊數(shù)。

微調(diào)設(shè)置

對(duì)于下游分類(lèi)任務(wù)的微調(diào)，我們通過(guò)池化從點(diǎn)token中獲得全局特征，并應(yīng)用基于 mlp的分類(lèi)頭。在表10中，我們研究了不同的池化操作以及類(lèi)token方法，以集成所有點(diǎn)token的特性。

我們將一個(gè)可學(xué)習(xí)的類(lèi)標(biāo)記與第一個(gè)尺度的點(diǎn)標(biāo)記連接起來(lái)，并將它們饋送到分層編碼器中。編碼后，我們直接利用這個(gè)類(lèi)標(biāo)記作為全局特征進(jìn)行分類(lèi)。可知，“max + ave. pooling”在微調(diào)方面表現(xiàn)最好，這是我們?cè)谒行螤罘诸?lèi)實(shí)驗(yàn)中的默認(rèn)值。我們還展示了沒(méi)有局部空間注意層的分類(lèi)結(jié)果，這說(shuō)明了增加接收域?qū)植刻卣鬟M(jìn)行編碼的重要性。

表10: 微調(diào)設(shè)置。對(duì)于“max + ave. pooling”，我們采用max和average pooling來(lái)獲得兩個(gè)全局特征，并將它們相加作為分類(lèi)頭的輸入。

預(yù)訓(xùn)練損失函數(shù)

除了 歸一化的倒角距離損失(L2范數(shù)CD)外，我們進(jìn)一步評(píng)估了 歸一化的倒角距離損失( 范數(shù)CD)、“推土機(jī)距離” (Earth Mover's Distance) (EMD)及其組合。

如表13所示，原始l2標(biāo)準(zhǔn)CD損耗比所有其他比較損耗表現(xiàn)得更好。我們將重構(gòu)點(diǎn)集和ground-truth 點(diǎn)集分別表示為 S1 和 S2 。

• 與需要對(duì) S1 和 S2 之間的每個(gè)點(diǎn)進(jìn)行最優(yōu)映射的EMD損耗相比， 范數(shù)CD損耗僅優(yōu)化了單獨(dú)的對(duì)向距離，因此對(duì)3D結(jié)構(gòu)的變化更具魯棒性。

• 與 范數(shù)CD損耗相比，歐氏距離的 范數(shù)能更好地描述空間分布，更關(guān)注遠(yuǎn)處的點(diǎn)。

表13: 預(yù)訓(xùn)練損失。“CD” 和 “EMD” 表示倒角距離和推土機(jī)距離（EMD）損失。

目前工坊已經(jīng)建立了3D視覺(jué)方向多個(gè)社群，包括SLAM、工業(yè)3D視覺(jué)、自動(dòng)駕駛方向，細(xì)分群包括：[工業(yè)方向]三維點(diǎn)云、結(jié)構(gòu)光、機(jī)械臂、缺陷檢測(cè)、三維測(cè)量、TOF、相機(jī)標(biāo)定、綜合群；[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機(jī)器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；[自動(dòng)駕駛方向]深度估計(jì)、Transformer、毫米波|激光雷達(dá)|視覺(jué)攝像頭傳感器討論群、多傳感器標(biāo)定、自動(dòng)駕駛綜合群等。[三維重建方向]NeRF、colmap、OpenMVS等。除了這些，還有求職、硬件選型、視覺(jué)產(chǎn)品落地等交流群。大家可以添加小助理微信: dddvisiona，備注：加群+方向+學(xué)校|公司, 小助理會(huì)拉你入群。

標(biāo)簽：