ICCV2023｜遙遙領(lǐng)先華為SOTA！無監(jiān)督自適應(yīng)3D目標(biāo)檢測！即將開源
作者：?大森林??| 來源：3D視覺工坊
在公眾號(hào)「3D視覺工坊」后臺(tái)，回復(fù)「原論文」即可獲取論文pdf和代碼鏈接。
添加微信：dddvisiona，備注：目標(biāo)檢測，拉你入群。文末附行業(yè)細(xì)分群。
基于激光雷達(dá)的3D檢測在最近幾年取得了顯著的進(jìn)步。然而，當(dāng)3D檢測器應(yīng)用于不同的數(shù)據(jù)集時(shí)，其性能會(huì)受到域間差異的嚴(yán)重影響。現(xiàn)有的基于激光雷達(dá)的域自適應(yīng)3D檢測方法沒有充分解決特征空間中的分布差異問題，這限制了檢測器跨域的泛化能力。為此，我們提出了一種新的無監(jiān)督域自適應(yīng)3D檢測框架，即GPA-3D，它利用點(diǎn)云對(duì)象固有的幾何關(guān)系來縮小特征差異，從而促進(jìn)現(xiàn)有激光雷達(dá)3D檢測器的跨域遷移。具體來說，GPA-3D為點(diǎn)云對(duì)象的不同幾何結(jié)構(gòu)設(shè)計(jì)了一系列可學(xué)習(xí)的原型。每個(gè)原型在對(duì)應(yīng)的點(diǎn)云對(duì)象的BEV(俯視圖)特征上進(jìn)行對(duì)齊，以減少分布差異并實(shí)現(xiàn)更好的自適應(yīng)。為了達(dá)到這個(gè)目的，我們?cè)O(shè)計(jì)了軟對(duì)比損失，它在表示空間中拉近同類特征-原型對(duì)，并推遠(yuǎn)異類對(duì)。此外，我們還開發(fā)了兩個(gè)組件來增強(qiáng)該框架的效果，即噪聲樣本抑制(NSS)和實(shí)例替換增廣(IRA)。NSS利用前景區(qū)域與背景原型之間的相似度，生成一個(gè)掩碼以降低噪聲的影響。IRA用具有相似幾何結(jié)構(gòu)的高質(zhì)量樣本替換偽標(biāo)簽，以增加目標(biāo)域的多樣性。在Waymo、nuScenes和KITTI等基準(zhǔn)數(shù)據(jù)集上的廣泛評(píng)估結(jié)果表明，我們的GPA-3D在不同的自適應(yīng)場景下均優(yōu)于當(dāng)前最先進(jìn)的方法。這里也推薦「3D視覺工坊」新課程《?國內(nèi)首個(gè)面向自動(dòng)駕駛目標(biāo)檢測領(lǐng)域的Transformer原理與實(shí)戰(zhàn)課程》。
我們提出了一種新的基于激光雷達(dá)UDA的3D檢測框架，即GPA-3D。它利用點(diǎn)云對(duì)象固有的幾何關(guān)系來實(shí)現(xiàn)特征對(duì)齊，有效地縮小了域間分布差異，從而促進(jìn)了現(xiàn)有的基于點(diǎn)云的檢測器的跨域遷移。
我們?cè)O(shè)計(jì)了噪聲樣本抑制和實(shí)例替換增強(qiáng)兩個(gè)組件，以提高偽標(biāo)簽的可靠性和多樣性。
我們?cè)赪aymo、nuScenes和KITTI等基準(zhǔn)數(shù)據(jù)集上進(jìn)行了廣泛評(píng)估。結(jié)果表明，GPA-3D在不同的自適應(yīng)場景中均優(yōu)于當(dāng)前最先進(jìn)的方法。更重要的是，由于采用了與架構(gòu)無關(guān)的設(shè)計(jì)，GPA-3D可以靈活地應(yīng)用于各種基于點(diǎn)云的檢測器。
圖1.我們提出的GPA-3D框架概覽。它采用基本的聯(lián)合訓(xùn)練方式來適應(yīng)源域和目標(biāo)域的3D檢測器。BEV特征通過幾何感知原型對(duì)齊進(jìn)行處理，這減少了分布差異，并使跨域?qū)W習(xí)到泛化表示。為此，我們?cè)O(shè)計(jì)了軟對(duì)比損失來聯(lián)合優(yōu)化原型和網(wǎng)絡(luò)參數(shù)。此外，還設(shè)計(jì)了噪聲樣本抑制來減輕訓(xùn)練過程中的噪聲樣本影響，以及實(shí)例替換增強(qiáng)來增強(qiáng)目標(biāo)域的多樣性。
下面，我們介紹GPA-3D來緩解基于激光雷達(dá)檢測器的域間差異。圖1闡述了整個(gè)流程。第3.1節(jié)構(gòu)建了點(diǎn)云檢測器的UDA任務(wù)。第3.2節(jié)介紹了我們方法中的檢測架構(gòu)。在第3.3節(jié)，我們?cè)敿?xì)闡述了幾何感知原型對(duì)齊，之后第3.4節(jié)討論了軟對(duì)比損失。最后，我們分別在第3.5節(jié)和第3.6節(jié)中介紹噪聲樣本抑制和實(shí)例替換增廣。
在本文中，我們關(guān)注基于激光雷達(dá)的3D檢測的無監(jiān)督域自適應(yīng)問題。具體而言，給定標(biāo)注的源域點(diǎn)云，以及無標(biāo)注的目標(biāo)域點(diǎn)云，我們的目標(biāo)是基于和訓(xùn)練一個(gè)3D檢測器，并最大化其在上的性能。這里，是場景總數(shù)，表示第個(gè)點(diǎn)云場景，其中每個(gè)點(diǎn)都有3維空間坐標(biāo)和額外的強(qiáng)度。對(duì)應(yīng)的標(biāo)簽表示一系列3D邊界框，每個(gè)框可以由中心位置、空間尺寸和旋轉(zhuǎn)參數(shù)化。注意，上標(biāo)和分別表示源域和目標(biāo)域。
輸入點(diǎn)云首先被送入具有3D稀疏卷積或2D卷積的 backbone 網(wǎng)絡(luò)，以提取點(diǎn)云表示:
其中是參數(shù)為的backbone，表示BEV特征。之后，檢測頭帶參數(shù)產(chǎn)生最終輸出，形式化為:
其中和分別表示預(yù)測的3D盒子和得分。我們應(yīng)用聯(lián)合訓(xùn)練范式逐步減輕域間差異。在每個(gè)mini-batch中，源點(diǎn)云和目標(biāo)點(diǎn)云都被輸入到檢測器，它們的輸出分別由對(duì)應(yīng)的真值和偽標(biāo)簽進(jìn)行監(jiān)督。計(jì)算得到的損失之和通過反向傳播更新檢測器參數(shù)和原型。
提取。如第3.2節(jié)所述，對(duì)于來自源域或目標(biāo)域的第個(gè)點(diǎn)云場景，基于激光雷達(dá)的檢測器生成BEV特征，其中分別表示特征圖的高度、寬度和通道數(shù)。我們首先將對(duì)應(yīng)的真值或偽標(biāo)簽投影到BEV特征圖上，然后隨機(jī)提取等長序列和。這里，是特征序列的長度，和分別代表來自BEV的前景和背景特征。
圖2.左:偏移角示意圖。右:偏移角相同的對(duì)象具有相似的幾何結(jié)構(gòu)。
分組。對(duì)于提取的前景特征，我們進(jìn)一步根據(jù)它們?cè)邳c(diǎn)云上的幾何結(jié)構(gòu)將它們分成不同的組。具體地，對(duì)于序列中的第個(gè)前景()，我們計(jì)算其偏移角如下:
其中是方向，是觀測角，如圖2(左)所示。注意，方向來自標(biāo)簽和，而觀測角可以根據(jù)3D邊界框的中心位置計(jì)算。接下來，所有前景特征被分割成組，組索引公式化為:
其中是將輸入角度規(guī)范化到[0，2]的標(biāo)準(zhǔn)化函數(shù)，是組間角度間隔。通過這種方式，偏移角相似的前景特征被分配到相同的組，其中它們的幾何結(jié)構(gòu)非常相似，如圖2(右)所示。此外，提取的背景被送入一個(gè)單獨(dú)的組，因此總共構(gòu)建了組。
原型構(gòu)建。在訓(xùn)練開始時(shí)，我們隨機(jī)初始化一系列可學(xué)習(xí)原型。在訓(xùn)練期間，我們提取源域和目標(biāo)域的BEV特征，并通過Eq. 4將它們分割到相應(yīng)的組中。在第組中，前景特征被強(qiáng)制與原型對(duì)齊。類似地，最后一組中的背景特征與背景原型對(duì)齊。
給定點(diǎn)云，我們的目標(biāo)是將其前景/背景特征和與原型集中的對(duì)應(yīng)原型對(duì)齊。
組內(nèi)吸引。對(duì)于前景特征，我們將它們拉近對(duì)應(yīng)原型，可以表示為:
其中是余弦相似度，是一個(gè)指示函數(shù)，當(dāng)時(shí)為1，否則為0。類似地，背景特征也需要被拉向背景原型，計(jì)算為:
組間排斥。為增強(qiáng)區(qū)分能力，我們需要將特征與屬于其他組的所有原型推開。例如，背景特征與所有前景原型的距離通過最小化:
對(duì)于相鄰組中的前景特征，它們對(duì)應(yīng)的幾何結(jié)構(gòu)相對(duì)更相似。將這些特征推開是不很必要的，甚至可能使訓(xùn)練過程不穩(wěn)定。因此，我們采用更松弛的約束:
其中表示余量，在我們的實(shí)驗(yàn)中設(shè)置為0.5，是相鄰組的索引，即。軟對(duì)比損失可以表示為:
其中和是平衡系數(shù)。
目標(biāo)域上使用的偽標(biāo)簽存在噪聲，可能會(huì)導(dǎo)致誤差累積。為降低噪聲的影響，我們提出噪聲樣本抑制(NSS)方法，它生成一個(gè)掩碼來抑制可能是基礎(chǔ)噪聲的前景區(qū)域的梯度下降幅度。噪聲掩碼可以表示為，其中抑制因子用于減少低質(zhì)量樣本的貢獻(xiàn)。在中，與背景原型具有高相似度(即)的前景區(qū)域被賦值為，其余前景和背景區(qū)域被賦值為1.0。
在訓(xùn)練過程中，噪聲掩碼與聯(lián)合訓(xùn)練損失相乘，在第3.7節(jié)中詳細(xì)闡述。隨著訓(xùn)練的進(jìn)行，原型將獲得更好的表示能力，這使得NSS可以更可靠地抑制噪聲并促進(jìn)訓(xùn)練過程。
圖3.實(shí)例替換增強(qiáng)(IRA)示意圖。左:IRA利用組機(jī)制將原始實(shí)例替換為具有相似幾何結(jié)構(gòu)的高質(zhì)量候選項(xiàng)。右:與隨機(jī)替換相比,我們的組機(jī)制不會(huì)干擾點(diǎn)云場景的空間上下文。
得分在0.2至0.5之間的不確定偽標(biāo)簽通常在訓(xùn)練中會(huì)被忽略。盡管不準(zhǔn)確，但它們可能提供局部定位信息。為此，我們?cè)O(shè)計(jì)了實(shí)例替換增廣(IRA)模塊。如圖3(左)所示，我們首先選擇得分超過0.5的偽標(biāo)簽構(gòu)建高質(zhì)量數(shù)據(jù)庫，該數(shù)據(jù)庫使用Eq. 4的組機(jī)制將挑選的實(shí)例劃分為不同幾何結(jié)構(gòu)的組。在訓(xùn)練過程中，我們?yōu)椴淮_定的偽標(biāo)簽計(jì)算組索引，并使用數(shù)據(jù)庫中具有相同組索引的實(shí)例替換它們。在此過程中，采用參數(shù)來調(diào)節(jié)替換操作的概率。
IRA有兩個(gè)主要優(yōu)點(diǎn)。首先，目標(biāo)數(shù)據(jù)的數(shù)量得以維持，多樣性也有所增強(qiáng)。其次，受益于組機(jī)制，替換實(shí)例周圍的空間上下文保持不變，不會(huì)引入模糊或不合理的情況，如圖3(右)所示。這里也推薦「3D視覺工坊」新課程《?國內(nèi)首個(gè)面向自動(dòng)駕駛目標(biāo)檢測領(lǐng)域的Transformer原理與實(shí)戰(zhàn)課程》。
算法1 GPA-3D 的學(xué)習(xí)過程
GPA-3D的整體訓(xùn)練過程如算法1所示。3D檢測器首先在標(biāo)注的源域上通過最小化檢測損失進(jìn)行訓(xùn)練:
其中和分別表示回歸和分類錯(cuò)誤。接下來，我們使用預(yù)訓(xùn)練模型在目標(biāo)域上生成偽標(biāo)簽和IRA數(shù)據(jù)庫。最后，聯(lián)合訓(xùn)練范式進(jìn)一步對(duì)模型進(jìn)行微調(diào):
其中是目標(biāo)數(shù)據(jù)上的檢測損失，與Eq. 10相同。整體自適應(yīng)損失計(jì)算如下:
其中是軟對(duì)比損失的總權(quán)重，是NSS的噪聲掩碼。
表1.與最新方法在Waymo → KITTI自適應(yīng)場景中的比較,采用40個(gè)召回位置的BEV和3D平均精度。
Waymo → KITTI自適應(yīng)。為驗(yàn)證對(duì)象尺寸的域間差異的有效性，我們?cè)赪aymo → KITTI上進(jìn)行了全面比較。如表1所示，與SECOND-IoU檢測器相比，我們提出的GPA-3D大幅優(yōu)于ST3D++ ，并相對(duì)以前最佳結(jié)果取得了顯著的性能提升，即AP3D提升5.24%，APBEV提升1.6%。注意，GPA-3D的APBEV甚至高于Oracle方法，這表明將幾何結(jié)構(gòu)信息融入U(xiǎn)DA在3D檢測任務(wù)中的有效性。即使將基礎(chǔ)檢測器切換為PointPillars，我們的方法仍然分別在AP3D和APBEV上超過了先前的最佳方法3D-CoCo 7.94%和1.19%。這些改進(jìn)表明我們的GPA-3D在緩解更具挑戰(zhàn)性的跨光束場景的域偏差方面具有優(yōu)勢。
表2.與不同基礎(chǔ)檢測器和最新方法在Waymo → nuScenes上的自適應(yīng)性能比較。
Waymo → nuScenes自適應(yīng)。對(duì)于激光光束的域間差異，我們選擇Waymo → nuScenes作為代表，因?yàn)樗鼈兪褂貌煌募す饫走_(dá)傳感器，即64束vs 32束。如表2所示，與SECOND-IoU檢測器相結(jié)合，GPA-3D將自適應(yīng)性能提高到37.25% APBEV和22.54% AP3D，優(yōu)于之前的最佳方法。與ST3D++相比，GPA-3D在APBEV和AP3D上分別獲得了1.52%和1.64%的增益?；赑ointPillars，我們的方法比最佳方法3D-CoCo在APBEV上高出2.37%，并分別在APBEV和AP3D上超過ST3D 4.87%和5.41%。這些改進(jìn)證明了GPA-3D在緩解更具挑戰(zhàn)性的跨光束場景的域偏差方面的進(jìn)步。
表3. GPA-3D中的組件消融研究。Proto表示幾何感知原型對(duì)齊。Soft是軟對(duì)比損失。NSS代表噪聲樣本過濾。IRA表示實(shí)例替換增強(qiáng)。
組件分析。我們?cè)u(píng)估GPA-3D中每個(gè)組件的有效性，如表3所示?；€(a)表示僅使用目標(biāo)域上的偽標(biāo)簽進(jìn)行自訓(xùn)練。應(yīng)用幾何感知原型對(duì)齊分別在AP3D和APBEV上帶來了5.92%和2.62%的提升，軟對(duì)比損失在AP3D上帶來了1.06%的改進(jìn)。這些提升表明將幾何信息融入域自適應(yīng)是可行和有效的。此外，NSS和IRA分別提高了大約2.5%和1.5%的性能，這表明增強(qiáng)目標(biāo)數(shù)據(jù)上的監(jiān)督質(zhì)量的有效性。
幾何感知原型對(duì)齊的有效性。我們進(jìn)一步研究幾何感知原型對(duì)齊的效果。如圖7所示，與聯(lián)合訓(xùn)練基線相比，僅使用一對(duì)前/背景原型的普通對(duì)齊表現(xiàn)更好，這暗示特征分布不對(duì)齊會(huì)影響性能。與基線相比，使用兩個(gè)原型在APBEV和AP3D上分別獲得3.57%和5.05%的提升，這證明了將幾何信息與特征對(duì)齊相結(jié)合的有效性。當(dāng)使用4個(gè)前景原型時(shí)，性能達(dá)到APBEV 84.44%的峰值，這表明幾何信息與特征對(duì)齊相結(jié)合的進(jìn)步。但是，當(dāng)使用過多原型時(shí)，我們觀察到輕微的性能降低，我們將其歸因于冗余原型導(dǎo)致特征在表示空間中難以區(qū)分。
表4. 對(duì)噪聲樣本抑制的消融實(shí)驗(yàn)。符號(hào)-T/-S表示僅在目標(biāo)/源域上應(yīng)用NSS,而-TS在目標(biāo)和源域上都執(zhí)行NSS。-TSH額外采用硬閾值截?cái)嘁蜃?即α=0.
噪聲樣本抑制的有效性。我們?cè)贕PA-3D上進(jìn)行不同設(shè)置的NSS消融實(shí)驗(yàn)。如表4所示，當(dāng)我們從GPA-3D中刪除NSS時(shí)，AP3D的檢測性能下降到67.79%。僅在目標(biāo)域上應(yīng)用NSS分別在APBEV和AP3D上獲得1.43%和0.45%的提升。我們可以看到，在源域上使用NSS也可以帶來改進(jìn)。我們認(rèn)為這是因?yàn)镹SS抑制了那些只有少量點(diǎn)的源樣本，這些樣本與背景噪聲非常相似。當(dāng)采用硬閾值截?cái)嘁蜃訒r(shí)，AP3D進(jìn)一步提高到70.88%，表明NSS的有效性。
表5. 實(shí)例替換增強(qiáng)的效果。RandRep放棄了IRA中的組機(jī)制。
實(shí)例替換增強(qiáng)的有效性。我們還比較了實(shí)例替換增強(qiáng)(IRA)中的不同策略。如表5所示，與不使用組機(jī)制的隨機(jī)替換相比，我們提出的IRA在APBEV和AP3D上分別獲得了0.72%和1.43%的提升。這凸顯了維持實(shí)例與其上下文環(huán)境一致性的重要性。
表6.與不同自適應(yīng)框架的比較。Source指Source Only方法。Self-T.是自訓(xùn)練框架。Co-T.表示聯(lián)合訓(xùn)練流水線。Mean T.代表平均老師范式。
域自適應(yīng)框架。我們將提出的GPA-3D與幾種自適應(yīng)框架進(jìn)行了比較，如表6所示。結(jié)果確認(rèn)了GPA-3D的有效性，它利用幾何關(guān)聯(lián)遷移不同域之間的3D檢測器。圖8進(jìn)一步說明，盡管所有模型在早期周期波動(dòng)，但我們的GPA-3D能夠穩(wěn)定、持續(xù)地提高檢測性能。
可視化。我們?cè)趫D6中展示了一些跨域自適應(yīng)的定性結(jié)果。另外，在圖9中，我們可視化了BEV特征的分布。明顯的是，GPA-3D將前景樣本聚合到不同的原型中，并將它們與背景分開。
圖6.Waymo → KITTI上的GPA-3D定性結(jié)果。對(duì)于每個(gè)框,我們使用X指定方向。預(yù)測結(jié)果和真值分別涂為藍(lán)色和綠色。
本文提出了一種新的無監(jiān)督域自適應(yīng)3D檢測框架，即GPA-3D。它利用點(diǎn)云對(duì)象固有的幾何關(guān)系來實(shí)現(xiàn)特征對(duì)齊，有效地縮小了域間分布差異，從而緩解了點(diǎn)云檢測器的域偏差問題。我們?cè)诙鄠€(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了全面的實(shí)驗(yàn)，表明我們的方法是有效的，并且可以輕松地集成到主流的基于激光雷達(dá)的3D檢測器中。在未來的工作中，我們計(jì)劃將GPA-3D擴(kuò)展到支持多模態(tài)3D檢測器。這需要一個(gè)更高效的對(duì)齊機(jī)制來處理來自點(diǎn)云和圖像的特征流。
