本文主要介紹由香港中文大學MMLab和上海人工智能實驗室等機構(gòu)合作的離線3D物體檢測算法DetZero，已被ICCV2023收錄！如果您有相關(guān)工作需要分享，請在文末聯(lián)系我們！

>>點擊進入→自動駕駛之心【3D目標檢測】技術(shù)交流群??

論文作者?|?馬濤 楊雪夢

編輯 | 自動駕駛之心

本文提出了一套離線3D物體檢測算法框架DetZero，通過在 Waymo 公開數(shù)據(jù)集上進行全面的研究和評估，DetZero可生成連續(xù)且完整的物體軌跡序列，并充分利用長時序點云特征顯著提升感知結(jié)果的質(zhì)量。同時以 85.15 mAPH (L2) 的性能在 WOD 3D 物體檢測排行榜上取得排名第一。此外，DetZero可以為在線模型的訓練提供高質(zhì)量的自動標簽，其結(jié)果已經(jīng)達到甚至高于人工標簽的水平。

論文：https://arxiv.org/abs/2306.06023

代碼：https://github.com/PJLab-ADG/DetZero

主頁：https://superkoma.github.io/detzero-page

1 引言

現(xiàn)有的自動駕駛感知模型的發(fā)展依賴于數(shù)據(jù)驅(qū)動的迭代模式，然而標注數(shù)據(jù)的昂貴成本和參差不一的后處理效率促使我們探索更為高效的解決方案。此前Waymo提出離線3D物體檢測方法3DAL[]來緩解數(shù)據(jù)標注過程中的資源和人力成本，它主要分為四個模塊：

1. 目標檢測（Detection）：輸入少量連續(xù)的點云幀數(shù)據(jù)，輸出每一幀中3D物體的邊界框和類別信息；

   
   

2. 多目標跟蹤（Tracking）：將每一幀檢測到的物體進行關(guān)聯(lián)，形成物體序列，并分配唯一的物體ID；

   
   

3. 運動狀態(tài)分類（Motion Classification）：基于物體軌跡特征，確定物體的運動狀態(tài)（靜止或運動）；

   
   

4. 物體為中心的優(yōu)化（Object-centric Refining）：根據(jù)前一模塊預(yù)測的運動狀態(tài)，分別提取靜止和運動物體的時序點云特征，以預(yù)測準確的邊界框。最終，通過姿態(tài)矩陣將優(yōu)化后的3D邊界框轉(zhuǎn)移回該物體所在的每一幀坐標系中。

   
   

然而許多主流的在線3D目標檢測方器通過利用點云的時序上下文特征，取得了比現(xiàn)有的離線3D檢測方法更好的效果。我們意識到其未能有效地利用到長序列點云的特征：

1. 目前的目標檢測和跟蹤算法主要關(guān)注邊界框?qū)用妫╞ox-level）的性能指標，將在線的3D檢測算法經(jīng)過TTA和多模型融合之后所產(chǎn)生的大量冗余框作為跟蹤算法的輸入，通常很容易引發(fā)嚴重的軌跡分段、ID切換以及錯誤關(guān)聯(lián)等問題，無法保證連續(xù)、完整的物體序列的生成，進而妨礙利用物體對應(yīng)的長時序點云特征。如下圖所示，原本一個物體的軌跡被分割成多個子序列（T1, T2, T3），導(dǎo)致?lián)碛懈嘈畔⒌腡1片段的特征無法共享到T2和T3中；T4片段中經(jīng)過優(yōu)化的框也無法召回已經(jīng)丟失掉的片段；T5片段中經(jīng)過優(yōu)化的框在轉(zhuǎn)移到原先是FP的位置后依然是FP。

   
   

1. 基于運動狀態(tài)分類的優(yōu)化模型沒有充分利用到物體的時序特征。例如，剛性物體的尺寸大小隨時間保持一致，通過從不同角度捕捉數(shù)據(jù)可以實現(xiàn)更準確的尺寸估計；物體的運動軌跡應(yīng)當遵循一定的運動學約束，表現(xiàn)為軌跡的平滑性。如下圖(a)所示，對于動態(tài)物體來說，基于滑動窗口的優(yōu)化機制未考慮物體幾何形狀的一致性，僅通過鄰近幾幀的時序點云信息對邊界框進行更新，導(dǎo)致預(yù)測的幾何尺寸出現(xiàn)偏差。而在(b)的例子中，通過把該物體的點云全部聚合在一起，可獲得稠密的時序點云特征，為每一幀都預(yù)測出邊界框的準確的幾何尺寸。

   
   

2 方法

本文提出了一種新的離線3D物體檢測算法框架DetZero：（1）使用多幀 3D 檢測器和離線跟蹤器作為上游模塊，提供足夠準確和完整的物體跟蹤，主要強調(diào)物體序列的高召回率（track-level recall）；（2）下游模塊包含基于注意力機制的優(yōu)化模型，利用長時序點云特征分別學習預(yù)測物體的不同屬性，包括精細化幾何尺寸、平滑其運動軌跡位置、更新置信度分數(shù)。

2.1 生成完整的物體序列

我們選取已公開的CenterPoint[]作為基礎(chǔ)檢測器，為了盡可能提供足夠多的檢測候選框，我們在三個方面對其進行了加強：（1）不同幀點云的組合作為輸入，在不出現(xiàn)性能衰減的前提下進行性能最大化；（2）利用點云密度信息進行原始點云特征和體素特征融合的二階段模塊，對一階段邊界結(jié)果進行初步優(yōu)化；（3）使用推理階段數(shù)據(jù)增強（TTA）、多模型結(jié)果融合（Ensemble）等技術(shù)來提升模型對于復(fù)雜環(huán)境的適應(yīng)能力。

離線跟蹤模塊中引入了兩階段關(guān)聯(lián)策略以減少錯誤匹配，根據(jù)置信度將框分為高分組和低分組，對高分組進行關(guān)聯(lián)更新現(xiàn)有軌跡，未更新的軌跡與低分組關(guān)聯(lián)。同時，物體軌跡的長度可持續(xù)至序列終止，避免ID切換問題。此外，我們會反向執(zhí)行跟蹤算法生成另一組軌跡，并通過位置相似性關(guān)聯(lián)，最后用WBF策略融合匹配成功的軌跡，進一步提升序列首尾的完整性。最后，對于區(qū)分好的物體序列，提取出其對應(yīng)的每一幀點云進行保存；而未更新的冗余框和一些較短的序列和會直接合并至最終的輸出，無需下游優(yōu)化。

2.2 基于屬性預(yù)測的物體優(yōu)化模塊

之前的物體為中心的優(yōu)化模型忽略了不同運動狀態(tài)下物體之間的相關(guān)性，如幾何形狀的一致性、物體運動狀態(tài)在相鄰時刻的一致性?；谶@些觀察，我們將傳統(tǒng)的邊界框回歸任務(wù)分解為三個模塊：分別預(yù)測物體的幾何形狀、位置和置信度屬性。

1. 多視角幾何交互：通過拼接多個視角的物體點云，可以補全物體的外觀和形狀。首先進行局部坐標變換，將物體點云與不同位置的局部框?qū)R，并計算出每個點到邊界框6個表面的投影距離，加強邊界框的信息表征，隨后直接合并不同幀的所有點云作為多視角幾何特征的key和value，同時從物體序列中隨機選擇t個樣本作為單視角幾何特征的query。幾何query會被送入自注意力層來查看彼此之間的差異性，隨后被送入交叉注意力層來補充所需要視角的特征，并預(yù)測出精確的幾何尺寸。

   
   

2. 局部與全局位置的交互：隨機選擇物體序列中的任意框作為原點，將所有其他框和對應(yīng)的物體點云轉(zhuǎn)移到此坐標系下，并計算出每個點到各自邊界框中心點和8個角點的距離，作為全局位置特征的key和value。物體序列中的每一個樣本都會作為位置query，送入自注意力層來判斷當前位置與其他位置的相對距離，隨后輸入交叉注意力層模擬局部到全局位置的上下文關(guān)系，并預(yù)測出此坐標系下每個初始中心點與真值中心點之間的偏移量，以及航向角差異。

   
   

3. 置信度優(yōu)化：分類分支用于分類該物體是TP還是FP，IoU回歸分支預(yù)測出一個物體在被幾何模型和位置模型優(yōu)化后，與真值框之間的IoU大小。最終的置信度得分就是這兩個分支的幾何平均值。

   
   

3 實驗

3.1 主要性能

如下表所示，本文方法在Waymo 3D檢測排行榜上以85.15 mAPH (L2)取得了最好的成績，無論是與處理長時序點云的方法相比，還是與最先進的多模態(tài)融合3D檢測器相比，DetZero都有很大的性能優(yōu)勢。

同樣，得益于檢測框的準確性和物體跟蹤序列的完整性，我們以75.05 MOTA（L2）取得了Waymo 3D跟蹤排行榜上的性能第一。

3.2 消融實驗

為更好地驗證我們所提出每個模塊的作用，我們在Waymo驗證集上進行了消融實驗，并使用更嚴格的IoU閾值來衡量。

同時，對于同一組檢測結(jié)果，我們分別選擇3DAL中的跟蹤器和優(yōu)化模型與DetZero進行交叉組合驗證，結(jié)果進一步證明DetZero的跟蹤器和優(yōu)化器性能更好，且二者組合在一起后發(fā)揮出更大的優(yōu)勢。

我們的離線跟蹤器更注重物體序列的完整性，雖然二者的MOTA性能差異很小，但是Recall@track的性能卻是造成最終優(yōu)化性能差異很大的一個原因。

此外，與其他SOTA的跟蹤器對比下來也能印證這一點。

3.3 泛化性能

為了驗證我們的優(yōu)化模型是否固定擬合到了某一組上游結(jié)果，我們選擇了不同性能的上游檢測跟蹤結(jié)果作為輸入，都取得了非常明顯的性能提升，這進一步證明了只要上游模塊能夠召回更多更完整的物體序列，我們的優(yōu)化器便能利用其時序點云的特征進行有效地優(yōu)化。

3.4 與人類標注能力進行對比

我們按照3DAL的實驗設(shè)置來報告DetZero在5個指定序列上的AP性能，人類性能是通過基于單幀的重標注結(jié)果與原本真值標注結(jié)果之間的一致性來衡量。相對于3DAL和人類，DetZero在不同的性能指標上都展現(xiàn)出了優(yōu)勢。

為了進一步驗證該高質(zhì)量的自動標注結(jié)果是否能替代人工標注結(jié)果進行在線模型的訓練，我們在Waymo驗證集上驗證了半監(jiān)督學習的結(jié)果。我們在訓練中隨機選擇10%的數(shù)據(jù)訓練老師模型（DetZero），并對剩余的90%訓練數(shù)據(jù)進行推理得到自動標注結(jié)果，作為訓練學生模型所用的標簽，選擇單幀CenterPoint作為學生模型。在Vehicle類別上，90%自動標簽+10%真值標簽訓練的結(jié)果很接近使用100%真值標簽的結(jié)果，而在Pedestrian類別上，自動標簽訓練的模型結(jié)果已經(jīng)優(yōu)于原結(jié)果，這一結(jié)果表明自動標簽可以勝任在線模型的訓練。

3.5 可視化結(jié)果

投稿作者為『自動駕駛之心知識星球』特邀嘉賓，如果您希望分享到自動駕駛之心平臺，歡迎聯(lián)系我們！

① 全網(wǎng)獨家視頻課程

BEV感知、毫米波雷達視覺融合、多傳感器標定、多傳感器融合、多模態(tài)3D目標檢測、點云3D目標檢測、目標跟蹤、Occupancy、cuda與TensorRT模型部署、協(xié)同感知、語義分割、自動駕駛仿真、傳感器部署、決策規(guī)劃、軌跡預(yù)測等多個方向?qū)W習視頻（掃碼學習）

視頻官網(wǎng)：www.zdjszx.com

② 國內(nèi)首個自動駕駛學習社區(qū)

近2000人的交流社區(qū)，涉及30+自動駕駛技術(shù)棧學習路線，想要了解更多自動駕駛感知（2D檢測、分割、2D/3D車道線、BEV感知、3D目標檢測、Occupancy、多傳感器融合、多傳感器標定、目標跟蹤、光流估計）、自動駕駛定位建圖（SLAM、高精地圖、局部在線地圖）、自動駕駛規(guī)劃控制/軌跡預(yù)測等領(lǐng)域技術(shù)方案、AI模型部署落地實戰(zhàn)、行業(yè)動態(tài)、崗位發(fā)布，歡迎掃描下方二維碼，加入自動駕駛之心知識星球，這是一個真正有干貨的地方，與領(lǐng)域大佬交流入門、學習、工作、跳槽上的各類難題，日常分享論文+代碼+視頻，期待交流！

自動駕駛之心是首個自動駕駛開發(fā)者社區(qū)，聚焦目標檢測、語義分割、全景分割、實例分割、關(guān)鍵點檢測、車道線、目標跟蹤、3D目標檢測、BEV感知、多模態(tài)感知、Occupancy、多傳感器融合、transformer、大模型、點云處理、端到端自動駕駛、SLAM、光流估計、深度估計、軌跡預(yù)測、高精地圖、NeRF、規(guī)劃控制、模型部署落地、自動駕駛仿真測試、產(chǎn)品經(jīng)理、硬件配置、AI求職交流等方向。掃碼添加汽車人助理微信邀請入群，備注：學校/公司+方向+昵稱（快速入群方式）

④【自動駕駛之心】平臺矩陣，歡迎聯(lián)系我們！