原創(chuàng) | 文 BFT機(jī)器人

CenterPoint與傳統(tǒng)基于框的3D物體檢測(cè)器和跟蹤器不同之處在于，它將3D物體表示、檢測(cè)和跟蹤為點(diǎn)，而不是使用邊界框。這種方法具有幾個(gè)優(yōu)點(diǎn)，包括減少物體檢測(cè)器的搜索空間，簡(jiǎn)化下游任務(wù)（如跟蹤），并使設(shè)計(jì)比以前的方法快得多的有效的兩階段細(xì)化模塊成為可能。

此外，CenterPoint允許骨干網(wǎng)絡(luò)學(xué)習(xí)物體的旋轉(zhuǎn)不變性和它們相對(duì)旋轉(zhuǎn)的旋轉(zhuǎn)等變性。檢測(cè)是一種簡(jiǎn)單的經(jīng)過(guò)細(xì)化的局部峰提取，跟蹤是一種最近距離匹配。

基于中心的框架的檢測(cè)和跟蹤對(duì)象

本文主要描述了一種名為CenterPoint的新框架，該框架將3D物體表示、檢測(cè)和跟蹤為點(diǎn)，而不是使用邊界框。該方法簡(jiǎn)化了檢測(cè)和跟蹤過(guò)程并在基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的性能。本文的作者還介紹了一種新的中心點(diǎn)檢測(cè)頭，但依賴(lài)于現(xiàn)有的3D骨干網(wǎng)絡(luò)（如VoxelNet或PointPillars）。

我們的方法克服了傳統(tǒng)基于框的檢測(cè)器的挑戰(zhàn)，并簡(jiǎn)化了3D對(duì)象跟蹤。在前期準(zhǔn)備工作中，我們首先回顧了當(dāng)前3D對(duì)象檢測(cè)和跟蹤領(lǐng)域的最新方法，包括基于框、基于錨點(diǎn)和基于點(diǎn)的方法。我們還討論了這個(gè)領(lǐng)域中使用的流行數(shù)據(jù)集和評(píng)估指標(biāo)。然后，我們介紹了我們的方法的主要思想和貢獻(xiàn)，并詳細(xì)描述了我們的CenterPoint框架的設(shè)計(jì)和實(shí)現(xiàn)。最后，我們?cè)趲讉€(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并展示了我們的方法的優(yōu)越性能。

CenterPoint首先使用關(guān)鍵點(diǎn)檢測(cè)器檢測(cè)對(duì)象的中心，并回歸到其他屬性，包括3D大小、3D方向和速度。在第二階段，它使用對(duì)象上的附加點(diǎn)特征來(lái)細(xì)化這些估計(jì)值。由此產(chǎn)生的檢測(cè)和跟蹤算法簡(jiǎn)單、高效、有效。CenterPoint在nuScenes基準(zhǔn)測(cè)試中取得了最先進(jìn)的3D檢測(cè)和跟蹤性能，單模型的NDS為65.5，AMOTA為63.8。在Waymo開(kāi)放數(shù)據(jù)集上，CenterPoint的性能大大優(yōu)于所有先前的單模型方法，并在所有僅使用激光雷達(dá)的方法中排名前列。

文中描述到使用一個(gè)標(biāo)準(zhǔn)的基于激光雷達(dá)的骨干網(wǎng)絡(luò)如VoxelNet或PointPillars來(lái)構(gòu)建輸入點(diǎn)云的表示。然后，它將這個(gè)表示展平成一個(gè)俯視圖，并使用一個(gè)標(biāo)準(zhǔn)的基于圖像的關(guān)鍵點(diǎn)檢測(cè)器來(lái)找到物體的中心。對(duì)于每個(gè)檢測(cè)到的中心，它從中心位置的點(diǎn)特征回歸到所有其他物體屬性，例如3D大小、方向和速度。此外，我們使用一個(gè)輕量級(jí)的第二階段來(lái)優(yōu)化物體位置。這個(gè)第二階段在估計(jì)的物體3D邊界框的每個(gè)面的3D中心提取點(diǎn)特征。它恢復(fù)了由于步幅和有限的感受視野而丟失的局部幾何信息，并帶來(lái)了較小的成本和相當(dāng)大的性能提升。

01
實(shí)驗(yàn)結(jié)果

本文首先在Waymo和nuScenes的測(cè)試集上展示了我們的三維檢測(cè)結(jié)果。這兩個(gè)結(jié)果都使用了一個(gè)單一的中心點(diǎn)-體素模型。在Waymo測(cè)試集上，我們的模型對(duì)車(chē)輛檢測(cè)達(dá)到71.8級(jí)2級(jí)mAPH，對(duì)行人檢測(cè)達(dá)到66.4級(jí)2級(jí)mAPH，超過(guò)了之前的方法達(dá)到7.1%的車(chē)輛mAPH，行人達(dá)到10.6%的mAPH。在nuScenes上，我們的模型在多尺度輸入和多模型集成方面比去年的挑戰(zhàn)贏家CBGS要好5.2%的mAP和2.2%的NDS。

文中我們的模型在神經(jīng)平面度量（PKL）下顯著優(yōu)于所有其他提交，這是組織者在提交排行榜后評(píng)估的隱藏度量。這突出了我們的框架的泛化能力。

對(duì)于3D跟蹤來(lái)說(shuō)，中心點(diǎn)在Waymo測(cè)試集上的跟蹤性能，我們的跟蹤不需要一個(gè)單獨(dú)的運(yùn)動(dòng)模型，并且運(yùn)行的時(shí)間可以忽略不計(jì)，在檢測(cè)之上為1ms。

在我們文中的兩階段中心點(diǎn)模型中，只使用了二維CNN特征圖中的特征。但是以往的方法也提出利用體素特征進(jìn)行第二階段的細(xì)化。

中心點(diǎn)對(duì)Waymo驗(yàn)證的定性結(jié)果

02

結(jié)論

本文提出了一個(gè)基于中心的框架，同時(shí)用于三維目標(biāo)檢測(cè)和跟蹤激光雷達(dá)點(diǎn)云。主要是使用一個(gè)標(biāo)準(zhǔn)的3D點(diǎn)云編碼器，在頭部有幾個(gè)卷積層，以產(chǎn)生一個(gè)鳥(niǎo)視圖熱圖和其他密集的回歸輸出。中心點(diǎn)簡(jiǎn)單、接近實(shí)時(shí)性，并在Waymo和nuScenes基準(zhǔn)上進(jìn)行了多次測(cè)試實(shí)現(xiàn)了最先進(jìn)的性能。

作者 |?張哲宇

排版?|?小河

審核?| 橙橙

若您對(duì)該文章內(nèi)容有任何疑問(wèn)，請(qǐng)與我們聯(lián)系，我們將及時(shí)回應(yīng)。如果想要了解更多的前沿資訊，記得點(diǎn)贊關(guān)注哦~