前言：

該文章是Center-based系列工作（CenterNet、CenterTrack、CenterPoint）的擴(kuò)展，于2020年作者在arxiv公開(kāi)了第一版CenterPoint，后續(xù)進(jìn)一步將CenterPoint擴(kuò)充成了一個(gè)兩階段的3D檢測(cè)追蹤模型，相比單階段的CenterPoint，性能更佳，額外耗時(shí)很少。

本文的主要貢獻(xiàn)是提出了一個(gè)兩階段的Center-based的目標(biāo)檢測(cè)追蹤模型，在第一階段（如圖1中的a,b,c)，使用CenterPoint檢測(cè)三維目標(biāo)的檢測(cè)框中心點(diǎn)，并回歸其檢測(cè)框大小，方向和速度。在第二階段（如圖1中的d)設(shè)計(jì)了一個(gè)refinement模塊，對(duì)于第一階段中的檢測(cè)框，使用檢測(cè)框中心的點(diǎn)特征回歸檢測(cè)框的score并進(jìn)行refinement。

在nuScenes的3D檢測(cè)和跟蹤任務(wù)中，單階段的CenterPoint效果很好，單個(gè)模型的NDS為65.5,AMOTA為63.8。模型性能很好，但是論文中說(shuō)該模型的速度是在Waymo上11FPS，在nuScenes上為16FPS；同時(shí)模型的速度實(shí)驗(yàn)是在TiTan RTX上做的，也就是在所有邊緣計(jì)算設(shè)備上均達(dá)不到實(shí)時(shí)計(jì)算。

注1：文末附【三維點(diǎn)云】交流群

注2：整理不易，請(qǐng)點(diǎn)贊支持！

作者：XYunaaa | 來(lái)源：3D視覺(jué)工坊微信公眾號(hào)

主要的Contribution：

1. 使用點(diǎn)表示目標(biāo)，簡(jiǎn)化三維目標(biāo)檢測(cè)任務(wù)：

與圖像目標(biāo)檢測(cè)不同，在點(diǎn)云中的三維目標(biāo)不遵循任何特定的方向，box-based的檢測(cè)器很難枚舉所有的方向或?yàn)樾D(zhuǎn)的對(duì)象擬合一個(gè)軸對(duì)齊的檢測(cè)框。但Center-based的方法沒(méi)有這個(gè)顧慮。點(diǎn)沒(méi)有內(nèi)轉(zhuǎn)角。這極大地減少了搜索空間，同時(shí)保持目標(biāo)的旋轉(zhuǎn)不變性。（AblationStudy的結(jié)果可以看到Center-based方法對(duì)模型效果提升非常明顯）

2. Center-based的方法可以簡(jiǎn)化追蹤任務(wù)

作者表明由于該方法不需要額外的運(yùn)動(dòng)模型（如Kalman濾波），所以追蹤計(jì)算時(shí)間可以忽略不計(jì)，在檢測(cè)的基礎(chǔ)上僅需要運(yùn)行1毫秒。

3. 使用一個(gè)基于點(diǎn)特征的refinement模塊作為網(wǎng)絡(luò)的第二階段。保障模型預(yù)測(cè)性能，同時(shí)也比現(xiàn)在大多數(shù)的refinement方法更快。我的理解是由于“檢測(cè)--追蹤”的多目標(biāo)追蹤流程對(duì)檢測(cè)階段的錯(cuò)誤預(yù)測(cè)非常敏感，本文通過(guò)第二階段預(yù)測(cè)bbox的score來(lái)降低CenterPoint第一階段中產(chǎn)生的錯(cuò)誤預(yù)測(cè)，提升目標(biāo)檢測(cè)的質(zhì)量，同時(shí)進(jìn)一步提升了追蹤的結(jié)果。

下面具體來(lái)看一下實(shí)現(xiàn)細(xì)節(jié)。

實(shí)現(xiàn)細(xì)節(jié)

First Stage -- CenterPoint：

圖二是CenterPoint的網(wǎng)絡(luò)流程圖，對(duì)應(yīng)圖一的a b c模塊。

網(wǎng)絡(luò)的輸入為雷達(dá)點(diǎn)云數(shù)據(jù)。

網(wǎng)絡(luò)的3D encoder部分使用了現(xiàn)有的網(wǎng)絡(luò)模型，CenterPoint提供了兩種主干網(wǎng)實(shí)現(xiàn)方式，分別為VoxelNet 和PointPillar。

圖二：CenterPoint的網(wǎng)絡(luò)流程圖

網(wǎng)絡(luò)的輸出為基于類的Heatmap、目標(biāo)的大小、轉(zhuǎn)角和速度。其中Heatmap的生成方式與CenterNet類似。

首先，我們回顧一下CenterNet熱力圖的回歸方式：對(duì)于任意尺寸為W*H*3的圖像，我們會(huì)生成一個(gè)尺寸為W/R * H/R * K的熱力圖，其中K是檢測(cè)的類別數(shù)。熱力圖的中元素的取值為0或1，其中若熱力圖該點(diǎn)為1，則圖像中該點(diǎn)是一個(gè)檢測(cè)框的中心，若為0，則該出在圖像中為背景。

唯一的區(qū)別是：由于三維空間中目標(biāo)分布離散且三維目標(biāo)不會(huì)像圖像中目標(biāo)一樣近大遠(yuǎn)小，如果按照CenterNet的方式生成Heatmap，那么Heatmap中將大部分都是背景，如圖三所示。作者的解決方法是設(shè)置高斯半徑公式為σ = max(f(wl); τ),其中τ = 2為最小高斯半徑值，f為CenterNet的高斯半徑求解方法。

圖三：Heatmap的局限

Second Stage：

根據(jù)第一階段的目標(biāo)檢測(cè)框和主干網(wǎng)featuremap，作者提取目標(biāo)檢測(cè)框每個(gè)面的中心點(diǎn)的在featuremap上的點(diǎn)特征值，將該特征值送入如圖一d的全連接網(wǎng)絡(luò)中，得到該目標(biāo)檢測(cè)框的檢測(cè)置信度和精修結(jié)果。

具體地，由于目標(biāo)檢測(cè)框的頂面、地面的中心在birdview上為同一個(gè)點(diǎn)，故實(shí)際選擇四個(gè)向外的面的中心在birdview上的點(diǎn)特征（具體的四個(gè)點(diǎn)的投影如圖一c所示），作為全連接網(wǎng)絡(luò)的輸入值。同時(shí)，對(duì)于每個(gè)點(diǎn)特征，在實(shí)際提取時(shí)使用雙線性插值從主干網(wǎng)的birdview的特征圖中提取。

對(duì)于score的預(yù)測(cè)：

在訓(xùn)練時(shí)，Loss使用二進(jìn)制交叉熵?fù)p失，如公式2所示，其中It為預(yù)測(cè)的置信度score，計(jì)算方式如公式1所示，表示預(yù)測(cè)結(jié)果與真值的3D IOU;

在推測(cè)時(shí)，直接使用第一階段的CenterPoint的預(yù)測(cè)結(jié)果，最終預(yù)測(cè)結(jié)果的score（Qt）求法如圖4所示。其中Yt的計(jì)算方式為第一階段的目標(biāo)檢測(cè)框?qū)?yīng)的熱力圖上值最大的一點(diǎn)。It為第二階段計(jì)算的score。Qt時(shí)Yt與It的幾何平均值。

圖4：CenterPoint網(wǎng)絡(luò)inference時(shí)score的計(jì)算方法

實(shí)驗(yàn)結(jié)果

檢測(cè)結(jié)果

基于單階段的CenterPoint而言。

如表一所示，在Waymo測(cè)試集上，CenterPoint在Level2上實(shí)現(xiàn)了車輛檢測(cè)的71.8 mAPH和行人檢測(cè)的66.4 mAPH，比之前的方法分別提高了7.1%和10.6%。

如表二所示，在nuScenes上，CenterPoint比去年的挑戰(zhàn)冠軍CBGS[67]高出5.2%的mAP和2.2%的NDS。

追蹤結(jié)果：

表3顯示了CenterPoint在Waymo測(cè)試集上的跟蹤性能，其中AB3D是Waymo的追蹤baseline。在nuScenes上（如表4），該框架比上一個(gè)挑戰(zhàn)冠軍Chiu等人的性能高出8.8 AMOTA。

Challenge：

論文中說(shuō)該模型的速度是在Waymo上11FPS，在nuScenes上為16FPS；同時(shí)模型的速度實(shí)驗(yàn)是在TiTan RTX上做的，也就是在所有邊緣計(jì)算設(shè)備上均達(dá)不到實(shí)時(shí)計(jì)算，這應(yīng)該算是本網(wǎng)絡(luò)的一個(gè)缺點(diǎn)了。

備注：作者也是我們「3D視覺(jué)從入門到精通」知識(shí)星球特邀嘉賓：

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

3D視覺(jué)工坊-三維重建交流群

已建立3D視覺(jué)工坊-三維重建微信交流群！想要進(jìn)三維重建學(xué)習(xí)交流群的同學(xué)，可以直接加微信號(hào)：CV_LAB。加的時(shí)候備注一下：三維重建+學(xué)校+昵稱，即可。然后就可以拉你進(jìn)群了。

強(qiáng)烈推薦大家關(guān)注3D視覺(jué)工坊知乎賬號(hào)和3D視覺(jué)工坊微信公眾號(hào)，可以快速了解到最新優(yōu)質(zhì)的3D視覺(jué)與SLAM論文。