Title: PointPillars: Fast Encoders for Object Detection from Point Clouds

ChatGPT says:

Comments

這篇論文介紹了一種基于點云數(shù)據(jù)的物體檢測快速編碼器-PointPillars。傳統(tǒng)上，處理點云數(shù)據(jù)時通常使用固定編碼器或者基于數(shù)據(jù)學(xué)習(xí)的編碼器。固定編碼器速度較快但準(zhǔn)確性較低，而學(xué)習(xí)編碼器準(zhǔn)確性較高但速度較慢。PointPillars提出了一種新的編碼器，利用PointNets來學(xué)習(xí)以垂直柱狀（pillar）形式組織的點云數(shù)據(jù)的表示。這個編碼的特征可以與任何標(biāo)準(zhǔn)的二維卷積檢測架構(gòu)一起使用，同時還提出了一個精簡的下游網(wǎng)絡(luò)。大量實驗證明PointPillars在速度和準(zhǔn)確性方面都明顯優(yōu)于之前的編碼器。盡管只使用激光雷達(dá)數(shù)據(jù)，我們的完整檢測流程在準(zhǔn)確性方面明顯優(yōu)于現(xiàn)有技術(shù)水平，即使在融合方法中也如此，不論是在3D還是鳥瞰圖KITTI基準(zhǔn)測試中。這種檢測性能是在62 Hz的運行速度下實現(xiàn)的，即運行時間提高了2-4倍。我們的方法的更快版本在105 Hz的速度上與現(xiàn)有技術(shù)水平匹配。這些基準(zhǔn)測試表明，PointPillars是適用于點云物體檢測的編碼方式。

該論文還介紹了當(dāng)前應(yīng)用于目標(biāo)檢測的卷積神經(jīng)網(wǎng)絡(luò)的最新研究，以及專門針對點云數(shù)據(jù)的目標(biāo)檢測方法。此外，論文還提出了論文中方法的網(wǎng)絡(luò)結(jié)構(gòu)和算法，并在公開數(shù)據(jù)集KITTI上進(jìn)行了實驗和評估，證明了方法的有效性和性能優(yōu)勢。

Summary

中文摘要：
本文介紹了一種基于點云數(shù)據(jù)的物體檢測快速編碼器PointPillars。該編碼器利用PointNets對以垂直柱狀組織的點云數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，并可與標(biāo)準(zhǔn)二維卷積檢測架構(gòu)結(jié)合使用。文章通過大量實驗證明，PointPillars在速度和準(zhǔn)確性方面優(yōu)于傳統(tǒng)固定編碼器和學(xué)習(xí)編碼器。該方法在KITTI基準(zhǔn)測試中實現(xiàn)了優(yōu)秀的檢測性能，并在較快速度下達(dá)到了與現(xiàn)有技術(shù)相匹配的準(zhǔn)確性。

英文摘要：
This paper presents PointPillars, a fast encoder for object detection based on point cloud data. PointPillars utilizes PointNets to learn features from point cloud data organized in vertical pillars and can be integrated with standard 2D convolutional detection architectures. Extensive experiments demonstrate that PointPillars outperforms both traditional fixed encoders and learned encoders in terms of speed and accuracy. The method achieves excellent detection performance on the KITTI benchmark and matches the state-of-the-art accuracy at a faster speed.

Transtranslation

Abstract

點云中的目標(biāo)檢測是許多機(jī)器人應(yīng)用（如自動駕駛）中的重要方面。本文考慮將點云編碼成適用于下游檢測流程的格式的問題。最近的文獻(xiàn)提出了兩種類型的編碼器：固定編碼器速度快但準(zhǔn)確率低，而從數(shù)據(jù)中學(xué)習(xí)的編碼器更準(zhǔn)確但速度較慢。在這項工作中，我們提出了一種新穎的編碼器PointPillars，它利用PointNets學(xué)習(xí)垂直列（柱子）中組織的點云的表示。盡管編碼后的特征可以與任何標(biāo)準(zhǔn)的二維卷積檢測架構(gòu)配合使用，但我們進(jìn)一步提出了一種輕量級的下游網(wǎng)絡(luò)。廣泛的實驗表明，PointPillars在速度和準(zhǔn)確性方面明顯優(yōu)于之前的編碼器。盡管只使用激光雷達(dá)，我們的全面檢測流程在3D和鳥瞰視圖的KITTI基準(zhǔn)測試中明顯優(yōu)于現(xiàn)有技術(shù)，甚至在融合方法中也是如此。此檢測性能是在62 Hz的運行速度下實現(xiàn)的：運行時間提高了2-4倍。我們的方法的更快版本以105 Hz的速度達(dá)到了現(xiàn)有技術(shù)水平。這些基準(zhǔn)測試表明，PointPillars是適用于點云中目標(biāo)檢測的一種合適的編碼方式。

Introduction

在城市環(huán)境中部署自動駕駛車輛（AV）面臨著技術(shù)上的困難挑戰(zhàn)。除了其他任務(wù)之外，AV需要實時檢測和跟蹤諸如車輛、行人和騎行者等移動對象。為了實現(xiàn)這一點，自動駕駛車輛依賴于多個傳感器，其中激光雷達(dá)被認(rèn)為是最重要的。激光雷達(dá)使用激光掃描儀測量與環(huán)境的距離，從而生成稀疏的點云表示。傳統(tǒng)上，激光雷達(dá)的機(jī)器人流程通過自下而上的流程將這些點云解釋為對象檢測，包括背景減除、時空聚類和分類[12, 9]。隨著深度學(xué)習(xí)方法在計算機(jī)視覺領(lǐng)域的巨大進(jìn)步，大量的文獻(xiàn)研究了這項技術(shù)在從激光雷達(dá)點云中進(jìn)行目標(biāo)檢測方面的應(yīng)用程度[31, 29, 30, 11, 2, 21, 15, 28, 26, 25]。盡管這些模態(tài)之間存在許多相似之處，但有兩個關(guān)鍵差異：1）點云是一種稀疏表示，而圖像是稠密的，2）點云是3D的，而圖像是2D的。因此，從點云中進(jìn)行目標(biāo)檢測并不像標(biāo)準(zhǔn)的圖像卷積流水線那樣顯而易見。一些早期的研究集中于使用3D卷積[3]或?qū)Ⅻc云投影到圖像中[14]。最近的方法傾向于從鳥瞰視圖查看激光雷達(dá)點云[2, 11, 31, 30]。這種俯視視角提供了幾個優(yōu)勢，如缺乏尺度模糊性和幾乎沒有遮擋。

然而，鳥瞰視圖往往非常稀疏，這使得直接應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)變得不切實際和低效。解決這個問題的一種常見方法是將地平面劃分為規(guī)則網(wǎng)格，例如10 x 10厘米，然后對每個網(wǎng)格單元中的點執(zhí)行手工特征編碼方法[2, 11, 26, 30]。然而，這樣的方法可能不是最優(yōu)的，因為硬編碼的特征提取方法可能無法推廣到新的配置，需要進(jìn)行大量的工程努力。為了解決這些問題，并借鑒了Qi等人開發(fā)的PointNet設(shè)計[22]，VoxelNet [31]是最早真正實現(xiàn)端到端學(xué)習(xí)的方法之一。VoxelNet將空間劃分為體素，對每個體素應(yīng)用PointNet，然后應(yīng)用3D卷積中間層來整合垂直軸，然后應(yīng)用2D卷積檢測架構(gòu)。雖然VoxelNet的性能強(qiáng)大，但推理時間為4.4 Hz，太慢無法實時部署。最近，SECOND [28]提高了VoxelNet的推理速度，但3D卷積仍然是瓶頸。在本文中，我們提出了PointPillars：一種用于三維目標(biāo)檢測的方法，僅使用2D卷積層實現(xiàn)端到端學(xué)習(xí)。PointPillars使用一種新穎的編碼器，在點云的柱（垂直列）上學(xué)習(xí)特征，以預(yù)測物體的三維定向框。這種方法有幾個優(yōu)勢。首先，通過學(xué)習(xí)特征而不是依賴固定編碼器，PointPillars可以利用點云所表示的完整信息。此外，通過操作柱而不是體素，無需手動調(diào)整垂直方向的劃分。最后，柱非常有效，因為所有關(guān)鍵操作都可以公式化為2D卷積，在GPU上計算非常高效。學(xué)習(xí)特征的另一個好處是，PointPillars不需要手動調(diào)整不同的點云配置。例如，它可以輕松地合并多次激光雷達(dá)掃描，甚至是雷達(dá)點云。

我們在公開的KITTI檢測挑戰(zhàn)中評估了PointPillars網(wǎng)絡(luò)，該挑戰(zhàn)要求在鳥瞰圖或3D圖像中檢測汽車、行人和騎行者[5]。盡管我們的PointPillars網(wǎng)絡(luò)僅使用激光雷達(dá)點云進(jìn)行訓(xùn)練，但它在性能上超越了使用激光雷達(dá)和圖像的目前最先進(jìn)的方法，從而在鳥瞰圖和3D檢測方面建立了新的性能標(biāo)準(zhǔn)（表1和表2）。與此同時，PointPil lars運行速度為62 Hz，比以前的技術(shù)快了幾個數(shù)量級。PointPillars進(jìn)一步實現(xiàn)了速度和準(zhǔn)確性之間的權(quán)衡；在某種設(shè)置下，我們能以超過100 Hz的速度達(dá)到最先進(jìn)的性能（圖5）。我們還發(fā)布了可以重現(xiàn)我們結(jié)果的代碼（https://github.com/nutonomy/second.pytorch）。

關(guān)于 weekly reading

我會將每周所寫周報中paper reading部分上傳至我的blog供參考，希望能為你提供一些幫助。

LLM現(xiàn)已被引入來加速我的工作流，本篇文章在ChatGPT輔助下完成。