原創(chuàng) | 文 BFT機(jī)器人

3D采集技術(shù)快速發(fā)展，各類型的3D掃描儀、激光雷達(dá)及RGB-D相機(jī)等得到更多使用。3D傳感器從三維數(shù)據(jù)中獲取其中豐富的語義信息，結(jié)合2D圖像，更好的顯示出數(shù)據(jù)信息。三維數(shù)據(jù)通?？梢杂貌煌母袷奖硎?，包括深度圖像、 點(diǎn)云、網(wǎng)格和體積網(wǎng)格。作為一種常用的表示形式，點(diǎn)云表示時(shí)不需要任何離散化，保持了原始三維空間的幾何信息。點(diǎn)云處理是自動(dòng)駕駛和機(jī)器人等許多場景理解相關(guān)應(yīng)用的首選表示。

近年深度學(xué)習(xí)已經(jīng)在許多研究領(lǐng)域大放光彩，如計(jì)算機(jī)視覺、目標(biāo)檢測、語音識(shí)別和自然語言處理，通過深度卷積神經(jīng)網(wǎng)絡(luò)通過大規(guī)模的圖像數(shù)據(jù)信息進(jìn)行自我學(xué)習(xí)特征分析的表達(dá)方式，且表現(xiàn)出較好的準(zhǔn)確性和魯棒性。然而，三維點(diǎn)云上的深度學(xué)習(xí)仍然面臨著幾個(gè)重大挑戰(zhàn)，如數(shù)據(jù)集規(guī)模小，三維點(diǎn)云的高維性和非結(jié)構(gòu)化,深度學(xué)習(xí)主要是通過分析結(jié)構(gòu)化數(shù)據(jù)中的信息不斷學(xué)習(xí)。

目前處理三維點(diǎn)云的深度學(xué)習(xí)方法，隨著更多數(shù)據(jù)集的公開使用，進(jìn)一步推動(dòng)了點(diǎn)云在深度學(xué)習(xí)領(lǐng)域的研究，更多的分類方式被使用，像是3D形狀分類，3D對(duì)象的目標(biāo)跟蹤還有3D點(diǎn)云的分割與重建。

該文的主要貢獻(xiàn)包括有：

（1）3D形狀分類，3D目標(biāo)檢測和跟蹤，以及3D點(diǎn)云分割。

（2）關(guān)注3D點(diǎn)云的深度學(xué)習(xí)方法，而不是所有類型的3D數(shù)據(jù)。

（3）?本文介紹了深度學(xué)習(xí)在點(diǎn)云上的最新進(jìn)展，展示提供了最先進(jìn)的方法。

（4）?在幾個(gè)公開可用的數(shù)據(jù)集上提供了現(xiàn)有方法的綜合比較分析并提出簡要的總結(jié)和討論。

01

點(diǎn)云數(shù)據(jù)集分析

三維形狀分類、三維目標(biāo)檢測和跟蹤以及三維點(diǎn)云分割的典型數(shù)據(jù)集，本文還總結(jié)了這些數(shù)據(jù)集的屬性。

對(duì)于三維形狀分類，有兩種類型的數(shù)據(jù)集：合成數(shù)據(jù)集和真實(shí)世界的數(shù)據(jù)集。合成數(shù)據(jù)集中的對(duì)象是完整的，沒有任何遮擋和背景。對(duì)比真實(shí)世界中采集的數(shù)據(jù)集，真實(shí)的數(shù)據(jù)集容易被不同的層次遮擋和被背景噪聲污染造成我們對(duì)數(shù)據(jù)集的分析。

對(duì)于三維目標(biāo)的檢測和跟蹤，常見的室內(nèi)場景和室外城市場景。室內(nèi)數(shù)據(jù)集中的點(diǎn)云要么從密集的深度地圖中轉(zhuǎn)換過來，要么從三維網(wǎng)格中采樣出來。室外城市數(shù)據(jù)集是為自動(dòng)駕駛而設(shè)計(jì)的，其中物體在空間上分離得很好，這些點(diǎn)云是稀疏的。

02

評(píng)價(jià)指標(biāo)

不同的評(píng)估指標(biāo)被提出來在各種點(diǎn)云理解任務(wù)中測試這些方法。對(duì)于三維形狀分類，總體精度（OA）和平均類別精度（mAcc,mean class accuracy）是最常用的性能標(biāo)準(zhǔn)?！癘A”表示所有測試實(shí)例的平均精度，“mAcc”表示所有形狀類的平均精度。

針對(duì)三維目標(biāo)檢測任務(wù)，使用平均精度（AP）是最常用的標(biāo)準(zhǔn)。它被計(jì)算為精確召回曲線下的面積。精度和成功度通常用于評(píng)估3D單目標(biāo)跟蹤器的整體性能。平均多目標(biāo)跟蹤精度（AMOTA）和平均多目標(biāo)跟蹤精度（AMOTP）是評(píng)價(jià)三維多目標(biāo)跟蹤最常用的標(biāo)準(zhǔn)。

對(duì)于三維點(diǎn)云分割，OA、平均交并比超過Union（mIoU）和平均類精度（mAcc）是最常用的性能評(píng)價(jià)標(biāo)準(zhǔn)。特別是，平均平均精度（mAP）也被作用于3D點(diǎn)云的實(shí)例分割的分析指標(biāo)。

點(diǎn)云在深度學(xué)習(xí)分析中引入顯式信息丟失，并變得越來越流行。需要注意的是，本文主要關(guān)注基于點(diǎn)的方法，但也包括少數(shù)基于多視圖和基于體積的完整性方法?；诙嘁晥D的方法這些方法首先將一個(gè)三維形狀投影到多個(gè)視圖中，提取視圖級(jí)特征，然后融合這些特征，進(jìn)行精確的形狀分類。

如何將多個(gè)視圖級(jí)的特征聚合成一個(gè)有區(qū)別的全局表示，是這些方法面臨的一個(gè)關(guān)鍵挑戰(zhàn)。MVCNN是一項(xiàng)開創(chuàng)性的工作。通常將點(diǎn)云體素化為三維網(wǎng)格，然后將三維卷積神經(jīng)網(wǎng)絡(luò)（CNN）應(yīng)用于體積表示上進(jìn)行形狀分類。Maturana等人引入了一種名為VoxNet的體積占用網(wǎng)絡(luò)來實(shí)現(xiàn)魯棒的三維物體識(shí)別。

基于點(diǎn)的方法：其根據(jù)各點(diǎn)特征學(xué)習(xí)的網(wǎng)絡(luò)體系結(jié)構(gòu)，這類方法可分為點(diǎn)態(tài)MLP、基于卷積、基于圖、基于層次數(shù)據(jù)結(jié)構(gòu)的方法等典型方法。

03

主要分析深度學(xué)習(xí)網(wǎng)絡(luò)

（1）PointNet：這是一種基于點(diǎn)云的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以直接對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行處理。它包括一個(gè)全連接層和一個(gè)最大池化層，可以對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取和分類。

主要是將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換成固定長度的向量表示，PointNet首先對(duì)每個(gè)點(diǎn)進(jìn)行特征提取，再將所有點(diǎn)的特征向量進(jìn)行池化從而得到一個(gè)全局的特征向量；這樣子方法的特點(diǎn)是可以處理不同數(shù)量和順序的點(diǎn)且可以處理旋轉(zhuǎn)和平移不變性，因?yàn)槠涫褂脤?duì)稱函數(shù)和最大池化層對(duì)點(diǎn)對(duì)特征進(jìn)行聚合。

（2）PointNet++：這是PointNet的改進(jìn)版本，它使用了一種遞歸的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行多層次的特征提取和分類。?

（3）PointCNN：這是一種基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行卷積操作。它使用了一種新的卷積核設(shè)計(jì)，可以更好地處理點(diǎn)云數(shù)據(jù)。具體來說，他們直接分割三維點(diǎn)云，獲得前景點(diǎn)，然后融合語義特征和局部空間來獲取高質(zhì)量3D盒。

（4） DGCNN：這是一種基于點(diǎn)云的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行卷積操作。它使用了一種動(dòng)態(tài)圖像池化層，可以更好地處理不同數(shù)量的點(diǎn)云數(shù)據(jù)。

（5）RSNet：這是一種基于點(diǎn)云的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取和分類。它使用了一種新的點(diǎn)云采樣方法，可以更好地處理不同密度的點(diǎn)云數(shù)據(jù)。?為了評(píng)估這些方法的性能，論文中使用了多個(gè)公共數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)評(píng)估。例如，在3D形狀分類任務(wù)中，論文使用了ModelNet40數(shù)據(jù)集，評(píng)估了不同方法的準(zhǔn)確率和召回率。在3D點(diǎn)云分割任務(wù)中，論文使用了S3DIS數(shù)據(jù)集，評(píng)估了不同方法的F1分?jǐn)?shù)和平均交并比（mIoU）。

此外，論文還進(jìn)行了大量詳細(xì)的實(shí)驗(yàn)分析和比較，討論了不同方法的優(yōu)缺點(diǎn)，在深度學(xué)習(xí)方法上取得了重大的進(jìn)展。

04

三維目標(biāo)檢測、三維目標(biāo)跟蹤和三維場景流估計(jì)

三維對(duì)象檢測一個(gè)典型的三維對(duì)象檢測器以場景的點(diǎn)云為輸入，在每個(gè)檢測對(duì)象周圍生成一個(gè)定向的三維邊界框。與圖像中的目標(biāo)檢測類似，三維目標(biāo)檢測方法可分為兩類：基于區(qū)域提議的方法和基于單鏡頭的方法。常用的方案有檢測包含對(duì)象的幾個(gè)可能的區(qū)域，然后提取區(qū)域特征來確定每個(gè)提案的類別標(biāo)簽。再根據(jù)其對(duì)象建議生成方法，這些方法可以進(jìn)一步分為三類：基于多視圖、基于分割和基于挫折的方法。

基于分割的方法。主要是利用現(xiàn)有的語義分割技術(shù)去除大部分背景點(diǎn)，然后在前景點(diǎn)上生成大量高質(zhì)量的建議，以達(dá)到節(jié)省計(jì)算量的目的。

有學(xué)者通過將三維點(diǎn)云投影到2D圖像上，將激光雷達(dá)點(diǎn)與圖像像素聯(lián)系起來，并利用這種關(guān)聯(lián)將RGB信息融合到3D點(diǎn)中，并認(rèn)為三維語義分割是學(xué)習(xí)更好的表示的輔助任務(wù)。

對(duì)于目標(biāo)跟蹤來說，給定對(duì)象在第一幀中的位置，對(duì)象跟蹤的任務(wù)是估計(jì)其在后續(xù)幀中的狀態(tài)。因?yàn)槿S目標(biāo)跟蹤可以利用點(diǎn)云中豐富的幾何信息，因此它有望克服基于圖像的跟蹤所面臨的一些缺點(diǎn)，包括遮擋、照明和尺度變化等造成影響。它是聯(lián)合優(yōu)化問題的話，需要考慮目標(biāo)的外觀和運(yùn)動(dòng)信息；若是在線學(xué)習(xí)的話，就使得網(wǎng)絡(luò)不斷更新模型實(shí)現(xiàn)適應(yīng)目標(biāo)。

Gu等學(xué)者提出了一種分層的全面體晶格流網(wǎng)（HPLFlowNet）來直接估計(jì)大規(guī)模點(diǎn)云的場景流，通過幾種雙邊卷積層來從原始點(diǎn)云中恢復(fù)結(jié)構(gòu)信息，同時(shí)降低了計(jì)算成本。其中使用的KITTI 基準(zhǔn)測試是自動(dòng)駕駛中最具影響力的數(shù)據(jù)集之一，在學(xué)術(shù)界和工業(yè)界都被廣泛使用。主要研究方向多任務(wù)學(xué)習(xí)是三維目標(biāo)檢測的未來發(fā)展方向之一。

作者?| 隨便

排版 |?居居手

更多精彩內(nèi)容請(qǐng)關(guān)注公眾號(hào)：BFT機(jī)器人

本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請(qǐng)與我們聯(lián)系。若您對(duì)該文章內(nèi)容有任何疑問，請(qǐng)與我們聯(lián)系，將及時(shí)回應(yīng)。