IROS 2023開源 | 最新的雷達(dá)點(diǎn)云動(dòng)態(tài)目標(biāo)分割算法！
視覺也好，激光也好，如何剔除動(dòng)態(tài)物體的影響都是一個(gè)很麻煩的課題。一方面要檢測(cè)動(dòng)態(tài)物體，另一方面要建立去除干擾的靜態(tài)環(huán)境地圖?，F(xiàn)有的動(dòng)態(tài)物體剔除的工作其實(shí)有很多了，但是都有一個(gè)問題：如何解決分割的假陽(yáng)性和假陰性。其實(shí)這也是CV很經(jīng)典的問題"如何信任深度學(xué)習(xí)的結(jié)果"。
今天給大家介紹的這篇工作就解決了這個(gè)問題，來源于2023 IROS，它將當(dāng)前幀的Lidar掃描和局部地圖都輸入到網(wǎng)絡(luò)中，以此來修正歷史幀的漏檢和誤檢。
作者：泡椒味的口香糖 ??| 來源：3D視覺工坊
在公眾號(hào)「3D視覺工坊」后臺(tái)，回復(fù)「原論文」即可獲取論文pdf。
添加微信：dddvisiona，備注：3D點(diǎn)云，拉你入群。文末附行業(yè)細(xì)分群。
這篇文章其實(shí)和之前2021 RAL/IROS"Moving Object Segmentation in 3D LiDAR Data: A Learning-based Approach Exploiting Sequential Data"的工作有點(diǎn)相似，陳謝沅澧也是兩篇文章的共同作者，感興趣的小伙伴可以追一下陳博的Github（https://github.com/Chen-Xieyuanli）。
注：本文使用MOS作為Moving Object Segmentation的簡(jiǎn)稱。
算法將雷達(dá)點(diǎn)云做為輸入，可以直接判定點(diǎn)是否屬于動(dòng)態(tài)物體。還能構(gòu)建Volumetric Belief地圖（可以理解為存儲(chǔ)每個(gè)點(diǎn)是否動(dòng)態(tài)的概率），構(gòu)建完地圖以后可以直接對(duì)點(diǎn)進(jìn)行查詢。但筆者覺得最重要的一點(diǎn)是，它可以修正歷史幀的假陽(yáng)性和假陰性判據(jù)，這一點(diǎn)是很多算法沒有涉及的。這里也推薦「3D視覺工坊」新課程《三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總》。
再來看一看動(dòng)態(tài)環(huán)境下建圖的結(jié)果，實(shí)心圓表示地圖中動(dòng)態(tài)物體的殘留痕跡，虛線圓表示由于假陽(yáng)性預(yù)測(cè)而被4DMOS移除的靜態(tài)區(qū)域。整體來看，建立的動(dòng)態(tài)環(huán)境地圖還是很干凈的。
算法已經(jīng)開源了，感興趣的小伙伴可以去試試，下面來看具體的論文信息。
在未知環(huán)境中導(dǎo)航的移動(dòng)機(jī)器人需要時(shí)刻感知周圍環(huán)境中的動(dòng)態(tài)物體，以便進(jìn)行建圖、定位和規(guī)劃。對(duì)當(dāng)前觀測(cè)中的運(yùn)動(dòng)物體進(jìn)行推理，同時(shí)對(duì)靜態(tài)世界的內(nèi)部模型進(jìn)行更新以確保安全是關(guān)鍵。在本文中，我們解決了在當(dāng)前3D LiDAR掃描和環(huán)境局部地圖中聯(lián)合估計(jì)運(yùn)動(dòng)物體的問題。我們使用稀疏的4D卷積從掃描和局部地圖中提取時(shí)空特征，并將所有3D點(diǎn)分割為移動(dòng)和非移動(dòng)點(diǎn)。此外，我們提出使用貝葉斯濾波器將這些預(yù)測(cè)融合在動(dòng)態(tài)環(huán)境的概率表示中。這種Volumetric Belief模型表示環(huán)境中的哪些部分可以被運(yùn)動(dòng)對(duì)象所占據(jù)。我們的實(shí)驗(yàn)表明，我們的方法優(yōu)于現(xiàn)有的運(yùn)動(dòng)目標(biāo)分割基線，甚至可以推廣到不同類型的LiDAR傳感器。我們證明了在在線建圖場(chǎng)景中，我們的Volumetric Belief融合可以提高運(yùn)動(dòng)目標(biāo)分割的精度和召回率，甚至可以檢索到先前丟失的運(yùn)動(dòng)目標(biāo)。
算法的整體目標(biāo)是識(shí)別當(dāng)前Lidar掃描和局部地圖中的動(dòng)態(tài)物體，并融合生成一個(gè)概率 Volumetric Belief圖。
Lidar點(diǎn)云過來以后，首先使用KISS-ICP（參考https://github.com/PRBonn/kiss-icp）進(jìn)行注冊(cè)，并對(duì)點(diǎn)云進(jìn)行體素化，之后再進(jìn)行分割。Scan2Map的輸入為當(dāng)前幀Lidar掃描和局部地圖（居然不需要位姿）點(diǎn)云的4D信息（位置+時(shí)間戳），使用4D卷積網(wǎng)絡(luò)MinkUNet進(jìn)行動(dòng)態(tài)目標(biāo)預(yù)測(cè)，最后將預(yù)測(cè)結(jié)果融合到Volumetric Belief圖中。其使用的分割思想有兩個(gè)：
（1）動(dòng)態(tài)物體的Lidar掃描和局部地圖有差異；
（2）動(dòng)態(tài)物體上點(diǎn)云的時(shí)間戳的變化和靜態(tài)點(diǎn)不同；
引入時(shí)間信息有啥好處呢？
由于遮擋、有限FoV等因素，動(dòng)態(tài)目標(biāo)在短時(shí)間內(nèi)很有可能是有遮擋的，如果使用固定長(zhǎng)度的滑窗就沒辦法處理！而且這里還使用了一個(gè)trick，就是對(duì)序列的時(shí)間戳進(jìn)行歸一化處理，避免訓(xùn)練時(shí)對(duì)序列長(zhǎng)度過擬合！
那為啥還要輸入局部地圖信息，而不僅僅是當(dāng)前的Lidar掃描呢？
這里主要是考慮到分割的假陰性和假陽(yáng)性問題。如果之前幀沒有成功識(shí)別動(dòng)態(tài)物體，那么還可以通過局部地圖來回溯錯(cuò)誤。
最后Volumetric Belief就是一個(gè)將多個(gè)獨(dú)立預(yù)測(cè)隨時(shí)間進(jìn)行融合的過程。需要特別注意的是，這個(gè)Volumetric Belief存儲(chǔ)的并不是每個(gè)點(diǎn)的預(yù)測(cè)，而是環(huán)境中哪部分有更高的概率包含動(dòng)態(tài)對(duì)象。也就是說，不僅僅是要識(shí)別當(dāng)前點(diǎn)是否為動(dòng)態(tài)對(duì)象，還要確定地圖的哪一部分被動(dòng)態(tài)對(duì)象經(jīng)過了（Dynamic Occupancy）。舉個(gè)例子，就是如果一個(gè)點(diǎn)落入了動(dòng)態(tài)體素中，那么就假設(shè)這個(gè)點(diǎn)也屬于動(dòng)態(tài)物體，如果一個(gè)體素被靜態(tài)點(diǎn)占據(jù)，那么也就不再期望在這個(gè)體素中觀察到動(dòng)態(tài)物體。Volumetric Belief建立完成以后，也就可以根據(jù)概率查詢其中哪個(gè)點(diǎn)是動(dòng)態(tài)點(diǎn)。
作者所做的實(shí)驗(yàn)，其實(shí)是圍繞四個(gè)點(diǎn)來進(jìn)行：
（1） 基于過去觀測(cè)的局部地圖，將輸入的LiDAR掃描精確地分割成動(dòng)態(tài)和非動(dòng)態(tài)的物體；
（2） 在實(shí)現(xiàn)最新性能的同時(shí)，很好地推廣到新的環(huán)境和傳感器設(shè)置；
（3） 通過將多個(gè)預(yù)測(cè)融合到Volumetric Belief中，提高M(jìn)OS的精度和召回率；
（4） 通過Volumetric Belief從錯(cuò)誤的預(yù)測(cè)中恢復(fù)到在線建圖。
就數(shù)據(jù)集來說，作者除了在Semantic KITTI和Semantic KITTI MOS（參考https://codalab.lisn.upsaclay.fr/competitions/7088）這兩個(gè)動(dòng)態(tài)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，還標(biāo)注了KITTI Tracking、Apollo Columbia Park MapData、nuScenes這三個(gè)數(shù)據(jù)集中的子序列。評(píng)估指標(biāo)就是分割任務(wù)常用的IoU。
先看一下在Semantic KITTI和Semantic KITTI MOS上的運(yùn)動(dòng)物體分割結(jié)果，分別對(duì)比了只是用當(dāng)前幀（Scan）以及帶有10幀的局部地圖（Volumetric Belief）。驗(yàn)證集效果很好，但是測(cè)試集提升其實(shí)不太明顯。效果比4DMOS好也就證明了使用時(shí)間信息對(duì)MOS是有利的。這里L(fēng)MNet就是陳博之前的工作，RVMOS性能好是因?yàn)槭褂昧祟~外的標(biāo)簽訓(xùn)練。
泛化性實(shí)驗(yàn)很有價(jià)值，主要還是因?yàn)?strong>MOS是有監(jiān)督任務(wù)，并且標(biāo)注成本極高（也推薦一個(gè)半監(jiān)督點(diǎn)云分割框架https://ldkong.com/LaserMix）。LMNet和MotionSeg3D性能很差，是因?yàn)閷?duì)Lidar安裝位置和點(diǎn)云強(qiáng)度過擬合了。而4DMOS和作者的方法只是用時(shí)間信息，因此可以適應(yīng)新的Lidar內(nèi)參標(biāo)定。這里也推薦「3D視覺工坊」新課程《三維點(diǎn)云處理：算法與實(shí)戰(zhàn)匯總》。
最后一個(gè)實(shí)驗(yàn)證明的是Volumetric Belief的具體設(shè)置如何提升IoU、召回和精度。表中的No Delay代表局部地圖的點(diǎn)為動(dòng)態(tài)點(diǎn)（主要還是做一個(gè)運(yùn)行時(shí)間的平衡）。結(jié)果表明，Volumetric Belief可以在先驗(yàn)地圖中排除假陽(yáng)性，雖然有時(shí)精度和召回略低，但是IoU提升很明顯。
跟動(dòng)態(tài)視覺SLAM不同，動(dòng)態(tài)雷達(dá)SLAM還是有很多可研究的點(diǎn)，但主要思想還是利用動(dòng)態(tài)物體上scan和scan、scan和map之間的矛盾?？梢灾苯永眠@種矛盾做幾何一致性判據(jù)，也可以輸入到網(wǎng)絡(luò)里進(jìn)行訓(xùn)練。從這個(gè)角度出發(fā)，讀者也可以構(gòu)思新的判別方式，設(shè)計(jì)自己的動(dòng)態(tài)點(diǎn)云檢測(cè)算法。
IROS的文章都很精簡(jiǎn)，很多信息沒辦法從論文中獲取，還是得死磕代碼來解決問題。所以對(duì)論文細(xì)節(jié)感興趣的小伙伴不妨閱讀一下代碼。
目前工坊已經(jīng)建立了3D視覺方向多個(gè)社群，包括SLAM、工業(yè)3D視覺、自動(dòng)駕駛方向，細(xì)分群包括：[工業(yè)方向]三維點(diǎn)云、結(jié)構(gòu)光、機(jī)械臂、缺陷檢測(cè)、三維測(cè)量、TOF、相機(jī)標(biāo)定、綜合群；[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機(jī)器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；[自動(dòng)駕駛方向]深度估計(jì)、Transformer、毫米波|激光雷達(dá)|視覺攝像頭傳感器討論群、多傳感器標(biāo)定、自動(dòng)駕駛綜合群等。[三維重建方向]NeRF、colmap、OpenMVS等。除了這些，還有求職、硬件選型、視覺產(chǎn)品落地等交流群。大家可以添加小助理微信: dddvisiona，備注：加群+方向+學(xué)校|公司, 小助理會(huì)拉你入群。
