原文鏈接：https://mp.weixin.qq.com/s/4k-INUiiddmlaQwntiEmeQ

大家好，和大家分享一個(gè)最新的開源工作: RaFlow, 主要用4D車載雷達(dá)點(diǎn)云的場(chǎng)景流估計(jì)。該工作由愛丁堡大學(xué)MAPS Lab的盧曉軒團(tuán)隊(duì) (Fangqiang Ding, Chris Xiaoxuan Lu) 完成，已被RA-L以及IROS‘22錄用。

作者單位：愛丁堡大學(xué)，上汽集團(tuán)?論文：https://arxiv.org/abs/2203.01137主頁(yè)：https://toytiny.github.io/projects/raflow/raflow.html代碼：https://github.com/Toytiny/RaFlow講解：https://youtu.be/5_iJCZytrxo

Demo 請(qǐng)欣賞：

計(jì)算機(jī)視覺life

，贊 ? ? ? ? ? ? 30

一. 內(nèi)容概述

場(chǎng)景流 (Scene Flow) 使自動(dòng)駕駛汽車能夠推理多個(gè)獨(dú)立物體的任意運(yùn)動(dòng)，是實(shí)現(xiàn)長(zhǎng)期移動(dòng)自動(dòng)化的關(guān)鍵。雖然目前在激光雷達(dá) (LiDAR) 場(chǎng)景流估計(jì)上有了很多的進(jìn)展，但如何估計(jì)4D雷達(dá)（radar）場(chǎng)景流依舊是未知的。作為一種新型的傳感器，憑借其對(duì)抗惡劣天氣以及光照條件的魯棒性，4D radar 受到了越來越多的關(guān)注。但和 LiDAR 相比，radar 數(shù)據(jù)十分地稀疏，嘈雜，而且有著較低的分辨率。另外，標(biāo)注真實(shí)場(chǎng)景下的場(chǎng)景流非常的昂貴和耗時(shí)，這些因素共同作用使得 radar 場(chǎng)景流估計(jì)極具挑戰(zhàn)性。為了解決諸多的挑戰(zhàn)，本工作提出了通過自監(jiān)督學(xué)習(xí)在 4D radar 點(diǎn)云上估計(jì)場(chǎng)景流。針對(duì)棘手的 radar 點(diǎn)云數(shù)據(jù)，我們?cè)O(shè)計(jì)了一個(gè)專門的場(chǎng)景流估計(jì)模型，并提出了三個(gè)新的損失函數(shù)來實(shí)現(xiàn)端到端的訓(xùn)練。通過真實(shí)場(chǎng)景下的實(shí)驗(yàn)結(jié)果，我們驗(yàn)證所提出的方法能夠魯棒地在室外道路上估計(jì) radar 場(chǎng)景流，而且可以有效地支持下游的運(yùn)動(dòng)分割 (Motion Segmentation) 任務(wù)。

二. 研究背景

推理道路上動(dòng)態(tài)目標(biāo)的運(yùn)動(dòng)，對(duì)于自動(dòng)駕駛汽車的安全規(guī)劃和導(dǎo)航是至關(guān)重要的。其中，一種重要運(yùn)動(dòng)表征就是場(chǎng)景流，一個(gè)能夠描述3D場(chǎng)景連續(xù)兩幀之間運(yùn)動(dòng)場(chǎng)的向量集合。作為光流在3D空間的延伸，場(chǎng)景流天生就和自動(dòng)駕駛汽車上不同3D傳感器 （例如 LiDAR）所生成的點(diǎn)云數(shù)據(jù)相適配。場(chǎng)景流能夠超越目標(biāo)層面的運(yùn)動(dòng)描述，在點(diǎn)的層面描述運(yùn)動(dòng)場(chǎng)，提供更高細(xì)粒度的場(chǎng)景運(yùn)動(dòng)表達(dá)。一旦場(chǎng)景流被精確估計(jì)了，它可以支持一系列的下游任務(wù)，例如動(dòng)態(tài)目標(biāo)分割，點(diǎn)云疊加，以及多目標(biāo)跟蹤。

通過監(jiān)督或自監(jiān)督學(xué)習(xí)，研究者們最近在場(chǎng)景流估計(jì)領(lǐng)域取得了不錯(cuò)的進(jìn)展。但是這些方法主要針對(duì)于 LiDAR 點(diǎn)云，并不能夠直接地遷移到 radar 數(shù)據(jù)上來。作為一種新型的傳感器，4D毫米波 radar 與 LiDAR 相比有著一系列的優(yōu)勢(shì)，引起了汽車工業(yè)界的廣泛關(guān)注。首先，目前先進(jìn)的radar傳感器提供了更豐富的場(chǎng)景信息觀測(cè)。它不僅能夠測(cè)量點(diǎn)的3D位置而且能夠測(cè)量點(diǎn)的相對(duì)徑向速度 (RRV)。額外的相對(duì)速度信息測(cè)量能夠自然地幫助場(chǎng)景流估計(jì)任務(wù)。另外，由于發(fā)射毫米波，這些radar傳感器能夠應(yīng)對(duì)各種惡劣天氣情況，比如霧天，雨天，沙塵，以及任何不良的光照狀況，例如黑暗，昏暗以及強(qiáng)烈光照等等。最后，radar 傳感器與 LiDAR 相比有著更輕的重量（單片的尺寸）以及更低的價(jià)格，因此能夠被用在成本或者載重有限的移動(dòng)平臺(tái)上，例如中低端的汽車或者快遞運(yùn)送機(jī)器人。

圖1 LiDAR (藍(lán)色) 和 radar (品紅色) 點(diǎn)云的可視化對(duì)比圖。黑色的框表示 LiDAR 目標(biāo)檢測(cè)的輸出。如圖所示，radar 點(diǎn)云和 LiDAR 點(diǎn)云相比特別地稀疏，只有很少一部分點(diǎn)重合。另外，radar 點(diǎn)云有很多噪聲點(diǎn)，明顯的噪聲點(diǎn)團(tuán)被橙色圈所標(biāo)出。由于比較低的分辨率，很多原本應(yīng)該在目標(biāo)框的點(diǎn)落在了外面。

盡管4D毫米波 radar 擁有上述所說的各種優(yōu)點(diǎn)，但在 radar 點(diǎn)云上估計(jì)場(chǎng)景流依然不是一個(gè)簡(jiǎn)單的任務(wù)。直到如今，還沒有工作提出解決這一問題。相比于 LiDAR 輸出的點(diǎn)云，radar 點(diǎn)云非常地稀疏，嘈雜以及有著較低的分辨率 (如圖1)。具體來說，一幀 4D radar 點(diǎn)云一般只有二三百個(gè)點(diǎn) （少于普通 LiDAR 點(diǎn)云的1%）。這樣稀疏的特點(diǎn)阻礙了魯棒的局部特征提取。另外，由于多路反射效應(yīng)以及鏡面反射，radar反射經(jīng)常被噪聲所干擾。結(jié)果，噪聲點(diǎn)占據(jù)了不可忽略的部分 （在我們的工作中最多20%）。它們影響了場(chǎng)景流估計(jì)中的點(diǎn)與點(diǎn)的關(guān)聯(lián)。與此同時(shí)，由于成本的原因，毫米波 radar 只有有限的接收和發(fā)送天線，限制了它的距離和角測(cè)量分辨率。比如，我們所使用的 radar 的角分辨率比 LiDAR 的差了一個(gè)量級(jí)。除了以上的挑戰(zhàn)，在本篇工作提交時(shí)還沒有公開的 4D radar 數(shù)據(jù)集，更不用說標(biāo)注場(chǎng)景流本身就是一個(gè)昂貴的步驟。因此，許多基于監(jiān)督學(xué)習(xí)的場(chǎng)景流方法難以使用在我們的工作上。。

三. 主要貢獻(xiàn)

●本文是第一個(gè)研究 4D radar 場(chǎng)景流估計(jì)的工作。我們提出一個(gè)面向 4D radar 場(chǎng)景流估計(jì)的自監(jiān)督學(xué)習(xí)框架， 不需要任何標(biāo)注就可以進(jìn)行模型訓(xùn)練?！裎覀兲岢龅?RaFlow 方法能夠應(yīng)對(duì)稀疏，嘈雜，低分辨率的 radar 點(diǎn)云, 并可以有效的利用 radar 獨(dú)特的 RRV 測(cè)量來大大提升預(yù)測(cè)的魯棒性?！裎覀凂{駛采集車在真實(shí)道路場(chǎng)景中收集了一個(gè)多模態(tài)數(shù)據(jù)集用于系統(tǒng)性的評(píng)估。實(shí)驗(yàn)結(jié)果證明了 RaFlow 要優(yōu)于 SOTA 的自監(jiān)督點(diǎn)云場(chǎng)景流方法。我們的代碼開源在了https://github.com/Toytiny/RaFlow。

四. 方法介紹

1.概述

對(duì)于 4D radar 場(chǎng)景流估計(jì)任務(wù)，我們的輸入是連續(xù)兩幀 radar 點(diǎn)云，其中每個(gè)點(diǎn)的信息包括它在 radar 坐標(biāo)系下的3D位置，相對(duì)徑向速度 （RRV）測(cè)量以及 RCS 和 Power 測(cè)量， 如圖2所示。模型輸出的是第一幀點(diǎn)云中每個(gè)點(diǎn)的場(chǎng)景流向量，表示該點(diǎn)在兩幀間的坐標(biāo)移動(dòng)。在真實(shí)世界的 radar 數(shù)據(jù)中，兩幀點(diǎn)云之間不存在著絕對(duì)的雙向映射，也就是說第一幀點(diǎn)云中點(diǎn)在第二幀中的相應(yīng)位置不需要和第二幀點(diǎn)云中的任何點(diǎn)重合。

圖2 radar 點(diǎn)云的6維測(cè)量可視化，包括3D的位置測(cè)量信息，RRV， RCS以及Power測(cè)量。

我們所提方法RaFlow的模型結(jié)構(gòu)如圖3所示。我們的模型包括兩個(gè)模塊，包括ROFE模塊以及SFR模塊。首先，兩幀連續(xù)點(diǎn)云被輸入到Radar-Oriented Flow Estimation （ROFE）模塊來估計(jì)一個(gè)粗略的場(chǎng)景流。然后，基于該輸出，Static Flow Refinement (SFR) 模塊估計(jì)一個(gè)靜態(tài)分割mask以及一個(gè)全局的剛性變換。最后我們用該變換來refine所分辨出的靜態(tài)點(diǎn)的場(chǎng)景流輸出。

圖3 RaFlow 場(chǎng)景流估計(jì)模型框架。

2.ROFE 模塊

如圖3所示，我們的ROFE模塊包括三個(gè)組成部分，multi-scale encoder, cost volume layer 以及 flow decoder。Multi-scale encoder 用于在每一個(gè)輸入的點(diǎn)云上提取局部-全局特征。首先，我們使用多個(gè)的 點(diǎn)云卷積 (set conv) 層來提取多尺度的局部特征。該方法可以有效應(yīng)對(duì) radar 點(diǎn)云的稀疏性以及不均勻的點(diǎn)的密度。然后，我們?cè)谕ǖ婪较蚴褂米畲蟪鼗?(max-pooling）操作來得到全局特征向量。最后我們把全局特征向量連接到每個(gè)點(diǎn)的局部特征上，并輸出每個(gè)點(diǎn)云的局部-全局特征。

Cost Volume Layer 用于在關(guān)聯(lián)兩幀點(diǎn)云的特征。相比于點(diǎn)對(duì)點(diǎn)的關(guān)聯(lián)， cost volume layer可以塊對(duì)塊地 （patch-to-patch）進(jìn)行信息交叉?zhèn)鬟f，從而使得特征關(guān)聯(lián)更加的魯棒。此方法能夠有效解決 rada r點(diǎn)云的低分辨率以及非雙向的映射問題。

Flow Decoder 利用以上的局部-全局以及關(guān)聯(lián)特征來估計(jì)場(chǎng)景流。它主要由多層感知機(jī)組成，最后輸出一個(gè)粗略的三維場(chǎng)景流。

3.RRV 測(cè)量與場(chǎng)景流

作為 4D 雷達(dá)一個(gè)重要測(cè)量，RRV可由多普勒效應(yīng) (Doppler effect) 所得到。它描述目標(biāo)在徑向方向上相對(duì)傳感器的速度。一般地，該測(cè)量主要被用于額外的輸入特征來編碼點(diǎn)的運(yùn)動(dòng)信息。在這里，我們建立了RRV測(cè)量與場(chǎng)景流之間的關(guān)系，如圖4所示。RRV測(cè)量乘以時(shí)間長(zhǎng)度可以近似看作是 ground truth 場(chǎng)景流在徑向上的投影。利用RRV與場(chǎng)景流的關(guān)系，我們?cè)赟FR模塊中提出了一個(gè)靜態(tài)分割mask的算法，以及建立了一個(gè)相關(guān)的徑向運(yùn)動(dòng)損失函數(shù)。

圖4 radar 場(chǎng)景流和RRV測(cè)量的說明。藍(lán)色和品紅色點(diǎn)代表數(shù)量的兩幀點(diǎn)云，綠色的點(diǎn)代表通過ground truth場(chǎng)景流warp到第二幀的點(diǎn)。黃色表示ground truth場(chǎng)景流，紫色代表RRV測(cè)量乘以時(shí)間長(zhǎng)度。

4.SFR模塊

考慮到 radar 點(diǎn)云的稀疏性和其中不可忽略的噪聲， 從ROFE模塊中輸出的場(chǎng)景流是粗略的。在本模塊中我們r(jià)efine該粗略場(chǎng)景流來得到最終的輸出。首先我們利用RRV和場(chǎng)景流的關(guān)系，提出了一個(gè)靜態(tài)分割mask生成算法，如下所示。

然后我們利用輸出的mask將靜態(tài)點(diǎn)分割出來，并用場(chǎng)景流生成靜態(tài)點(diǎn)的correpondences，最后將其輸入到Kasch算法中輸出一個(gè)描述ego-motion的剛性變換。考慮到靜態(tài)點(diǎn)的場(chǎng)景流都是由自車的ego-motion所產(chǎn)生的，我們用該變換來refine所分辨出的靜態(tài)點(diǎn)的場(chǎng)景流輸出。

5.損失函數(shù)

我們?cè)O(shè)計(jì)了三個(gè)針對(duì) 4D radar 場(chǎng)景流自監(jiān)督學(xué)習(xí)的損失函數(shù)來在約束模型的訓(xùn)練。

第一個(gè)損失函數(shù)是徑向運(yùn)動(dòng) (radial displacement) 損失函數(shù)?；趫D4中RRV與場(chǎng)景流的關(guān)系，我們利用RRV測(cè)量來約束最后的場(chǎng)景流輸出。

第二個(gè)損失函數(shù)是 Soft chamfer 損失函數(shù)。它通過利用兩幀點(diǎn)云互相之間的最近鄰點(diǎn)進(jìn)行chamferpipei來約束場(chǎng)景流估計(jì)。相比傳統(tǒng)的chamfer損失函數(shù)，我們的soft函數(shù)能夠有效地減輕 radar 噪聲點(diǎn)對(duì)于chanfer匹配的影響，并能夠容忍由 radar 低分辨率帶來的小的匹配誤差。

第三個(gè)損失函數(shù)是空間連續(xù)性 (spatial smoothness) 損失函數(shù)。它利用每個(gè)點(diǎn)周圍最近的N個(gè)點(diǎn)的輸出來約束每個(gè)點(diǎn)的場(chǎng)景流估計(jì)?？紤]到 radar 的稀疏性，我們還引入了一個(gè)與歐式距離相關(guān)的權(quán)重函數(shù)來減輕遠(yuǎn)處點(diǎn)的干擾。

五. 實(shí)驗(yàn)結(jié)果

我們?cè)谧圆杉亩嗄B(tài)數(shù)據(jù)集對(duì)我們的RaFlow方法進(jìn)行評(píng)估。作為自監(jiān)督的方法，我們不需要任何數(shù)據(jù)標(biāo)注就可以進(jìn)行訓(xùn)練。首先，我們先與SOTA的自監(jiān)督場(chǎng)景流方法進(jìn)行比較，結(jié)果如下表所示。

相比于SOTA的方法，RaFlow在各個(gè)指標(biāo)上取得了明顯的提升。這驗(yàn)證了我們所提出的模型框架以及損失函數(shù)能夠有效應(yīng)對(duì)稀疏，嘈雜以及低分辨率的 radar 點(diǎn)云。為了更好的展示我們的場(chǎng)景流估計(jì)效果，我們?cè)趫D5展示了定性的結(jié)果。除了場(chǎng)景流估計(jì)，RaFlow還能夠輸出一個(gè)副產(chǎn)物，即運(yùn)動(dòng)分割mask。在圖6中我們展示在運(yùn)動(dòng)分割任務(wù)上的定性結(jié)果。

除了在自采集的數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)外，我們還在最近開源的View-of-Delft數(shù)據(jù)上測(cè)試了RaFlow，實(shí)驗(yàn)結(jié)果demo在推文開始處已展示。

圖5 場(chǎng)景流估計(jì)可視化。左列為對(duì)應(yīng)的相機(jī)圖像，中間列為輸入的兩幀點(diǎn)云，右列為輸出結(jié)果。其中藍(lán)色點(diǎn)表示輸入的第一幀點(diǎn)云，品紅色表示第二幀，綠色表示用估計(jì)的場(chǎng)景流warp后的第一幀點(diǎn)云。

圖6 運(yùn)動(dòng)分割結(jié)果可視化。左列是我們的輸出，右列是ground truth。運(yùn)動(dòng)和靜態(tài)點(diǎn)分別被染為粉色和青色。圖中兩個(gè)場(chǎng)景中自車均在運(yùn)動(dòng)。

獨(dú)家重磅課程官網(wǎng)：cvlife.net

全國(guó)最大的機(jī)器人SLAM開發(fā)者社區(qū)

技術(shù)交流群