0. 筆者個(gè)人體會(huì)

眾所周知，ORB-SLAM3具有單目、雙目、RGB-D以及相應(yīng)的慣性模式，其內(nèi)部的數(shù)據(jù)關(guān)聯(lián)極大的提高了定位建圖精度。但在自動(dòng)駕駛環(huán)境中，ORB-SLAM3卻出現(xiàn)了不同程度的問題。對(duì)于單目模式來(lái)說(shuō)，由于尺度模糊性，ORB-SLAM3很難建立真實(shí)尺度大小。如果想要利用RGB-D相機(jī)來(lái)采集深度圖的話，由于室外環(huán)境的深度值都很大，導(dǎo)致采集的精度非常差。對(duì)雙目模式來(lái)說(shuō)，由于所估計(jì)的深度值遠(yuǎn)大于基線長(zhǎng)度，因此深度值估計(jì)的也非常不準(zhǔn)。

但是用雷達(dá)點(diǎn)云來(lái)恢復(fù)真實(shí)尺度卻是一個(gè)不錯(cuò)的思路！而且雷達(dá)相較于相機(jī)來(lái)說(shuō)，對(duì)于惡劣天氣和光線變化情況非常魯棒。

因此，慕尼黑工業(yè)大學(xué)就針對(duì)ORB-SLAM3提出了RGB-L模式，即利用激光雷達(dá)點(diǎn)云生成稠密深度圖，輔助ORB-SLAM3完成初始化并恢復(fù)絕對(duì)尺度。

本文將帶領(lǐng)讀者一起探討“RGB-L: Enhancing Indirect Visual SLAM using LiDAR-based Dense Depth Maps”這篇文章，這篇文章目前還只是一個(gè)初稿，各種數(shù)學(xué)推導(dǎo)和算法細(xì)節(jié)都沒有，網(wǎng)絡(luò)怎么訓(xùn)練的也沒說(shuō)，評(píng)估也只是在KITTI上進(jìn)行，但是整體的思想是很巧妙的！而且重要的是，算法已經(jīng)開源！

來(lái)源：公眾號(hào)「3D視覺工坊」

1. 論文信息

標(biāo)題：RGB-L: Enhancing Indirect Visual SLAM using LiDAR-based Dense Depth Maps

作者：Florian Sauerbeck, Benjamin Obermeier, Martin Rudolph, Johannes Betz

機(jī)構(gòu)：慕尼黑工業(yè)大學(xué)

原文鏈接：https://arxiv.org/abs/2212.02085

代碼鏈接：https://github.com/TUMFTM/ORB_SLAM3_RGBL

2. 摘要

在本文中，我們提出了一種基于RGB-D模式在現(xiàn)有ORB-SLAM3中集成光柵3D激光雷達(dá)深度測(cè)量的新方法。我們提出并比較了兩種深度圖生成方法：傳統(tǒng)的計(jì)算機(jī)視覺方法，即逆膨脹操作，以及基于監(jiān)督深度學(xué)習(xí)的方法。我們通過增加一個(gè)直接讀取激光雷達(dá)點(diǎn)云的所謂的RGB-L (LiDAR)模式，將前者直接集成到ORB-SLAM3框架中。在KITTI里程計(jì)數(shù)據(jù)集上對(duì)所提出的方法進(jìn)行了評(píng)估，并將其相互之間以及與標(biāo)準(zhǔn)的ORB-SLAM3雙目方法進(jìn)行了比較。我們證明，根據(jù)環(huán)境的不同，可以實(shí)現(xiàn)軌跡精度和魯棒性方面的優(yōu)勢(shì)。此外，我們證明了與雙目模式相比，ORB-SLAM3算法的運(yùn)行時(shí)間可以減少40%以上。

3. 算法解讀

這項(xiàng)工作的總體方法如圖1所示，整體的框架原理還是非常簡(jiǎn)單的。ORB SLAM3的RGB-D模式?jīng)]有動(dòng)，直接原樣拿過來(lái)了，主要的工作量在于基于激光雷達(dá)進(jìn)行深度圖生成。具體來(lái)說(shuō)作者設(shè)計(jì)了兩種模式，首先是基于深度學(xué)習(xí)方法離線的提取深度圖（作者使用的是ENet網(wǎng)絡(luò)），然后將生成和保存的深度圖直接傳送到ORB SLAM3的RGB-D接口，如圖1a所示。第二就是作者主要的創(chuàng)新點(diǎn)了，即RGB-L模式。具體思路是，利用傳統(tǒng)的CV逆膨脹操作對(duì)LiDAR數(shù)據(jù)進(jìn)行在線上采樣，并將結(jié)果反饋給SLAM模塊，如圖1b所示。

圖1 在標(biāo)準(zhǔn)RGB-D模式和新的RGB-L模式下使用基于激光雷達(dá)的稠密深度圖的ORB-SLAM3

具體來(lái)說(shuō)，RGB-L SLAM這項(xiàng)工作的創(chuàng)新點(diǎn)在于：

(1) 提出了一種將激光雷達(dá)深度測(cè)量整合到現(xiàn)有ORB-SLAM3算法中的方法。

(2) 提出并比較了兩種從激光雷達(dá)點(diǎn)云生成稠密深度圖的方法。

(3) 提出了一個(gè)自主車輛定位的各種實(shí)驗(yàn)，證明了我們的方法的準(zhǔn)確性和魯棒性的提高。

(4) 比較了運(yùn)行時(shí)間，發(fā)現(xiàn)與雙目模式相比，運(yùn)行時(shí)間減少了40 %以上。（這個(gè)比較重要）整篇論文的重點(diǎn)在于深度圖生成

與相機(jī)相比，激光雷達(dá)輸出稀疏的數(shù)據(jù)。因此，很難獲得將視覺特征轉(zhuǎn)換到3D空間所需的像素級(jí)深度信息。圖2展示了具體的對(duì)比結(jié)果，提取的激光雷達(dá)點(diǎn)云僅占圖像中的一小部分。

圖2 稀疏激光雷達(dá)點(diǎn)云投影到相機(jī)圖像中

作者提出了兩種不同的深度圖生成方法，一種是常規(guī)的CV方法（逆膨脹）和基于深度學(xué)習(xí)的方法。作者在實(shí)踐中發(fā)現(xiàn)，使用5x5菱形核的逆膨脹在傳統(tǒng)的CV方法中表現(xiàn)出最好的結(jié)果。其實(shí)圖像膨脹主要是用來(lái)增加前景物體厚度的大小，這里作者利用它來(lái)增加轉(zhuǎn)換到圖像幀的LiDAR點(diǎn)云的密度。

來(lái)自KITTI Odometry數(shù)據(jù)集的未處理深度圖在投影到相機(jī)幀后平均稀疏度約為96%。通過反向膨脹，可以將稀疏度降低到65%左右。生成的深度圖的MAE為1.03m，RMSE為4.41m。注意，由于單個(gè)深度測(cè)量之間的深度誤差增加，輸出更稠密的方法往往有更差的跟蹤結(jié)果。

而借助深度學(xué)習(xí)方法，可以實(shí)現(xiàn)100%的密度，也就是說(shuō)每個(gè)像素都有對(duì)應(yīng)的深度值。但對(duì)于沒有雷達(dá)數(shù)據(jù)的區(qū)域，深度值應(yīng)該如何獲取呢。對(duì)于基于深度學(xué)習(xí)的LiDAR深度補(bǔ)全，作者使用了基于ENet的CNN。

想必小伙伴們一定很關(guān)心網(wǎng)絡(luò)的實(shí)時(shí)性。在作者的配置中，網(wǎng)絡(luò)的平均運(yùn)行時(shí)間為16.32 ms，其中9.66 ms為GPU上的實(shí)際計(jì)算時(shí)間。每個(gè)像素的MAE為0.39m，RMSE為1.17m。典型的神經(jīng)網(wǎng)絡(luò)高分辨率深度圖和對(duì)應(yīng)的相機(jī)圖像如圖3所示。

圖3 由基于ENet的神經(jīng)網(wǎng)絡(luò)生成的典型相機(jī)圖像和相應(yīng)的深度圖

4. 實(shí)驗(yàn)結(jié)果

整體實(shí)驗(yàn)是在KITTI Odometry數(shù)據(jù)集上進(jìn)行的，和ORB-SLAM3雙目模式來(lái)比較，重點(diǎn)是對(duì)比準(zhǔn)確性和運(yùn)行時(shí)間方面。

4.1 誤差比較

表1和表2所示是十個(gè)KITTI里程計(jì)序列中提到的SLAM模式的平移和旋轉(zhuǎn)誤差。結(jié)果顯示，雙目聲和RGB-L表現(xiàn)出相當(dāng)?shù)男阅埽p目模式略占優(yōu)勢(shì)?？梢灾庇^地看出，無(wú)論是平移誤差還是旋轉(zhuǎn)誤差，深度學(xué)習(xí)方法的精度都明顯較差，這可能是因?yàn)楹茈y一般地定義深度區(qū)域。為了盡量減少這種負(fù)面影響，作者忽略了深度圖的上30%。神經(jīng)網(wǎng)絡(luò)的另一個(gè)缺點(diǎn)是KITTI地面真值僅使用高達(dá)80m的值。因此，即使距離明顯較遠(yuǎn)的區(qū)域也會(huì)出現(xiàn)80m左右的深度值。RGB-L模式只使用與激光雷達(dá)實(shí)際深度測(cè)量值接近的深度值，泛化性更好。

表1 平均平移誤差百分比。最佳結(jié)果以綠色突出顯示，次佳結(jié)果以藍(lán)色突出顯示

表2 每100米的平均旋轉(zhuǎn)誤差。最佳結(jié)果以綠色突出顯示，次佳結(jié)果以藍(lán)色突出顯示

通過對(duì)不同序列的算法準(zhǔn)確性的進(jìn)一步研究，很明顯，RGB-L模式在低紋理環(huán)境中表現(xiàn)得特別好，如圖4所示。

圖4 低紋理環(huán)境的典型圖像。RGB-L此時(shí)勝過ORB3雙目模式精度。
4.2 運(yùn)行時(shí)間評(píng)估

由于SLAM是一個(gè)高度實(shí)時(shí)的系統(tǒng)，尤其是對(duì)于自動(dòng)駕駛應(yīng)用。因此作者重點(diǎn)分析了運(yùn)行時(shí)間的對(duì)比，這也是文章的主要效果。圖5比較了三種模式的總運(yùn)行時(shí)間，結(jié)果顯示使用來(lái)自激光雷達(dá)的深度圖的兩種模式都顯示出明顯較小的差異。RGB-L運(yùn)行時(shí)間的平均值為22.8毫秒，比雙目模式的平均值41.2毫秒少40%以上。

圖5 不同方法的運(yùn)行時(shí)間對(duì)比運(yùn)行時(shí)的各階段耗時(shí)如表3所示。

需要注意的是，對(duì)于表1中的標(biāo)準(zhǔn)RGB-D模式，離線和在線計(jì)算的部分計(jì)算時(shí)間是加在一起。傳統(tǒng)的CV算法計(jì)算時(shí)間非常低，因此相對(duì)于雙目模式可以顯著加速ORB-SLAM3算法。由于較小的平均計(jì)算時(shí)間和較小的方差可以使所提出的方法特別適用于硬件資源有限的嵌入式應(yīng)用，因此整個(gè)算法可以在CPU上運(yùn)行，不需要大規(guī)模GPU。表3 雙目模式和RGB-L模式的響應(yīng)時(shí)間。

5. 筆者結(jié)論

近期，慕尼黑工業(yè)大學(xué)提出并開源了論文“RGB-L: Enhancing Indirect Visual SLAM using LiDAR-based Dense Depth Maps”。在這篇文章中，作者提出了一種將激光雷達(dá)深度測(cè)量融合到ORB-SLAM3的方法。作者比較了兩種生成逐像素深度圖的方法。具體來(lái)說(shuō)，為了對(duì)激光雷達(dá)點(diǎn)云進(jìn)行上采樣，使用了具有5×5像素大小的菱形核的逆膨脹和基于ENet的監(jiān)督深度學(xué)習(xí)方法。注意，基于深度學(xué)習(xí)的深度圖必須在運(yùn)行SLAM之前離線創(chuàng)建，但膨脹作為RGB-L模式可以直接包含在ORB SLAM3中。結(jié)果顯示，使用RGB-L模式能夠減少運(yùn)行時(shí)間，與雙目模式相比減少了40%以上，同時(shí)運(yùn)行時(shí)間差異顯著降低，這種方法更加適合低功耗和低延遲應(yīng)用。同時(shí)，由于RGB-L模式在低紋理環(huán)境中表現(xiàn)出很高的準(zhǔn)確性，因此可以應(yīng)用于惡劣天氣場(chǎng)景或被污染的相機(jī)圖像中。

但需要注意的是，這篇文章只是一個(gè)初稿，應(yīng)該是上傳到arXiv來(lái)占坑的。筆者認(rèn)為它們未來(lái)會(huì)在其他自動(dòng)駕駛數(shù)據(jù)集上進(jìn)行進(jìn)一步的評(píng)估。同時(shí)，現(xiàn)有方法對(duì)于雷達(dá)數(shù)據(jù)利用率太低了，加入這么一個(gè)昂貴的傳感器就為了獲得深度圖顯然不劃算，如果能進(jìn)一步的耦合雷達(dá)數(shù)據(jù)應(yīng)該會(huì)取得更好的效果。

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

3D視覺工坊精品課程官網(wǎng)：3dcver.com

1.面向自動(dòng)駕駛領(lǐng)域的3D點(diǎn)云目標(biāo)檢測(cè)全棧學(xué)習(xí)路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)

2.徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)

3.國(guó)內(nèi)首個(gè)面向工業(yè)級(jí)實(shí)戰(zhàn)的點(diǎn)云處理課程

4.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解

5.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦

6.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化

7.徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法原理、代碼和實(shí)戰(zhàn)(cartographer+LOAM +LIO-SAM)

8.從零搭建一套結(jié)構(gòu)光3D重建系統(tǒng)[理論+源碼+實(shí)踐]

9.單目深度估計(jì)方法：算法梳理與代碼實(shí)現(xiàn)

10.自動(dòng)駕駛中的深度學(xué)習(xí)模型部署實(shí)戰(zhàn)

11.相機(jī)模型與標(biāo)定(單目+雙目+魚眼）

12.重磅！四旋翼飛行器：算法與實(shí)戰(zhàn)

13.ROS2從入門到精通：理論與實(shí)戰(zhàn)

14.國(guó)內(nèi)首個(gè)3D缺陷檢測(cè)教程：理論、源碼與實(shí)戰(zhàn)

15.基于Open3D的點(diǎn)云處理入門與實(shí)戰(zhàn)教程

16.透徹理解視覺ORB-SLAM3：理論基礎(chǔ)+代碼解析+算法改進(jìn)

17.不斷更新中......

重磅！粉絲學(xué)習(xí)交流群已成立

交流群主要有3D視覺、CV&深度學(xué)習(xí)、SLAM、三維重建、點(diǎn)云后處理、自動(dòng)駕駛、多傳感器融合、CV入門、三維測(cè)量、VR/AR、3D人臉識(shí)別、醫(yī)療影像、缺陷檢測(cè)、行人重識(shí)別、目標(biāo)跟蹤、視覺產(chǎn)品落地、視覺競(jìng)賽、車牌識(shí)別、硬件選型、ORB-SLAM系列源碼交流、深度估計(jì)、TOF、求職交流等方向。

添加小助理微信（dddvisiona）,一定要備注：研究方向+學(xué)校/公司+昵稱，例如：”3D視覺 + 上海交大 + 靜靜“。請(qǐng)按照格式備注，可快速通過且邀請(qǐng)進(jìn)群。原創(chuàng)投稿也請(qǐng)聯(lián)系。??