Fast Direct Stereo Visual SLAM

快速的直接法的立體視覺(jué)SLAM

Jiawei Mo1、Md Jahidul islam2 和?Junaed Sattar3*

作者來(lái)自美國(guó)明尼蘇達(dá)州明尼阿波利斯市明尼蘇達(dá)雙城大學(xué)明尼蘇達(dá)機(jī)器人研究所 (MnRI) 計(jì)算機(jī)科學(xué)與工程系。電子郵件：{1moxxx066, 2islam034, 3junaed}@umn.edu

鏈接：https://arxiv.org/abs/2112.01890

期刊：RA-L2021

作者：幸運(yùn)的石頭? 文章來(lái)源：微信公眾號(hào)「3D視覺(jué)工坊」

摘要

我們提出了一種獨(dú)立于特征檢測(cè)和匹配的快速準(zhǔn)確的立體視覺(jué)同步定位和建圖（SLAM）的新方法。我們通過(guò)優(yōu)化 3D 點(diǎn)的尺度以最小化立體配置的光度誤差，將單目直接稀疏里程計(jì) (DSO) 擴(kuò)展到立體系統(tǒng)，與傳統(tǒng)立體匹配相比，這產(chǎn)生了一種計(jì)算效率高且魯棒的方法。我們進(jìn)一步將其擴(kuò)展到具有閉環(huán)的完整 SLAM 系統(tǒng)，以減少累積錯(cuò)誤。在假設(shè)相機(jī)向前運(yùn)動(dòng)的情況下，我們使用從視覺(jué)里程計(jì)獲得的 3D 點(diǎn)來(lái)模擬 LiDAR 掃描，并采用 LiDAR 描述符進(jìn)行位置識(shí)別，以促進(jìn)更有效地檢測(cè)回環(huán)。之后，我們通過(guò)最小化可能的閉環(huán)的光度誤差來(lái)估計(jì)相對(duì)位姿?？蛇x地，通過(guò)使用迭代最近點(diǎn) (ICP) 算法來(lái)實(shí)現(xiàn)對(duì)直接對(duì)齊的進(jìn)一步改進(jìn)。最后，我們優(yōu)化了一個(gè)位姿圖來(lái)提高全局的 SLAM 精度。通過(guò)避免在我們的 SLAM 系統(tǒng)中進(jìn)行特征檢測(cè)或匹配，我們確保了高計(jì)算效率和魯棒性。與最先進(jìn)的方法相比，對(duì)公共數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證證明了它的有效性。

1 引言

在過(guò)去的幾十年中，同步定位和建圖 (SLAM) 一直是機(jī)器人和計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)活躍研究問(wèn)題 [4, 29]。它通過(guò)使用機(jī)載傳感器測(cè)量來(lái)估計(jì)機(jī)器人的瞬時(shí)位置，例如 LiDAR（光檢測(cè)和測(cè)距）傳感器、相機(jī)和慣性測(cè)量單元 (IMU)。SLAM 特別適用于 GPS 接收較弱的情況，例如室內(nèi)、城市和水下環(huán)境。因此，它一直是 AR/VR [14]、自動(dòng)駕駛 [3] 和 不適用GPS的機(jī)器人應(yīng)用 [32] 的重要組成部分。在現(xiàn)有系統(tǒng)中，視覺(jué) SLAM [10] 具有重要意義，因?yàn)橄鄼C(jī)是低成本的無(wú)源傳感器，因此與聲納或激光雷達(dá)等有源傳感器相比消耗的能量更少。在戶外操作的自主移動(dòng)機(jī)器人極大地受益于相機(jī)在長(zhǎng)期部署中的低功耗。

視覺(jué) SLAM 系統(tǒng)可以分為基于特征的方法和直接方法。基于特征的方法 [18, 24] 在不同幀間檢測(cè)和匹配特征，然后通過(guò)最小化重投影誤差來(lái)估計(jì)相對(duì)相機(jī)運(yùn)動(dòng)；而直接方法 [6, 7] 通過(guò)直接最小化光度誤差來(lái)估計(jì)相機(jī)運(yùn)動(dòng)，而無(wú)需特征對(duì)應(yīng)。與基于特征的方法相比，直接方法表現(xiàn)出更高的準(zhǔn)確性和魯棒性，尤其是在紋理較差（紋理較少或重復(fù)紋理）的環(huán)境中 [9]。由于特征檢測(cè)和匹配算法的計(jì)算成本很高，稀疏直接方法也有可能運(yùn)行得更快（例如，SVO [9] ≥ 300 FPS）。另一方面，視覺(jué) SLAM 系統(tǒng)也可以分為單目系統(tǒng)和多相機(jī)系統(tǒng)。單目系統(tǒng) [6, 7, 18, 24] 無(wú)法估計(jì)多相機(jī)系統(tǒng)能夠估計(jì)的環(huán)境度量尺度。多相機(jī)系統(tǒng)通?？梢詫?shí)現(xiàn)更高的精度和魯棒性；其中，立體視覺(jué)系統(tǒng) [8, 25, 31] 因其簡(jiǎn)單性和易被接受而特別受歡迎。

大多數(shù)現(xiàn)有的立體視覺(jué)系統(tǒng)使用標(biāo)準(zhǔn)的立體匹配算法[15]來(lái)解決尺度問(wèn)題，這有兩個(gè)主要缺點(diǎn)。首先，通過(guò)沿著各自的極線單獨(dú)搜索來(lái)找到立體對(duì)應(yīng)在計(jì)算上是昂貴的。其次，如果多個(gè)點(diǎn)看起來(lái)與查詢點(diǎn)相似，則很難選擇正確的一個(gè)；當(dāng)紋理重復(fù)時(shí)會(huì)發(fā)生這種情況（例如，草、沙子）。我們?cè)?[21] 中解決了這兩個(gè)限制，其中單目系統(tǒng)中的 3D 點(diǎn)被投影到第二個(gè)相機(jī)中，并且通過(guò)最小化光度誤差來(lái)解決尺度問(wèn)題。我們證明了這種直接的尺度優(yōu)化在計(jì)算上是有效的，并且對(duì)視覺(jué)場(chǎng)景中的重復(fù)紋理更健壯。

然而，即使使用公制尺度，隨著相機(jī)的移動(dòng)，全局相機(jī)位姿也不可避免地會(huì)偏離真實(shí)情況，因?yàn)樗峭ㄟ^(guò)逐步累積相機(jī)的相對(duì)運(yùn)動(dòng)來(lái)估計(jì)的。閉環(huán)帶來(lái)了全局位姿約束來(lái)全局優(yōu)化位姿以解決這個(gè)問(wèn)題。傳統(tǒng)的詞袋 (BoW) 方法通過(guò)將當(dāng)前視圖的特征與歷史匹配來(lái)檢測(cè)回環(huán)。然而，BoW 方法不適用于直接 SLAM 系統(tǒng)，因?yàn)橹苯?SLAM 系統(tǒng)不提取特征描述符?；蛘撸覀兲岢隽艘环N用于城市駕駛場(chǎng)景的基于 LiDAR 描述符的位置識(shí)別方法 [22]。我們假設(shè)車輛正向前移動(dòng)，這樣我們就可以從立體直接 SLAM 系統(tǒng)中積累 3D 點(diǎn)來(lái)模仿 LiDAR 掃描，這些掃描由 LiDAR 描述符描述以進(jìn)行位置識(shí)別。這有助于顯著提高閉環(huán)檢測(cè)的效率，并確保更高的準(zhǔn)確性和魯棒性。

在本文中，我們將尺度優(yōu)化和基于 LiDAR 描述符的位置識(shí)別方法系統(tǒng)地結(jié)合到一個(gè)完全直接的立體 SLAM 系統(tǒng)中，稱為 DSV-SLAM；我們?cè)?https://github.com/IRVLab/direct_stereo_slam 發(fā)布了一個(gè)開(kāi)源實(shí)現(xiàn)。我們進(jìn)行了徹底的實(shí)驗(yàn)，以驗(yàn)證其最先進(jìn)的準(zhǔn)確性、卓越的計(jì)算效率以及在具有視覺(jué)挑戰(zhàn)性的場(chǎng)景中的魯棒性。DSV-SLAM 展示了無(wú)需特征檢測(cè)或匹配的完整 SLAM 系統(tǒng)的可行性。在 DSV-SLAM 中，我們采用最先進(jìn)的直接稀疏里程計(jì) (DSO) [6] 來(lái)跟蹤相機(jī)位姿并估計(jì) 3D 點(diǎn)。然后，我們使用尺度優(yōu)化 [21] 將其擴(kuò)展到有效且準(zhǔn)確的立體視覺(jué)里程計(jì) (VO)。隨后，我們使用基于 LiDAR 描述符的位置識(shí)別方法 [22] 來(lái)有效地檢測(cè)回環(huán)。可能的閉環(huán)的相對(duì)位姿通過(guò)直接對(duì)齊來(lái)估計(jì)，并且可選地通過(guò)迭代最近點(diǎn)（ICP）方法[1]進(jìn)一步細(xì)化。最后，我們組合并優(yōu)化了一個(gè)位姿圖，以進(jìn)一步提高全局的 SLAM 精度。圖 1 顯示了 DSV-SLAM 在 KITTI 數(shù)據(jù)集 [13] 的序列 00 上估計(jì)的軌跡和重建環(huán)境。

圖 1：KITTI 序列 00 上提出的方法估計(jì)的軌跡和重建環(huán)境。

2 相關(guān)工作

在過(guò)去的二十年里，視覺(jué) SLAM 一直是機(jī)器人和計(jì)算機(jī)視覺(jué)文獻(xiàn)中一個(gè)活躍的研究問(wèn)題。早期的方法依賴于各種基于濾波器的估計(jì)方法，例如 EKF-SLAM [28] 和 MSCKF [23]。從 PTAM [18] 開(kāi)始，許多流行的方法將從結(jié)構(gòu)到運(yùn)動(dòng) [15] 中借鑒的技術(shù)（例如，光束調(diào)整）結(jié)合到基于優(yōu)化的視覺(jué) SLAM 系統(tǒng)中?；趦?yōu)化的視覺(jué) SLAM 系統(tǒng)可以分為基于特征的方法或直接方法，這取決于是否使用了特征匹配。

ORB-SLAM [5, 24, 25] 是最有影響力和最成熟的基于特征的方法之一。在其立體版本 [25] 中，3D 點(diǎn)從立體匹配中進(jìn)行三角測(cè)量，然后跨幀進(jìn)行跟蹤。隨后，通過(guò)最小化重投影誤差，應(yīng)用光束調(diào)整來(lái)聯(lián)合優(yōu)化局部滑動(dòng)窗口內(nèi)的點(diǎn)和相機(jī)位姿。在后端，BoW 用于閉環(huán)檢測(cè)和相對(duì)姿態(tài)估計(jì)。隨后，優(yōu)化基本圖以提高全局精度。還執(zhí)行全局捆綁調(diào)整以進(jìn)一步提高準(zhǔn)確性。盡管提高了準(zhǔn)確性，但它的計(jì)算成本很高。

DSO [6, 12, 31] 是當(dāng)前最先進(jìn)的直接視覺(jué)里程計(jì)。王等人[31] 將 DSO 擴(kuò)展到使用立體匹配進(jìn)行深度初始化的立體系統(tǒng)。為了將 BoW 納入 DSO 系統(tǒng)以實(shí)現(xiàn)閉環(huán)，Gao 等人[12] 修改 DSO 的點(diǎn)選擇策略以調(diào)整可跟蹤特征并計(jì)算這些特征的描述符。然而，立體匹配和特征檢測(cè)和描述在計(jì)算上是昂貴的，并且對(duì)紋理不良的環(huán)境缺乏魯棒性。

如第二節(jié)所述。在圖 1 中，我們提出了尺度優(yōu)化 [21] 和基于 LiDAR 描述符的位置識(shí)別 [22] 作為立體匹配和 BoW 方法的替代方案。它們支持快速且完全直接的視覺(jué) SLAM 系統(tǒng)，我們?cè)噲D在本文中解決這個(gè)問(wèn)題。

3 方法

圖 2 說(shuō)明了所提出系統(tǒng)的概要。有四個(gè)計(jì)算組件：?jiǎn)文縑O、尺度優(yōu)化模塊、回環(huán)檢測(cè)模塊和回環(huán)校正模塊。

符號(hào) 我們使用來(lái)表示從坐標(biāo) a 到坐標(biāo) b 的變換（旋轉(zhuǎn)和平移）。我們將立體相機(jī)對(duì)標(biāo)記為 Cam0?和 Cam1。對(duì)于 k ∈{0, 1} 的 Camk，對(duì)應(yīng)的圖像是 Ik，相機(jī)投影表示為?Πk。一個(gè) 3D 點(diǎn)由表示，其中 p 和 dp?分別是像素坐標(biāo)和（逆）深度，它們通過(guò)Π-1 0反投影到 3D 空間中

圖 2：DSV-SLAM 概述：（1）從 Cam0 開(kāi)始，Monocular VO 估計(jì)相機(jī)位姿并生成 3D 點(diǎn)；(2) 使用 3D 點(diǎn)，Scale Optimization 模塊估計(jì)并保持 VO 的比例；(3) Loop Detection 模塊根據(jù)來(lái)自 VO 的 3D 點(diǎn)檢測(cè)回環(huán)；(4) 對(duì)于可能的回環(huán)，Loop Correction 模塊估計(jì)回環(huán)的相對(duì)位姿并全局優(yōu)化位姿

3.1 單目 VO

如前所述，我們選擇了一種直接方法而不是基于特征的方法，因?yàn)樗诩y理不良的環(huán)境中具有準(zhǔn)確性、計(jì)算效率和魯棒性。當(dāng)前最先進(jìn)的直接 VO 方法是 DSO [6]，它通過(guò)最小化定義在關(guān)鍵幀和點(diǎn)的滑動(dòng)窗口 F 上的光度誤差來(lái)工作，如

即對(duì)于關(guān)鍵幀 i ∈F 中的每個(gè)點(diǎn) p ∈Pi，如果它被關(guān)鍵幀 j 觀察到，則 Epj 表示相關(guān)的光度誤差。Epj 在方程式中定義。圖 2 本質(zhì)上是關(guān)鍵幀 i 中的點(diǎn) p 與其在關(guān)鍵幀 j 中的投影 p' 之間的像素強(qiáng)度差，如方程3式中所定義；仿射亮度項(xiàng) (ai/j, bi/j)、曝光時(shí)間 ti/j、像素模式 Np、權(quán)重 wp?和 Huber 范數(shù) ||·||γ?包括在光度魯棒性中。詳情請(qǐng)參閱[6]。值得一提的是，由于我們的模塊化系統(tǒng)設(shè)計(jì)，這里可以使用任何單目 VO（最好是直接 VO）方法來(lái)代替 DSO

3.2 尺度優(yōu)化

由于 DSO 是單目 VO，尺度是不可觀測(cè)的并且隨著時(shí)間的推移開(kāi)始漂移。立體 VO 系統(tǒng)通過(guò)將相機(jī)之間的公制距離引入里程計(jì)系統(tǒng)來(lái)解決這個(gè)問(wèn)題。如前所述，立體匹配是將單目 VO 擴(kuò)展到立體 VO 的傳統(tǒng)方法，但它的計(jì)算成本很高，并且不能很好地適應(yīng)直接 VO。因此，我們?cè)谒岢龅南到y(tǒng)中采用尺度優(yōu)化[21]來(lái)平衡魯棒性和效率。尺度優(yōu)化的主要思想是將Cam0上的單目VO點(diǎn)投影到Cam1上，并找到使光度誤差最小的最佳尺度，定義為：

對(duì)于每個(gè) 3D 點(diǎn)，它在 Cam0 幀中通過(guò)當(dāng)前尺度 s 重新縮放，然后通過(guò)立體校準(zhǔn)已知的 ?和投影到 Cam1。公式 4 中的光度誤差 E 被定義為 ?中的原始點(diǎn) p 與其在中的投影 p' 之間的像素強(qiáng)度差。這種尺度優(yōu)化的一個(gè)例子如圖 3 所示。公式.4 是 公式.2 的一個(gè)簡(jiǎn)化公式，具有兩個(gè)條件上的簡(jiǎn)化。首先，沒(méi)有仿射亮度參數(shù)或曝光時(shí)間。在[21]的實(shí)驗(yàn)中驗(yàn)證它是可行的，因?yàn)榱Ⅲw相機(jī)通常是硬件同步和觸發(fā)的。其次，光度誤差是使用單個(gè)像素而不是模式 ?中的所有像素計(jì)算的（如公式 2 中所示），因?yàn)檫@些點(diǎn)在此處保持固定。因此，尺度 s 是唯一需要優(yōu)化的自由參數(shù)。這些簡(jiǎn)化有助于高效的計(jì)算優(yōu)化過(guò)程。

由于我們?cè)谙到y(tǒng)啟動(dòng)時(shí)沒(méi)有關(guān)于尺度的先驗(yàn)信息，因此我們使用從 0.1 到 50（根據(jù)經(jīng)驗(yàn)選擇）范圍內(nèi)的初始猜測(cè)值來(lái)運(yùn)行尺度優(yōu)化來(lái)初始化尺度。尺度優(yōu)化后，通過(guò)重新縮放 Pose 和 3D 點(diǎn)來(lái)相應(yīng)地調(diào)整 DSO。為了DSO的一致性，我們只重新縮放最近創(chuàng)建的關(guān)鍵幀的位姿并重置其評(píng)估點(diǎn)；由于 First Estimate Jacobians [16,19]，我們不會(huì)重新縮放其他關(guān)鍵幀，但它們的尺度將被啟發(fā)式優(yōu)化。因此，DSO 的度量尺度僅通過(guò)尺度優(yōu)化來(lái)估計(jì)和維護(hù)。生成的立體 VO 計(jì)算效率高，并且完全直接，無(wú)需特征提取或匹配。

3.3 閉環(huán)檢測(cè)

對(duì)于VO，相機(jī)位姿的漂移是不可避免的，因?yàn)樗峭ㄟ^(guò)累積相機(jī)運(yùn)動(dòng)來(lái)估計(jì)的。為了補(bǔ)償這個(gè)誤差，閉環(huán)為全局姿態(tài)優(yōu)化帶來(lái)了非局部姿態(tài)約束。BoW [11, 27] 是傳統(tǒng)的閉環(huán)方法，但由于前面討論的原因，它不太適合直接方法。

圖 3：KITTI 數(shù)據(jù)集序列 06 上的尺度優(yōu)化示例。上圖為最優(yōu)比例的投影，投影井與圖像重疊；底部圖像是比例不正確（0.1×最佳比例）的投影，綠色箭頭表示正確投影的位置。

我們?cè)?[22] 中提出了一種十分適合直接 SLAM 的替代方法。我們專注于位置識(shí)別的 3D 結(jié)構(gòu)，而不是 2D 特征。我們?cè)诹Ⅲw VO 的 3D 點(diǎn)上調(diào)整 LiDAR 描述符來(lái)描述一個(gè)位置。然而，由于相機(jī)的視野狹窄，來(lái)自 VO 的 3D 點(diǎn)分布在視錐體中。視錐體的位姿隨著相機(jī)的位姿變化而變化，這對(duì)于位置識(shí)別來(lái)說(shuō)是我們所不希望的。我們對(duì)此的解決方案如圖 2(3) 所示；假設(shè)相機(jī)運(yùn)動(dòng)主要是向前方向，我們建議從 VO 局部累積 3D 點(diǎn)以獲得一組局部點(diǎn)，然后在當(dāng)前 Pose 周圍生成一組球面點(diǎn)以模仿 LiDAR 掃描。這是可行的，因?yàn)?VO 是局部準(zhǔn)確的。為了提高效率，我們使用點(diǎn)過(guò)濾器來(lái)去除多余的點(diǎn)。過(guò)濾后的點(diǎn)構(gòu)成最終的模擬 LiDAR 掃描（例如，圖 5）。為了描述模擬的 LiDAR 掃描，我們更喜歡全局 LiDAR 描述符而不是局部描述符，主要有兩個(gè)原因。首先，生成和匹配全局 LiDAR 描述符通常比局部更快。其次，模擬的 LiDAR 掃描不像真實(shí)的 LiDAR 掃描那樣一致和密集，這對(duì)于局部 LiDAR 描述符來(lái)說(shuō)并不理想。我們能夠使用全局 LiDAR 描述符，因?yàn)橛商嶙h的立體 VO（具有尺度優(yōu)化的 DSO）生成的 3D 點(diǎn)具有公制尺度。在 [22] 中，我們驗(yàn)證了 Scan Context [17] 對(duì)于城市地區(qū)記錄的數(shù)據(jù)集是準(zhǔn)確和有效的。因此，我們使用 Scan Context 作為我們的 LiDAR 描述符，并專注于城市駕駛場(chǎng)景。

圖 4：在圖 3 中位置附近的模擬 LiDAR 掃描上的 ring-key 和 Scan Context 描述符的簡(jiǎn)化圖示。我們假設(shè)建筑物和樹(shù)木的高度分別為 10 米和 3 米（僅用于此說(shuō)明）。

Scan Context 的主要思想是使用城市區(qū)域（例如建筑物）的高度分布來(lái)描述 LiDAR 生成的點(diǎn)云。原始的 Scan Context 將點(diǎn)云與 IMU 測(cè)量的重力軸對(duì)齊。由于我們不希望將額外的傳感器（即 IMU）帶入我們的視覺(jué) SLAM 系統(tǒng)，因此我們使用 PCA [30] 來(lái)對(duì)齊點(diǎn)云。對(duì)齊后，水平面（在我們的例子中最重要的 PCA 平面）根據(jù)半徑和方位角分為多個(gè) bin。每個(gè) bin 中的最大高度被連接起來(lái)以形成當(dāng)前位置的簽名。Scan Context 的作者還建議在 Scan Context 之前使用 ring-key [17] 進(jìn)行快速初步搜索，它編碼了由半徑確定的每個(gè)環(huán)中的占用率。圖 4 給出了說(shuō)明。

在我們的系統(tǒng)中，對(duì)于來(lái)自立體 VO 的每個(gè)關(guān)鍵幀，我們通過(guò)所提出的方法模擬 LiDAR 掃描，并使用我們修改的Scan Context生成其位置簽名。然后我們?cè)诤灻麛?shù)據(jù)庫(kù)中搜索潛在的閉環(huán)。我們首先通過(guò) ring-key 搜索，它速度快但區(qū)分度較低，因此我們選擇 Scan Context 的前三個(gè)候選位置來(lái)做出最終決定。

3.4 相對(duì)姿態(tài)估計(jì)

如圖 2(4) 所示，對(duì)于每個(gè)識(shí)別位置，我們嘗試估計(jì)當(dāng)前位置和已識(shí)別位置之間的回環(huán)約束（即相對(duì)姿勢(shì)）。這是通過(guò)直接對(duì)齊來(lái)實(shí)現(xiàn)的，如 DSO 跟蹤中所做的那樣，基于以下等式：

這里，?和 ?分別是當(dāng)前幀和識(shí)別幀。我們正在估計(jì) ，即從識(shí)別幀到當(dāng)前幀的相對(duì)位姿，由 Loop Detection 中的 PCA 對(duì)齊初始化。其他變量與方程2和方程3中的變量相同。為了內(nèi)存效率，我們專門將點(diǎn)從識(shí)別幀投影到當(dāng)前幀，因?yàn)閷?duì)于識(shí)別幀，我們只需要存儲(chǔ)稀疏點(diǎn)而不是整個(gè)圖像。

圖 5：當(dāng)直接對(duì)齊失敗時(shí)，ICP 會(huì)找到最佳姿勢(shì)，將已識(shí)別位置（紅色）和當(dāng)前位置（綠色）的模擬 LiDAR 掃描對(duì)齊。

雖然方程式 6 和 7 看起來(lái)類似于 DSO 中的誤差項(xiàng)（即方程 1-3），在此優(yōu)化中只有兩個(gè)關(guān)鍵幀（即識(shí)別幀和當(dāng)前幀），而不是 DSO 中的滑動(dòng)窗口，因此，會(huì)有更少的點(diǎn)和約束；此外，對(duì)于閉環(huán)而言，照明、遮擋甚至場(chǎng)景等因素都會(huì)使其發(fā)生巨大變化。因此，單獨(dú)的直接對(duì)齊對(duì)于閉環(huán)而言是不魯棒的。為了確保魯棒性，我們執(zhí)行 ICP [1] 以在直接對(duì)齊不是很確定時(shí)對(duì)齊模擬的 LiDAR 掃描（方程 6-7 收斂到較大的光度誤差）。圖 5 顯示了 ICP 的一個(gè)示例。當(dāng)視覺(jué)外觀發(fā)生劇烈變化時(shí)，ICP 特別穩(wěn)健。盡管它在計(jì)算上比直接對(duì)齊更昂貴，但在 Loop Detection 中來(lái)自 PCA 的初始相對(duì)位姿相當(dāng)準(zhǔn)確并且有助于快速收斂?；蛘?，可以通過(guò)直接對(duì)齊和 ICP 聯(lián)合 [26] 來(lái)估計(jì)姿勢(shì)，以提高準(zhǔn)確性和魯棒性。

最后，對(duì)由連續(xù)關(guān)鍵幀和閉環(huán)組成的 Pose Graph 進(jìn)行優(yōu)化，以提高全局的位姿精度。盡管尚未實(shí)現(xiàn)，但可以使用來(lái)自直接對(duì)齊或 ICP 算法的 3D 點(diǎn)關(guān)聯(lián)來(lái)完成全局光束調(diào)整，以提高地圖的一致性。

4 實(shí)驗(yàn)評(píng)估

為了評(píng)估DSV-SLAM系統(tǒng)的準(zhǔn)確性和計(jì)算效率，我們包括了幾個(gè)DSO的變體進(jìn)行內(nèi)部比較。特別是，我們將 DSV-SLAM 中的尺度優(yōu)化與 Stereo DSO1?[31] 中采用的立體匹配方法進(jìn)行了比較。我們還將基于 LiDAR 描述符的位置識(shí)別模塊的性能與 LDSO [12] 中使用的傳統(tǒng) BoW 方法進(jìn)行了比較。在外部，我們包括對(duì)立體 ORB-SLAM2 [25] 的性能評(píng)估，用于準(zhǔn)確性和效率比較。由于該系統(tǒng)中使用的 Scan Context 是為城市駕駛場(chǎng)景設(shè)計(jì)的，因此我們主要關(guān)注兩個(gè)公開(kāi)可用的數(shù)據(jù)集：KITTI 視覺(jué)里程計(jì)數(shù)據(jù)集 [13] 和 Malaga 數(shù)據(jù)集 [2]。我們的實(shí)驗(yàn)在 Intel?i7-8750H 平臺(tái)上進(jìn)行，該平臺(tái)具有 2.2GHz CPU、六核和 16GB RAM。我們使用 DSO 的默認(rèn)設(shè)置，其中 2000 個(gè)點(diǎn)位于滑動(dòng)窗口中的 5-7 個(gè)關(guān)鍵幀中進(jìn)行優(yōu)化（即在公式 1-3 中）。此外，當(dāng)模擬激光雷達(dá)掃描進(jìn)行閉環(huán)檢測(cè)時(shí)，我們將激光雷達(dá)范圍（即圖 2（3）中的球點(diǎn)半徑）設(shè)置為 40 米。在當(dāng)前的實(shí)現(xiàn)中，尺度優(yōu)化在主 DSO 線程中按順序運(yùn)行，而閉環(huán)部分（檢測(cè)、估計(jì)和姿態(tài)優(yōu)化）在單獨(dú)的線程中運(yùn)行。由于 DSO 和 ORB-SLAM2 固有的隨機(jī)性，我們將每個(gè)算法運(yùn)行 5 次，并在計(jì)算準(zhǔn)確性和效率時(shí)計(jì)算平均值。

4.1 KITTI 數(shù)據(jù)集的評(píng)估

KITTI 數(shù)據(jù)集包含 22 個(gè)立體圖像序列。前 11 個(gè)序列的真值是公開(kāi)的；而其余的真值則保留用于對(duì) VO 算法進(jìn)行排名。我們專注于前 11 個(gè)序列以進(jìn)行完整評(píng)估。

4.1.1 精度

為了計(jì)算精度，我們將估計(jì)的軌跡與地面實(shí)況對(duì)齊，并將軌跡的均方根誤差計(jì)算為絕對(duì)軌跡誤差（ATE）。由于 DSO 和 LDSO 是單目系統(tǒng)，不知道尺度，所以對(duì)齊是基于 Sim3；立體聲 DSO、（立體聲）ORB-SLAM2 和 DSV-SLAM 與 SE3 對(duì)齊。由于姿勢(shì)圖僅包含關(guān)鍵幀，因此比較基于關(guān)鍵幀。

表 1：基于 KITTI 數(shù)據(jù)集上以米為單位的絕對(duì)軌跡誤差 (ATE) 的精度比較。帶有閉環(huán)的結(jié)果用星號(hào) (*) 標(biāo)記。對(duì)于 Stereo DSO，結(jié)果是“官方結(jié)果（第 3 次實(shí)施）”；對(duì)于 DSV-SLAM，結(jié)果是“啟用回環(huán)（無(wú)回環(huán)）”。

表 1 報(bào)告了 KITTI 數(shù)據(jù)集上最先進(jìn)的視覺(jué) SLAM 系統(tǒng)的準(zhǔn)確性。我們對(duì) LDSO 和 ORB-SLAM2 的結(jié)果分別與 [12] 和 [25] 中報(bào)告的結(jié)果一致。Stereo DSO 的 ATE 是使用 [31] 提供的軌跡計(jì)算的（它們不提供代碼）；我們還在括號(hào)中報(bào)告了使用第 3 方實(shí)施的結(jié)果。

由于 DSO 是單目 VO，它的 ATE 由于尺度的漂移而很大，尤其是在 00、02 和 08 等長(zhǎng)序列上。對(duì)于 LDSO，與具有閉環(huán)的序列（即 00、02、05、06 和 07）上的 DSO 相比，ATE 急劇下降。所有立體聲系統(tǒng)都解決了尺度漂移問(wèn)題。總體而言，ORB-SLAM2 在 KITTI 數(shù)據(jù)集上表現(xiàn)最好，這可能是由于基于特征的方法的成熟和全面的系統(tǒng)設(shè)計(jì)（例如，全局捆綁調(diào)整global bundle adjustment）。對(duì)于 Stereo DSO 和 DSV-SLAM，雖然在某些序列（例如 04）上的結(jié)果不如 ORB-SLAM2，但它們?cè)谝话胍陨系男蛄猩蠈?shí)現(xiàn)了具有競(jìng)爭(zhēng)力的準(zhǔn)確性。KITTI 數(shù)據(jù)集中具有低相機(jī)幀率（10Hz）的快速車輛運(yùn)動(dòng)對(duì)于直接方法（即 DSO）并不理想。

圖6：DSO（綠色）、DSV-SLAM（藍(lán)色）和ground truth（紅色）在KITTI序列00、02、05和06上估計(jì)的軌跡。通過(guò)尺度優(yōu)化和閉環(huán)，相比DSO，DSV- SLAM 的提高十分顯著。

結(jié)果表明，DSV-SLAM 的準(zhǔn)確性與最先進(jìn)的視覺(jué) SLAM 系統(tǒng)相當(dāng)。通過(guò)閉環(huán)，DSV-SLAM 的精度在序列 00、02、05 和 06 上進(jìn)一步改進(jìn)。圖 6 顯示了 DSV-SLAM 估計(jì)的軌跡。由于我們的帶有尺度優(yōu)化的立體 VO 已經(jīng)非常準(zhǔn)確，因此閉環(huán)的改進(jìn)不如 LDSO 優(yōu)于 DSO。然而，與 LDSO 和 ORB-SLAM2 不同，DSV-SLAM 沒(méi)有捕獲序列 07 中的回環(huán)。這是因?yàn)橹丿B的軌跡太短，無(wú)法累積局部點(diǎn)并模仿 LiDAR 掃描在單幀上進(jìn)行BoW地點(diǎn)識(shí)別。

4.1.2 效率

我們研究了每個(gè)計(jì)算組件的效率，并在表 2 中報(bào)告了一個(gè)短序列 (06) 和一個(gè)綜合序列 (00) 的結(jié)果。

表 2：KITTI 數(shù)據(jù)集上的運(yùn)行時(shí)間比較（平均 × 執(zhí)行次數(shù)）。[SM: stereo matching; SO: scale optimization; SC: Scan Context; RK: ring-key; D:direct alignment; I: ICP]

為了啟用 BoW，LDSO 中的點(diǎn)選擇被調(diào)整為更喜歡交叉特征幀匹配，然后為每個(gè)特征提取一個(gè)描述符。因此，與 DSO 相比，花費(fèi)在點(diǎn)選擇上的時(shí)間增加了。但是，Stereo DSO 和 DSV-SLAM 中的點(diǎn)選擇與 DSO 中的一樣快。我們發(fā)現(xiàn) DSV-SLAM 中的尺度優(yōu)化 (SO) 比Stereo DSO 和 ORB-SLAM2 中的立體匹配 (SM)更快。ORB-SLAM2 中的立體匹配基于特征描述符，速度最慢。相反，在 Stereo DSO 中，點(diǎn)被投影到立體框架，并在該投影周圍搜索對(duì)應(yīng)關(guān)系，這可能是其性能更快的原因。并且，尺度優(yōu)化提供了最快的運(yùn)行時(shí)間。

對(duì)于閉環(huán)，在 LDSO 中生成 BoW 比在 DSV-SLAM 中生成掃描上下文 (SC) 描述符要慢。使用 BoW 檢測(cè)閉環(huán)也比使用 DSV-SLAM 中的分層搜索方法（即ring-key和Scan Context）慢。對(duì)于閉環(huán)姿態(tài)估計(jì)，DSV-SLAM 中的直接對(duì)齊比 LDSO 中使用的 PnP 方法 [15] 稍慢。雖然 DSV-SLAM 中的 ICP 要慢得多，但只有在直接法并不精確的情況下發(fā)生，對(duì)于簡(jiǎn)單的測(cè)試，這種情況發(fā)生的頻率較

圖 7：Malaga Dataset的結(jié)果。序列 06 中的藍(lán)色矩形顯示車輛停止大約 40 秒的位置，DSV-SLAM 中的底層 DSO 由于交通和行人而失去跟蹤。由于陽(yáng)光直射，序列 05 和 08 中的紅色矩形也丟失了 DSO 跟蹤。盡管如此，閉環(huán)在這些具有挑戰(zhàn)性的場(chǎng)景中顯著提高了 DSV-SLAM 的準(zhǔn)確性。

低（06）。此外，DSV-SLAM（43.4 50 和 110 175）中可被接受的閉環(huán)的比率遠(yuǎn)高于 LDSO（37 453 和 277.6 2058）。這表明我們?cè)?DSV-SLAM 中基于 LiDAR 描述符的位置識(shí)別方法比 BoW 方法實(shí)現(xiàn)了更高的精度（有關(guān)更詳細(xì)的驗(yàn)證，請(qǐng)參閱 [22]）。因此，DSV-SLAM 在點(diǎn)選擇和回環(huán)檢測(cè)上節(jié)省的時(shí)間比回環(huán)姿態(tài)估計(jì)的損失更重要。此外，LDSO 在循環(huán)姿態(tài)優(yōu)化上花費(fèi)了更多時(shí)間；除了連續(xù)的關(guān)鍵幀和閉環(huán)之外，LDSO 還將每個(gè)關(guān)鍵幀和第一個(gè)關(guān)鍵幀之間的連接帶到了位姿圖中，以提高準(zhǔn)確性和魯棒性。最后，ORB-SLAM2 的閉環(huán)模塊總體上要慢得多，因?yàn)樗哂刑岣邷?zhǔn)確性和魯棒性的復(fù)雜機(jī)制。例如，ORB-SLAM2 在其 covisibility graph 中搜索最低分?jǐn)?shù)，并將其與候選分?jǐn)?shù)進(jìn)行比較以進(jìn)行回環(huán)檢測(cè)；僅當(dāng)在 covisibility 圖中找到三個(gè)一致且連續(xù)的回環(huán)候選時(shí)，才接受回環(huán)候選。這種保守的方法會(huì)產(chǎn)生相當(dāng)大的計(jì)算開(kāi)銷。

4.2 對(duì)Malaga Dataset的評(píng)估

為了進(jìn)一步驗(yàn)證提出的 DSV-SLAM 系統(tǒng)，我們?cè)u(píng)估了它在Malaga Dataset [2] 上的性能。它比 KITTI 數(shù)據(jù)集更具挑戰(zhàn)性，因?yàn)樗筛鞣N具有不利視覺(jué)條件的測(cè)試用例組成。圖 7 顯示了一些具有低能見(jiàn)度和直射陽(yáng)光的具有挑戰(zhàn)性的場(chǎng)景。在評(píng)估中，我們專注于具有閉環(huán)的序列（即序列 05、06、07、08 和 10）進(jìn)行測(cè)試。由于只有 GPS 數(shù)據(jù)可用作真值，而不是進(jìn)行定量分析，我們?cè)趫D 7 中顯示了定性性能比較。我們從實(shí)驗(yàn)結(jié)果中觀察到的結(jié)果如下：

? 總體而言，DSV-SLAM 和 ORB-SLAM2 的軌跡尺度都略微不準(zhǔn)確。我們懷疑可能的原因是建筑物對(duì)于Malaga Dataset中使用的短基線（12 厘米）立體相機(jī)來(lái)說(shuō)太遠(yuǎn)了。

? 在序列05 中，DSV-SLAM 中的DSO 跟蹤由于陽(yáng)光直射而在轉(zhuǎn)彎處漂移（見(jiàn)圖7 中的紅色矩形）。尺度優(yōu)化也多次失敗。但是，DSV-SLAM 的軌跡形狀仍然比 ORB-SLAM2 更準(zhǔn)確。

? 在序列06 中，當(dāng)車輛停止約40 秒時(shí)，DSV-SLAM 中的DSO 跟蹤也因交通和行人而失?。ㄒ?jiàn)圖7 中的藍(lán)色矩形）。恢復(fù)跟蹤需要幾秒鐘，這導(dǎo)致 DSV-SLAM 在沒(méi)有閉環(huán)的情況下進(jìn)行的軌跡估計(jì)不一致（由綠色軌跡表示）。但是，閉環(huán)會(huì)找到故障點(diǎn)并最終糾正軌跡。ORB-SLAM2 稍微好一點(diǎn)，比例更準(zhǔn)確。

? 在序列07中，ORB-SLAM2估計(jì)的軌跡方向略有偏離，而DSV-SLAM的尺度略有偏離。

? 在序列08 中，DSV-SLAM 中的DSO 跟蹤由于亮度突然變化而在紅色矩形處失敗。因此，沒(méi)有閉環(huán)的 DSV-SLAM 的軌跡是失敗的；然而，當(dāng)車輛返回起始位置時(shí)，它可以通過(guò)閉環(huán)重新定位自己。對(duì)于 ORB-SLAM2，其軌跡的規(guī)模明顯小于地面實(shí)況。

?最后，sequence 10 是一個(gè)長(zhǎng)期運(yùn)行，包含各種直道和轉(zhuǎn)彎以及閉環(huán)，它全面測(cè)試了視覺(jué) SLAM 算法。DSV-SLAM 生成的軌跡比 ORB-SLAM2 稍微準(zhǔn)確一些。我們還注意到，軌跡起點(diǎn)和終點(diǎn)之間的距離因閉環(huán)而大大減少（從綠色軌跡到藍(lán)色軌跡）。

總體而言，我們發(fā)現(xiàn) DSV-SLAM 的準(zhǔn)確性與Malaga Dataset上的 ORB-SLAM2 相當(dāng)，并且通常優(yōu)于 ORB-SLAM2。然而，DSV-SLAM 的計(jì)算效率更高，具有顯著的余量，如表 3 所示。在 Malaga 數(shù)據(jù)集上執(zhí)行 ICP 比在 KITTI 數(shù)據(jù)集上更頻繁，因?yàn)橹苯訉?duì)齊容易受到亮度變化的影響。

4.3 RobotCar 數(shù)據(jù)集的評(píng)估

RobotCar 數(shù)據(jù)集 [20] 記錄在全年不同的季節(jié)，我們用它來(lái)驗(yàn)證基于 LiDAR 描述符的位置識(shí)別方法對(duì) [22] 中視覺(jué)外觀變化的魯棒性。圖 8 給出了快照。我們?cè)趫D 9 中展示了 DSV-SLAM 在 RobotCar 數(shù)據(jù)集上的初步結(jié)果，其中我們首先播放序列“2015-05-19-14-06-38”（run1）

表 3：Malaga 數(shù)據(jù)集序列 10 的運(yùn)行時(shí)間比較（平均毫秒 × 執(zhí)行次數(shù)）。[SM: stereo matching; SO: scale optimization; SC: Scan Context; RK: ring-key; D: direct alignment; I: ICP]

然后我們“綁架”機(jī)器人對(duì)“2015-08-13-16-02-58”（run2）進(jìn)行排序。如圖9所示，DSO規(guī)模始終變大；漂移尺度通過(guò)尺度優(yōu)化固定（見(jiàn)綠色軌跡）；通過(guò)閉環(huán)，機(jī)器人最終重新定位自身并將兩次運(yùn)行結(jié)合在一起（見(jiàn)藍(lán)色軌跡）。我們還使用相同的設(shè)置運(yùn)行 ORB-SLAM2；但是，它的跟蹤始終失敗。

圖 8：RobotCar 數(shù)據(jù)集的快照。有許多視覺(jué)外觀差異，包括樹(shù)木和樹(shù)葉、交通、行人和不同的亮度。

5 結(jié)論

在本文中，我們提出了第一個(gè)用于自動(dòng)駕駛場(chǎng)景的完全直接的視覺(jué) SLAM 系統(tǒng)，證明了沒(méi)有特征檢測(cè)或匹配的完整 SLAM 系統(tǒng)的可行性。我們首先使用尺度優(yōu)化將單目 DSO 擴(kuò)展到立體系統(tǒng)；然后我們集成了基于 LiDAR 描述符的位置識(shí)別方法來(lái)檢測(cè)回環(huán)；對(duì)于潛在的閉環(huán)，我們使用直接對(duì)齊來(lái)估計(jì)相對(duì)姿態(tài)，該姿態(tài)得到ICP的支持當(dāng)直接法失敗的時(shí)候。對(duì)公共數(shù)據(jù)集的驗(yàn)證表明，所提出的系統(tǒng)實(shí)現(xiàn)了相當(dāng)好的計(jì)算效率，同時(shí)在具有挑戰(zhàn)性的場(chǎng)景中提供了相當(dāng)?shù)臏?zhǔn)確性和改進(jìn)的魯棒性。對(duì)于未來(lái)的工作，我們將考慮在模仿 LiDAR 掃描時(shí)消除向前移動(dòng)的相機(jī)假設(shè)，以擴(kuò)展我們的潛在用例。我們還打算通過(guò)集成 IMU 測(cè)量將系統(tǒng)擴(kuò)展到立體視覺(jué)慣性系統(tǒng)，以進(jìn)一步提高魯棒性。

6 致謝

這項(xiàng)工作得到了美國(guó)國(guó)家科學(xué)基金會(huì)獎(jiǎng) IIS #1637875、明尼蘇達(dá)大學(xué)博士論文獎(jiǎng)學(xué)金和 MnRI 種子基金的支持

參考文獻(xiàn)

[1] Paul J Besl and Neil D McKay.A Method for Registration of 3-D Shapes.In Sensor Fusion IV: Control Paradigms and Data Structures, volume 1611, pages 586–606.International Society for Optics and Photonics, 1992.

[2] Joseluis Blancoclaraco, Franciscoangel Morenoduenas, and Javier Gonza- lezjimenez.The M ?alaga Urban Dataset: High-rate Stereo and Lidars in a Realistic Urban Scenario.The International Journal of Robotics Research, 33(2):207–214, 2014.

[3] Guillaume Bresson, Zayed Alsayed, Li Yu, and S ?ebastien Glaser.Simultane- ous Localization and Mapping: A Survey of Current Trends in Autonomous Driving.IEEE Transactions on Intelligent Vehicles, 2(3):194–220, 2017.

[4] Cesar Cadena, Luca Carlone, Henry Carrillo, Yasir Latif, Davide Scara- muzza, Jos ?e Neira, Ian Reid, and John J Leonard.Past, Present, and Future of Simultaneous Localization And Mapping: Towards the Robust- Perception Age.Simultaneous Localization and Mapping.IEEE Transac- tions on Robotics, 32(6):1309–1332, 2016.

[5] Carlos Campos, Richard Elvira, Juan J. G ?omez Rodr ??guez, Jos ?e M. M. Montiel, and Juan D. Tard ?os.ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual–Inertial, and Multimap SLAM.IEEE Transac- tions on Robotics, pages 1–17, 2021.

[6] Jakob Engel, Vladlen Koltun, and Daniel Cremers.Direct Sparse Odom- etry.IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(3):611–625, 2017.

[7] Jakob Engel, Thomas Sch ?ops, and Daniel Cremers.LSD-SLAM: Large- Scale Direct Monocular SLAM.In European Conference on Computer Vi- sion, pages 834–849.Springer, 2014.

[8] Jakob Engel, J ?org St ?uckler, and Daniel Cremers.Large-Scale Direct SLAM with Stereo Cameras.In 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 1935–1942.IEEE, 2015.

[9] Christian Forster, Zichao Zhang, Michael Gassner, Manuel Werlberger, and Davide Scaramuzza.SVO: Semidirect Visual Odometry for Monocular and Multicamera Systems.IEEE Transactions on Robotics, 33(2):249–265, 2016.

[10] Jorge Fuentes-Pacheco, Jos ?e Ruiz-Ascencio, and Juan Manuel Rend ?on- Mancha.Visual Simultaneous Localization and Mapping: A Survey.Arti- ficial Intelligence Review, 43(1):55–81, 2015.

[11] Dorian G ?alvez-L ?opez and Juan D Tardos.Bags of Binary Words for Fast Place Recognition in Image Sequences.IEEE Transactions on Robotics, 28(5):1188–1197, 2012.

[12] Xiang Gao, Rui Wang, Nikolaus Demmel, and Daniel Cremers.LDSO: Di- rect Sparse Odometry with Loop Closure.In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 2198–2204.IEEE, 2018.

[13] Andreas Geiger, Philip Lenz, and Raquel Urtasun.Are We Ready for Autonomous Driving?The KITTI Vision Benchmark Suite.In 2012 IEEE Conference on Computer Vision and Pattern Recognition, pages 3354–3361.IEEE, 2012.

[14] Oscar G Grasa, Ernesto Bernal, Santiago Casado, ISMael Gil, and JMM Montiel.Visual SLAM for Handheld Monocular Endoscope.IEEE trans- actions on medical imaging, 33(1):135–146, 2013.

[15] Richard Hartley and Andrew Zisserman.Multiple View Geometry in Com- puter Vision.Cambridge University Press, 2003.

[16] Guoquan P Huang, Anastasios I Mourikis, and Stergios I Roumeliotis.A First-Estimates Jacobian EKF for Improving SLAM Consistency.In Ex- perimental Robotics, pages 373–382.Springer, 2009.

[17] Giseop Kim and Ayoung Kim.Scan Context: Egocentric Spatial Descriptor for Place Recognition within 3D Point Cloud Map.In 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 4802–4809.IEEE, 2018.

[18] Georg Klein and David Murray.Parallel Tracking and Mapping for SMall AR Workspaces.In Proceedings of the 2007 6th IEEE and ACM Inter- national Symposium on Mixed and Augmented Reality, pages 1–10.IEEE Computer Society, 2007.

[19] Stefan Leutenegger, Simon Lynen, Michael Bosse, Roland Siegwart, and Paul Furgale.Keyframe-based Visual-Inertial Odometry using Nonlinear Optimization.The International Journal of Robotics Research, 34(3):314– 334, 2015.

[20] Will Maddern, Geoffrey Pascoe, Chris Linegar, and Paul Newman.1 Year, 1000km: The Oxford RobotCar Dataset.The International Journal of Robotics Research, 36(1):3–15, 2017.

[21] Jiawei Mo and Junaed Sattar.Extending Monocular Visual Odometry to Stereo Camera Systems by Scale Optimization.In 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 6921–6927, 2019.

[22] Jiawei Mo and Junaed Sattar.A Fast and Robust Place Recognition Ap- proach for Stereo Visual Odometry Using LiDAR Descriptors.In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pages 5893–5900, 2020.

[23] Anastasios I Mourikis and Stergios I Roumeliotis.A Multi-State Constraint Kalman Filter for Vision-aided Inertial Navigation.In Proceedings 2007 IEEE International Conference on Robotics and Automation, pages 3565– 3572. IEEE, 2007.

[24] Raul Mur-Artal, Jose Maria Martinez Montiel, and Juan D Tardos.ORB- SLAM: A Versatile and Accurate Monocular SLAM System.IEEE Trans- actions on Robotics, 31(5):1147–1163, 2015

[25] Raul Mur-Artal and Juan D Tard ?os.ORB-SLAM2: An Open-Source SLAM System for Monocular, Stereo, and RGB-D Cameras.IEEE Trans- actions on Robotics, 33(5):1255–1262, 2017.

[26] Chanoh Park, Soohwan Kim, Peyman Moghadam, Jiadong Guo, Sridha Sridharan, and Clinton Fookes.Robust Photogeometric Localization Over Time for Map-Centric Loop Closure.IEEE Robotics and Automation Let- ters, 4(2):1768–1775, 2019.

[27] Josef Sivic and Andrew Zisserman.Video Google: A Text Retrieval Ap- proach to Object Matching in Videos.In Proceedings of the IEEE Interna- tional Conference on Computer Vision, pages 1470–1478, 2003.

[28] Randall C SMith and Peter Cheeseman.On the Representation and Es- timation of Spatial Uncertainty.The International Journal of Robotics Research, 5(4):56–68, 1986.

[29] Sebastian Thrun.Simultaneous Localization and Mapping.In Robotics and cognitive approaches to spatial mapping, pages 13–41.Springer, 2007.

[30] Federico Tombari, Samuele Salti, and Luigi Di Stefano.Unique Signatures of Histograms for Local Surface Description.In European Conference on Computer Vision, pages 356–369.Springer, 2010.

[31] Rui Wang, Martin Schworer, and Daniel Cremers.Stereo DSO: Large-Scale Direct Sparse Visual Odometry with Stereo Cameras.In Proceedings of the IEEE International Conference on Computer Vision, pages 3903–3911, 2017.

[32] Stephan Weiss, Davide Scaramuzza, and Roland Siegwart.Monocular- SLAM-based Navigation for Autonomous Micro Helicopters?in GPS-denied Environments.Journal of Field Robotics, 28(6):854–874, 2011

本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

3D視覺(jué)精品課程推薦：

1.面向自動(dòng)駕駛領(lǐng)域的多傳感器數(shù)據(jù)融合技術(shù)

2.面向自動(dòng)駕駛領(lǐng)域的3D點(diǎn)云目標(biāo)檢測(cè)全棧學(xué)習(xí)路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)

3.徹底搞透視覺(jué)三維重建：原理剖析、代碼講解、及優(yōu)化改進(jìn)

4.國(guó)內(nèi)首個(gè)面向工業(yè)級(jí)實(shí)戰(zhàn)的點(diǎn)云處理課程

5.激光-視覺(jué)-IMU-GPS融合SLAM算法梳理和代碼講解

6.徹底搞懂視覺(jué)-慣性SLAM：基于VINS-Fusion正式開(kāi)課啦

7.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化

8.徹底剖析室內(nèi)、室外激光SLAM關(guān)鍵算法原理、代碼和實(shí)戰(zhàn)(cartographer+LOAM +LIO-SAM)

9.從零搭建一套結(jié)構(gòu)光3D重建系統(tǒng)[理論+源碼+實(shí)踐]

10.單目深度估計(jì)方法：算法梳理與代碼實(shí)現(xiàn)

11.自動(dòng)駕駛中的深度學(xué)習(xí)模型部署實(shí)戰(zhàn)

12.相機(jī)模型與標(biāo)定(單目+雙目+魚(yú)眼）

13.重磅！四旋翼飛行器：算法與實(shí)戰(zhàn)

14.ROS2從入門到精通：理論與實(shí)戰(zhàn)

15.國(guó)內(nèi)首個(gè)3D缺陷檢測(cè)教程：理論、源碼與實(shí)戰(zhàn)

16.（第二期）徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化

更多干貨

歡迎加入【3D視覺(jué)工坊】交流群，方向涉及3D視覺(jué)、計(jì)算機(jī)視覺(jué)、深度學(xué)習(xí)、vSLAM、激光SLAM、立體視覺(jué)、自動(dòng)駕駛、點(diǎn)云處理、三維重建、多視圖幾何、結(jié)構(gòu)光、多傳感器融合、VR/AR、學(xué)術(shù)交流、求職交流等。工坊致力于干貨輸出，為3D領(lǐng)域貢獻(xiàn)自己的力量！歡迎大家一起交流成長(zhǎng)~

添加小助手微信：dddvision，備注學(xué)校/公司+姓名+研究方向即可加入工坊一起學(xué)習(xí)進(jìn)步。