論文解讀：BAD SLAM | 直接法實時BA+RGBD基準數(shù)據(jù)集（CVPR2019）

本文解讀的論文為發(fā)表于CVPR 2019的"Schops, Thomas, Torsten Sattler, and Marc Pollefeys. Bad slam: Bundle adjusted direct rgb-d slam. Proceedings of the IEEE conference on computer vision and pattern recognition. 2019."

雖然這篇論文的主要創(chuàng)新是對SLAM中優(yōu)化步驟中常用的Bundle Adjustment算法進行改進，本篇文章對BAD SLAM整個SLAM系統(tǒng)進行了介紹，對SLAM中常見的前后端架構，以及其中涉及到的每個步驟都有簡單的介紹，利于讀者對SLAM系統(tǒng)有大概的認知。

這篇論文還建立了一個RGB-D SLAM的基準數(shù)據(jù)集，由于論文中提到的它相對于RGB-D SLAM領域常用數(shù)據(jù)集TUM RGB-D在硬件、評測設置等方面的優(yōu)越性，該論文的數(shù)據(jù)集也是RGB-D SLAM領域研究者值得關注、使用的數(shù)據(jù)集。

注1：文末附【VSLAM】交流群

注2：整理不易，請點贊支持！

編輯：小凡 | 來源：3D視覺工坊微信公眾號
原文：BAD SLAM | 直接法實時BA+RGBD基準數(shù)據(jù)集（CVPR2019）

主要貢獻

• 提出一個快速的直接法的BA，用于RGB-D SLAM系統(tǒng)中，一個GPU就可以實現(xiàn)實時性能，且效果性能超過其他現(xiàn)有系統(tǒng)

• 建立并公開了一個RGB-D SLAM的基準數(shù)據(jù)集，相比以往的數(shù)據(jù)集，主要優(yōu)勢是數(shù)據(jù)在采集時就保障了高度同步性，且消除了卷簾快門的影響；此外還在項目官網(wǎng)http://www.eth3d.net上建立一個排行榜，保留了一部分測試數(shù)據(jù)沒有公開，專門用于測試不同算法的性能

背景介紹

BA(Bundle Adjustment)是SLAM的后端優(yōu)化中常用的方法，指包括重建的模型和相機的所有參數(shù)在內(nèi)的聯(lián)合優(yōu)化。BA通常被用于稀疏特征，這是因為目前公認完整的稠密的BA是做不到實時的，取而代之的是各自近似比如位姿圖優(yōu)化。本文首次提出一種BA算法，能夠實時完成稠密BA。

實驗表明現(xiàn)有數(shù)據(jù)集如TUM RGB-D有一定缺陷，如卷簾快門、異步采集的RGB圖像和深度圖像、深度失真等等。本文從硬件層面解決這些問題，建立一個更精確的基準數(shù)據(jù)集。

系統(tǒng)與算法介紹

和絕大多數(shù)SLAM系統(tǒng)一樣，本系統(tǒng)分為前端和后端：前端實時跟蹤RGB-D相機的運動，為相機姿勢和場景幾何的提供初始估計；后端以較低的頻率運行，對相機軌跡和場景3D地圖進行修正。本文主要的算法創(chuàng)新在于后端的直接法BA，這里先簡要介紹一下前端和后端的大致框架，再詳細介紹算法細節(jié)。

前端

• 預處理：深度圖雙邊濾波去噪

• 里程計：每10秒取一幀為關鍵幀，對每一幀首先估計它相對上一個關鍵幀的位姿（直接法幾何對齊與光度對齊），本文的一個改進是使用RGB圖像的梯度而不是像素值，目的是為了對照明變化更加魯棒。前端里程計目的是為后續(xù)BA提供良好的初始位姿。

• 回環(huán)檢測：使用標準的基于Binary feature的bag-of-words方法，找到與當前關鍵幀m最相似的關鍵幀k。通過關鍵點匹配得到m和k的初始相對位姿，通過直接法進行位姿估計修正。在位姿圖優(yōu)化步驟中，使用平均相對位姿作為初始值，然后應用本文的BA策略。

后端

后端的目的是通過聯(lián)合優(yōu)化的手段對相機軌跡和場景3D地圖進行修正。本文的BA策略基于同時使用深度圖像的幾何約束和光度約束。為了實現(xiàn)高效的優(yōu)化，本文方法在優(yōu)化3D地圖和相機位姿之間交替進行，以最大程度地減少每次考慮的參數(shù)數(shù)量。在下文中，將先描述我們的數(shù)據(jù)表示形式，然后再詳細說明優(yōu)化的代價函數(shù)和優(yōu)化過程本身。

• 數(shù)據(jù)表示形式：使用稠密surfel表示場景地圖，使用關鍵幀的形式減少BA的輸入數(shù)據(jù)量

• 關鍵幀：RGB-D圖像及其對應的6自由度的相機位姿。

• surfel：有方向的圓盤，由3D中心點，表面法向量，半徑，標量視覺描述子構成。選擇surfel作為場景表示，是因為可以通過BA對其進行有效融合和更新，并且可以快速變形以適應回環(huán)。與基于體素的場景表示相比，surfel可以輕松表示任意比例的薄表面和場景細節(jié)。相比于網(wǎng)格，它不需要額外拓撲上的更新。

• 優(yōu)化代價函數(shù)：優(yōu)化的總體目的是通過調整上述surfel和關鍵幀中的參數(shù)來最大化整體一致性。優(yōu)化的參數(shù)包含surfel的屬性，關鍵幀的位姿，相機內(nèi)參（可選）

• 代價計算是通過將每個surfel投影至每個關鍵幀上來建立像素對應關系以實現(xiàn)的，具體包含幾何約束和光度約束的加權和：

• 幾何約束衡量不同幀中深度圖像素的一致性，公式如下所示，其中s是surfel，k是關鍵幀，ps是surfel中心點在世界坐標系下的三維坐標，經(jīng)過T轉換到當前k幀坐標系下的三維坐標。π將這個三維坐標轉換為像素坐標，π-1根據(jù)像素坐標和該像素在深度圖上對應的深度計算出三維坐標，這個新計算出的三維坐標和直接由T轉換至當前幀的三維坐標應該盡可能一致。將上述兩個三維坐標作差投影至當前k幀下法向量方向，就得到下面公式的幾何約束代價：

• 光度約束衡量的是RGB像素的一致性，為了盡可能不受不同角度的照明影響，本文主要考慮梯度值而不是RGB值，公式如下所示，ps是surfel中心點在世界坐標系下的三維坐標，s1和s2是surfel圓盤兩個邊界點在世界坐標系下的三維坐標，邊界點投影到圖像上去像素坐標對應的像素值，計算像素值差異即為梯度向量，求向量的二范數(shù)作為梯度值，和surfel的屬性值作差，得到下面公式的光度約束代價：

• 優(yōu)化過程

• 由于surfel和關鍵幀的數(shù)量很大，使用二階方法如牛頓法聯(lián)合優(yōu)化所有參數(shù)很慢，我們選擇交替優(yōu)化的策略，如下所示：

• 創(chuàng)建surfel：第一步，為所有關鍵幀創(chuàng)建新的surfel。將關鍵幀劃分為4×4像素單元。如果單元格中沒有像素對應于現(xiàn)有的surfel，則在單元格中隨機選擇一個深度以創(chuàng)建新的surfel。從創(chuàng)建的像素p計算surfel屬性：中心點三維坐標ps根據(jù)像素和深度計算出相機系三維坐標再根據(jù)相機位姿轉換到世界坐標系下；法向量是通過深度圖像上居中的有限差分來計算的；r半徑定義為ps與p的4個鄰域像素的3D點之間的最小距離；ds初始化為上文中光度約束方程式r_photo中的第一項。創(chuàng)建新的surfels時，僅考慮所有相鄰像素都具有深度測量值的像素。

• surfel法向量更新：為了限制surfel的更新，本文的更新策略為只允許surfel沿著法向量方向進行更新，因此surfel法向量主要僅影響沖浪允許移動的方向。因此，本文并不是從代價函數(shù)中得出更新步驟，而是平均所有相應測量值的法線，然后通過重新歸一化為單位長度。

• surfel位置和描述子的優(yōu)化：根據(jù)幾何約束和光度約束，使用高斯牛頓法聯(lián)合優(yōu)化surfel中心位置ps和描述子ds。由于ps僅被允許沿法線移動，ps+t*ns，這里需要優(yōu)化的參數(shù)只有一個t，優(yōu)化的復雜度下降了，每一個surfel優(yōu)化是獨立的。

• surfel合并：在BA方案的第一個迭代中優(yōu)化位置后，將具有相似屬性的surfel合并，以減少不必要的surfel。為了快速找到合并候選者，將surfel投影到所有關鍵幀中，并考慮將投影到同一單元格的surfel進行合并。

• 關鍵幀位姿優(yōu)化：根據(jù)幾何約束和光度約束，使用高斯牛頓法優(yōu)化關鍵幀的位姿。每一個關鍵幀的位姿優(yōu)化都是獨立的。

• Surfel清理和半徑更新：過濾異常surfel。每個surfel的半徑都更新為所有相應測量值的最小半徑。

數(shù)據(jù)集介紹構建動機

TUM RGB-D數(shù)據(jù)集是目前應用較為廣泛的RGB-D數(shù)據(jù)集，但是本文的實驗證明其內(nèi)參估計、卷簾快門、RGB圖像和深度圖采集不同步、圖像幾何變形等問題，會對算法評測造成一定影響。因此本文認為這些問題能在硬件層面得到更好的解決。TUM RGB-D數(shù)據(jù)集公布了所有真值，因此無法確定現(xiàn)有算法是否有過擬合這個數(shù)據(jù)集。本文通過設置非公開測試集解決這個問題。

數(shù)據(jù)采集本文采用了同步全局快門照相機Asus Xtion Live Pro以及Xtion的紅外發(fā)射器。彩色和深度圖像在完全相同的時間點記錄。使用主動式立體視覺：通過在兩個紅外攝像機上進行立體深度估計，立體算法可以利用主動照明和環(huán)境紅外光。相機位姿真值由運動捕捉系統(tǒng)記錄。本文的SLAM基準數(shù)據(jù)集包含61個訓練數(shù)據(jù)集和35個測試數(shù)據(jù)集。下圖是示例圖像。

備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個超干貨的3D視覺學習社區(qū)本文僅做學術分享，如有侵權，請聯(lián)系刪文。

3D視覺工坊-VSLAM交流群

已建立3D視覺工坊-VSLAM微信交流群！想要進VSLAM學習交流群的同學，可以直接加微信號：CV_LAB。加的時候備注一下：VSLAM+學校+昵稱，即可。然后就可以拉你進群了。

強烈推薦大家關注3D視覺工坊嗶哩哩嗶賬號和3D視覺工坊微信公眾號，可以快速了解到最新優(yōu)質的3D視覺與SLAM論文。