原文鏈接：倫敦大學(xué)學(xué)院開源物體級語義SLAM！支持單/雙目+LiDAR！https://mp.weixin.qq.com/s/1r8Ueahb_sA7vMAyRFXZYQ

1. 摘要

最近，倫敦大學(xué)學(xué)院開源了面向?qū)ο蟮腟LAM系統(tǒng)DSP-SLAM，它為前景對象構(gòu)建了一個豐富而精確的稠密3D模型的聯(lián)合地圖，并用稀疏的地標(biāo)點來表示背景?？梢栽?種不同的輸入模式下以每秒10幀的速度工作：單目、雙目或雙目+激光雷達。與最近基于深度先驗的重建方法相比，物體姿態(tài)和形狀重建有了改進，并減少了KITTI數(shù)據(jù)集上的相機跟蹤漂移。

項目網(wǎng)站：https://jingwenwang95.github.io/dsp-slam/

代碼：https://github.com/JingwenWang95/DSP-SLAM

demo如下所示

最終建立的地圖如下所示

2. 背景

隨著計算機視覺和深度學(xué)習(xí)的發(fā)展，SLAM也從傳統(tǒng)的純幾何表示進入了語義和物體級別的場景理解。語義和物體級別的理解對于許多更高級的應(yīng)用十分重要，例如家庭機器人，自動駕駛等。已有的物體級SLAM算法，例如SLAM++[1]，MaskFusion[2], CubeSLAM[3]在物體表示方面存在一些不足：

1. 以SLAM++為代表的先驅(qū)工作需要預(yù)先建立精確的物體模型數(shù)據(jù)庫，在運行時識別并利用ICP來估計物體的6D位姿。這類方法可以實現(xiàn)十分精確和完整的物體級地圖的創(chuàng)建并且可以通過位姿圖優(yōu)化和回環(huán)檢測來獲得全局一致的地圖，但是只能受限于預(yù)先重建過的物體。

2. 以MaskFusion為代表的工作克服了以上工作需要預(yù)先建立物體CAD模型的缺點，利用2D實例分割的結(jié)果分別在線重建和跟蹤不同的物體以及背景。這類方法可以精確重建任意新見到的物體，但是由于重建是在線進行的，無法得到完整的物體重建，例如物體的背面，被遮擋以及深度缺失部分的。

3. 最后，以CubeSLAM為代表的工作把物體建模為簡單的3D幾何圖形，例如立方體，球體或橢球體。這類方法可以完整地重建任意新見到的物體，但是重建結(jié)果丟失了很多物體形狀的細節(jié)。

這篇工作解決的問題就是利用物體的形狀先驗來同時實現(xiàn)以上三個目標(biāo)，即：對新見到的物體精確且完整的重建。

3. 方法

基于形狀先驗的物體重建

我們使用預(yù)訓(xùn)練的DeepSDF作為形狀先驗，將同一個類別的物體形狀表示為64維向量。物體的重建可以被轉(zhuǎn)化為對物體形狀向量和7D位姿的聯(lián)合優(yōu)化，使得形狀和位姿最適合于當(dāng)前的觀測。我們利用稀疏點云觀測和2D分割結(jié)果作為觀測，最小化表面損失和深度渲染損失函數(shù)。為了保證SLAM的實時性，我們使用高斯牛頓法求解整個優(yōu)化過程，并且詳細推導(dǎo)了所需要的雅可比矩陣。

物體SLAM

我們進一步將物體重建過程嵌入到一個完整的物體級SLAM系統(tǒng)之中。我們利用ORB-SLAM2作為SLAM骨架，為每一幀提供相機位姿和稀疏點云。對于每一個關(guān)鍵幀，我們進行物體檢測，對于檢測到的物體得到2D檢測框，分割結(jié)果和稀疏點云。對于新觀測到的物體基于這些觀測進行物體重建；對于已重建過的物體更新位姿并加入BA因子圖中。隨后，聯(lián)合BA同時優(yōu)化相機位姿，地圖點和物體位姿。

重建結(jié)果

[1] Renato F. Salas-Moreno, Richard A. Newcombe, Hauke Strasdat, Paul H.J. Kelly, and Andrew J. Davison. Slam++: Simultaneous localisation and mapping at the level of objects. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2013.

[2] M. Runz, M. Buffier, and L. Agapito. Maskfusion: Real-time recognition, tracking and reconstruction of multiple moving objects. In 2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 10–20, Oct 2018.

[3] Shichao Yang and Sebastian Scherer. Cubeslam: Monocular 3-d object slam. IEEE Transactions on Robotics, 35(4):925–938, 2019.

獨家重磅課程！

1、三維視覺基礎(chǔ)?如何實現(xiàn)視覺深度估計？單/雙目+幾何算法/深度學(xué)習(xí)網(wǎng)絡(luò)

2、視覺SLAM必備基礎(chǔ)?太卷了！聽說學(xué)懂ORB-SLAM2課程第3期可全額退款？敢不敢來挑戰(zhàn)？

3、?VINS:Mono+Fusion?SLAM面試官：看你簡歷上寫精通VINS，麻煩現(xiàn)場手推一下預(yù)積分！

4、VIO進階：VIO最佳開源算法：ORB-SLAM3超全解析課程重磅升級！

5、圖像三維重建課程（第2期）：視覺幾何三維重建教程（第2期）：稠密重建，曲面重建，點云融合，紋理貼圖

6、重磅來襲！基于LiDAR的多傳感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM

7、系統(tǒng)全面的相機標(biāo)定課程：單目/魚眼/雙目/陣列 相機標(biāo)定：原理與實戰(zhàn)

8、激光定位+建圖課程：激光SLAM框架Cartographer課程90+視頻全部上線！適合服務(wù)機器人！

鏈接：倫敦大學(xué)學(xué)院開源物體級語義SLAM！支持單/雙目+LiDAR！https://mp.weixin.qq.com/s/1r8Ueahb_sA7vMAyRFXZYQ

全國最棒的SLAM、三維視覺學(xué)習(xí)社區(qū)↓

鏈接：倫敦大學(xué)學(xué)院開源物體級語義SLAM！支持單/雙目+LiDAR！https://mp.weixin.qq.com/s/1r8Ueahb_sA7vMAyRFXZYQ

技術(shù)交流微信群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群，請?zhí)砑游⑿盘?chichui502 或掃描下方加群，備注：”名字/昵稱+學(xué)校/公司+研究方向“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~

投稿、合作也歡迎聯(lián)系：simiter@126.com

鏈接：倫敦大學(xué)學(xué)院開源物體級語義SLAM！支持單/雙目+LiDAR！https://mp.weixin.qq.com/s/1r8Ueahb_sA7vMAyRFXZYQ

掃描關(guān)注視頻號，看最新技術(shù)落地及開源方案視頻秀?↓

鏈接：倫敦大學(xué)學(xué)院開源物體級語義SLAM！支持單/雙目+LiDAR！https://mp.weixin.qq.com/s/1r8Ueahb_sA7vMAyRFXZYQ

—? ?版權(quán)聲明? —

本公眾號原創(chuàng)內(nèi)容版權(quán)屬計算機視覺life所有；從公開渠道收集、整理及授權(quán)轉(zhuǎn)載的非原創(chuàng)文字、圖片和音視頻資料，版權(quán)屬原作者。如果侵權(quán)，請聯(lián)系我們，會及時刪除。