IEEE-TRO 2022 年傅京孫最佳論文: Kimera-Multi
作者：高斯求
來源：3DCV
在前幾天倫敦的ICRA[1]會議上，宣布了Transactions on Robotics 2022 傅京孫最佳論文（ 2022 IEEE Transactions on Robotics King-Sun Fu Memorial Best Paper Award）為MIT Luca Carlone教授領導的SPARK LAB實驗室的工作，Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for Multi-Robot Systems。
在公眾號「3D視覺工坊」后臺回復「原論文」，可獲取對應論文pdf文件。
Kimera-Multi[3]是一個分布式多機器人SLAM系統(tǒng)，每個機器人使用Kimera獨立的建立度量語義地圖，當一個機器人可以和其他機器人進行通訊時，它們可以共享地圖數(shù)據(jù)建立全局一致性地圖；該工作代碼已經(jīng)開源（https://github.com/MIT-SPARK/Kimera-Multi）。
據(jù)IEEE Spectrum文章[2] 描述，Kimera-Multi在IEEE-TRO 2022超過200篇中，經(jīng)過審稿人和編輯投票后最終獲選最佳論文榮譽；現(xiàn)任IEEE-TRO總主編，美國西北大學Kevin Lynch教授表示：TRO的編委們和審稿人對Kimera-Multi 的優(yōu)雅理論表示、相關性實踐性以及開源代碼留下了深刻的印象，Kimera-Multi是現(xiàn)在分布式多機器人SLAM的黃金標準！原文如下：
The editorial board, and the reviewers, were deeply impressed by the theoretical elegance and practical relevance of this paper and the open-source code that accompanies it. Kimera-Multi is now the gold standard for distributed multirobot SLAM.?—Kevin Lynch, editor in chief,?IEEE Transactions on Robotics
此外，還宣布了IEEE-TRO 2022年度 傅京孫最佳論文榮譽獎（King-Sun Fu Best Paper Award Honorable Mention）的相關工作如下：
Stabilization of Complementarity Systems via Contact-Aware Controllers, 賓大
Autonomous Cave Surveying With an Aerial Robot, CMU
Prehensile Manipulation Planning: Modeling, Algorithms and Implementation, 法國圖盧茲大學
Rock-and-Walk Manipulation: Object Locomotion by Passive Rolling Dynamics and Periodic Active Control, 港科
Origami-Inspired Soft Actuators for Stimulus Perception and Crawling Robot Applications, 上海大學
Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping
在介紹Kimera-Multi之前，先簡要介紹一下Kimera-Multi先前的工作Kimera[4]；Kimera是Luca組在ICRA2020上發(fā)表的工作，Kimera是一個度量語義SLAM系統(tǒng)，該系統(tǒng)輸入為雙目+IMU的數(shù)據(jù)，能夠在CPU上實時的重建場景3Dmesh和語義標簽；目前kimera的引用已經(jīng)超過300。
Kimera采用了模塊化設計，主要包含三個模塊：Kimera-VIO&Mesher，Kimera-RPGO，Kimera-Semantics，每個模塊可以單獨運行，并且開源了相關的C++庫代碼（https://github.com/MIT-SPARK/Kimera）。
Kimera-VIO&Mesher：主要包含VIO模塊和mesh重建；
Kimera-RPGO：提供魯棒的位姿圖優(yōu)化，包括優(yōu)化和回環(huán)檢測；
Kimera-Semantics：在重建的mesh的基礎上提供3D語義標簽信息。
另外，在ICRA2020的論文Metric-Semantic Mapping基礎上，作者參考了2019 ICCV上的一份3D scene graph工作[5]的思想，在原本kimera上增加了3D Dynamic Scene Graph實現(xiàn)了High level Understanding，該工作“3D dynamic scene graphs: Actionable spatial perception with places, objects, and humans”[6]發(fā)表在RSS 2020上，隨后擴充并以“Kimera: From SLAM to spatial perception with 3D dynamic scene graphs”[7]的標題發(fā)布在IJRR 2021上。
這里3D dynamic scene graphs的實現(xiàn)主要是在Kimera度量語義的mesh地圖上增加了四層，實現(xiàn)了一個五層的分層圖：
第一層Metric-Semantic Mesh：類似于Kimera的Metric-Semantic Mesh輸出，增加了行人的檢測和動態(tài)分割；
第二層Objects and Agents：這里對于不同的Objects和Agents有著不同的操作；對行人重建mesh，并且輸出的其位姿軌跡；對于Objects，這里分為形狀已知的Objects和形狀未知的Objects，對于形狀未知的使用Euclidean clustering去重建整個物體bbox，形狀已知的Objects使用CAD模型代替；
第三層Places and Structures：提取場景的high-level understanding的結構；
第四層Rooms：使用了ESDF的表示；
第五層Buildings：最高層，代表整個場景。
這后續(xù)的工作中，作者將該框架命名為Hydra[8]，相關代碼已開源（https://github.com/MIT-SPARK/Hydra）；Hydra相比RSS2020的文章“3D dynamic scene graphs: Actionable spatial perception with places, objects, and humans”，主要貢獻是定義了 分層的描述方式（hierarchical descriptors）來實現(xiàn)回環(huán)檢測。
Hydra的期刊版本為“Foundations of Spatial Perception for Robotics: Hierarchical Representations and Real-time Systems”[10]，投稿到了IJRR上。
Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for Multi-Robot Systems
Kimera-Multi是一個分布式多機器人協(xié)同SLAM系統(tǒng)，對于每個單獨的機器人，它們通過視覺慣性傳感器使用Kimera的Kimera-VIO和 Kimera-Semantics兩個模塊分別估計各自的局部位姿和局部mesh，當兩個機器人可以互相通訊時，初始化基于分布式漸進式非凸性算法（distributed graduated nonconvexity algorithm）的分布式位置識別檢測和位姿圖優(yōu)化功能，通過機器人之間的閉環(huán)檢測實現(xiàn)對outliers的魯棒，最后提高位姿估計的準確性和mesh重建的精度。
Kimera-Multi的核心算法流程是：分布式回環(huán)檢測，分布式的軌跡優(yōu)化 以及最后的 局部mesh地圖優(yōu)化；
分布式回環(huán)檢測：當機器人之間可以互相通訊時，機器人會發(fā)送自上次通訊始到當前的所有關鍵幀的全局描述子，將描述子轉換為BoW向量后進行關鍵幀內搜索匹配，匹配成功后計算兩關鍵幀的相對變換關系；
分布式的軌跡優(yōu)化：軌跡優(yōu)化部分主要是使用PGO解決outliers的問題，這里作者基于GNC提出了一種分布式魯棒軌跡估計方法，讓代價函數(shù)從凸近似（convex approximation ）開始逐漸到非凸，從而避免偽解；
局部mesh地圖優(yōu)化：這里主要是利用上面分部署PGO的回環(huán)檢測，實現(xiàn)對每個機器人mesh地圖的優(yōu)化；這里作者提出了一種提出了一種基于變形圖（deformation graphs）的mesh優(yōu)化方法。
Kimera-Multi在仿真數(shù)據(jù)集和真實場景中的效果；Kimera-Multi最終實現(xiàn)的效果如下：
1.在完全分布式的情況下提供了魯棒和準確的軌跡估計；
2.與kimera相比提供了3D Meshs度量語義估計的準確性；
3.通訊效率的顯著提升。
Kimera-Multi是2019年掛在arXiv上的，屬于較早的工作，在Kimera-Multi之后是Luca組將多機器人協(xié)同SLAM系統(tǒng)的場景理解和3D Dynamic Scene Graph結合，又有了今年的一篇工作“Hydra-Multi: Collaborative Online Construction of 3D Scene Graphs with Multi-Robot Teams”。
Reference
[1]ICRA 2023: https://www.icra2023.org/
[2] [IEEE Spectrum]MIT Multirobot Mapping Sets New “Gold Standard” IEEE conference award-winner turns SLAM into collaborative prize hunt：https://spectrum.ieee.org/multi-robot-slam-icra2023
[3]Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for Multi-Robot Systems, TRO, 2022
[4]Kimera: an open-source library for real-time metric-semantic localization and mapping, ICRA, 2020
[5]3D scene graph: A structure for unified semantics, ICCV, 2019
[6]3D dynamic scene graphs: Actionable spatial perception with places, objects, and humans, RSS, 2020
[7]Kimera: From SLAM to spatial perception with 3D dynamic scene graphs, IJRR, 2021
[8]Hydra: A Real-time Spatial Perception System for 3D Scene Graph Construction and Optimization, RSS, 2022
[9]Hydra-Multi: Collaborative Online Construction of 3D Scene Graphs with Multi-Robot Teams, arXiv, 2023
[10]Foundations of Spatial Perception for Robotics: Hierarchical Representations and Real-time Systems, arXiv, 2023
添加小助理微信：dddvisiona,備注：學校/公司+SLAM， 將拉你加入「SLAM」技術交流群
