以下內(nèi)容來自小六的機器人SLAM學習圈知識星球每日更新內(nèi)容

點擊領取學習資料 → 機器人SLAM學習資料大禮包

#論文# #開源代碼# TextSLAM: Visual SLAM with Semantic Planar Text Features

論文地址：https://arxiv.org/pdf/2305.10029.pdf??

作者單位：上海交通大學開源代碼：https://github.com/SJTU-ViSYS/TextSLAM

?我們提出了一種新的視覺SLAM方法，通過充分探索文本對象的幾何和語義先驗，將文本對象緊密地視為語義特征。文本對象被建模為紋理豐富的平面補丁，其語義含義是動態(tài)提取和更新的，以便更好地進行數(shù)據(jù)關聯(lián)。隨著對文本對象的局部平面特征和語義含義的全面探索，即使在圖像模糊、大視點變化和顯著光照變化（白天和夜間）等具有挑戰(zhàn)性的條件下，SLAM 系統(tǒng)也變得更加準確和穩(wěn)健。我們使用地面實況數(shù)據(jù)在各種場景中測試了我們的方法。結果表明，集成紋理特征可以得到一個更優(yōu)越的SLAM系統(tǒng)，可以在白天和晚上匹配圖像。重建的語義 3D 文本圖可用于機器人和混合現(xiàn)實應用程序中的導航和場景理解。?具體來說，我們通過充分利用場景文本的有利特征，將文本特征集成到 SLAM 中。在幾何上，文本特征被視為紋理豐富的平面塊，用于相機姿態(tài)估計和后端優(yōu)化，以產(chǎn)生更準確和更穩(wěn)健的估計。從語義上講，這些場景文本的含義，不受外觀變化的影響，用于在大光照或視點變化的情況下跨場景的可靠位置識別和特征匹配。由于缺乏具有豐富文本的 SLAM 基準，我們收集了室內(nèi)和室外的文本定向數(shù)據(jù)集，并進行評估。我們將我們的 SLAM 系統(tǒng)與最先進的方法進行了比較。 ?結果表明，通過與文本對象緊耦合，SLAM系統(tǒng)變得更加準確和健壯，即使在嚴重的光照變化(白天和夜間)、視點變化和遮擋等具有挑戰(zhàn)性的條件下也能很好地工作，現(xiàn)有的SLAM系統(tǒng)通常失敗。我們還將我們的基于文本的方法與最先進的視覺定位方法進行了比較，用于閉環(huán)。結果表明，我們的基于文本的方法在計算成本低得多的文本豐富的環(huán)境中優(yōu)于這些方法。

本文貢獻如下： 1）一種新穎的視覺 SLAM 框架，它將文本特征集成到前端姿勢跟蹤、后端優(yōu)化、閉環(huán)和映射中。據(jù)我們所知，這是第一個將場景文本緊密集成到視覺SLAM中的工作。我們還在各種文本豐富的環(huán)境中貢獻了一個數(shù)據(jù)集進行評估。 2）我們展示了文本特征的幾何和語義表示，以及它們在 SLAM 中的數(shù)據(jù)關聯(lián)模型。 3)一種新的回環(huán)檢測技術，依賴于文本特征的語義。在語義信息的幫助下，即使在具有挑戰(zhàn)性的場景中也可以實現(xiàn)可靠的閉環(huán)，包括嚴重的光照變化、遮擋和劇烈變化的視點。

以上內(nèi)容來自小六的機器人SLAM學習圈知識星球每日更新內(nèi)容