Slamcore Ltd等開源:基于潛在先驗(yàn)網(wǎng)絡(luò)和 Quasi-Planar準(zhǔn)平面分割的實(shí)時(shí)語義地圖

以下內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識(shí)星球每日更新內(nèi)容
點(diǎn)擊領(lǐng)取學(xué)習(xí)資料 → 機(jī)器人SLAM學(xué)習(xí)資料大禮包
#論文##開源# RA-L 2023|Slamcore Ltd和倫敦國王學(xué)院開源SeMLaPS:基于潛在先驗(yàn)網(wǎng)絡(luò)和 Quasi-Planar準(zhǔn)平面分割的實(shí)時(shí)語義地圖
【SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and Quasi-Planar Segmentation】
開源代碼和數(shù)據(jù)集: SeMLaPSReal-timeSemanticMappingwithLatentPriorNetw...
實(shí)時(shí)語義的可用性極大地提升了SLAM系統(tǒng)的核心幾何功能,使大量機(jī)器人和AR / VR應(yīng)用得以實(shí)現(xiàn)。我們提出了一種從RGBD序列中進(jìn)行實(shí)時(shí)語義建圖的新方法,該方法結(jié)合了2D神經(jīng)網(wǎng)絡(luò)和3D網(wǎng)絡(luò),基于具有3D占用地圖的SLAM系統(tǒng)。當(dāng)分割一個(gè)新的幀時(shí),我們基于可微的渲染從以前的幀中執(zhí)行潛在的特征重投影。與獨(dú)立處理圖像的基線相比,將前一幀的重投影特征圖與當(dāng)前幀的特征進(jìn)行融合大大提高了圖像分割質(zhì)量。對(duì)于3D地圖處理,我們提出了一種新穎的幾何準(zhǔn)平面過分割方法,通過表面法線將可能屬于相同語義類的3D地圖元素分組。
我們還描述了一種新穎的用于輕量級(jí)語義地圖后處理的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。我們的系統(tǒng)在基于2D - 3D網(wǎng)絡(luò)的系統(tǒng)中實(shí)現(xiàn)了最先進(jìn)的語義地圖質(zhì)量,并在三個(gè)真實(shí)的室內(nèi)數(shù)據(jù)集上匹配了3D卷積網(wǎng)絡(luò)的性能,同時(shí)能夠?qū)崟r(shí)工作。此外,與3D CNN相比,它表現(xiàn)出更好的跨傳感器泛化能力,可以使用不同的深度傳感器進(jìn)行訓(xùn)練和推理。







以上內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識(shí)星球每日更新內(nèi)容