視覺定位新突破:多倫多大學(xué)探索特征學(xué)習(xí)+圖像變換

以下內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識(shí)星球每日更新內(nèi)容
點(diǎn)擊領(lǐng)取學(xué)習(xí)資料 → 機(jī)器人SLAM學(xué)習(xí)資料大禮包
#論文# IROS 2023|多倫多大學(xué)探討該學(xué)習(xí)什么:特征、圖像變換或兩個(gè)都要?
【W(wǎng)hat to Learn: Features, Image Transformations, or Both?】
作者單位:多倫多大學(xué)
文章鏈接:
230613040WhattoLearnFeaturesImageTransformationsor...
摘要:
長(zhǎng)期視覺定位是機(jī)器人和計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)非常重要的問題,但在光照和季節(jié)引起的環(huán)境變化的場(chǎng)景下仍具有挑戰(zhàn)性。雖然現(xiàn)有的許多研究試圖通過直接學(xué)習(xí)不變的稀疏關(guān)鍵點(diǎn)和描述子來匹配場(chǎng)景從而解決這個(gè)問題,但這些方法處理復(fù)雜多樣的場(chǎng)景任務(wù)仍然很吃力。近期在圖像Transformer技術(shù)的發(fā)展,如神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移,已經(jīng)成為解決這些場(chǎng)景差異的一種替代方法。在這項(xiàng)工作中,我們提出將圖像變換網(wǎng)絡(luò)Transformer和特征學(xué)習(xí)網(wǎng)絡(luò)相結(jié)合,以提高長(zhǎng)期視覺定位性能。
給定一對(duì)黑夜-白天圖像,圖像Transformer變換網(wǎng)絡(luò)在特征匹配之前,將夜晚圖像轉(zhuǎn)化為類白天條件;特征網(wǎng)絡(luò)用其相關(guān)的特征描述子來檢測(cè)關(guān)鍵點(diǎn)位置,將這些描述子的值傳遞給一個(gè)經(jīng)典的位姿估計(jì)算法來計(jì)算其相對(duì)位姿。本文進(jìn)行了各種實(shí)驗(yàn)來檢驗(yàn)結(jié)合風(fēng)格遷移和特征學(xué)習(xí)以及其訓(xùn)練策略的有效性,結(jié)果表明這樣的結(jié)合顯著提高了長(zhǎng)期定位的性能。





以上內(nèi)容來自小六的機(jī)器人SLAM學(xué)習(xí)圈知識(shí)星球每日更新內(nèi)容
最后介紹一下我們最近的幾個(gè)學(xué)習(xí)活動(dòng):
1、【報(bào)名】視覺慣性SLAM挑戰(zhàn)賽之 ORB-SLAM3
《視覺慣性SLAM:理論與源碼解析》第三部分:ORB-SLAM3理論與實(shí)踐。3周時(shí)間,8月21日開始上課。詳見《視覺慣性SLAM》挑戰(zhàn)賽,終極之戰(zhàn)!
2、第1期編輯部成員招募
一起對(duì)AR/MR、機(jī)器人、自動(dòng)駕駛、無人機(jī)等SLAM相關(guān)的細(xì)分行業(yè)的梳理和分析,在AI熱潮下能夠和大家一起理清思路,看清發(fā)展脈絡(luò)和趨勢(shì)。 僅限 「小六的機(jī)器人SLAM學(xué)習(xí)圈」參與。
3、【報(bào)名】創(chuàng)業(yè)交流小組
組織有創(chuàng)業(yè)想法,有創(chuàng)業(yè)行動(dòng),或者正在創(chuàng)業(yè)中的朋友一起學(xué)習(xí)交流,大家一起去思想碰撞,相互學(xué)習(xí),甚至產(chǎn)生合作機(jī)會(huì)。僅限 「小六的機(jī)器人SLAM學(xué)習(xí)圈」參與。
4、【報(bào)名】招募項(xiàng)目實(shí)戰(zhàn)合作者
SLAM項(xiàng)目實(shí)戰(zhàn)課程,基于開源算法做一些拓展項(xiàng)目。僅限 「小六的機(jī)器人SLAM學(xué)習(xí)圈」參與。
5、小六的機(jī)器人SLAM圈!
全國最大的機(jī)器人SLAM交流圈,詳情戳「小六的機(jī)器人SLAM學(xué)習(xí)圈」
