增強融合模塊的透明目標(biāo)跟蹤
#論文##開源#IROS 2023| 增強融合模塊的透明目標(biāo)跟蹤 【Transparent Object Tracking with Enhanced Fusion Module】 作者單位:石溪大學(xué)、空軍科研辦公室、紐約城市學(xué)院 開源代碼:GitHub - kalyan0510/TOTEM: Transparent Object Trac... 對透明物體(如眼鏡)的準(zhǔn)確跟蹤在機器人輔助生活等許多機器人任務(wù)中起著至關(guān)重要的作用。由于這類物體的自適應(yīng)和經(jīng)常反射的紋理,傳統(tǒng)的依賴于通用學(xué)習(xí)特征的跟蹤算法性能降低。最近的研究提出通過融合目的構(gòu)建特征向現(xiàn)有的通用目標(biāo)跟蹤器中灌輸透明性感知。 然而,在現(xiàn)有的融合技術(shù)中,新特征的加入引起了潛在空間的變化,使得在具有固定潛在空間的跟蹤器上無法融入透明度感知。例如,目前許多基于Transformer的跟蹤器都是完全預(yù)訓(xùn)練的,并且對任何潛在的空間擾動都很敏感。在本文中,我們提出了一種新的特征融合技術(shù),將透明度信息集成到一個固定的特征空間中,使其能夠在更廣泛的跟蹤器中使用。我們提出的融合模塊由一個Transformer編碼器和一個MLP模塊組成,利用基于查詢的關(guān)鍵變換將透明度信息嵌入到跟蹤管道中。 我們還為我們的融合模塊提出了一種新的兩步訓(xùn)練策略,以有效地融合透明度特征。我們提出了一種新的跟蹤器架構(gòu),使用我們的融合技術(shù)來實現(xiàn)透明目標(biāo)跟蹤的卓越結(jié)果。我們提出的方法在最近發(fā)布的最大的透明目標(biāo)跟蹤基準(zhǔn)TOTB上取得了與最先進的跟蹤器相媲美的結(jié)果。