CVPR 2023 | 融入語義的特征檢測(cè)和描述，更快更準(zhǔn)！
以往的特征檢測(cè)和匹配算法側(cè)重于提取大量冗余的局部可靠特征，這樣會(huì)導(dǎo)致效率和準(zhǔn)確性有限，特別是在大規(guī)模環(huán)境中挑戰(zhàn)性的場(chǎng)景，比如天氣變化、季節(jié)變化、光照變化等等。
作者：一杯紅茶 | 來源：計(jì)算機(jī)視覺工坊
在公眾號(hào)「3D視覺工坊」后臺(tái)，回復(fù)「原論文」即可獲取論文pdf。
添加微信：CV3d007，備注SLAM，拉你入群。文末附行業(yè)細(xì)分交流群。
本文將高級(jí)語義信息隱式地嵌入到檢測(cè)和描述過程中來提取全局可靠的特征，即他們?cè)O(shè)計(jì)了一個(gè)語義感知檢測(cè)器，能夠從可靠的區(qū)域(如建筑物、交通車道)檢測(cè)關(guān)鍵點(diǎn)，并隱式地抑制不可靠的區(qū)域(如天空、汽車)，而不是依賴于顯式的語義標(biāo)簽。通過減少對(duì)外觀變化敏感的特征數(shù)量，并避免加入額外的語義分割網(wǎng)絡(luò)，提高了關(guān)鍵點(diǎn)匹配的準(zhǔn)確性。此外，生成的描述符嵌入了語義信息后具有更強(qiáng)的鑒別能力，提供了更多的inliers。
論文實(shí)驗(yàn)是在Aachen DayNight和RobotCar-Seasons數(shù)據(jù)集上進(jìn)行的長(zhǎng)時(shí)大規(guī)模視覺定位測(cè)試。
目前最先進(jìn)效果最好的特征檢測(cè)和描述算法都是基于學(xué)習(xí)的方法，由于有大量的訓(xùn)練數(shù)據(jù)，這些方法能夠通過聚焦于有判別性的特征，即從更可靠的區(qū)域(如建筑物、交通車道)中提取關(guān)鍵點(diǎn)，但是訓(xùn)練中缺少語義信息，他們選擇全局可靠的關(guān)鍵點(diǎn)的能力有限，如下圖所示，他們更喜歡從物體中提取局部可靠的特征，包括那些對(duì)長(zhǎng)時(shí)定位沒有幫助的特征(如天空、樹、汽車)，這導(dǎo)致精度有限。
1.提出了一種新的特征網(wǎng)絡(luò)，在訓(xùn)練時(shí)隱式地將語義融入到檢測(cè)和描述過程中，使模型能夠在測(cè)試時(shí)產(chǎn)生端到端的語義感知特征。
2.采用語義感知和特征感知相結(jié)合的引導(dǎo)策略來使得模型更有效地嵌入語義信息。
3.在長(zhǎng)時(shí)定位任務(wù)上優(yōu)于以往的局部特征，具有與先進(jìn)匹配算法相當(dāng)?shù)木群洼^高的效率。
如上圖所示，模型由一個(gè)編碼器和兩個(gè)解碼器組成。一個(gè)編碼器負(fù)責(zé)從圖像中提取High level的特征，一個(gè)解碼器預(yù)測(cè)可靠性圖, 一個(gè)解碼器產(chǎn)生描述符。
特征檢測(cè)器預(yù)測(cè)的可靠性圖為,之前方法預(yù)測(cè)的可靠性圖是由紋理的豐富度主導(dǎo)的。如下圖所示，以往的方法只揭示了像素在局部層面的可靠性，缺乏全局層面的穩(wěn)定性，本文通過考慮局部可靠性和全局穩(wěn)定性來重新定義特征的可靠性。
其中局部可靠性這里用super-point預(yù)測(cè)的可靠性圖，全局穩(wěn)定性是根據(jù)像素所屬的語義標(biāo)簽來確定其全局穩(wěn)定性。具體來說，將ADE20k數(shù)據(jù)集中的120個(gè)語義標(biāo)簽按照它們隨時(shí)間變化的方式分為四類，分別表示為Volatile、Dynamic、Short-term和Long-term。
Volatile(如天空、水)是不斷變化的，對(duì)于定位來說是多余的。
Dynamic(如汽車、行人)每天都在移動(dòng)，可能會(huì)因?yàn)橐脲e(cuò)誤的匹配而導(dǎo)致定位錯(cuò)誤。
Short-term(如樹)可以用于短期定位任務(wù)(如VO/SLAM)，但它們對(duì)光照(低反照率)和季節(jié)條件的變化很敏感。
Long-term(如建筑、交通燈)不受上述變化的影響，是長(zhǎng)時(shí)定位的理想對(duì)象。
而且他們沒有直接過濾不穩(wěn)定的特征，而是根據(jù)期望的抑制程度，根據(jù)經(jīng)驗(yàn)分配的穩(wěn)定性值對(duì)特征重新排序。其中，Long-term對(duì)象對(duì)于短期和長(zhǎng)期定位都是魯棒的，因此將其穩(wěn)定性值設(shè)置為1.0，Short-term對(duì)于短期定位很有用，將其穩(wěn)定性設(shè)置為0.5。Volatile和Dynamic類別的穩(wěn)定性值被設(shè)置為0.1，因?yàn)樗鼈儗?duì)于短期/長(zhǎng)期定位都沒有用處。重新排序策略鼓勵(lì)模型優(yōu)先使用穩(wěn)定的特征，當(dāng)發(fā)現(xiàn)不穩(wěn)定的關(guān)鍵點(diǎn)時(shí)，使用來自其他對(duì)象的關(guān)鍵點(diǎn)作為補(bǔ)償，增加了模型對(duì)各種任務(wù)的魯棒性(如特征匹配、短期定位)。
然后將局部可靠性圖與全局穩(wěn)定性圖相乘得到全局可靠性圖。
通過在描述符中嵌入語義來增強(qiáng)它們的區(qū)分能力。與之前的描述符僅根據(jù)局部patch信息區(qū)分關(guān)鍵點(diǎn)不同的是，本文的描述符加強(qiáng)了同一類特征的相似性，同時(shí)保留了類內(nèi)匹配的不相似性。但在訓(xùn)練過程中，這兩種力量相互沖突，因?yàn)轭愰g判別能力需要擠壓同一類中描述符的空間，而類內(nèi)判別能力需要增加空間。
為了解決這個(gè)問題，本文基于兩種不同的度量設(shè)計(jì)里類間損失和類內(nèi)損失。
類間損失：先通過最大化不同標(biāo)簽描述符之間的歐幾里德距離來增強(qiáng)特征的語義一致性。這使得特征可以從具有相同標(biāo)簽的候選對(duì)象中找到對(duì)應(yīng)，減少了搜索空間，從而提高了匹配的準(zhǔn)確性。定義了基于三態(tài)損失的類間損失，該損失具有硬邊距，用于將一批不同標(biāo)簽的所有可能的正負(fù)關(guān)鍵點(diǎn)分離開來。
類內(nèi)損失：為了確保類內(nèi)損失不會(huì)與類間損失沖突，放寬了具有相同標(biāo)簽的描述符之間距離的限制。采用了軟排序損失，而不是使用硬邊的三重?fù)p失，通過優(yōu)化正樣本和負(fù)樣本的排序而不是它們的距離。通過對(duì)所有樣本的排序進(jìn)行優(yōu)化，而不是像帶硬邊緣的三態(tài)損失那樣在正負(fù)對(duì)之間強(qiáng)制設(shè)置硬邊界，軟排序損失也保持了同一類對(duì)象上特征的多樣性。
最終的損失為：
在Aachen (v1.0和v1.1)和RobotCar-Seasons數(shù)據(jù)集上測(cè)試了各種光照、季節(jié)和天氣條件下的方法。
Aachen v1.0包含了在亞琛城市周圍捕獲的4328張參考圖片和922張(824天，98夜)查詢圖片。
Aachen v1.1對(duì)v1.0進(jìn)行了擴(kuò)展，添加了2369張參考圖片和93張夜間查詢圖片。
RobotCar-Seasons有26121個(gè)參考圖像和11934個(gè)查詢圖像，由于郊區(qū)白天(雨、雪、黃昏、冬季)查詢圖像的條件多樣，夜間查詢圖像的光照條件較差，因此具有一定的挑戰(zhàn)性。
采用錯(cuò)誤閾值(2?，0.25m)，(5?，0.5m)，(10?，5m)的成功率作為度量。
baseline：
基線包括經(jīng)典的方法(C)，如AS v1.1、CSL和CPF以及使用語義的方法(S)，如LLN、SMC、SSM、DASGIL、ToDayGAN和LBR。
還與學(xué)習(xí)的特征和稀疏/密集匹配器(M)進(jìn)行了比較，例如，Superglue (SPG) ， SGMNet ， ClusterGNN和ASpanFormer ， LoFTER ， Patch2Pix ， Dual-RCNet。
可以看出其方法在定位下游任務(wù)和最先進(jìn)的方法表現(xiàn)持平或超過。
匹配定性結(jié)果：
運(yùn)行時(shí)間比較：
其方法可以說是又快又準(zhǔn)了！
目前工坊已經(jīng)建立了3D視覺方向多個(gè)社群，包括SLAM、工業(yè)3D視覺、自動(dòng)駕駛方向，細(xì)分群包括：[工業(yè)方向]三維點(diǎn)云、結(jié)構(gòu)光、機(jī)械臂、缺陷檢測(cè)、三維測(cè)量、TOF、相機(jī)標(biāo)定、綜合群；[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機(jī)器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；[自動(dòng)駕駛方向]深度估計(jì)、Transformer、毫米波|激光雷達(dá)|視覺攝像頭傳感器討論群、多傳感器標(biāo)定、自動(dòng)駕駛綜合群等。[三維重建方向]NeRF、colmap、OpenMVS等。除了這些，還有求職、硬件選型、視覺產(chǎn)品落地等交流群。大家可以添加小助理微信: CV3d007，備注：加群+方向+學(xué)校|公司, 小助理會(huì)拉你入群。
