以下內(nèi)容來自從零開始機(jī)器人SLAM知識星球 每日更新內(nèi)容

點(diǎn)擊領(lǐng)取學(xué)習(xí)資料 → 機(jī)器人SLAM學(xué)習(xí)資料大禮包

#論文# #開源代碼# Detecting Line Segments in Motion-blurred Images with Events

論文地址：https://arxiv.org/abs/2211.07365

作者單位：武漢大學(xué)

開源代碼：https://levenberg.github.io/FE-LSD/ ?

? ?使線段檢測器在運(yùn)動模糊下更可靠是視覺 SLAM 和 3D 重建等實際應(yīng)用中最重要的挑戰(zhàn)之一?，F(xiàn)有的線段檢測方法在發(fā)生運(yùn)動模糊時準(zhǔn)確檢測和定位線段面臨嚴(yán)重的性能下降。雖然事件數(shù)據(jù)顯示出與圖像的強(qiáng)烈互補(bǔ)特征，可在高時間分辨率下實現(xiàn)最小的模糊和邊緣感知，但可能有利于可靠的線段識別。為了魯棒地檢測運(yùn)動模糊上的線段，我們提出利用圖像和事件的互補(bǔ)信息。為此，我們首先設(shè)計了一個通用的幀事件特征融合網(wǎng)絡(luò)來提取和融合詳細(xì)的圖像紋理和低延遲事件邊緣，它由一個基于通道注意力的淺層融合模塊和一個基于自注意力的對偶模塊組成沙漏模塊。然后，我們利用兩個最先進(jìn)的線框解析網(wǎng)絡(luò)來檢測融合特征圖上的線段。此外，我們?yōu)榫€段檢測提供了一個合成的和真實的數(shù)據(jù)集，即 FE-Wireframe 和 FE-Blurframe，具有成對的運(yùn)動模糊圖像和事件。

? ?對兩個數(shù)據(jù)集的大量實驗證明了所提出方法的有效性。在真實數(shù)據(jù)集上進(jìn)行測試時，我們的方法在 FE-Wireframe 上預(yù)訓(xùn)練并在 FE-Blurframe 上微調(diào)的模型實現(xiàn)了 63.3% 的平均結(jié)構(gòu)平均精度 (msAP)，與在合成模型上訓(xùn)練的模型相比分別提高了 32.6 和 11.3 個百分點(diǎn) 。

本文貢獻(xiàn)如下：

1、通過引入事件輔助運(yùn)動模糊圖像進(jìn)行線段檢測，可以魯棒地解決運(yùn)動模糊引起的性能下降問題。融合圖像和事件的思想充分利用了它們的低延遲事件邊緣和詳細(xì)的圖像紋理的互補(bǔ)特性，從而有效地提高了對不同相機(jī)運(yùn)動的直線檢測的準(zhǔn)確性和魯棒性。

2、通用的幀事件特征融合網(wǎng)絡(luò)旨在從圖像和事件中提取和融合信息。淺層融合和多尺度解碼器融合的串聯(lián)充分探索了通道注意和自注意機(jī)制，從而增強(qiáng)了事件和幀的特征提取。

3、構(gòu)建了兩個幀事件線段檢測數(shù)據(jù)集，即合成 FE-Wireframe 和真實世界 FE-Blurframe，用于運(yùn)動模糊圖像中的線段檢測。足夠的定性和定量比較證明了所提出方法的有效性和魯棒性。

以上內(nèi)容來自從零開始機(jī)器人SLAM知識星球 每日更新內(nèi)容