原文鏈接：武大+CMU最新開源！全面支持平面/魚眼/球面相機的實時統(tǒng)一線段檢測算法

https://mp.weixin.qq.com/s/CTe7KDOB0hB0AI84pdgb0A

大家好，今天給大家介紹一篇武漢大學和卡內基梅隆大學聯(lián)合發(fā)布的論文，論文名稱：Li, Hao and Yu, Huai and Wang, Jinwang and Yang, Wen and Yu, Lei and Scherer, Sebastian. ULSD: Unified line segment detection across pinhole, fisheye, and spherical cameras. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 178: 187-202.

同時，作者開源了代碼，代碼地址：

https://github.com/lh9171338/ULSD-ISPRS

摘要：

圖像的線段檢測是計算機視覺和遙感技術中的一個基本問題，可廣泛應用于三維重建和SLAM。雖然許多先進方法在線段檢測方面表現出了良好的性能，但對未去畸變原始圖像的線段檢測仍然是一個具有挑戰(zhàn)性的問題。此外，對于畸變和無畸變的圖像都缺乏統(tǒng)一的線段檢測框架。為了解決這兩個問題，本文提出了一種新的基于學習的任意畸變圖像的統(tǒng)一線段檢測方法（即ULSD）。具體來說，我們首先提出了一種新的基于等分點的Bezier曲線表示方法來建模任意畸變的線段。然后利用端到端可訓練神經網絡進行等分點回歸，在此基礎上回歸出整條線段。因此，所提出的ULSD算法和相機的畸變參數和相機模型無關，不需要進行去畸變預處理。在實驗中，該方法分別在針孔、魚眼和球形圖像數據集上進行評估，并在不同相機模型畸變圖像的混合數據集上進行訓練和測試。在典型三種相機模型上的實驗結果表明，提出ULSD在準確性和效率上比當前SOTA的方法更具有競爭力，特別是統(tǒng)一三種相機模型的混合數據集的結果訓練，證明提出的ULSD在現實場景的有效性和普遍性。源代碼和數據集：https://github.com/lh9171338/ULSD-ISPRS

1.引言

線段檢測是計算機視覺和遙感中的一個基本問題，在許多高級視覺任務中起著重要作用，如圖像匹配、相機校準、相機定位、三維重建，視覺SLAM等?，F有線段檢測方法可大致根據輸入圖像分為直線段檢測和畸變線段檢測兩類。由于直線段表示的簡單性（兩個端點），大多數研究都致力于這一點，并取得了顯著的結果。最近，人們提出了一個更高層次的線段檢測任務，即線框解析，以聯(lián)合檢測有意義和顯著的線段和線段端點。在端點的約束下，輸出的線段在線的完整性和對噪聲的魯棒性方面明顯提高。然而，這些線段檢測和線框解析的方法不能直接應用于帶畸變的圖像，導致了不可避免的圖像去畸變預處理。對魚眼和球形圖像的失真線檢測可以保留圖像大視角優(yōu)勢而不丟失信息。此外，對于大多數對時間要求高的SLAM方法（如ORB-SLAM、VINS-mino和2D-3D姿態(tài)跟蹤），對原始圖像進行特征檢測然后對特征校正是提高效率的常見做法。

圖1：所提出的ULSD方法演示了平面、魚眼和球形圖像的統(tǒng)一線段檢測模型。

本工作的目的是開發(fā)一種簡單而有效的統(tǒng)一線段表示和一種基于學習的檢測方法，直接輸出針孔、魚眼和球形圖像的矢量化線段?？紤]到Bezier曲線的強擬合能力，它已成功地應用于任意形狀的文本檢測，我們將Bezier曲線表示作為失真和未失真圖像中線段的統(tǒng)一表示。利用線段的等分點對Bezier曲線進行建模，利用等分點的坐標回歸可以有效地解決線段的檢測問題?；谒岢龅腂ezier曲線表示和流行的線框表示，我們設計了一種用于統(tǒng)一線段檢測的端到端神經網絡，即ULSD。通過預測線中點來建模Bezier曲線，我們的ULSD在線段表征和網絡設計方面都具有創(chuàng)新性，并擴展了對失真圖像的線檢測。ULSD的網絡可分為三部分：特征提取網絡、Line Proposal Network（LPN）和最后的分類器LOI Head。以平面、魚眼或球形相機拍攝的圖像作為輸入，網絡可以直接輸出矢量化的線段，如圖1所示。為了評估所提出的USLD的性能，我們在單一畸變模型（平面、魚眼或球形）和混合模型的不同數據集上進行了充分的實驗。實驗結果表明，所提出的ULSD在準確性、效率和通用性方面比以往最先進的方法更具競爭力。

綜上所述，本文的主要貢獻有三個方面：

• 我們提出了一種基于Bezier曲線的簡單而有效的統(tǒng)一線段表示方法，其中線段用其等分點進行非參數表示。因此，它與相機的固有模型無關，可以直接擴展到檢測有畸變圖像里的線段。

• 在統(tǒng)一的線段表示的基礎上，設計了一個線段等分點回歸的端到端神經網絡，該網絡可以從平面、魚眼和球面圖像中提取失真和未失真的線段。

• 為了評估其性能，我們創(chuàng)建了魚眼和球形圖像數據集，用于畸變圖像中的線段檢測。與當前SOTA方法的廣泛評估和比較證明了ULSD的準確性和效率。最重要的是，在混合數據集上訓練的統(tǒng)一模型結果驗證了其泛化性和通用性。

圖2.一個三階Bezier曲線的說明。bi表示控制點，pi表示中點。

圖3：對我們的ULSD網絡架構的概述。該網絡包括特征提取骨干、Line Proposal Network和LoI頭三部分。

3.實驗

在本節(jié)中，我們在各種數據集上進行了充分的實驗，以評估ULSD的性能，并將其與當前SOTA方法進行比較。

3.1.數據集和評估指標

3.1.1.平面圖像數據集

公共Wireframe數據集和YorkUrban數據集用作直線段檢測數據集。前者包含5462張場景圖像，其中5000張圖像用于訓練，其余462張圖像用于測試，這個數據集的標注包括交叉點和線段。后者包含102張城市環(huán)境圖像，標注是滿足“曼哈頓假設”的線段集。Wireframe數據集同時用于訓練和測試，而YorkUrban數據集僅用于測試，以驗證模型的可推廣性。

3.1.2.魚眼圖像數據集

由于沒有用于線段檢測的公共魚眼圖像數據集，所以我們同時收集仿真圖像和真實圖像來創(chuàng)建魚眼數據集。首先，我們利用魚眼畸變模型扭曲Wireframe數據集和YorkUrban數據集的圖像，建立F-Wireframe數據集和F-YorkUrban數據集，其中隨機生成每幅圖像的魚眼畸變系數。類似地，F-Wireframe數據集同時用于訓練和測試，而F-YorkUrban數據集只用于測試。然后，為了提高模型對真實圖像的普適性，我們手動標注了1900張真實的180度魚眼圖像。最終的訓練集由3100張合成圖像和1900張真實圖像組成，共計5000張圖像。

3.1.3.球面圖像數據集

目前沒有可用的公共球面圖像數據集進行線段檢測，因此我們通過手動注釋來自SUN360數據集和斯坦福2D-3D-S數據集的圖像，構建了一個名為SS360的新數據集。SS360數據集由來自SUN360數據集的518張圖像和來自Stafff2D-3D-S數據集的550張圖像組成。在數據集中的1068幅圖像中，將950張圖像分為訓練集，將118張圖像分為測試集。

3.1.4.混合圖像數據集

作為任意畸變圖像的統(tǒng)一線段檢測方法，我們進一步對ULSD在不同類型圖像的混合數據集上進行綜合性能評估。因此，我們還構建了一個混合訓練和測試數據集?；旌嫌柧殧祿巧鲜鋈齻€訓練集的10950張圖像的混合。混合測試數據集的圖像是從Wireframe數據集、F-Wireframe數據集和SS360數據集的測試集中隨機選擇各100張。

3.2.消融研究

我們首先探討了Bezier曲線的階數的影響，并根據實驗結果確定了ULSD的合適的階數設置。然后，我們進一步比較了不同的混合訓練策略的效果。

圖6：不同Bezier階數在平面、魚眼和球面圖像數據集下的表現。(a)不同階數Bezier曲線的平均擬合誤差(b)-(c)不同階數Bezier曲線的參數和網絡的FLOPs??(d)-(f)不同階數Bezier曲線提取的精度和效率。

3.3.與其他方法的比較

為了評估所提出的ULSD的性能，我們對針孔、魚眼和球形圖像數據集以及混合數據集的傳統(tǒng)方法霍夫變換(HT)和LSD、基于學習的方法DWP、AFM、L-CNN和HAWP進行了深入的比較。對于平面圖像，使用OpenCV中的漸進式概率霍夫變換(PPHT)進行評估，并使用結構化邊緣檢測算法(Dollar和Zitnick，2013)提取突出的結構化邊緣。而對于魚眼圖像和球形圖像，則采用了球形霍夫變換。

圖7：平面Wireframe數據集和YorkUrban數據集的定性結果和比較。

3.3.1.平面圖像結果

表2總結了Wireframe數據集和YorkUrban數據集上的定量結果和比較。圖7顯示為定性結果比較。除在三混合數據集上訓練的ULSD(P+F+S)外，所有模型均在Wireframe數據集上進行訓練。定量結果表明，與傳統(tǒng)的霍夫變換和LSD以及基于學習的DWP和AFM相比，ULSD具有更高的檢測精度。此外，與最先進的方法LCNN和HAWP相比，所提出的ULSD獲得了相當的精度和顯著的速度提高，達到36.8FPS。在三混合數據集上的訓練并不有助于在針孔線框和YorkUrban數據集上的測試的性能。

表2：Wireframe數據集和YorkUrban數據集的定量結果和比較。除在三混合數據集上訓練的ULSD(P+F+S)外，所有模型均在Wireframe數據集上進行訓練。與最先進的方法相比，ULSD獲得了相當的精度和顯著的速度提高。

3.3.2.魚眼圖像結果

對于魚眼圖像數據集，由于對比算法不能推廣到失真的相機模型，我們只將ULSD與傳統(tǒng)的霍夫變換和深度學習直線段檢測方法L-CNN和HAWP進行了比較。L-CNN和HAWP的模型仍然在Wireframe數據集上進行訓練，因為它們不支持使用魚眼圖像數據集進行訓練。而我們的模型ULSD(F)和ULSD(P+F+S)分別在F-Wireframe數據集和三混合訓練數據集上進行訓練。定量和定性結果見表3和圖9。與L-CNN和HAWP相比，我們的ULSD獲得了更高的線段檢測精度，因為L-CNN和HAWP只能檢測魚眼圖像中的直線段。從理論上講，霍夫變換可以檢測到扭曲的線段。然而，它產生了許多片段的線段，如圖9所示。相反，通過利用神經網絡，ULSD可以以最高的效率產生高質量的線段檢測結果。對合成和真實魚眼圖像的定性結果表明，該ULSD具有良好的魯棒性和通用性。

表3：F-Wireframe數據集和F-YorkUrban數據集的定量結果和比較。由于其他方法不能應用于曲線檢測，我們與傳統(tǒng)的霍夫變換和深度學習方法L-CNN和HAWP進行了比較。ULSD取得了最優(yōu)的結果。

圖9：F-Wireframe數據集和F-YorkUrban數據集的定性結果和比較。第1?第4列是合成的魚眼圖像，第5?第6列是真實的魚眼圖像。

3.3.3.球面圖像結果

在球面圖像數據集上的線段檢測結果如圖11所示。表4表示定量結果和比較。所有這些結果表明，我們的方法顯著優(yōu)于最先進的方法。圖11表明，傳統(tǒng)的HT可以檢測到曲線段，但由于有許多片段和噪聲，最近基于學習的L-CNN和HAWP可以檢測到大部分的垂直直線，但忽略了所有的水平曲線段。與ground truth相比，我們的ULSD的缺失線檢測最少。當比較我們自己的兩種模型ULSD(S)和ULSD(P+F+S)時，我們發(fā)現后者在定量和定性結果方面都獲得了更好的性能。這是因為與原始的SSUN360數據集相比，混合訓練大大增加了訓練樣本的數量。添加的針孔和魚眼數據集有助于學習球形圖像的直線檢測和扭曲檢測，獲得更高的精度和更好的通用性。

圖11：SS360數據集的定性結果和比較。

表4：SS360數據集的定量結果和比較。

3.3.4.混合試驗結果

為了統(tǒng)一的線段檢測，我們進一步將我們的方法配置為在上述三種相機模型的混合數據集上進行訓練。為了評價線段檢測方法對不同失真圖像的綜合性能，我們與Hough變換(HT)、L-CNN和HAWP方法進行了比較。結果如表5、圖13所示。雖然HT可以檢測到一些直線和曲線，但還需要提供相機模型來選擇PPHT或球形HT。我們可以觀察到，與ground truth相比，所提出的USLD獲得了所有指標的最高精度，同時也獲得了最好的定性結果。支持混合訓練的獨特特點顯著提高了所提出的ULSD的性能，這證明了所提出的ULSD的統(tǒng)一性和普遍性。

表5：三種混合數據集的定量結果和比較。所提供的指標顯示了對不同失真圖像的綜合性能。

圖13：對三種混合數據集的定性結果和比較。前4種方法（行）在針孔數據集上進行訓練，而ULSD(P+F+S)在三種混合數據集上進行訓練。所有這些模型都在針孔（第一列）、魚眼（第二?第3列）和球形（第4?第5列）圖像上進行了測試。

4.結論

本文提出了一種統(tǒng)一的線段檢測方法(ULSD)，用于檢測平面、魚眼和球面圖像中有畸變和無畸變的線段。USLD采用新的基于等分點的Bezier曲線表示，將任意畸變的圖像線段檢測統(tǒng)一到一個端到端的學習網絡框架。其核心由三個模塊組成：特征提取網絡、線proposal網絡(LPN)和分類器LoIHead。通過實驗表明，所提出的ULSD在線特征提取精度和效率方面都比以往方法更具競爭力。在混合數據集上訓練的ULSD的性能進一步證明了其在三種常見相機模型上的有效性和通用性。因此，我們的統(tǒng)一ULSD模型可以應用于檢測平面、魚眼和球面圖像上的線段，而不需要任何相機模型或畸變參數。我們還提供了F-Wireframe、F-YorkUrban和SS360數據集，希望這帶來更多的在任意畸變相機中的線段檢測工作。

獨家重磅課程！

1、視覺SLAM必備基礎?太卷了！聽說學懂ORB-SLAM2課程第3期可全額退款？敢不敢來挑戰(zhàn)？

2、?VINS:Mono+Fusion?SLAM面試官：看你簡歷上寫精通VINS，麻煩現場手推一下預積分！

3、VIO課程：VIO最佳開源算法：ORB-SLAM3超全解析課程重磅升級！

4、圖像三維重建課程（第2期）：視覺幾何三維重建教程（第2期）：稠密重建，曲面重建，點云融合，紋理貼圖

5、重磅來襲！基于LiDAR的多傳感器融合SLAM 系列教程：LOAM、LeGO-LOAM、LIO-SAM

6、系統(tǒng)全面的相機標定課程：單目/魚眼/雙目/陣列 相機標定：原理與實戰(zhàn)

7、深度學習三維重建課程：基于深度學習的三維重建學習路線

8、激光定位+建圖課程：激光SLAM框架Cartographer課程90+視頻全部上線！適合服務機器人！

鏈接：武大+CMU最新開源！全面支持平面/魚眼/球面相機的實時統(tǒng)一線段檢測算法

https://mp.weixin.qq.com/s/CTe7KDOB0hB0AI84pdgb0A

全國最棒的SLAM、三維視覺學習社區(qū)↓

鏈接：武大+CMU最新開源！全面支持平面/魚眼/球面相機的實時統(tǒng)一線段檢測算法

https://mp.weixin.qq.com/s/CTe7KDOB0hB0AI84pdgb0A

技術交流微信群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群，請?zhí)砑游⑿盘?chichui502 或掃描下方加群，備注：”名字/昵稱+學校/公司+研究方向“。請按照格式備注，否則不予通過。添加成功后會根據研究方向邀請進入相關微信群。請勿在群內發(fā)送廣告，否則會請出群，謝謝理解~

投稿、合作也歡迎聯(lián)系：simiter@126.com

交流群鏈接：武大+CMU最新開源！全面支持平面/魚眼/球面相機的實時統(tǒng)一線段檢測算法

https://mp.weixin.qq.com/s/CTe7KDOB0hB0AI84pdgb0A

掃描關注視頻號，看最新技術落地及開源方案視頻秀?↓

視頻號鏈接：武大+CMU最新開源！全面支持平面/魚眼/球面相機的實時統(tǒng)一線段檢測算法

https://mp.weixin.qq.com/s/CTe7KDOB0hB0AI84pdgb0A

—? ?版權聲明? —

本公眾號原創(chuàng)內容版權屬計算機視覺life所有；從公開渠道收集、整理及授權轉載的非原創(chuàng)文字、圖片和音視頻資料，版權屬原作者。如果侵權，請聯(lián)系我們，會及時刪除。