利用車載攝像頭了解道路語義的鳥瞰圖

以下內(nèi)容來自從零開始機(jī)器人SLAM知識星球?每日更新內(nèi)容
點(diǎn)擊領(lǐng)取學(xué)習(xí)資料 →?機(jī)器人SLAM學(xué)習(xí)資料大禮包
#論文##開源代碼# Understanding Bird's-Eye View of Road Semantics using an Onboard Camera
論文地址:https://arxiv.org/abs/2012.03040
作者單位:蘇黎世ETH計(jì)算機(jī)視覺實(shí)驗(yàn)室
開源代碼:https://github.com/ybarancan/BEV_feat_stitch
自主導(dǎo)航需要對空間的場景理解,以移動或預(yù)測事件。對于自動駕駛車輛,這可以轉(zhuǎn)化為鳥瞰視圖(BEV)中的場景理解。然而,自動駕駛汽車的車載攝像頭通常是水平安裝的,以更好地查看周圍環(huán)境。在這項(xiàng)工作中,我們使用單個(gè)車載攝像頭輸入的視頻,通過在線估計(jì)語義Bev地圖的形式來研究場景理解。我們研究了這項(xiàng)任務(wù)的三個(gè)關(guān)鍵方面:圖像級理解、BEV級理解和時(shí)間信息的聚合。在這基礎(chǔ)上,我們提出了一種結(jié)合了這三個(gè)方面的新型體系結(jié)構(gòu)。在我們廣泛的實(shí)驗(yàn)中,我們證明了所考慮的方面對于BEV的理解是相輔相成的。此外,本文的架構(gòu)大大超過了目前最先進(jìn)的架構(gòu)。
本文貢獻(xiàn)如下:
1、我們提出了一種新的基于單目視頻的BEV道路語義深度神經(jīng)體系結(jié)構(gòu),用于靜態(tài)hd地圖部分和動態(tài)對象理解。
2、我們研究了獨(dú)立和聯(lián)合學(xué)習(xí)在圖像和/或BEV平面上的影響,以及時(shí)間信息。
3、該方法得到的結(jié)果明顯優(yōu)于現(xiàn)有的方法。





