為什么要做傳感器融合？

自動(dòng)駕駛是當(dāng)今科技行業(yè)中的最熱門(mén)話(huà)題之一，隨著技術(shù)的不斷進(jìn)步，自動(dòng)駕駛汽車(chē)將逐漸成為主流，而多傳感器融合技術(shù)是實(shí)現(xiàn)自動(dòng)駕駛技術(shù)的關(guān)鍵。單一傳感器在應(yīng)用上存在一定的局限性，比如在天氣惡劣或環(huán)境復(fù)雜時(shí)，傳感器的效果會(huì)受到極大影響。為了克服這些局限性，多傳感器融合技術(shù)應(yīng)運(yùn)而生！多傳感器融合技術(shù)將多個(gè)傳感器的數(shù)據(jù)進(jìn)行整合和處理，形成更為全面、準(zhǔn)確的感知結(jié)果。

近些年來(lái)，多傳感器融合的方案在各類(lèi)頂級(jí)會(huì)議中逐漸受到關(guān)注，并且隨著B(niǎo)EV感知方法的提出，給予了融合算法以更高的自由度，也就自然地成為了感知算法研究的熱點(diǎn)之一。在工業(yè)界，多傳感器融合技術(shù)已經(jīng)得到了廣泛的應(yīng)用，Uber和Waymo等公司也在自動(dòng)駕駛技術(shù)中采用了多傳感器融合技術(shù)，隨著未來(lái)技術(shù)的進(jìn)一步發(fā)展，多傳感器融合技術(shù)將得到更為廣泛的應(yīng)用，成為自動(dòng)駕駛技術(shù)的重要推動(dòng)力量。

毫米波雷達(dá)和相機(jī)融合是傳感器融合方案中非常受歡迎的方法，也是目前落地最多的方案！相機(jī)很容易受到光照不足或惡劣天氣條件的影響，僅用相機(jī)檢測(cè)三維物體無(wú)法提供準(zhǔn)確的距離信息。毫米波雷達(dá)可以提供精確的距離信息、速度信息以及其它信息并且可以全天候地運(yùn)行，但是稀疏性和噪聲等致使雷達(dá)無(wú)法作為主要信息來(lái)源。綜合來(lái)說(shuō)，相機(jī)具有良好的分辨率和分類(lèi)能力，雷達(dá)擁有準(zhǔn)確的目標(biāo)距離和速度等測(cè)量能力和對(duì)惡劣天氣的魯棒性，通過(guò)融合雷達(dá)和相機(jī)傳感器能夠充分發(fā)揮兩者互補(bǔ)關(guān)系，從而在整體上提升感知能力。

雷達(dá)和相機(jī)融合具有多種融合方式。一方面，學(xué)術(shù)界流行的前融合方法，隨著B(niǎo)EV方法的引入，給融合帶來(lái)了新的契機(jī)和卷論文的方向，具有非常廣闊的研究前景，但是對(duì)雷達(dá)原理和傳統(tǒng)檢測(cè)方法的認(rèn)知會(huì)限制我們進(jìn)一步的優(yōu)化。另一方面，工業(yè)界常用的后融合方法目前資源較少，同時(shí)與前融合領(lǐng)域內(nèi)容相差較大不易入門(mén)。一門(mén)能夠兼具前、后融合內(nèi)容的課程對(duì)于大家入門(mén)多傳感器融合具有非常重要的意義！能夠幫助許多初學(xué)者快速入門(mén)，少走彎路。自動(dòng)駕駛之心團(tuán)隊(duì)在深入調(diào)研毫米波視覺(jué)融合常用方法后，從數(shù)據(jù)處理、聚類(lèi)、跟蹤匹配、深度學(xué)習(xí)點(diǎn)云方案、2D/3D融合等多個(gè)方向展開(kāi)講解，是一門(mén)同時(shí)面向工業(yè)界和學(xué)術(shù)界的教程！

課程大綱

主講老師

Naca，自動(dòng)駕駛之心團(tuán)隊(duì)成員，專(zhuān)注于毫米波雷達(dá)和相機(jī)融合的目標(biāo)檢測(cè)和場(chǎng)景感知 ！

本課程適合人群

1. 計(jì)算機(jī)視覺(jué)與自動(dòng)駕駛感知相關(guān)研究方向的本科/碩士；

   
   

2. 自動(dòng)駕駛2D/3D感知相關(guān)算法工程人員；

   
   

3. 想要轉(zhuǎn)入多傳感器融合檢測(cè)方向的同學(xué)；

   
   

需要具備的基礎(chǔ)

1. 具有一定的Python、PyTorch、C++基礎(chǔ)；

   
   

2. 對(duì)BEV感知算法、傳統(tǒng)的濾波和優(yōu)化算法有一定的了解；

   
   

3. 電腦需要自帶GPU（顯存至少10GB）

   
   

學(xué)后收獲

1. 對(duì)傳統(tǒng)毫米波算法及數(shù)據(jù)處理有著深入了解；

   
   

2. 熟練掌握常用毫米波雷達(dá)深度學(xué)習(xí)方法；

   
   

3. 對(duì)毫米波視覺(jué)2D融合和3D融合方案有著較深了解，熟悉設(shè)計(jì)方法與思路；

   
   

4. 對(duì)多傳感器融合任務(wù)有深入了解，能夠掌握工業(yè)界常用設(shè)計(jì)方法，搭建自己的工程；

   
   

開(kāi)課時(shí)間

2023.6.5號(hào)正式開(kāi)課，為期兩個(gè)月，全程錄播，隨到隨學(xué)，講師交流群內(nèi)答疑！

歡迎咨詢(xún)

掃碼學(xué)習(xí)課程

掃碼添加汽車(chē)人助理咨詢(xún)課程！

(微信：AIDriver004)