自動駕駛之心多傳感器融合:毫米波雷達(dá)和視覺融合感知全棧教程(深度學(xué)習(xí)+傳統(tǒng)方式)
多傳感器融合的意義
多源數(shù)據(jù)融合技術(shù)能夠?qū)⒍鄠€不同數(shù)據(jù)源收集的不完整信息整合在一起,并進(jìn)行相應(yīng)的處理和融合加工,使不同數(shù)據(jù)之間的優(yōu)勢互相補(bǔ)足最終得到一條有決策意義的數(shù)據(jù)結(jié)果,以此削弱數(shù)據(jù)源中存在的不確定成份,幫助使用者獲得有效的融合判斷和準(zhǔn)確的綜合衡量,從而更輕易做出合理的判斷和決策。數(shù)據(jù)融合技術(shù)現(xiàn)己應(yīng)用于目標(biāo)識別、自動化、態(tài)勢評估以及地球科學(xué)等領(lǐng)域,并逐步擴(kuò)大應(yīng)用范圍,如社會安全、遙感圖像、污染檢測、氣候分析等領(lǐng)域。
2、多傳感器融合的層次結(jié)構(gòu)
?
數(shù)據(jù)級融合
? ? ? ?數(shù)據(jù)層融合結(jié)構(gòu)如圖1所示。首先將全部傳感器的觀測數(shù)據(jù)融合,然后從融合的數(shù)據(jù)中提取特征向量,并進(jìn)行判斷識別。這便要求傳感器是同質(zhì)的(傳感器觀測的是同一物理現(xiàn)象),如果多個傳感器是異質(zhì)的(觀測的不是同一個物理現(xiàn)象),那么數(shù)據(jù)只能在特征層或決策層進(jìn)行融合。數(shù)據(jù)層融合是直接在采集到的原始數(shù)據(jù)層上進(jìn)行的融合,在各種傳感器的原始測量未經(jīng)處理之前就進(jìn)行數(shù)據(jù)的綜合和分析,這是最低層次的融合,如成像傳感器對包含若干像素的模糊圖像進(jìn)行處理和模式識別來確認(rèn)目標(biāo)屬性的過程就屬于數(shù)據(jù)層的融合。這種融合的優(yōu)點是能保持盡可能多的現(xiàn)場數(shù)據(jù),提供其他融合層次所不能提供的細(xì)微信息。但它所要處理的傳感器數(shù)據(jù)量太大,故處理代價高,處理時間長,實時性差。這種融合是在信息的最低層進(jìn)行的,傳感器原始信息的不確定性、不完全性和不穩(wěn)定性要求在融合時有較高的糾錯能力。
?