今天自動駕駛之心為大家分享最新的多傳感器融合系統(tǒng)的抗干擾性與魯棒性研究，如果您有相關(guān)工作需要分享，請在文末聯(lián)系我們！

>>點擊進入→自動駕駛之心【多傳感器融合】技術(shù)交流群

論文作者?|?Xinyu Gao

編輯 | 自動駕駛之心

很榮幸受邀分享我們組最近關(guān)于多傳感器融合系統(tǒng)的抗干擾性與魯棒性研究。

基于多傳感器融合（MSF）的感知系統(tǒng)是支持許多工業(yè)應(yīng)用和領(lǐng)域的基礎(chǔ)，如自動駕駛汽車、機械臂和無人機。在過去的幾年里，數(shù)據(jù)驅(qū)動的人工智能（AI）發(fā)展帶來了一種快速增長的趨勢，即通過深度學(xué)習技術(shù)增強MSF系統(tǒng)的能力，以進一步提高性能。

本文構(gòu)建了感知系統(tǒng)的公共基準，包括三個常用的任務(wù)（目標檢測、目標跟蹤和深度補全）。在此基礎(chǔ)上，為了全面了解MSF系統(tǒng)的魯棒性和可靠性，設(shè)計了14種常見且現(xiàn)實的損壞模式來合成大規(guī)模的損壞數(shù)據(jù)集。通過大規(guī)模的評估并確定以下關(guān)鍵發(fā)現(xiàn)：（1）現(xiàn)有的MSF系統(tǒng)對損壞的傳感器信號不夠魯棒；（2） 小的同步和標定誤差可能導(dǎo)致MSF系統(tǒng)崩潰；（3） 現(xiàn)有的MSF系統(tǒng)通常是緊密耦合的，其中來自單個傳感器的錯誤/錯誤可能導(dǎo)致系統(tǒng)崩潰；（4） 可以通過改進融合機制來增強MSF系統(tǒng)的魯棒性。

領(lǐng)域目前的發(fā)展

多傳感器融合（MSF）是指將來自多個傳感器來源的數(shù)據(jù)結(jié)合起來以實現(xiàn)特定任務(wù)的技術(shù)，已被許多復(fù)雜系統(tǒng)廣泛采用。來自不同傳感器的信息的集成避免了單個傳感器固有的感知限制，并提高了系統(tǒng)的整體性能。MSF的快速發(fā)展也帶來了挑戰(zhàn)和擔憂，最大的擔憂之一是對目前MSF的可靠性缺乏深入了解。在實踐中，MSF系統(tǒng)可能會在關(guān)鍵安全的情況下出現(xiàn)錯誤，并導(dǎo)致嚴重事故，尤其是在自動駕駛中。因此，非常希望能夠預(yù)先對這種智能系統(tǒng)進行全面的測試、分析和系統(tǒng)評估。在AI/SE社區(qū)中開展此類質(zhì)量保證活動的一種常見做法是建立一個基準，使研究人員和從業(yè)者能夠進行系統(tǒng)研究并開發(fā)新技術(shù)，以更好地滿足重要的質(zhì)量要求。然而到目前為止，還沒有專門為MSF設(shè)計的基準。目前尚不清楚潛在的質(zhì)量問題和風險是否存在以及在多大程度上存在，它們是如何從每個傳感單元產(chǎn)生的，以及它們對集成和信息融合過程的影響！

為了彌補這一差距，本文提出了一個基準，并對MSF感知系統(tǒng)進行了實證研究，圖1總結(jié)了基準構(gòu)建的高層設(shè)計和工作流程以及實證研究，其中主要調(diào)查了以下研究問題，旨在識別潛在的挑戰(zhàn)和機遇：

RQ1：MSF感知系統(tǒng)如何對抗常見的損壞信號？該RQ旨在調(diào)查MSF系統(tǒng)針對操作環(huán)境中常見的損壞信號的潛在風險。通過對11種類型的損壞傳感器信號進行大規(guī)模評估，發(fā)現(xiàn)當前MSF系統(tǒng)不夠穩(wěn)健，尤其是在應(yīng)對天氣條件變化時！

RQ2：當面臨傳感器的空間和時間錯位時，MSF有多敏感？在實際的開放和戶外環(huán)境中，幾乎不可能始終保持系統(tǒng)在傳感器之間的完美標定或精確時間同步。RQ2旨在研究MSF對空間和時間錯位的敏感性，實驗結(jié)果表明，即使是很小的標定或同步問題也可能導(dǎo)致系統(tǒng)的異常行為！

RQ3：現(xiàn)有傳感組件在多大程度上與MSF系統(tǒng)耦合？當整個感測模塊的一個或一部分失去源信號時，穩(wěn)健可靠的MSF不應(yīng)完全失效。RQ3旨在研究當一個信號源部分/完全丟失時，MSF系統(tǒng)如何受到影響。總的來說，發(fā)現(xiàn)MSF系統(tǒng)的緊密耦合架構(gòu)表現(xiàn)出對信號損失的魯棒性較差。

RQ4：不同MSF機制的弱點是什么？有可能修復(fù)它們嗎？RQ4旨在研究每種融合機制的獨特優(yōu)勢以及提高MSF系統(tǒng)魯棒性的潛在機會。結(jié)果表明，深度融合在某些情況下更具魯棒性，然而，就對損壞模式的魯棒性而言，弱融合和后期融合更容易修復(fù)！

本文是對MSF系統(tǒng)進行基準測試和研究的早期研究之一，MSF系統(tǒng)是一個由多個傳感通道和相應(yīng)模型組成的常見且具有代表性的人工智能系統(tǒng)。一方面，目前尚不清楚每個傳感單元對MSF結(jié)果的影響程度；也不清楚不同感測單元和通道的問題是如何被涉及并傳播到不同MSF設(shè)計的最終結(jié)果的。在當前階段創(chuàng)建一個基準可以定量地研究這些重要問題，這也有助于沿著這個方向進行進一步的相關(guān)質(zhì)量保證研究。另一方面，一般來說，基于MSF的感知系統(tǒng)在實現(xiàn)自主和智能系統(tǒng)方面發(fā)揮著關(guān)鍵作用，這可能會對許多應(yīng)用和領(lǐng)域產(chǎn)生重大影響。

隨著最近向數(shù)據(jù)驅(qū)動的智能時代的快速轉(zhuǎn)型，相信通過深度學(xué)習增強的MSF系統(tǒng)也將有助于從業(yè)者理解其局限性并提出更好的MSF工程技術(shù)，為設(shè)計安全可靠的自主智能系統(tǒng)鋪平道路！

目前主流方法

大多數(shù)工業(yè)級系統(tǒng)利用多傳感器融合（MSF）策略來避免單個傳感器固有的感知限制，從而更可靠地感知環(huán)境。例如，相機和激光雷達通常在自動駕駛汽車中融合，因為相機在捕捉語義信息方面更有效，而激光雷達可以提供更準確的位置信息。如圖1（右部分）所示，相機-激光雷達融合中的每個傳感器首先單獨感知周圍環(huán)境。然后，基于傳感器之間的時間和空間校準，將來自不同傳感器的信號轉(zhuǎn)換到同一坐標系中，并在時間戳上進行匹配。最后，融合模塊接收來自不同傳感器的校準和同步信號，并將其融合以對下游任務(wù)進行預(yù)測。

與傳統(tǒng)的只融合數(shù)據(jù)或輸出的MSF不同，基于AI的MSF也有可能融合CNN學(xué)習到的深層語義特征，以相機和激光雷達的融合為例（圖1的右部分）。根據(jù)融合的階段（圖2），MSF可以在高水平上分為四種不同的機制：早期融合、晚期融合、深度融合和弱融合，由于早期融合在MSF中并不常用，在本文的其余部分重點介紹了其他三種融合機制！

后期融合直接組合每個分支的輸出結(jié)果，其可以公式化為：

后期融合中的每個分支獨立處理來自傳感器的數(shù)據(jù)，不依賴于特定的網(wǎng)絡(luò)架構(gòu)。與其他融合機制相比，后期融合具有高度的靈活性。例如，后期融合可以很容易地將基于圖像的目標檢測器和基于激光雷達的目標檢測器相結(jié)合，后期融合不涉及隱藏特征交互，這也帶來了更高的效率！

深度融合涉及來自不同分支的隱藏特征之間的頻繁交互，以獲得豐富的語義信息。假設(shè)分支的深度?? 大于分支的??, 當只進行一次特征融合時，深度融合可以公式化為：

弱融合不會融合隱藏的特征，也不會融合輸出結(jié)果。相反，弱融合采用基于規(guī)則的方法來轉(zhuǎn)換一個分支的數(shù)據(jù)，以指導(dǎo)另一個分支中的數(shù)據(jù)處理。弱融合的過程可以描述為：

其中G是從分支中提取引導(dǎo)的函數(shù)，弱融合的一個典型例子是使用圖像中的2D檢測邊界框作為指導(dǎo)提取點云數(shù)據(jù)中的截頭體。

基準構(gòu)建

為了研究收集盡可能多的MSF感知系統(tǒng)，主要關(guān)注兩個來源：（1）KITTI基準的排行榜，以及（2）現(xiàn)有的MSF相關(guān)文獻。KITTI是一個公共自動駕駛基準，涉及幾個不同的感知任務(wù)。對于MSF相關(guān)文獻，收集了過去四年在相關(guān)頂級會議和期刊上發(fā)表的論文，涵蓋軟件工程、機器人技術(shù)、計算機視覺等，最終，我們根據(jù)以下標準從這兩個來源中選擇了7個最先進的MSF系統(tǒng)！

• 開源：MSF系統(tǒng)應(yīng)該是開源的，這樣就可以進行實驗評估，并進行進一步的復(fù)制研究。

  
  

• 可用數(shù)據(jù)：MSF系統(tǒng)應(yīng)具有用于訓(xùn)練和測試的開源數(shù)據(jù)。

  
  

• 代表性任務(wù)：MSF系統(tǒng)應(yīng)設(shè)計用于具有現(xiàn)實世界應(yīng)用的代表性感知任務(wù)，例如目標檢測。

  
  

表1總結(jié)了本文基準測試中選擇的七個MSF系統(tǒng)，這七個系統(tǒng)涵蓋了三個不同的任務(wù)和三種不同的融合機制。

與設(shè)計階段的環(huán)境相比，許多MSF系統(tǒng)的操作環(huán)境通常是開放的，存在意外的條件變化。由于ML和DL的數(shù)據(jù)驅(qū)動性質(zhì)，這種環(huán)境變化對MSF系統(tǒng)更為關(guān)鍵，例如，自動駕駛系統(tǒng)的檢測器可能只使用從晴天收集的數(shù)據(jù)進行訓(xùn)練。盡管自動駕駛系統(tǒng)在雨天預(yù)計是安全可靠的，但很難確定該系統(tǒng)能在多大程度上應(yīng)對這種天氣變化。也就是說，開放環(huán)境中的天氣變化可能導(dǎo)致傳感器信號損壞，導(dǎo)致數(shù)據(jù)的潛在分布變化，從而影響MSF系統(tǒng)的性能。

為了評估MSF系統(tǒng)在這種操作環(huán)境變化下的性能，收集和標記真實世界的數(shù)據(jù)是理想的，但不可行。為了解決這些問題，本文收集并設(shè)計了13種損壞模式（表2），以合成MSF系統(tǒng)的損壞信號，這些損壞信號可分為三類：（1）天氣損壞（2）傳感器損壞和（3）傳感器未對準。天氣損壞表示MSF系統(tǒng)的外部環(huán)境變化，例如，自動駕駛汽車、無人機的雨天/霧天和明亮/黑暗的光線條件等，傳感器損壞反映了MSF系統(tǒng)內(nèi)部環(huán)境的變化，例如傳輸噪聲?？紤]到不同信號的融合需要精確的時間和空間校準，傳感器未對準是專門為MSF系統(tǒng)設(shè)計的。

1）天氣

天氣條件是一個重要因素，它不可避免地會影響傳感器在開放環(huán)境中的感知，導(dǎo)致MSF系統(tǒng)的性能下降，例如，普通相機在夜間幾乎無法感知周圍環(huán)境。這項工作從兩個角度利用天氣模式：（1）光照條件變化和（2）惡劣的天氣條件。

相機對照明條件敏感，日光和道路照明的變化很容易影響圖像質(zhì)量，而照明條件對激光雷達的影響有限。因此，主要關(guān)注調(diào)整圖像像素的亮度（BR）和暗度（DK）。在基準測試中，選擇特定領(lǐng)域的物理模型來模擬兩種具有代表性的不利天氣的特性，即雨（RN）和霧（FG）。設(shè)計雨或霧腐蝕時的另一個關(guān)鍵問題是確保不同的傳感器感測相同的環(huán)境，例如，相機和激光雷達都感測10mm/h的降雨。為了解決這個問題，控制激光雷達和相機模型中的環(huán)境參數(shù)，以確保雨的體積或霧的最大能見度的一致性！

為了驗證雨霧破壞的自然性，訓(xùn)練基于深度融合的分類器，使用從真實雨霧天氣中收集的數(shù)據(jù)集來區(qū)分真實的雨霧場景和干凈的場景。然后，我們使用這些訓(xùn)練好的分類器對模擬數(shù)據(jù)進行預(yù)處理，以測量模擬數(shù)據(jù)和真實數(shù)據(jù)之間的相似性。對每個分類器進行五次再訓(xùn)練，并取平均精度。在模擬霧/雨數(shù)據(jù)上，這些訓(xùn)練的天氣分類器的平均分類準確率分別為98.6%和98.0%。這些結(jié)果證實，與真實數(shù)據(jù)相比，模擬的霧/雨數(shù)據(jù)高度相似。

2）傳感器

傳感器損壞，傳感器損壞反映了導(dǎo)致傳感器信號損壞的內(nèi)部環(huán)境變化，例如傳輸過程中的噪聲，以及導(dǎo)致圖像模糊的傳感器偽影。在這個基準測試中，從兩個角度考慮傳感器損壞：（1）噪聲模式和（2）傳感器偽影。

噪聲模式。噪聲通常存在于相機和激光雷達中，噪聲有兩個主要來源，一個來自傳感器本身，如傳感器振動、隨機反射和激光雷達激光器的低測距精度。另一種是由于數(shù)字信號在其傳輸記錄過程中，為每個傳感器利用兩種最常見的噪聲，即高斯噪聲（GN）和脈沖噪聲（IN）。具體來說，高斯噪聲將高斯分布噪聲應(yīng)用于點云中的每個點的坐標或圖像中的每個像素的值。脈沖噪聲將確定性擾動應(yīng)用于點的子集或隨機改變圖像像素的值。

傳感器偽影。傳感器損壞也可能導(dǎo)致感測結(jié)果的偽影，例如，當相機失焦時，會出現(xiàn)散焦模糊（DB）；當相機快速抖動或移動時，會出現(xiàn)運動模糊（MB）?；儯―T）是由透鏡的光學(xué)設(shè)計引起的常見的基本光學(xué)像差之一，請注意，作為早期嘗試，我們只考慮相機傳感器的偽影。

3）傳感器未對準

校準良好且同步的傳感器是基于MSF的感知系統(tǒng)的先決條件。然而，要保證傳感器在現(xiàn)實世界中的完美對準并不容易，因此本文設(shè)計了兩種破壞模式，空間錯位（SM）和時間錯位（TM），以模擬相機和激光雷達之間的錯位！

空間錯位。MSF系統(tǒng)要求在裝配過程中對每個傳感器進行外部校準，以確保在不同坐標系中測量的位置可以相互轉(zhuǎn)換。然而，即使使用標定良好的傳感器，由于機械振動（例如，當自動駕駛汽車行駛在顛簸的道路上時）和熱波動，傳感器的位置也可能不可避免地發(fā)生偏差，假設(shè)激光雷達坐標中的一個3D點是p_{li}和相機坐標中的對應(yīng)點是p??????，從激光雷達坐標到相機坐標的轉(zhuǎn)換可以表示為：

時間錯位。MSF系統(tǒng)需要同步傳感器，以確保同時感測每個單獨分支的輸出。在實際場景中，傳感器或傳輸故障可能會導(dǎo)致一個分支延遲，導(dǎo)致時間錯位。

4）評測指標

實證研究設(shè)計

本節(jié)介紹了研究問題和實驗設(shè)置，首先從三個角度研究了現(xiàn)有MSF系統(tǒng)的魯棒性：（1）對抗破壞信號（RQ1），（2）對抗空間/時間失調(diào)（RQ2），以及（3）對抗部分/完全信號丟失（RQ3）。然后研究了修復(fù)這些MSF系統(tǒng)的魯棒性（RQ4）的潛力。

RQ1：MSF感知系統(tǒng)如何對抗常見的損壞信號？盡管已經(jīng)提出并使用了一些支持的MSF感知系統(tǒng)，但尚未對這些系統(tǒng)的穩(wěn)健性進行系統(tǒng)研究。在這個RQ中，關(guān)注由于天氣、傳感器和噪聲損壞而導(dǎo)致的損壞信號（表2）。對于每種損壞模式，采用三種不同的嚴重程度。對于雨和霧，三個嚴重級別分別代表10毫米/小時、25毫米/小時和50毫米/小時的降雨量以及104米、80米和51米的能見度。用231種不同的配置（11個損壞×3個級別×7個MSF系統(tǒng)）進行了實驗來研究這種RQ。

RQ2：當面臨傳感器的空間和時間錯位時，MSF有多敏感？RQ2旨在評估啟用MSF系統(tǒng)對校準誤差的敏感性。為了模擬空間錯位，將激光雷達傳感器繞x、y和z軸旋轉(zhuǎn)0.5?, 1?, 和2?, 分別地為了模擬時間錯位，創(chuàng)建了五個級別的激光雷達和相機信號延遲，即分別為0.1s、0.2s、…、0.5s。這里只研究時間錯位對目標跟蹤系統(tǒng)的影響，因為其他兩項任務(wù)對時間不敏感。

RQ3：現(xiàn)有傳感組件在多大程度上與MSF系統(tǒng)耦合？該RQ旨在研究現(xiàn)有的MSF系統(tǒng)是如何耦合的，以及它們是否對一個信號源的信號丟失足夠魯棒。為了研究這種RQ，模擬了每個分支的五個不同水平（10%、25%、50%、75%、100%）的信號損失。對于相機分支，將圖像重塑為一維陣列，并隨機丟棄像素。對于激光雷達分支，隨機移除具有不同的百分比的點。

RQ4：不同MSF機制的弱點是什么？有可能修復(fù)它們嗎？RQ4旨在研究不同融合機制的特性，并根據(jù)RQ1-3的實驗結(jié)果分析每種機制的弱點或潛在威脅。

實驗設(shè)置

在實驗中，使用Second作為CLOC和DFMOT的激光雷達分支，Cascade RCNN作為CLOC、DFMOT和FConv的相機分支。使用PyTorch1.8和Python3.7實現(xiàn)了所有MSF系統(tǒng)。對于每個系統(tǒng)，使用默認配置來確保一致的運行時環(huán)境，表1顯示了每個再生系統(tǒng)的性能。所有實驗都是在配備Intel i7-10700K CPU（3.80 GHz）、48 GB RAM和NVIDIA RTX 3070 GPU（8 GB VRAM）的服務(wù)器上進行的。

1）對損壞的信號不魯棒

圖4通過雷達圖總結(jié)了七個MSF感知系統(tǒng)對十一種損壞模式的穩(wěn)健性基準結(jié)果。圖中的每個軸表示穩(wěn)健性得分????^??_??，這些結(jié)果表明，所有選定的MSF系統(tǒng)都存在對損壞信號的魯棒性問題，而它們的魯棒性特性可能會有所不同。例如，所有選定的系統(tǒng)在防霧（FG）損壞方面表現(xiàn)不佳。然而，對于模糊效果（MB、DB），一些系統(tǒng)執(zhí)行相對魯棒性（例如，EPNet、TWISE、JMODT），而一些系統(tǒng)面臨嚴重的魯棒性問題（例如CLOC、FConv、DFMOT）。為了進一步分析不同的MSF系統(tǒng)對不同類別的損壞信號的表現(xiàn)，通過呈現(xiàn)三個嚴重級別的每個損壞模式的平均性能來解釋表3中的詳細魯棒性性能！

如表3所示，天氣問題對MSF系統(tǒng)造成了顯著的魯棒性問題，其中對雨（RN）和霧（FG）的平均魯棒性得分分別為0.72和0.29。我們還發(fā)現(xiàn)，深度補全系統(tǒng)（即TWISE、MDANet）在霧天幾乎不工作，深度補全系統(tǒng)中的最高魯棒性得分僅為0.14。此外，與增加亮度相比，降低亮度對MSF系統(tǒng)的影響更為顯著，其中平均魯棒性得分分別為0.83和0.96！

雖然所有的MSF系統(tǒng)對失真都是相對魯棒的（魯棒性得分高于0.9），但其中一些系統(tǒng)（即FConv、CLOC、DFMOT）對模糊效應(yīng)（MB、DB）尤其具有顯著的性能退化，進一步定性地檢查了被失真（DT）破壞的圖像信號，發(fā)現(xiàn)只有圖像的邊緣被失真，這可能是DT影響有限的一個可能原因！

如表3所示，在MSF系統(tǒng)中，被噪聲模式破壞的相機信號通常更容易受到攻擊，其中相機中對噪聲的魯棒性得分（74.4（GN），74.2（IN））低于激光雷達（87.9（GN）和89.6（IN）?；谶@些觀察結(jié)果，為圖像添加適當?shù)倪^濾器信號對于設(shè)計具有強大的MSF可能很重要。

2）MSF對傳感器錯位很敏感

表4顯示了空間錯位的實驗結(jié)果，其中每個單元表示魯棒性得分。根據(jù)不同旋轉(zhuǎn)軸和角度的平均魯棒性得分（表4的最后一行），可以發(fā)現(xiàn)空間失準顯著影響MSF的魯棒性。七個系統(tǒng)中的最高平均魯棒性得分低于0.78，還發(fā)現(xiàn)不同任務(wù)的MSF系統(tǒng)對空間錯位可能具有不同的敏感性。例如，目標檢測系統(tǒng)（即EPNet、FConv、CLOC）的魯棒性得分相對低于目標跟蹤和深度補全系統(tǒng)！

時間錯位。圖6顯示了時間錯位對用于目標跟蹤的MSF系統(tǒng)（即JMODT、DFMOT）的影響。從圖中我們可以觀察到，相機和激光雷達分支都對延遲敏感。當延遲增加時，MSF系統(tǒng)的魯棒性得分降低。特別發(fā)現(xiàn)激光雷達對延遲更敏感（圖6中的實線）。當激光雷達的延遲增加到0.3秒時，JMODT和DFMOT的魯棒性得分下降了近60%（從1.0降至0.4）。相比之下，相機的相同級別延遲只會使其魯棒性性能下降10%～20%！

3）緊耦合MSF可能不那么魯棒

當部署一個MSF系統(tǒng)時，即使其中一個信號丟失，開發(fā)人員也希望它是可靠的。然而，我們的實驗表明，MSF系統(tǒng)的魯棒性較差，因為當它們部分或完全失去信號源時會崩潰。圖7顯示了具有不同嚴重程度信號損失的不同MSF系統(tǒng)的魯棒性，這些結(jié)果表明，部分丟失相機或激光雷達信號可能會影響MSF系統(tǒng)的性能，而丟失相機信號可能更為關(guān)鍵。具體來說，我們發(fā)現(xiàn)與失去LiDAR信號相比，相機信號顯著影響7個系統(tǒng)中的6個系統(tǒng)（EPNet除外）。當丟失75%的攝像機信號時，7個選定系統(tǒng)中有4個系統(tǒng)的魯棒性性能較低(?????? 小于0.2），這些結(jié)果還表明，現(xiàn)有的MSF系統(tǒng)嚴重依賴于相機信號。

為了進一步研究MSF系統(tǒng)對信號損失的魯棒性，表5顯示了這些系統(tǒng)在完全失去一個信號源時的魯棒性性能?？梢园l(fā)現(xiàn)，當失去激光雷達信號時，所有系統(tǒng)都會崩潰。當丟失攝像頭信號時，7個系統(tǒng)中有3個也會崩潰，2個系統(tǒng)性能較差（例如EPNet、JMODT）。令人驚訝的是，發(fā)現(xiàn)MDANet在完全丟失相機信號時不會崩潰，但在丟失部分信號時會崩潰（見圖7c）。一種可能的解釋是，由于圖像數(shù)據(jù)中對象的稀疏性，丟棄50%或75%的像素可能會丟棄所有有價值的信息（例如，包括目標的像素）。相反，剩余的像素可能會給MSF系統(tǒng)帶來干擾，從而導(dǎo)致系統(tǒng)崩潰！

4）融合機制可能會影響MSF的穩(wěn)健性和可靠性

雖然沒有系統(tǒng)的證據(jù)表明一種特定的融合機制是最穩(wěn)健和可靠的，但特別發(fā)現(xiàn)，不同的融合機制由于其固有的特性，可能具有獨特的優(yōu)勢和潛在的威脅。根據(jù)在RQ1中的發(fā)現(xiàn)，三個深度融合MSF系統(tǒng)（即EPNet、JMODT、TWISE）比其他系統(tǒng)對模糊圖像（MB、DB）和噪聲模式（IN（C）、IN（L））更具魯棒性（表3）。在RQ3中的發(fā)現(xiàn)，當部分丟失相機信號時，這些系統(tǒng)也表現(xiàn)穩(wěn)健（圖7）。兩個后期融合MSF系統(tǒng)（即ClOCs、DFMOT）顯示出針對損壞信號（RQ1）和信號損失（RQ3）的相似趨勢。為了進一步研究融合機制對魯棒性的影響，我們試圖基于不同融合機制的固有特性來修復(fù)表現(xiàn)不佳的后期和弱融合MSF系統(tǒng)。

為了改進后融合，利用激光雷達分支和融合層之間的快捷方式來增強MSF的魯棒性（圖8的左側(cè)部分）。具體來說，設(shè)計了一種匹配方法，將單個分支的高置信度和唯一性結(jié)果聚合到融合結(jié)果中。

弱融合使用級聯(lián)架構(gòu)來串聯(lián)連接兩個模塊，其魯棒性性能瓶頸是由于引導(dǎo)信號不準確/缺失造成的。因此，對于弱融合，利用神經(jīng)網(wǎng)絡(luò)從另一種模態(tài)中提取額外的引導(dǎo)，并將其作為額外的制導(dǎo)分支連接到下游模塊（圖8的右部分）。具體來說，首先通過將點云投影到2D前視圖圖像來訓(xùn)練2D檢測器，然后，我們使用2D前視圖的檢測結(jié)果作為額外的引導(dǎo)輸入！

為了評估改進的融合機制的有效性，本文選擇CLOCs和FConv作為后期和弱融合系統(tǒng)，并在RQ1和RQ3中進行相同的實驗。圖9顯示了原始MSF和增強型MSF的防損壞性能。可以發(fā)現(xiàn)，增強型MSF系統(tǒng)對常見的損壞模式的抵御能力明顯更強。此外，表6顯示了改進的性能(????～?????, 分別是具有/不具有改進的融合機制的魯棒性得分）?？梢园l(fā)現(xiàn)，增強型CLOCs（CLOCs-Rb）和FConv（FConv-Rb）在對抗部分甚至完全圖像信號損失方面表現(xiàn)出了良好的魯棒性性能。例如，當攝像機信號完全丟失時（表6中為100%），所提出的魯棒性增強策略幾乎完全恢復(fù)了MSF系統(tǒng)的性能（表6以紅色突出顯示）。

模塊化冗余是提高系統(tǒng)質(zhì)量和可靠性的關(guān)鍵途徑，通過耦合多個傳感器，MSF系統(tǒng)有望對來自一個特定傳感器的信號損失具有魯棒性。然而，本文的實驗結(jié)果表明，現(xiàn)有工作在設(shè)計支持MSF時通常忽略了這一點，導(dǎo)致缺乏穩(wěn)健性。因此，未來的工作應(yīng)該考慮設(shè)計人工智能支持的MSF系統(tǒng)，該系統(tǒng)在一個或多個信號丟失源的情況下仍然可靠。

參考

[1] Benchmarking Robustness of AI-enabled Multi-sensor Fusion Systems: Challenges and Opportunities? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? ? ? ? ? ?

① 全網(wǎng)獨家視頻課程

BEV感知、毫米波雷達視覺融合、多傳感器標定、多傳感器融合、多模態(tài)3D目標檢測、點云3D目標檢測、目標跟蹤、Occupancy、cuda與TensorRT模型部署、協(xié)同感知、語義分割、自動駕駛仿真、傳感器部署、決策規(guī)劃、軌跡預(yù)測等多個方向?qū)W習視頻（掃碼學(xué)習）

視頻官網(wǎng)：www.zdjszx.com

② 國內(nèi)首個自動駕駛學(xué)習社區(qū)

近2000人的交流社區(qū)，涉及30+自動駕駛技術(shù)棧學(xué)習路線，想要了解更多自動駕駛感知（2D檢測、分割、2D/3D車道線、BEV感知、3D目標檢測、Occupancy、多傳感器融合、多傳感器標定、目標跟蹤、光流估計）、自動駕駛定位建圖（SLAM、高精地圖、局部在線地圖）、自動駕駛規(guī)劃控制/軌跡預(yù)測等領(lǐng)域技術(shù)方案、AI模型部署落地實戰(zhàn)、行業(yè)動態(tài)、崗位發(fā)布，歡迎掃描下方二維碼，加入自動駕駛之心知識星球，這是一個真正有干貨的地方，與領(lǐng)域大佬交流入門、學(xué)習、工作、跳槽上的各類難題，日常分享論文+代碼+視頻，期待交流！

③【自動駕駛之心】技術(shù)交流群

自動駕駛之心是首個自動駕駛開發(fā)者社區(qū)，聚焦目標檢測、語義分割、全景分割、實例分割、關(guān)鍵點檢測、車道線、目標跟蹤、3D目標檢測、BEV感知、多模態(tài)感知、Occupancy、多傳感器融合、transformer、大模型、點云處理、端到端自動駕駛、SLAM、光流估計、深度估計、軌跡預(yù)測、高精地圖、NeRF、規(guī)劃控制、模型部署落地、自動駕駛仿真測試、產(chǎn)品經(jīng)理、硬件配置、AI求職交流等方向。掃碼添加汽車人助理微信邀請入群，備注：學(xué)校/公司+方向+昵稱（快速入群方式）

④【自動駕駛之心】平臺矩陣，歡迎聯(lián)系我們！