水面自動(dòng)駕駛？WaterScenes：首個(gè)水面4D Radar-Camera融合數(shù)據(jù)集
今天自動(dòng)駕駛之心很榮幸邀請(qǐng)到西交利物浦大學(xué)的姚善良博士生來(lái)分享首個(gè)水面多任務(wù)4D Radar-Camera融合數(shù)據(jù)集—WaterScenes，水面自動(dòng)駕駛就要來(lái)了！?。∪绻邢嚓P(guān)工作需要分享，請(qǐng)?jiān)谖哪┞?lián)系我們！
論文作者?|?姚善良
編輯 | 自動(dòng)駕駛之心
大家好，我是姚善良，目前就讀于西交利物浦大學(xué)，很榮幸受邀分享我們最近開(kāi)源的世界首個(gè)水面多任務(wù)4D?Radar-Camera融合數(shù)據(jù)集！下面我將詳細(xì)展開(kāi)介紹WaterScenes。
首個(gè)水面多任務(wù) 4D 毫米波雷達(dá)-攝像頭融合數(shù)據(jù)集 WaterScenes，它提供來(lái)自多個(gè)傳感器的數(shù)據(jù)，包括 4D 毫米波雷達(dá)、單目攝像頭、GPS 和 IMU。可應(yīng)用于六大感知任務(wù)。包括物體檢測(cè)、實(shí)例分割、語(yǔ)義分割、可行駛區(qū)域分割、水岸線分割和全景感知。該項(xiàng)工作開(kāi)辟了 4D 毫米波雷達(dá)和攝像頭融合算法在水面自動(dòng)駕駛的研究方向。實(shí)驗(yàn)結(jié)果表明，4D 毫米波雷達(dá)和攝像頭融合可以提高水面感知的準(zhǔn)確性和魯棒性，在不利的光照和天氣條件下提升尤其明顯。WaterScenes 數(shù)據(jù)集在 https://waterscenes.github.io 上公開(kāi)。
水面自動(dòng)駕駛在執(zhí)行危險(xiǎn)和耗時(shí)的任務(wù)中發(fā)揮著重要作用，如海上巡檢、幸存者救援、環(huán)境監(jiān)測(cè)、水文測(cè)繪和垃圾清理。我們的工作提出了首個(gè)用于水面自動(dòng)駕駛的多任務(wù) 4D 毫米波雷達(dá)-攝像頭融合數(shù)據(jù)集 WaterScenes。我們的無(wú)人船配備了 4D 毫米波雷達(dá)和單目攝像頭，提供了全天候的解決方案，可識(shí)別物體的相關(guān)信息，包括顏色、形狀、紋理、距離、速度、方位角和俯仰角。我們聚焦于水面上典型的靜態(tài)和動(dòng)態(tài)物體，分別在像素級(jí)和點(diǎn)級(jí)對(duì)攝像頭圖像和雷達(dá)點(diǎn)云進(jìn)行標(biāo)注。除了物體檢測(cè)、實(shí)例分割和語(yǔ)義分割等基本感知任務(wù)外，我們還為可行駛區(qū)域分割和水岸線分割提供了標(biāo)注。利用 WaterScenes 的多任務(wù)和多模態(tài)數(shù)據(jù)，我們對(duì)雷達(dá)和攝像頭的單模態(tài)以及融合模態(tài)進(jìn)行了基準(zhǔn)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，4D 毫米波雷達(dá)和攝像頭融合可以大大提高水面感知的準(zhǔn)確性和魯棒性，尤其是在不利的光照和天氣條件下。WaterScenes 數(shù)據(jù)集在 https://waterscenes.github.io 上公開(kāi)。
背景介紹
近年來(lái)，自動(dòng)駕駛技術(shù)發(fā)展迅速，在道路、天空和水面上實(shí)現(xiàn)了更安全、更高效和更可持續(xù)的運(yùn)輸。不同的應(yīng)用場(chǎng)景為自動(dòng)駕駛車輛提供了各自的前景和挑戰(zhàn)。在水面上航行的無(wú)人船為各種任務(wù)提供了一個(gè)多功能、經(jīng)濟(jì)高效的解決方案，包括海岸監(jiān)視、環(huán)境監(jiān)測(cè)、河流建模、水下探測(cè)、河流救援和垃圾清理。
與路面自動(dòng)駕駛相比，水面自動(dòng)駕駛遇到的感知挑戰(zhàn)更加艱巨和不可預(yù)測(cè)。風(fēng)浪會(huì)嚴(yán)重影響無(wú)人船的穩(wěn)定性，使其難以保持預(yù)期的航向和軌跡。無(wú)人船產(chǎn)生的振動(dòng)會(huì)對(duì)傳感器輸出產(chǎn)生不利影響，導(dǎo)致從水面到天空的過(guò)渡模糊不清，甚至在視野中丟失物體。航行過(guò)程中濺起的水花或溫差產(chǎn)生的水汽可能會(huì)干擾攝像頭，導(dǎo)致圖像不清晰。更加復(fù)雜的是，漂浮物（如落葉、水草）以及雨滴落在水面上造成的波紋都會(huì)對(duì)目標(biāo)的識(shí)別造成干擾。水面的鏡面反射也導(dǎo)致很難辨別水中鏡像物體和岸邊真實(shí)物體。不利的光照和天氣條件嚴(yán)重影響了攝像頭的可視性，進(jìn)一步降低了圖像的清晰度。這些多重因素給攝像頭傳感器帶來(lái)了一系列挑戰(zhàn)，使其難以檢測(cè)和跟蹤周圍環(huán)境中的物體。雖然激光雷達(dá)可以幫助提高探測(cè)精度，但也容易受到惡劣天氣條件的影響。此外，激光雷達(dá)在應(yīng)用于水環(huán)境時(shí)還會(huì)受到波浪和水面反射的限制。
與攝像頭和激光雷達(dá)不同，毫米波雷達(dá)發(fā)射的無(wú)線電波在物體上反射回傳感器，可提供物體的距離、速度和方位角信息。毫米波雷達(dá)波能夠以最小的衰減穿透惡劣的天氣，使其能夠透過(guò)雨、霧和雪來(lái)探測(cè)物體。毫米波雷達(dá)信號(hào)的波長(zhǎng)較長(zhǎng)，不易受到強(qiáng)烈陽(yáng)光和黑暗等不利光照條件的干擾。此外，雷達(dá)傳感器還能探測(cè)到遠(yuǎn)距離的物體，甚至墻后的障礙物，為車輛提供潛在障礙物或危險(xiǎn)的預(yù)警。所有這些優(yōu)勢(shì)使毫米波雷達(dá)傳感器成為自動(dòng)駕駛車輛中可靠、堅(jiān)固的部件，同樣適用于克服水面上的挑戰(zhàn)。不過(guò)，傳統(tǒng)毫米波雷達(dá)的分辨率較低，而且缺乏關(guān)于探測(cè)到的物體的語(yǔ)義信息。在水面上使用時(shí)，它們會(huì)產(chǎn)生來(lái)自非金屬目標(biāo)的微弱回波，以及從水環(huán)境中返回的雜波。
因此，結(jié)合毫米波雷達(dá)和攝像頭傳感器優(yōu)勢(shì)的多模態(tài)傳感器融合方法是克服這些挑戰(zhàn)并全面了解水面感知的潛在解決方案。大量研究表明，毫米波雷達(dá)-攝像頭融合可提高道路自動(dòng)駕駛汽車模型的準(zhǔn)確性和魯棒性。然而，很少有研究關(guān)注水面上的毫米波雷達(dá)-攝像頭融合，這主要是由于缺乏可用的多模態(tài)數(shù)據(jù)集。據(jù)我們所知，F(xiàn)loW 是唯一一個(gè)同時(shí)包含毫米波雷達(dá)和攝像頭數(shù)據(jù)的水面數(shù)據(jù)集。然而，F(xiàn)loW 數(shù)據(jù)集只有一個(gè)名為 "塑料瓶"的類別，不適合實(shí)際場(chǎng)景中復(fù)雜的水面環(huán)境。
近年來(lái)，4D 毫米波雷達(dá)在更密集的雷達(dá)點(diǎn)云和更高的角度分辨率方面顯示出其優(yōu)勢(shì)，可提供更豐富的目標(biāo)信息。因此，它是無(wú)人船上一種潛在的感知傳感器，可應(yīng)對(duì)水面上的獨(dú)特挑戰(zhàn)，如水面反射、不利的光照和天氣條件等。越來(lái)越多的4D 毫米波雷達(dá)-攝像頭融合數(shù)據(jù)集（如 Astyx、K-Radar、VoD和 TJ4DRadSet）已出現(xiàn)在路面自動(dòng)駕駛中，并被證明可有效提高探測(cè)精度。然而，迄今為止還沒(méi)有公開(kāi)的水面4D 毫米波雷達(dá)數(shù)據(jù)集，更不用說(shuō)融合的 4D 毫米波雷達(dá)-攝像頭數(shù)據(jù)集了。如圖 1 所示，我們提出的數(shù)據(jù)集通過(guò)以下貢獻(xiàn)填補(bǔ)了這一空白：
我們提出的 WaterScenes 是首個(gè)水面多任務(wù) 4D 毫米波雷達(dá)-攝像頭融合數(shù)據(jù)集，它提供來(lái)自多個(gè)傳感器的數(shù)據(jù)，包括?4D 毫米波雷達(dá)、單目攝像頭、GPS?和?IMU。它可應(yīng)用于六大感知任務(wù)，包括目標(biāo)檢測(cè)、實(shí)例分割、語(yǔ)義分割、可行駛區(qū)域分割、水岸線分割和全景感知。
我們的數(shù)據(jù)集涵蓋了不同的時(shí)間條件（白天、黃昏、夜晚）、光照條件（正常、昏暗、強(qiáng)光）、天氣條件（晴天、陰天、雨天、雪天）和水路條件（河流、湖泊、運(yùn)河、護(hù)城河）。我們還提供了一個(gè)信息表格，用于檢索不同條件下實(shí)驗(yàn)的具體數(shù)據(jù)。
我們?yōu)閿z像頭圖像提供二維框級(jí)和像素級(jí)注釋，為毫米波雷達(dá)點(diǎn)云提供三維點(diǎn)級(jí)注釋。我們還為不同傳感器的同步提供精確的時(shí)間戳，以及內(nèi)在和外在參數(shù)。我們還為 WaterScenes 提供了一個(gè)工具包（https://github.com/WaterScenes/WaterScenes），其中包括預(yù)處理、標(biāo)記、投影和可視化，幫助研究人員處理和分析我們的數(shù)據(jù)集。
我們建立了相應(yīng)的基準(zhǔn)，并對(duì)物體檢測(cè)、點(diǎn)云分割、圖像分割和全景感知等常用算法進(jìn)行了評(píng)估。實(shí)驗(yàn)證明了毫米波雷達(dá)感知在水面上的優(yōu)勢(shì)，尤其是在不利的光照和天氣條件下。
WaterScenes數(shù)據(jù)集
從圖中可以直觀地看出，我們的 WaterScenes 為各種水面場(chǎng)景下的自動(dòng)駕駛提供了各種場(chǎng)景下的數(shù)據(jù)，毫米波雷達(dá)和攝像頭可以互補(bǔ)地完成對(duì)水面環(huán)境的感知。
無(wú)人船搭建
我們用于數(shù)據(jù)收集的無(wú)人船配備了各種傳感器，包括用于捕捉雷達(dá)點(diǎn)云的 4D 毫米波雷達(dá)、用于收集圖像信息的單目攝像頭、用于 360 度觀察的網(wǎng)絡(luò)攝像頭、用于獲取地理位置信息的 GPS 以及用于跟蹤姿態(tài)和運(yùn)動(dòng)信息的 IMU。
數(shù)據(jù)統(tǒng)計(jì)
數(shù)據(jù)集包括 54120 組 RGB 圖像、雷達(dá)點(diǎn)云、GPS 和 IMU 數(shù)據(jù)，涵蓋 20 多萬(wàn)個(gè)水面目標(biāo)。每個(gè)類別的具體幀數(shù)和對(duì)象數(shù)見(jiàn)表 III。此外，作為該數(shù)據(jù)集的重要組成部分，在不利照明和天氣條件下拍攝的圖像也計(jì)入表中。所有圖像的大小均為 1920 × 1080，包含橋墩、浮標(biāo)、船員、渡船、輪船、游船和皮劃艇等多種目標(biāo)。其中，浮標(biāo)和橋墩是無(wú)人船行駛時(shí)應(yīng)避開(kāi)的水上明顯障礙物，而輪船、渡船、游船和皮劃艇則代表水面上遇到的常見(jiàn)水上交通工具，船員一詞特指這些水上交通工具上的人。
我們根據(jù)物體的大小將其分類如下：面積大于192 × 192 像素的物體被視為大物體，面積小于 32 × 32 像素的物體被視為微型物體，面積介于 32 × 32 和 64 × 64 像素之間的物體被稱為小物體，而面積在 64 × 64 至 192 × 192 像素之間的物體被歸類為中型物體。圖 4(a)顯示的物體大小分布范圍很廣，這與通常在水面上觀察到的不同大小的物體相一致。我們還利用雷達(dá)點(diǎn)云中的距離屬性分析了距離分布。如圖 4(b) 展示了每 20 米間隔的物體數(shù)量與距離之間的關(guān)系。
此外，我們還通過(guò)計(jì)算每個(gè)特定類別的平均屬性值對(duì)雷達(dá)點(diǎn)云進(jìn)行了綜合分析。如表 IV 所示，點(diǎn)的數(shù)量與物體大小高度相關(guān)。其中，輪船和游船作為大型物體，點(diǎn)數(shù)最多，而船員和皮劃艇作為小型物體，點(diǎn)數(shù)很少。橋墩、輪船、渡船和游船的反射功率相似，因?yàn)樗鼈冎饕伤鄻?gòu)成。浮標(biāo)的功率值較高，因?yàn)樗鼈冇山饘俨牧蠘?gòu)成，而皮劃艇由塑料材料構(gòu)成，功率值較低。速度信息也有助于區(qū)分不同類型的物體。例如，橋墩和浮標(biāo)等靜止目標(biāo)的速度最小，而輪船和游船的速度相對(duì)較高?？傊?，每個(gè)屬性都代表了目標(biāo)的不同特征，對(duì)于點(diǎn)云分類至關(guān)重要。
基準(zhǔn)和討論
在本節(jié)中，我們以 WaterScenes 為基準(zhǔn)，評(píng)估了水面上多項(xiàng)任務(wù)的性能，包括目標(biāo)檢測(cè)、雷達(dá)點(diǎn)云分割、攝像頭圖像分割和全景感知。通過(guò)分析實(shí)驗(yàn)結(jié)果，我們討論了 WaterScenes 為進(jìn)一步研究帶來(lái)的價(jià)值和挑戰(zhàn)。
目標(biāo)檢測(cè)
對(duì)于基于融合的物體檢測(cè)，我們對(duì) YOLOX-M 和 YOLOv8-M 采用了早期融合方法。如圖 5 所示，檢測(cè)過(guò)程包含兩種輸入模式：從攝像頭傳感器獲得的 RGB 圖像和從 4D 雷達(dá)傳感器獲得的 REVP 圖。具體來(lái)說(shuō)，REVP 圖捕捉了與圖像幀相匹配的雷達(dá)點(diǎn)云中被探測(cè)物體的距離（R）、高度（E）、速度（V）和反射強(qiáng)度（P）的綜合特征。在攝像頭輸入的骨干層中，我們利用 CSP 塊來(lái)處理圖像特征。另一方面，對(duì)于雷達(dá)輸入，我們采用平均池化和可變形卷積來(lái)提取不規(guī)則雷達(dá)點(diǎn)云特征，然后利用 CSP 塊進(jìn)行進(jìn)一步的前向傳播。然后將兩個(gè)分支的輸出連接起來(lái)，生成融合特征。此外，為了在關(guān)注物體特征的同時(shí)減少雷達(dá)點(diǎn)云中雜波的負(fù)面影響，我們?cè)谔卣魅诤想A段的最后添加了 shuffle attention 注意力機(jī)制。之后，我們按照 YOLOX 和 YOLOv8 的范式對(duì)backbone、neck和head進(jìn)行了處理。
基準(zhǔn)：表 VI 將目標(biāo)檢測(cè)基線分為兩部分：基于攝像頭的檢測(cè)和基于融合的檢測(cè)。在基于攝像頭的檢測(cè)中，YOLOv8-M 的 mAP50-95 最高，達(dá)到 59.2%，比 YOLOX-M 高 1.4%，比 Deformable DETR 高 2.7%。此外，值得注意的是，YOLOX-M 的 mAP50 為 85.1%，是所有檢測(cè)器中最高的。在所有檢測(cè)器中，CenterNet 的推理速度最快，達(dá)到了驚人的 117.4 FPS。此外，我們還評(píng)估了模型在具有挑戰(zhàn)性的光照和天氣條件下拍攝的圖像上的性能。值得注意的是，在這種情況下，所有模型的準(zhǔn)確度都有所下降，而 YOLOX- M 和 YOLOv8-M 仍然保持了最高的 mAP50。基于融合技術(shù)的 YOLOX-M 和 YOLOv8-M 的 mAP50-95 和 mAP50 均高于基于攝像頭的 YOLOX-M 和 YOLOv8-M。具體來(lái)說(shuō)，與基于攝像頭的 YOLOv8-M 相比，基于融合的 YOLOv8-M 的 mAP50 從 84.4% 提高到 88.0%。在不利的光照和天氣條件下，基于融合的模型也能提高精度。例如，在具有挑戰(zhàn)性的照明條件下，基于融合的 YOLOv8-M 顯示出顯著的改進(jìn)，mAP50 從 74.8% 提高到 80.1%，mAP50 顯著提高了 5.3%。此外，為了提高雷達(dá)點(diǎn)云的密度，我們對(duì)累積的 3 幀雷達(dá)點(diǎn)云進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，無(wú)論是在正常條件下還是在不利的照明和天氣條件下，更密集的雷達(dá)點(diǎn)云都有利于提高目標(biāo)檢測(cè)的 mAP。就 mAP50 而言，觀察到的最高提升幅度為 7.3%。值得注意的是，YOLO 系列是主要針對(duì)圖像模態(tài)的高效物體檢測(cè)模型。盡管我們的融合網(wǎng)絡(luò)只是對(duì) YOLO 的簡(jiǎn)單操作，但毫米波雷達(dá)-攝像頭融合方法的性能仍有顯著提高。
討論：圖 6 顯示了基于攝像頭和基于融合的檢測(cè)模型所獲得的代表性結(jié)果。顯然，4D 雷達(dá)豐富了特征，提高了對(duì)遠(yuǎn)處小型物體（圖 6(a) 和圖 6(d)）以及位于黑暗環(huán)境中的物體（圖 6(b) 和圖 6(e)）的召回率。此外，由于攝像頭本身的不穩(wěn)定性，特別是在鏡頭失效的情況下，如圖 6(c) 所示，基于攝像頭的 YOLOX-M 無(wú)法檢測(cè)到渡船上的水手。如圖 6（f）所示，基于融合的 YOLOX-M 成功地識(shí)別出了船員，從而提高了水面感知的魯棒性。雖然基于融合的模型比基于攝像頭的模型表現(xiàn)更好，但置信度得分相對(duì)較低，仍有一名船員未被檢測(cè)到。如何根據(jù)不同模態(tài)的特征設(shè)計(jì)高效的融合方法，在水面上仍然是一個(gè)相當(dāng)大的挑戰(zhàn)。一方面，多模態(tài)融合的注意力機(jī)制可以應(yīng)用于水面領(lǐng)域。例如，TransFusion 中的交叉注意模塊能夠自適應(yīng)地確定應(yīng)從攝像頭和激光雷達(dá)數(shù)據(jù)中獲取哪些信息，從而實(shí)現(xiàn)穩(wěn)健有效的融合策略。另一方面，水面自動(dòng)駕駛必須應(yīng)對(duì)水面特有的挑戰(zhàn)。通過(guò)利用弱光增強(qiáng)、去雨去霧等技術(shù)，可以提高來(lái)自不同模式的數(shù)據(jù)質(zhì)量，并有助于獲得更準(zhǔn)確的融合結(jié)果。
全景感知
在我們的實(shí)驗(yàn)中，全景感知包括目標(biāo)檢測(cè)、可行駛區(qū)域分割和水岸線分割任務(wù)，涵蓋了對(duì)水面環(huán)境的全方位感知。我們使用兩個(gè)基于攝像頭的網(wǎng)絡(luò)（YOLOP 和 HybridNets）和一個(gè)基于融合的網(wǎng)絡(luò) Achelous 對(duì) WaterScenes 上的全景感知性能進(jìn)行了評(píng)估。YOLOP 和 HybridNets 包括一個(gè)用于特征提取的編碼器和三個(gè)用于處理全景任務(wù)的解碼器。Achelous 是一個(gè)專門用于水面的輕量級(jí)全景感知框架。在 Achelous 中，我們選擇 MobileViT 作為骨干，而 Ghost Dual-FPN 作為頸部。此外，我們選擇雷達(dá)卷積來(lái)提取雷達(dá)點(diǎn)云特征。我們還采用了基于同態(tài)不確定性的學(xué)習(xí)策略來(lái)輔助多任務(wù)學(xué)習(xí)。在訓(xùn)練階段，探測(cè)頭對(duì)端到端策略的早期收斂提出了挑戰(zhàn)。因此，按照 YOLOP 和 HybridNets 的方法，我們首先對(duì)編碼器和檢測(cè)頭進(jìn)行100次訓(xùn)練。然后，我們凍結(jié)編碼器和檢測(cè)頭，并對(duì)可行駛區(qū)域和水岸線分割頭進(jìn)行50次訓(xùn)練。最后，對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行50次包含所有三個(gè)任務(wù)的聯(lián)合訓(xùn)練。
基準(zhǔn)：從表 X 中可以看出，基準(zhǔn)結(jié)果表明了我們的數(shù)據(jù)集在全景感知方面的可行性，以及與水面多任務(wù)感知相關(guān)的挑戰(zhàn)?？傮w而言，與基于攝像頭的 YOLOP 和 HybridNets 相比，基于融合的 Achelous 在物體檢測(cè)、可行駛區(qū)域分割和水岸線分割任務(wù)中表現(xiàn)出更優(yōu)越的性能。在物體檢測(cè)方面，Achelous 的mAP50 比 HybridNets 高出15.7%，證明了毫米波雷達(dá)-攝像頭融合在水面上的有效性。不過(guò)，它的檢測(cè) mAP 值仍然低于表 VI 中的 YOLOv8-M 模型，后者是專門為物體檢測(cè)任務(wù)設(shè)計(jì)的毫米波雷達(dá)-攝像頭融合模型。
討論：全景感知對(duì)于無(wú)人船了解水面環(huán)境并做出準(zhǔn)確決策至關(guān)重要。與道路上自動(dòng)駕駛車輛的可行駛區(qū)域和車道線分割任務(wù)不同，水面上的反光和水與岸線之間的分界線不清晰使得準(zhǔn)確分割可行駛區(qū)域和水岸線變得十分困難。例如，如圖 9(a) 和 9(b) 所示，由光線和波浪造成的亮點(diǎn)區(qū)域無(wú)法正確識(shí)別為可行駛區(qū)域。如圖 9(c) 所示，水面在夜間會(huì)反射出岸邊的建筑物，使可行駛區(qū)域的分割更加復(fù)雜。如圖 9(d) 所示，小物體與水面的接觸面積較小，容易被忽略。此外，如圖 9(e) 和 9(f) 所示，水面和岸線之間的分界模糊不清，尤其是在黑暗環(huán)境中，會(huì)導(dǎo)致誤認(rèn)為岸線是水面而丟失水岸線。水面上的多模態(tài)全景感知是一個(gè)尚未開(kāi)發(fā)且非常有價(jià)值的研究方向。在多任務(wù)學(xué)習(xí)（Multi-Task Learning，MTL）范式中，多個(gè)特定任務(wù)的頭共享特征提取過(guò)程?？缛蝿?wù)的共同訓(xùn)練策略可以利用特征抽象來(lái)節(jié)省板載芯片的計(jì)算成本。全景感知還可用于水面上的下游任務(wù)，如路徑規(guī)劃、避障和導(dǎo)航控制。因此，能夠?qū)崟r(shí)處理多種模態(tài)和多種任務(wù)的輕量級(jí)架構(gòu)對(duì)于無(wú)人船上的邊緣設(shè)備來(lái)說(shuō)是迫切需要的。
總結(jié)
這項(xiàng)工作展示了一個(gè)開(kāi)創(chuàng)性的多模態(tài)和多任務(wù)數(shù)據(jù)集，它揭示了以前未曾探索過(guò)的水面 4D 毫米波雷達(dá)-攝像頭融合方向。借助毫米波雷達(dá)和攝像頭傳感器的互補(bǔ)優(yōu)勢(shì)，我們的 WaterScenes 數(shù)據(jù)集可實(shí)現(xiàn)水環(huán)境的多屬性和全天候感知。通過(guò)評(píng)估攝像頭圖像、毫米波雷達(dá)點(diǎn)云、以及融合的算法在 WaterScenes 上的表現(xiàn)，我們獲得了水面感知前瞻性發(fā)現(xiàn)。實(shí)驗(yàn)結(jié)果證明了該數(shù)據(jù)集的進(jìn)一步研究?jī)r(jià)值，同時(shí)也表明 4D 毫米波雷達(dá)-攝像頭組合是無(wú)人船在水面上的穩(wěn)健解決方案。在不對(duì) SOTA 模型進(jìn)行優(yōu)化的情況下，4D 毫米波雷達(dá)-攝像頭融合可以提高探測(cè)性能，尤其是在不利的照明和天氣條件下?？傊?，所介紹的 WaterScenes 為對(duì)水面自動(dòng)駕駛感興趣的研究人員提供了寶貴的資源，并旨在激發(fā)開(kāi)發(fā)水面感知算法的新思路和新方向。
① 全網(wǎng)獨(dú)家視頻課程
BEV感知、毫米波雷達(dá)視覺(jué)融合、多傳感器標(biāo)定、多傳感器融合、多模態(tài)3D目標(biāo)檢測(cè)、點(diǎn)云3D目標(biāo)檢測(cè)、目標(biāo)跟蹤、Occupancy、cuda與TensorRT模型部署、協(xié)同感知、語(yǔ)義分割、自動(dòng)駕駛仿真、傳感器部署、決策規(guī)劃、軌跡預(yù)測(cè)等多個(gè)方向?qū)W習(xí)視頻（掃碼學(xué)習(xí)）
視頻官網(wǎng)：www.zdjszx.com
② 國(guó)內(nèi)首個(gè)自動(dòng)駕駛學(xué)習(xí)社區(qū)
近2000人的交流社區(qū)，涉及30+自動(dòng)駕駛技術(shù)棧學(xué)習(xí)路線，想要了解更多自動(dòng)駕駛感知（2D檢測(cè)、分割、2D/3D車道線、BEV感知、3D目標(biāo)檢測(cè)、Occupancy、多傳感器融合、多傳感器標(biāo)定、目標(biāo)跟蹤、光流估計(jì)）、自動(dòng)駕駛定位建圖（SLAM、高精地圖、局部在線地圖）、自動(dòng)駕駛規(guī)劃控制/軌跡預(yù)測(cè)等領(lǐng)域技術(shù)方案、AI模型部署落地實(shí)戰(zhàn)、行業(yè)動(dòng)態(tài)、崗位發(fā)布，歡迎掃描下方二維碼，加入自動(dòng)駕駛之心知識(shí)星球，這是一個(gè)真正有干貨的地方，與領(lǐng)域大佬交流入門、學(xué)習(xí)、工作、跳槽上的各類難題，日常分享論文+代碼+視頻，期待交流！
自動(dòng)駕駛之心是首個(gè)自動(dòng)駕駛開(kāi)發(fā)者社區(qū)，聚焦目標(biāo)檢測(cè)、語(yǔ)義分割、全景分割、實(shí)例分割、關(guān)鍵點(diǎn)檢測(cè)、車道線、目標(biāo)跟蹤、3D目標(biāo)檢測(cè)、BEV感知、多模態(tài)感知、Occupancy、多傳感器融合、transformer、大模型、點(diǎn)云處理、端到端自動(dòng)駕駛、SLAM、光流估計(jì)、深度估計(jì)、軌跡預(yù)測(cè)、高精地圖、NeRF、規(guī)劃控制、模型部署落地、自動(dòng)駕駛仿真測(cè)試、產(chǎn)品經(jīng)理、硬件配置、AI求職交流等方向。掃碼添加汽車人助理微信邀請(qǐng)入群，備注：學(xué)校/公司+方向+昵稱（快速入群方式）
④【自動(dòng)駕駛之心】平臺(tái)矩陣，歡迎聯(lián)系我們！
