今年5月29日，小湯給大家分享了《端到端的多任務(wù)感知網(wǎng)絡(luò)HybridNet，性能優(yōu)于YOLOP》，論文 HybridNets: End2End Perception Network，代碼已開源，在目標(biāo)檢測、車道線、freespace的多任務(wù)感知任務(wù)上性能優(yōu)于YOLOP，取得了新SOTA。視頻效果如下：

端到端的多任務(wù)感知網(wǎng)絡(luò)：目標(biāo)檢測、車道線、freespace，性能優(yōu)于YOLOP

但僅僅3個(gè)月，?YOLOPv2又來了，實(shí)現(xiàn)了新的反超。

paper：https://arxiv.org/pdf/2208.11434v1.pdf

code：https://github.com/CAIC-AD/YOLOPv2

1 摘要

在上一個(gè)十年里，多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)在解決全景駕駛感知問題方面取得了優(yōu)異的表現(xiàn)，同時(shí)實(shí)現(xiàn)了精度和效率的大幅提升。多任務(wù)學(xué)習(xí)框架已經(jīng)成為有限計(jì)算資源條件下實(shí)時(shí)自動駕駛系統(tǒng)設(shè)計(jì)的主流選擇。本文提出了一種有效且高效的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)——YOLOPv2，可以同時(shí)完成目標(biāo)檢測、可行駛區(qū)域分割和車道檢測三個(gè)任務(wù)。

YOLOPv2模型在具有挑戰(zhàn)性的自動駕駛基準(zhǔn)數(shù)據(jù)集BDD100K 上的準(zhǔn)確性和速度方面實(shí)現(xiàn)了新的SOTA。尤其是與之前的YOLOP、Hybrid-Net等SOTA模型相比，推理時(shí)間減少了一半。

2 簡介

盡管計(jì)算機(jī)視覺和深度學(xué)習(xí)已經(jīng)取得了顯著的巨大發(fā)展，但對于object detection、segmentation、lane detection等基于視覺的任務(wù)而言，在低成本自動駕駛的應(yīng)用中仍然不一件容易的事情。全景駕駛感知系統(tǒng)（Panoptic Driving Perception）通過攝像頭或激光雷達(dá)等常規(guī)傳感器，幫助車輛全面了解車身周圍的情況?；谙鄼C(jī)的目標(biāo)檢測和目標(biāo)分割任務(wù)通常在場景理解的實(shí)際使用中得益于其較低的成本而受到廣泛選擇。目標(biāo)檢測在提供交通障礙物的位置和大小信息方面發(fā)揮著重要作用，幫助自動駕駛汽車在行駛階段做出準(zhǔn)確及時(shí)的決策。同時(shí)，可行駛區(qū)域分割和車道線檢測也為路徑規(guī)劃和提高行車安全提供了豐富的信息。目標(biāo)檢測和目標(biāo)分割是CV方向的兩個(gè)長期研究課題。經(jīng)過近年來的發(fā)展，已經(jīng)誕生了一系列的出色工作，包括?CenterNet、Faster R-CNN?和?YOLO?系列等。常見的目標(biāo)分割網(wǎng)絡(luò)常用于可行駛區(qū)域劃分，例如：UNET、SegNet?和?PSPNet等。而對于車道檢測/分割而言，需要更強(qiáng)大的網(wǎng)絡(luò)來提供更好的高層和低層特征融合，從而考慮全局結(jié)構(gòu)上下文信息。然而，在實(shí)時(shí)自動駕駛系統(tǒng)中為每個(gè)單獨(dú)的任務(wù)運(yùn)行單獨(dú)的模型通常是不太現(xiàn)實(shí)的。在此背景下，多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)應(yīng)用而生，為節(jié)省計(jì)算成本提供了一種潛在的解決方案，網(wǎng)絡(luò)通常被設(shè)計(jì)成encoder-decoder模式，其中encoder被不同的任務(wù)有效共享。在本文中，在對歷史方法進(jìn)行了深入分析之后，提出了一種有效且高效的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)——YOLOPv2，并在具有挑戰(zhàn)性的 BDD100K 數(shù)據(jù)集上進(jìn)行了相關(guān)實(shí)驗(yàn)。YOLOPv2在3個(gè)任務(wù)中都取得了最佳性能：目標(biāo)檢測任務(wù)的?AP50?為 0.83，可行駛區(qū)域分割任務(wù)的?mIOU?為 0.93，車道線檢測的準(zhǔn)確率為 87.3。與 Baseline 相比，性能得到了大大的提升。此外，將在NVIDIA TESLA V100上運(yùn)行的FPS達(dá)到了 91，遠(yuǎn)遠(yuǎn)高于?YOLOP?模型在相同實(shí)驗(yàn)設(shè)置下的 49 FPS 。這進(jìn)一步說明模型可以降低計(jì)算成本并保證實(shí)時(shí)預(yù)測，同時(shí)為其他實(shí)驗(yàn)研究的改進(jìn)留出空間。YOLOPv2的主要貢獻(xiàn)如下：

1. Better：提出了一種更有效的模型結(jié)構(gòu)，并開發(fā)了更復(fù)雜的免費(fèi)袋，例如，在對數(shù)據(jù)預(yù)處理執(zhí)行 Mosaic 和 Mixup 以及應(yīng)用了一種新的混合損失;

2. Faster：為模型設(shè)計(jì)了更高效的網(wǎng)絡(luò)結(jié)構(gòu)和內(nèi)存分配策略；

3. Stronger：模型是在強(qiáng)大的網(wǎng)絡(luò)架構(gòu)下訓(xùn)練完成的，具有良好的通用性，可以適應(yīng)各種場景并同時(shí)保證速度；

3 YOLOPv2

3.1 概況

YOLOPv2是基于YOLOP?和?HybridNet，保留了其核心設(shè)計(jì)理念，但利用強(qiáng)大的 backbone 進(jìn)行特征提取。此外，與現(xiàn)有工作不同的是，利用encoder的3個(gè)分支來執(zhí)行特定任務(wù)，而不是在同一分支中運(yùn)行可行駛區(qū)域和車道檢測任務(wù)。這主要是因?yàn)樽髡甙l(fā)現(xiàn)可行駛區(qū)域和車道檢測的任務(wù)難度完全不同，這意味著這兩個(gè)任務(wù)對特征級別的要求不同，因此最好有不同的網(wǎng)絡(luò)結(jié)構(gòu)。第 4 節(jié)中的實(shí)驗(yàn)表明，新設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地提高整體分割性能，并且在計(jì)算速度上引入的開銷可以忽略不計(jì)。圖 2 顯示了設(shè)計(jì)概念的總體方法流程圖。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

YOLOPv2的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示，由一個(gè)用于從輸入圖像中提取特征的共享encoder和用于相應(yīng)任務(wù)的3個(gè)decoder頭組成。

1 Shared Encoder

與使用?CSPDarknet?作為主干的?YOLOP?不同，采用?E-ELAN?的設(shè)計(jì)來利用組卷積，使不同層的權(quán)重能夠?qū)W習(xí)到更多樣化的特征。在Neck部分，通過連接收集和融合不同階段產(chǎn)生的特征。與?YOLOP?類似，應(yīng)用空間金字塔池 (SPP) 模塊來融合不同尺度的特征，并使用特征金字塔網(wǎng)絡(luò) (FPN) 模塊來融合不同語義級別的特征。

2 Task Heads

YOLOPv2為每個(gè)單獨(dú)的任務(wù)設(shè)計(jì)了3個(gè)獨(dú)立的decoder。與?YOLOv7?類似，采用Anchor-base的多尺度檢測方案。首先，使用自下而上結(jié)構(gòu)的路徑聚合網(wǎng)絡(luò)（PAN）來更好地提取定位特征。通過結(jié)合來自?PAN?和?FPN?的特征，能夠?qū)⒄Z義信息與這些局部特征融合，然后直接在?PAN?中的多尺度融合特征圖上運(yùn)行檢測。多尺度特征圖中的每個(gè)網(wǎng)格都會分配3個(gè)不同縱橫比的anchor，檢測頭會預(yù)測位置的偏移量和縮放后的高寬，以及每個(gè)類預(yù)測的概率和對應(yīng)的置信度。所提出方法中的可行駛區(qū)域和車道線檢測在具有不同網(wǎng)絡(luò)結(jié)構(gòu)的單獨(dú)任務(wù)頭中執(zhí)行。與?YOLOP?不同，YOLOP的兩個(gè)任務(wù)的特征都來自Neck的最后一層，采用了不同語義級別的特征。作者實(shí)驗(yàn)發(fā)現(xiàn)，與其他兩個(gè)任務(wù)相比，從更深的網(wǎng)絡(luò)層提取的特征對于可行駛區(qū)域任務(wù)來說并不是必需的。這些更深層次的特征并不能提高性能，反而會增加模型在訓(xùn)練過程中的收斂難度。因此，可行駛區(qū)域頭的分支連接在FPN模塊之前。此外，為了補(bǔ)償這種變化造成的可能影響，使用了一個(gè)額外的上采樣層，即在解碼器階段總共應(yīng)用了4個(gè)最近鄰插值上采樣。對于車道線檢測分支，連接到?FPN?層的末端，以便提取更深層次的特征，因?yàn)檐嚨谰€通常較細(xì)且在輸入圖像中難以檢測。此外，在車道檢測的解碼器階段應(yīng)用了反卷積，以進(jìn)一步提高性能。

3 Design of BOF

基于YOLOP的設(shè)計(jì)，在檢測部分保留了損失函數(shù)的設(shè)置，即分類損失、目標(biāo)檢測損失和邊界損失的加權(quán)和損失，如公式1所示。

此外, 在 和 中使用了 Focal Loss 來處理樣本不平衡問題。 用于懲罰分類, 用于預(yù)測置信度。 反映了預(yù)測結(jié)果與 Ground truth 的重疊率、縱橫比和尺度相似度的距離。合理設(shè)置損失權(quán)重可以有效保證多任務(wù)檢測的結(jié)果。交叉熵?fù)p失用于可行駛區(qū)域分割，旨在最小化網(wǎng)絡(luò)輸出和Ground truth之間的分類誤差。對于車道線檢測，使用Focal Loss而不是交叉熵?fù)p失。因?yàn)閷τ谲嚨罊z測等分類苦難的任務(wù)，使用Focal Loss可以有效地引導(dǎo)模型專注于困難樣本，從而提高檢測精度。此外，在實(shí)驗(yàn)中實(shí)現(xiàn)了由Dice loss和Focal Loss組成的混合損失。Dice loss?能夠?qū)W習(xí)減輕不平衡問題的類分布。Focal loss?具有強(qiáng)制模型學(xué)習(xí)分類不均衡的能力。最終損失可以計(jì)算公式 ，如下所示：

其中 是 Dice loss 和 Focal Loss 之間的權(quán)衡, C是類別的總數(shù), 因此, C設(shè)置為 2 , 因?yàn)樵诳神{駛區(qū)域和車道線檢測中只有兩個(gè)類別。、 和 分別表示真陽性、假陰性和假陽性。值得一提的是，在多任務(wù)學(xué)習(xí)方法中引入了 Mosaic 和 Mixup 的增強(qiáng)方法，根據(jù)論文描述，這是第一次在目標(biāo)檢測、可行駛區(qū)域和車道檢測這三個(gè)任務(wù)中顯示出顯著的性能提升。

4 實(shí)驗(yàn)

4.1 目標(biāo)檢測

4.2 可行駛區(qū)域

4.3 車道線檢測

4.4 速度比較

4.5 可視化展示

1 白天

2 夜間

3 動圖效果

文件大小超過了10M，不支持上傳，感興趣的朋友可以去github上查看。

代碼暫未開源，模型權(quán)重也暫時(shí)沒有公開。

你覺得YOLOPv2的效果如何？歡迎點(diǎn)贊、轉(zhuǎn)發(fā)，也歡迎加入技術(shù)交流群和眾多同行朋友一起討論。

歡迎對車道線檢測、車位檢測、目標(biāo)跟蹤、目標(biāo)檢測、目標(biāo)分類、語義分割、深度估計(jì)等計(jì)算機(jī)視覺任務(wù)及自動駕駛技術(shù)（感知、融合、規(guī)控、定位、建圖、傳感器、嵌入式移植、測試、產(chǎn)品等）感興趣的朋友、同行，加入技術(shù)交流群5群，一起學(xué)習(xí)，一起玩！群內(nèi)問題交流活躍，資料多，空位不多，打廣告勿進(jìn)，對群友問題提供優(yōu)質(zhì)回答的有獎勵(lì)！
群內(nèi)免費(fèi)分享各類相關(guān)學(xué)習(xí)資料、研報(bào)、行業(yè)資訊、技術(shù)問題討論，歡迎加入！

推薦閱讀：

端到端的多任務(wù)感知網(wǎng)絡(luò)：目標(biāo)檢測、車道線、freespace，性能優(yōu)于YOLOP

車道線檢測2022新工作，2D、3D都有