車道線檢測(cè)綜述及近期新工作
車道線檢測(cè)綜述及近期新工作——為ADAS、自動(dòng)駕駛服務(wù)。
部分視頻效果展示：
https://www.bilibili.com/video/BV1E54y1V7G4
https://www.bilibili.com/video/BV1Lb4y1Z7fT
https://www.bilibili.com/video/BV15q4y1E7gU
0 前言
近期剛?cè)腴T車道線檢測(cè)任務(wù)，做了一點(diǎn)調(diào)研和整理，算是有了一點(diǎn)了解。發(fā)現(xiàn)目前車道線相關(guān)的資料還比較少，所以決定將部分整理的內(nèi)容分享出來，希望可以給同樣的新人一點(diǎn)幫助。（部分內(nèi)容來自網(wǎng)頁搜集，表示感謝，如有侵權(quán)，聯(lián)系刪除）
1 問題定義
如上圖所示，車道線檢測(cè)任務(wù)就是對(duì)當(dāng)前行駛道路的車道線進(jìn)行檢測(cè)，給出自車道及左右兩側(cè)至少各一個(gè)車道的相關(guān)信息，如車道的ID、方向、曲率、類型（虛線、實(shí)線、黃線、白線等）、寬度、長(zhǎng)度、速度等信息，并進(jìn)行可視化輸出。
2 研究難點(diǎn)
車道線一般為細(xì)長(zhǎng)形的外觀結(jié)構(gòu)，需要強(qiáng)大的高低層次特征融合來同時(shí)獲取全局的空間結(jié)構(gòu)關(guān)系和細(xì)節(jié)處的定位精度；
車道線的狀態(tài)呈現(xiàn)具有不確定性，如被遮擋、磨損、道路變化時(shí)本身的不連續(xù)性、天氣影響（雨、雪）等。需要網(wǎng)絡(luò)針對(duì)不同情況具備較強(qiáng)的推理能力；
車輛的偏離或換道過程會(huì)產(chǎn)生自車所在車道的切換，車道線也會(huì)發(fā)生左/右線的切換。一些提前給車道線賦值固定序號(hào)的方法，在換道過程中會(huì)產(chǎn)生歧義的情況；
車道線檢測(cè)必須實(shí)時(shí)或更快速地執(zhí)行，以節(jié)省其他系統(tǒng)的處理能力；
目前大多數(shù)方法不提供源碼，導(dǎo)致復(fù)用性差；
3 公共數(shù)據(jù)集
Caltech：約1.2k張圖，場(chǎng)景比較簡(jiǎn)單，且視角較好；大?。?40x480；
VPGNet：20k張圖，包含白天（非雨天、雨天、大雨天）、夜晚的數(shù)據(jù)，同時(shí)包含了各種車道線類型，以及其他不同類型的車道標(biāo)識(shí)（左轉(zhuǎn)箭頭、直行箭頭、斑馬線等）；
TuSimple：72k張圖，位于高速路，天氣晴朗，車道線清晰，特點(diǎn)是車道線以點(diǎn)來標(biāo)注；大?。?280x720；
CULane：98k張圖，包含擁擠、黑夜、無線、暗影等8種難以檢測(cè)的情況，最多標(biāo)記4條車道線；大?。?640x590；
BDD100k：120M張圖， 包含美國(guó)4個(gè)區(qū)的白天、黑夜各種天氣狀況，二維8類別車道線；大?。?280x720；
ApolloScape：140k張圖，特點(diǎn)是車道線以掩碼的形式標(biāo)注，包含2維或3維28個(gè)類別；大?。?384x2710；
CurveLanes：華為彎道檢測(cè)數(shù)據(jù)集 135k張圖, 采用三次樣條曲線手動(dòng)標(biāo)注所有車道線，包括很多較為復(fù)雜的場(chǎng)景，如S路、Y車道，還有夜間和多車道的場(chǎng)景。訓(xùn)練集10萬張，驗(yàn)證集2萬張，測(cè)試集3萬張；大?。?650x1440；
LLAMAS：19年新提出的，100k張圖，標(biāo)注不是人工標(biāo)注，而是高精地圖生成的，全是高速場(chǎng)景。
目前，我看到的最新的學(xué)術(shù)論文里，大都是用的 TuSimple 和 CULane 兩個(gè)數(shù)據(jù)集進(jìn)行性能對(duì)比，也有文章使用 LLAMAS。
4 研究方法
4.1 傳統(tǒng)圖像方法
通過邊緣檢測(cè)濾波等方式分割出車道線區(qū)域，然后結(jié)合霍夫變換、RANSAC等算法進(jìn)行車道線檢測(cè)。這類算法需要人工手動(dòng)去調(diào)濾波算子，根據(jù)算法所針對(duì)的街道場(chǎng)景特點(diǎn)手動(dòng)調(diào)節(jié)參數(shù)，工作量大且魯棒性較差，當(dāng)行車環(huán)境出現(xiàn)明顯變化時(shí)，車道線的檢測(cè)效果不佳。主流方式如下：
. 基于霍夫變換的車道線檢測(cè)；
. 基于LSD直線的車道線檢測(cè);
. 基于俯視圖變換的車道線檢測(cè)；
. 基于擬合的車道線檢測(cè)；
. 基于平行透視滅點(diǎn)的車道線檢測(cè)；
局限性：
. 應(yīng)用場(chǎng)景受限；霍夫直線檢測(cè)方法準(zhǔn)確但不能做彎道檢測(cè)，擬合方法可以檢測(cè)彎道但不穩(wěn)定，仿射變換可以做多車道檢測(cè)但在遮擋等情況下干擾嚴(yán)重。
. 透視變換操作會(huì)對(duì)相機(jī)有一些具體的要求，在變換前需要調(diào)正圖像，而且攝像機(jī)的安裝和道路本身的傾斜都會(huì)影響變換效果。
4.2 基于深度學(xué)習(xí)的方法
目前基于深度學(xué)習(xí)的方法由于具有較高的精度，成為當(dāng)前的主流方式，大抵可以分為以下四類：
1）基于語義分割的方法
SCNN：對(duì)于細(xì)長(zhǎng)的車道線檢測(cè)是很有效的但是速度慢(7.5FPS)，這阻礙了它在現(xiàn)實(shí)世界中的適用性。
SAD：提出了一種自注意蒸餾模塊，基于信息蒸餾為了解決大主干網(wǎng)絡(luò)對(duì)速度的影響，可以聚合文本信息。 該方法允許使用更輕量級(jí)的骨干，在保持實(shí)時(shí)效率的同時(shí)實(shí)現(xiàn)高性能。
CurveLanes-NAS：使用神經(jīng)架構(gòu)搜索(NAS)來尋找更好的骨干。 雖然取得了最先進(jìn)的結(jié)果，但在計(jì)算上非常耗時(shí)。(華為諾亞方舟實(shí)驗(yàn)室)
2）行分類方法
一種基于輸入圖像網(wǎng)格劃分的車道檢測(cè)方法。 對(duì)于每一行，模型預(yù)測(cè)最有可能的單元格包含車道標(biāo)記的一部分。 由于每一行只選擇一個(gè)單元格，因此對(duì)圖像中的每個(gè)可能的車道重復(fù)此過程。
如： E2E-LMD、IntRA-KD、UFAST等，其中UFAST實(shí)現(xiàn)了當(dāng)前最快的檢測(cè)速度，達(dá)到了300FPS（后面詳細(xì)介紹）。
3）基于anchor的方法
類似YOLOv3或SSD的單階段模型，如Line-CNN、LaneATT等，其中LaneATT提出了新的基于anchor的車道檢測(cè)注意機(jī)制，表現(xiàn)SOTA，達(dá)到了250FPS（后面詳細(xì)介紹）。
4）其他方法
FastDraw ：不需要后處理，需要分割和行分類的方法。雖然速度高。但是精確度不高。
PolyLaneNet：速度快，但是由于現(xiàn)有的數(shù)據(jù)集不均衡，造成一些偏差。
附：(本節(jié)提到的幾篇文章出處)
SCNN—Spatial As Deep: Spatial CNN for Traffic Scene Understanding. AAAI, 2018.
SAD—Learning lightweight Lane Detection CNNs by Self Attention Distillation. ICCV, 2019.
CurveLanes-NAS—CurveLane-NAS: Unifying Lane Sensitive Architecture Search and Adaptive Point Blending. ECCV,2020.
E2E-LMD—End-to-End Lane Marker Detection via Row-wise Classification. CVPR Workshop, 2020.
IntRA-KD—Inter-Region Affinity Distillation for Road Marking Segmentation. CVPR, 2020.
UFAST—Ultra Fast Structure aware Deep Lane Detection. ECCV, 2020.
Line-CNN—Line-CNN: End-to-end traffic line detection with line proposal unit. Intelligent Transportation Systems,2019.
LaneATT—Keep your eyes on the lane: Real-time attention-guided lane detection. CVPR, 2021.
FastDraw—FastDraw: Addressing the Long Tail of Lane Detection by Adapting a Sequential Prediction Network.CVPR, 2019.
PolyLaneNet—PolyLaneNet: Lane Estimation via Deep Polynomial Regression. ICPR, 2020.
5 評(píng)價(jià)指標(biāo)
兩個(gè)當(dāng)前主流數(shù)據(jù)集 TuSimple 和 CULane 采用不用的評(píng)價(jià)指標(biāo)。
首先，在判斷 True or False時(shí)，主要有兩種方式：
1.End Point，通過判斷線的端點(diǎn)間的距離及其包圍面積是否超過閾值；（TuSimple數(shù)據(jù)集）
2.IoU，預(yù)測(cè)和標(biāo)注都畫出來，像圖像分割一樣計(jì)算IoU的重疊面積，小于閾值判為負(fù)；（CULane數(shù)據(jù)集）
指標(biāo)1—準(zhǔn)確度(TuSimple)：
Cclip：預(yù)測(cè)正確的道路點(diǎn)數(shù)；
Sclip：所有的道路點(diǎn)數(shù)；
指標(biāo)2—F1-measure(CULane)：
TP: IoU>0.5的預(yù)測(cè)；
FP: IoU<0.5的預(yù)測(cè)；
TN: 沒有這條車道且預(yù)測(cè)沒有該車道；
FN: 有這條車道但被預(yù)測(cè)為沒有該車道；
其它指標(biāo)：
Runtime(ms)
MACs(multiply-accumulate operations)
FPS
FDR(false discovery rate)
FNR(false negative rate)
6 近期比較新的方法
2021:
Structure Guided Lane Detection IJCAI 2021 美團(tuán)
CondLaneNet: a Top-to-down Lane Detection Framework Based on Conditional Convolution
Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection CVPR 2021 代碼開源
YOLinO: Generic Single Shot Polyline Detection in Real Time
LaneAF: Robust Multi-Lane Detection with Affinity Fields 代碼開源
Robust Lane Detection via Expanded Self Attention
End-to-End Deep Learning of Lane Detection and Path Prediction for Real-Time Autonomous Driving
RESA: Recurrent Feature-Shift Aggregator for Lane Detection AAAI 2021 代碼開源
End-to-end Lane Shape Prediction with Transformers WACV 2021 代碼開源
2020:
3D-LaneNet+: Anchor Free Lane Detection using a Semi-Local Representation
Keep your Eyes on the Lane: Attention-guided Lane Detection 代碼開源
RONELD: Robust Neural Network Output Enhancement for Active Lane Detection ICPR 2020 代碼開源
CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending ECCV 2020 Datasets
Towards Lightweight Lane Detection by Optimizing Spatial Embedding ECCV 2020 Workshop
Structure-Aware Network for Lane Marker Extraction with Dynamic Vision Sensor
Lane Detection Model Based on Spatio-Temporal Network with Double ConvGRUs
Heatmap-based Vanishing Point boosts Lane Detection
Synthetic-to-Real Domain Adaptation for Lane Detection
E2E-LMD: End-to-End Lane Marker Detection via Row-wise Classification
SUPER: A Novel Lane Detection System
Ultra Fast Structure-aware Deep Lane Detection ECCV 2020 代碼開源
PolyLaneNet: Lane Estimation via Deep Polynomial Regression 代碼開源
Inter-Region Affinity Distillation for Road Marking Segmentation CVPR 2020 代碼開源
Gen-LaneNet: A Generalized and Scalable Approach for 3D Lane Detection ECCV 2020 代碼開源
Detecting Lane and Road Markings at A Distance with Perspective Transformer Layers
Semi-Local 3D Lane Detection and Uncertainty Estimation
FusionLane: Multi-Sensor Fusion for Lane Marking Semantic Segmentation Using Deep Neural Networks 代碼開源
PINet：Key Points Estimation and Point Instance Segmentation Approach for Lane Detection 代碼開源
Better-CycleGAN + ERFNet: Lane Detection in Low-light Conditions Using an Efficient Data Enhancement : Light Conditions Style Transfer submitted to IV 2020
Multi-lane Detection Using Instance Segmentation and Attentive Voting ICCAS 2019
7 部分文章原理
留待后期陸續(xù)更新。。。。，感興趣的朋友可以關(guān)注一下，能點(diǎn)個(gè)贊的話更好啦。
歡迎自動(dòng)駕駛同行或者感興趣的朋友一起玩！
