現(xiàn)在的自動(dòng)駕駛，大多數(shù)還是采用的模塊化架構(gòu)，但這種架構(gòu)的缺陷十分明顯：在一個(gè)自動(dòng)駕駛系統(tǒng)里，可能會(huì)包含很多個(gè)模型，每個(gè)模型都要專門進(jìn)行訓(xùn)練、優(yōu)化、迭代，隨著模型的不斷進(jìn)化，參數(shù)量不斷提高，所需的研發(fā)人員也跟著漲，研發(fā)成本自然居高不下。

而端到端架構(gòu)的優(yōu)勢(shì)在于，只通過(guò)一個(gè)模型就實(shí)現(xiàn)了以上多種模型的功能，因此我們只需要調(diào)整訓(xùn)練這一個(gè)模型，就能大大提高性能，這讓我們可以更好地集中資源，實(shí)現(xiàn)功能聚焦。

為此，端到端架構(gòu)的研究一直是自動(dòng)駕駛領(lǐng)域的熱門方向，學(xué)姐這次也收集整理了36篇端到端自動(dòng)駕駛論文來(lái)和大家分享，原文+代碼已打包。

掃碼添加小享，回復(fù)“端到端”

免費(fèi)獲取全部論文+代碼合集

端到端（5）

Policy Pre-Training for End-to-End Autonomous Driving via Self-Supervised Geometric Modeling

標(biāo)題：通過(guò)自監(jiān)督幾何建模進(jìn)行端到端自動(dòng)駕駛的策略預(yù)訓(xùn)練

內(nèi)容：作者提出了PPGeo(基于幾何建模的策略預(yù)訓(xùn)練)，這是一個(gè)直觀和直接的完全自監(jiān)督框架，用于視運(yùn)動(dòng)駕駛中的策略預(yù)訓(xùn)練。作者的目標(biāo)是通過(guò)對(duì)大規(guī)模無(wú)標(biāo)注和無(wú)標(biāo)定的YouTube駕駛視頻進(jìn)行3D幾何場(chǎng)景建模，將策略表示學(xué)習(xí)為一個(gè)強(qiáng)大的抽象。所提議的PPGeo分兩個(gè)階段執(zhí)行，以支持有效的自監(jiān)督訓(xùn)練。在第一階段，幾何建?？蚣芡瑫r(shí)生成姿態(tài)和深度預(yù)測(cè)，以兩個(gè)連續(xù)幀為輸入。在第二階段，視覺(jué)編碼器通過(guò)僅基于當(dāng)前視覺(jué)觀察預(yù)測(cè)未來(lái)自身運(yùn)動(dòng)來(lái)學(xué)習(xí)駕駛策略表示，并通過(guò)光度誤差進(jìn)行優(yōu)化。如此，預(yù)訓(xùn)練的視覺(jué)編碼器配備了豐富的駕駛策略相關(guān)表示，從而能夠勝任多個(gè)視運(yùn)動(dòng)駕駛?cè)蝿?wù)。

Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline

標(biāo)題：基于軌跡指導(dǎo)的端到端自動(dòng)駕駛控制預(yù)測(cè)：一個(gè)簡(jiǎn)單但強(qiáng)大的基準(zhǔn)

內(nèi)容：當(dāng)前的端到端自動(dòng)駕駛方法要么基于規(guī)劃的軌跡運(yùn)行控制器，要么直接進(jìn)行控制預(yù)測(cè)，這兩種方法構(gòu)成了兩個(gè)相對(duì)獨(dú)立的研究方向?？紤]到兩者之間的潛在互補(bǔ)優(yōu)勢(shì)，本文首次探索將這兩個(gè)成熟的世界結(jié)合起來(lái)。具體而言，作者的集成方法分別有軌跡規(guī)劃和直接控制兩支。軌跡分支預(yù)測(cè)未來(lái)軌跡，控制分支采用新穎的多步預(yù)測(cè)方案，以推理當(dāng)前行為與未來(lái)狀態(tài)之間的關(guān)系。兩支相連，使控制分支在每個(gè)時(shí)間步都從軌跡分支獲得相應(yīng)指導(dǎo)。然后將兩支的輸出融合以實(shí)現(xiàn)互補(bǔ)優(yōu)勢(shì)。作者在封閉環(huán)城市駕駛環(huán)境中評(píng)估結(jié)果，使用CARLA模擬器中的具有挑戰(zhàn)性的場(chǎng)景。即使只使用單目攝像頭輸入，所提方法也位居CARLA排行榜第一，大幅領(lǐng)先其他使用多傳感器或多融合機(jī)制的復(fù)雜方法。

ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning

標(biāo)題：基于空間-時(shí)域特征學(xué)習(xí)的端到端基于視覺(jué)的自動(dòng)駕駛(ST-P3)

內(nèi)容：作者提出了一個(gè)空間-時(shí)域特征學(xué)習(xí)方案，以同時(shí)獲得感知、預(yù)測(cè)和規(guī)劃任務(wù)更具代表性的一組特征，稱為ST-P3。具體而言，在進(jìn)行鳥(niǎo)瞰圖變換用于感知之前，作者提出了一種以自身為中心的累積技術(shù)來(lái)保留3D空間中的幾何信息。為了進(jìn)行未來(lái)預(yù)測(cè)，作者設(shè)計(jì)了一種雙通道建模方法來(lái)考慮過(guò)去的運(yùn)動(dòng)變化，作者引入了一種基于時(shí)間的精煉單元來(lái)補(bǔ)償規(guī)劃中的基于視覺(jué)的元素的識(shí)別。

Urban Driver: Learning to Drive from Real-world Demonstrations Using Policy Gradients

標(biāo)題：城市司機(jī)：使用策略梯度從真實(shí)世界演示中學(xué)習(xí)駕駛

內(nèi)容：本文首次提出了一個(gè)離線策略梯度方法，用于從大規(guī)模真實(shí)世界演示中學(xué)習(xí)復(fù)雜城市駕駛的模仿策略。這是通過(guò)在感知輸出和該區(qū)域的高保真高清地圖之上構(gòu)建一個(gè)可微分的數(shù)據(jù)驅(qū)動(dòng)模擬器來(lái)實(shí)現(xiàn)的。它允許我們使用中間表示從現(xiàn)有演示中合成新的駕駛體驗(yàn)。使用這個(gè)模擬器，在閉環(huán)中采用策略梯度訓(xùn)練一個(gè)策略網(wǎng)絡(luò)。作者在城市道路上訓(xùn)練了提出的方法，結(jié)果表明它學(xué)習(xí)到了復(fù)雜的駕駛策略，并表現(xiàn)出很好的泛化能力，能夠執(zhí)行各種駕駛機(jī)動(dòng)操作。

MP3: A Unified Model to Map, Perceive, Predict and Plan

標(biāo)題：MP3：一個(gè)統(tǒng)一的模型進(jìn)行映射、感知、預(yù)測(cè)和規(guī)劃

內(nèi)容：作者提出了MP3，這是一種端到端的無(wú)地圖駕駛方法，其輸入是原始傳感器數(shù)據(jù)和高級(jí)命令(例如，在交叉路口左轉(zhuǎn))。MP3預(yù)測(cè)中間表示，包括在線地圖和當(dāng)前及未來(lái)的動(dòng)態(tài)代理狀態(tài)，并在新穎的神經(jīng)運(yùn)動(dòng)規(guī)劃器中利用它們做出可解釋的決策，同時(shí)考慮不確定性。與基準(zhǔn)和大規(guī)模真實(shí)世界數(shù)據(jù)集中的專家駕駛相比，作者的方法在復(fù)雜的長(zhǎng)期閉環(huán)模擬中明顯更安全、更舒適，并且可以更好地遵循命令。

綜述（3）

Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A Survey

標(biāo)題：最近端到端自動(dòng)駕駛技術(shù)中深度學(xué)習(xí)的進(jìn)展：一項(xiàng)調(diào)研

內(nèi)容：本文全面回顧了端到端的自動(dòng)駕駛技術(shù)棧，它提供了一個(gè)自動(dòng)駕駛?cè)蝿?wù)的分類，其中神經(jīng)網(wǎng)絡(luò)已經(jīng)以端到端的方式被使用，涵蓋從感知到控制的整個(gè)駕駛過(guò)程，同時(shí)解決實(shí)際應(yīng)用中遇到的關(guān)鍵挑戰(zhàn)，分析了端到端自動(dòng)駕駛的最新發(fā)展，并根據(jù)基本原理、方法和核心功能對(duì)研究進(jìn)行分類。

掃碼添加小享，回復(fù)“端到端”

免費(fèi)獲取全部論文+代碼合集

End-to-end Autonomous Driving: Challenges and Frontiers

標(biāo)題：端到端自動(dòng)駕駛：挑戰(zhàn)與前沿

內(nèi)容：在本論文中，作者對(duì)250多篇論文進(jìn)行了全面分析，涵蓋了端到端自動(dòng)駕駛的動(dòng)機(jī)、路線圖、方法、挑戰(zhàn)和未來(lái)趨勢(shì)。作者深入探討了幾個(gè)關(guān)鍵挑戰(zhàn),包括多模態(tài)、可解釋性、因果混淆、魯棒性和世界模型等。此外，還討論了基礎(chǔ)模型和視覺(jué)預(yù)訓(xùn)練的當(dāng)前進(jìn)展，以及如何在端到端駕駛框架內(nèi)部署這些技術(shù)。

Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe

標(biāo)題：深入研究鳥(niǎo)瞰視角感知的難點(diǎn):綜述、評(píng)估與指南

內(nèi)容：本調(diào)研回顧了BEV感知的最新工作，并對(duì)不同解決方案進(jìn)行了深入分析。此外，還描述了幾種系統(tǒng)的BEV方法設(shè)計(jì)。作者還提供了全面的實(shí)用指南，以提高BEV感知任務(wù)的性能，包括攝像頭、激光雷達(dá)和融合輸入。最后，作者指出了該領(lǐng)域的未來(lái)研究方向。

可解釋性（13）

• Planning-oriented Autonomous Driving Best Paper

• Multi-Modal Fusion Transformer for End-to-End Autonomous Driving

• Learning Situational Driving

• Learning from All Vehicles

• Policy Pre-training for Autonomous Driving via Self-supervised Geometric Modeling

• NEAT: Neural Attention Fields for End-to-End Autonomous Driving

• TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving

• Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer

• PlanT: Explainable Planning Transformers via Object-Level Representations

• Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer

• ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning

• Hidden Biases of End-to-End Driving Models

• Scaling Self-Supervised End-to-End Driving with Multi-View Attention Learning

模仿學(xué)習(xí)（11）

• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving

• Learning by Watching

• Policy Pre-training for Autonomous Driving via Self-supervised Geometric Modeling

• End-to-End Urban Driving by Imitating a Reinforcement Learning Coach

• Hidden Biases of End-to-End Driving Models

• Scaling Self-Supervised End-to-End Driving with Multi-View Attention Learning

• Learning by Cheating

• SAM: Squeeze-and-Mimic Networks for Conditional Visual Driving Policy Learning

• Urban Driving with Conditional Imitation Learning

• Learning to Drive from Simulation without Real World Labels

• Multimodal End-to-End Autonomous Driving

行為克?。?）

• KING: Generating Safety-Critical Driving Scenarios for Robust Imitation via Kinematics Gradients

• Learning to Drive by Watching YouTube Videos: Action-Conditioned Contrastive Policy Pretraining

• Exploring the Limitations of Behavior Cloning for Autonomous Driving

掃碼添加小享，回復(fù)“端到端”

免費(fèi)獲取全部論文+代碼合集