什么是BEV？

自動(dòng)駕駛中的感知識(shí)別任務(wù)的目的是對(duì)物理世界的三維幾何重建。隨著自動(dòng)駕駛汽車（SDV）裝備傳感器類型的多樣性和數(shù)量不斷增多，人們需要用統(tǒng)一的視角來(lái)展現(xiàn)出不同視角。而鳥(niǎo)瞰視圖（BEV）可以有效展示出這一點(diǎn)。 BEV本身并不是新熱點(diǎn)，最常見(jiàn)的BEV感知是3D檢測(cè)，根據(jù)輸入數(shù)據(jù)模態(tài)的不同，可以劃分為基于圖像、基于LiDAR和基于多模態(tài)三種方式。另一種常見(jiàn)感知是BEV分割，可分為地圖分割和車道線分割兩種方式。

BEV感知算法能夠很好的融合多傳感器的特征，在一定程度上提高自動(dòng)駕駛技術(shù)感知和預(yù)測(cè)的準(zhǔn)確率。

BEV的發(fā)展歷史在BEV空間中，傳統(tǒng)的BEV變換算法通常是在圖像空間中進(jìn)行特征提取，并產(chǎn)生分割結(jié)果，再利用逆透視變換（IPM）將其轉(zhuǎn)化為BEV空間。BEV感知相當(dāng)于給自動(dòng)駕駛開(kāi)啟了“上帝視角”，能夠讓車輛無(wú)遮擋的“看清”道路上的實(shí)況信息，在BEV視角下統(tǒng)一完成感知和預(yù)測(cè)任務(wù)。

在傳統(tǒng)的image-view方案中，3D目標(biāo)檢測(cè)、障礙物實(shí)例分割、車道線分割、軌跡預(yù)測(cè)等各項(xiàng)感知任務(wù)互相分離，使得該方案下的自動(dòng)駕駛算法需要串聯(lián)多個(gè)子模塊，極大增加了算法的開(kāi)發(fā)、維護(hù)成本。而B(niǎo)EV感知能夠讓這些感知任務(wù)在一個(gè)算法框架上實(shí)現(xiàn)，大大減少人力需求。

BEV感知：下一代自動(dòng)駕駛感知算法學(xué)習(xí)計(jì)劃

講師介紹

李弘揚(yáng)博士，上海人工智能實(shí)驗(yàn)室青年科學(xué)家。研究方向?yàn)橥ㄓ靡曈X(jué)下游應(yīng)用研發(fā)、自動(dòng)駕駛感知與決策算法研發(fā)等。香港中文大學(xué)博士學(xué)位。以第一作者身份完成的相關(guān)成果，發(fā)表于相關(guān)國(guó)際會(huì)議如CVPR/ICCV/NeurIPS/ICML等，累計(jì)引用率1400余次，專利授權(quán)10余項(xiàng)。2021年至今，擔(dān)任清華大學(xué)研究生課程高等計(jì)算機(jī)視覺(jué)主講人。帶領(lǐng)團(tuán)隊(duì)斬獲自動(dòng)駕駛國(guó)際挑戰(zhàn)賽Waymo Open Challenge 2022第一名，在純視覺(jué)、激光雷達(dá)等賽道上取得國(guó)際領(lǐng)先地位，提出的BEVFormer工作為自動(dòng)駕駛量產(chǎn)落地提供了實(shí)際解決方案。 適合學(xué)員

自動(dòng)駕駛行業(yè)研發(fā)相關(guān)從業(yè)人員； 對(duì)自動(dòng)駕駛系統(tǒng)及感知算法模塊有一定程度的了解； 對(duì)自動(dòng)駕駛感興趣，有一定編程代碼能力及數(shù)理基礎(chǔ)； 其他算法從業(yè)者，有數(shù)理基礎(chǔ)。

課程收獲

系統(tǒng)理解域控制器在整車開(kāi)發(fā)各環(huán)節(jié)的頂層設(shè)計(jì)作用和地位、重構(gòu)汽車架構(gòu)具體落地方案、Al算法、域控制器硬件軟件安全設(shè)計(jì)等

2023-04-22

09:00-12:00BEV｜感知背景與動(dòng)機(jī)Recap on where we start: ?Tesla AI Day Core issues in 3D Perception BEV Perception: Next Paradigm for AD

14:00-15:30BEV感知融合｜Trending in Industry 工業(yè)界Sensor Configuration: A Roadmap / 傳感器配置 Popular approaches for Industry / 主流方法 3D Data generation / 三維場(chǎng)景重建

15:30-17:00BEV感知融合｜Trending in Academia 學(xué)術(shù)界General BEV Perception / 發(fā)展脈絡(luò)一覽 3D-2D v.s. 2D-3D / 兩種方式

2023-04-23

09:00-12:00BEVFormer 環(huán)視感知方案介紹Motivation & Overall Architecture Explicit BEV feature Performance on nuScenes & Waymo 1.2 Ablation on Attention Module BEVFormer++：Waymo Challenge Camera-Only Track

14:00-17:00BEV感知｜思考與討論未來(lái)工作的思考 BEV 后續(xù)的發(fā)展 未來(lái)研究方向