2022年9月的Tesla AI Day上，一種稱(chēng)之為Occupancy Network的占用模型突然出現(xiàn)到大家的視野中，輕語(yǔ)義重幾何，更好地輔助自動(dòng)駕駛系統(tǒng)感知Driverable space！自動(dòng)駕駛在動(dòng)靜態(tài)障礙物感知領(lǐng)域的發(fā)展大概分為三個(gè)階段：1）2D圖像空間檢測(cè)障礙物，映射到鳥(niǎo)瞰空間做多相機(jī)和時(shí)序融合；2）直接在BEV空間中完成動(dòng)態(tài)障礙物的3D檢測(cè)和靜態(tài)障礙物的識(shí)別建模；3）直接在3D空間中感知占用關(guān)系，為系統(tǒng)規(guī)劃可行駛空間。

然而，2D感知結(jié)果不太好直接被下游規(guī)劃控制使用，投影到BEV空間也不太準(zhǔn)，后續(xù)的跨相機(jī)融合無(wú)法保證一致性，融合困難，特別是在高速場(chǎng)景投影誤差較大，所以大多被應(yīng)用在泊車(chē)上。為了解決2D到3D映射不準(zhǔn)的問(wèn)題，特斯拉直接在BEV空間上建模，輸入環(huán)視的多個(gè)相機(jī)，端到端感知?jiǎng)屿o態(tài)障礙物，這種方式更加友好，可以直接輸出下游可用的目標(biāo)。

然而，如何面對(duì)一些長(zhǎng)尾問(wèn)題呢？比如截?cái)嗄繕?biāo)、形狀不規(guī)則、未有清晰語(yǔ)義的目標(biāo)（比如掛車(chē)、樹(shù)木、垃圾、以及石子等），傳統(tǒng)的3D檢測(cè)始終無(wú)法cover all？那么是否可以直接對(duì)環(huán)境建模，表達(dá)為占據(jù)柵格的形式呢？不過(guò)度區(qū)分語(yǔ)義、更關(guān)注是否占用，是否為空。特斯拉做到了，并取得了和激光接近的效果！Occupancy Network也被普遍認(rèn)為是下一代的感知范式，成為各大自動(dòng)駕駛公司搶占的高地。

當(dāng)前大火的BEV模型和Occupancy有較多相似之處，BEV的特征生成范式幾乎和Occ完全相同，時(shí)序方法也完全適用。Occupancy networks本身即具有voxel級(jí)別高精度的環(huán)境表示能力和function space的高效表示方法。3D occupancy用在bev框架下，則賦予了BEV新優(yōu)勢(shì)：首先解耦了geometry和semantics信息，其次解決了懸空物體等3D問(wèn)題，最后還方便轉(zhuǎn)化成Bbox，freespace等其他表示，可謂是彌補(bǔ)了當(dāng)前感知算法最后一公里的缺陷！

如何入門(mén)學(xué)習(xí)？

目前國(guó)內(nèi)還沒(méi)有任何一套關(guān)于Occupancy Network的教程，導(dǎo)致無(wú)論工程界，抑或是學(xué)術(shù)界，都對(duì)這個(gè)領(lǐng)域比較陌生，不知道如何搭建自己的數(shù)據(jù)集和優(yōu)化模型，為此，自動(dòng)駕駛之心自研了國(guó)內(nèi)首套Occupancy課程，從0到1為大家詳細(xì)闡述占用柵格網(wǎng)絡(luò)的數(shù)據(jù)生成、評(píng)測(cè)、可視化、訓(xùn)練加速、模型優(yōu)化、后處理等方方面面。內(nèi)容不僅適用學(xué)術(shù)界，更直接面向工業(yè)界，適合剛?cè)腴T(mén)小白和企業(yè)算法工程人員，幫助大家快速入門(mén)，成為早期研究Occupancy Network的人員，大綱如下：

課程采用T型結(jié)構(gòu)，橫向注重基礎(chǔ)，縱向注重深度：?

第1~3部分注重Occupancy Networks的理論基礎(chǔ)和完整實(shí)踐，讓學(xué)員快速打通由初識(shí)到訓(xùn)練到應(yīng)用的全鏈路；?

第4部分進(jìn)階，深入理解多傳感器前融合在Occupancy的應(yīng)用；?

第5部分進(jìn)階，深入理解Occupancy的細(xì)分領(lǐng)域及優(yōu)化和改進(jìn)方向；?

第6部分前沿探索，探討Occupancy的交叉領(lǐng)域和發(fā)展方向 課程全部資料來(lái)自公開(kāi)內(nèi)容的重構(gòu)。

課程特色

? ? 由淺入深，循循漸進(jìn)：從占用柵格最基礎(chǔ)的概念到如何生成訓(xùn)練數(shù)據(jù)、BEV與Occ的關(guān)聯(lián)、Occ損失函數(shù)、如何訓(xùn)練加速占用網(wǎng)絡(luò)，以及各類(lèi)網(wǎng)絡(luò)實(shí)戰(zhàn)、后處理解析，一應(yīng)俱全，同時(shí)面向工業(yè)界和學(xué)術(shù)界；

? ? 小白友好：能夠站在初學(xué)者的角度，從0到1為大家展開(kāi)講解，真正做到知其然，更知其所以然；

? ? 大量實(shí)戰(zhàn)：項(xiàng)目實(shí)戰(zhàn)和理論結(jié)合，針對(duì)可視化、指標(biāo)評(píng)測(cè)、訓(xùn)練加速、后處理、真值數(shù)據(jù)生成以及各類(lèi)網(wǎng)絡(luò)代碼詳解，應(yīng)有盡有；

? ? 學(xué)完達(dá)到1年感知算法工程師水平；

課件+代碼，隨時(shí)學(xué)習(xí)

好的學(xué)習(xí)方式，不僅僅只停留在算法理論上，實(shí)踐出真知，要做到知行合一。課程為大家配套了一系列實(shí)戰(zhàn)類(lèi)代碼，從數(shù)據(jù)讀取、可視化、指標(biāo)評(píng)測(cè)、到后面的訓(xùn)練加速、真值數(shù)據(jù)生成、Eigen矩陣計(jì)算、后處理、以及各類(lèi)模型設(shè)計(jì)（SurroundOcc、FB-OCC等）展開(kāi)了詳細(xì)教學(xué)，徹底搞懂每一個(gè)知識(shí)點(diǎn)，少踩坑。

講師介紹

思凱，就職于某頭部自動(dòng)駕駛公司，在自動(dòng)駕駛和計(jì)算機(jī)視覺(jué)領(lǐng)域深耕多年，多項(xiàng)頂會(huì)比賽中拿到第一或前列，在自動(dòng)駕駛感知算法領(lǐng)域積累了全面的技術(shù)洞察力和實(shí)踐經(jīng)驗(yàn)。

課程學(xué)后收獲

1. 對(duì)占用網(wǎng)絡(luò)有一個(gè)非常完整的認(rèn)識(shí)，從方法論到coding，真正能夠理解這個(gè)領(lǐng)域的發(fā)展、應(yīng)用、優(yōu)化以及后面的方向；

   
   

2. 能夠?qū)⒄n程中的內(nèi)容快速應(yīng)用到科研工作與實(shí)際量產(chǎn)項(xiàng)目中，節(jié)省時(shí)間成本；

   
   

3. 相比于其他行業(yè)從業(yè)者，更具有競(jìng)爭(zhēng)力，同時(shí)也能夠結(jié)識(shí)許多行業(yè)從業(yè)人員與學(xué)習(xí)合作伙伴！

   
   

4. 學(xué)完達(dá)到1年感知算法工程師水平，成為早期研究Occupancy的科研/工程人員；

   
   

適合人群

1. 計(jì)算機(jī)視覺(jué)與自動(dòng)駕駛感知相關(guān)研究方向的本科/碩士/博士；

   
   

2. CV與自動(dòng)駕駛2D/3D感知相關(guān)算法工程人員；

   
   

3. 量產(chǎn)和預(yù)研工作需要的同學(xué)，面向L2~L4級(jí)應(yīng)用；

   
   

4. 對(duì)計(jì)算機(jī)視覺(jué)有部分了解，具有一定的Python、Pytorch基礎(chǔ)的小伙伴；

   
   

開(kāi)課時(shí)間與學(xué)習(xí)方式

2023年10月15號(hào)開(kāi)始學(xué)習(xí)之路，歷經(jīng)兩個(gè)月，離線(xiàn)視頻授課。主講老師在微信學(xué)習(xí)群內(nèi)答疑，對(duì)課程中的算法、代碼、環(huán)境配置等問(wèn)題一一解惑！

課程咨詢(xún)與購(gòu)買(mǎi)

掃碼加入學(xué)習(xí)

咨詢(xún)小助理微信咨詢(xún)：AIDriver004

版權(quán)聲明

自動(dòng)駕駛之心所有課程最終版權(quán)均歸自動(dòng)駕駛之心團(tuán)隊(duì)及旗下公司所屬，我們強(qiáng)烈譴責(zé)非法盜錄行為，對(duì)違法行為將第一時(shí)間寄出律師函。也歡迎同學(xué)們監(jiān)督舉報(bào)，對(duì)熱心監(jiān)督舉報(bào)的同學(xué)，我們將予以重報(bào)！

投訴微信：AIDriver004(備注：盜版舉報(bào))