本期Tech Talk，由蔚來(lái)自動(dòng)駕駛研發(fā)部視覺(jué)動(dòng)態(tài)感知團(tuán)隊(duì)的HG.溫，和蔚來(lái)全域智能駕駛體驗(yàn)團(tuán)隊(duì)的HR.王提供技術(shù)支持，我們力求還原“蔚來(lái)眼中的世界”是什么樣的。

開(kāi)篇先看一段視頻。

我們把真實(shí)世界的視頻畫(huà)面與ESD的畫(huà)面拼在一起，讓你更清楚地了解，“蔚來(lái)”所看到的世界是怎樣一種形態(tài)。

你一定注意到了視頻下方儀表屏幕顯示的路況畫(huà)面，某種意義上講，該畫(huà)面可以被看作車輛周圍真實(shí)環(huán)境的「數(shù)字孿生」。

其學(xué)名叫ESD（Environment Simulation Display），即：環(huán)境感知及模擬顯示。ESD能夠?qū)囕v周邊環(huán)境進(jìn)行細(xì)膩的展示，為駕駛員展示車輛所看到的世界，形成一種人機(jī)互動(dòng)的情緒價(jià)值。

現(xiàn)在，車機(jī)系統(tǒng)升級(jí)至Banyan 2.0.0及以上版本的車型，均可在ESD中顯示多種交通參與者及道路標(biāo)識(shí)模型，同時(shí)還會(huì)展示真實(shí)世界里的機(jī)動(dòng)車輛剎車燈、轉(zhuǎn)向燈等燈語(yǔ)信息。

實(shí)際上，細(xì)膩且多元化的ESD顯示效果，只是蔚來(lái)智能駕駛?cè)赂兄蚣苣芰Φ谋揭唤恰?/p>

實(shí)現(xiàn)智能駕駛，需要做什么？

談及智能駕駛，其實(shí)和人類走路有一些共通的邏輯。人類走路，如何走，并且走得穩(wěn)，是身體各部分整體配合的成果，大致鏈路是：

第一步，需要通過(guò)眼睛、耳朵等感覺(jué)器官和肢體將前方場(chǎng)景的視覺(jué)信息與觸覺(jué)信息通過(guò)神經(jīng)傳遞給大腦。這時(shí)，大腦就會(huì)作出相應(yīng)判斷，場(chǎng)景安全與否，能不能邁步走？是靠左走，還是靠右走？步子要邁大一點(diǎn)，還是挪一小步？

第二步，則是依靠大腦將作出的判斷通過(guò)神經(jīng)網(wǎng)絡(luò)傳遞給四肢，四肢開(kāi)始執(zhí)行行走的命令；同時(shí)，錐體外系（所有軀體運(yùn)動(dòng)的傳導(dǎo)通路）介入，以保持四肢動(dòng)作協(xié)調(diào)，并同步調(diào)節(jié)四肢動(dòng)作的細(xì)膩度。

對(duì)于智能駕駛要做的，大致上也是這兩件事。第一步——感知，第二步——規(guī)控。

感知，就是將從傳感器（高清攝像頭、激光雷達(dá)、毫米波雷達(dá)等）獲取到的數(shù)據(jù)通過(guò)感知算法，輸出展示自己車輛周圍環(huán)境物體（包括車輛、行人、非機(jī)動(dòng)車、車道線、交通燈、交通指示牌等）的實(shí)時(shí)狀態(tài)（包括位置、速度等）。

規(guī)控，就是根據(jù)傳感器感知到的自己車輛周圍的環(huán)境，做出最優(yōu)決策規(guī)劃，然后提示和控制車輛行駛狀態(tài)。

當(dāng)下，蔚來(lái)的智能駕駛?cè)赂兄蚣埽瑧?yīng)用了BEV模型和占據(jù)柵格兩項(xiàng)核心先進(jìn)技術(shù)。

視覺(jué)感知為什么要用鳥(niǎo)瞰模式？

BEV，英文全稱：Bird's Eye View，鳥(niǎo)瞰式感知圖景。

BEV模型基于鳥(niǎo)瞰圖，將多種傳感器的信息進(jìn)行特征提取，通過(guò)視角轉(zhuǎn)換，將所有信息統(tǒng)一成鳥(niǎo)瞰圖進(jìn)行展示，并同步進(jìn)行數(shù)據(jù)整合，從而對(duì)車輛周圍環(huán)境完成俯視角度的全景感知。它可以用于檢測(cè)和跟蹤車輛周圍的目標(biāo)以及道路結(jié)構(gòu)，提供豐富、真實(shí)的環(huán)境信息用于車輛決策和規(guī)劃。

通俗一點(diǎn)說(shuō)，BEV建立了一個(gè)3D坐標(biāo)系世界，將攝像頭等傳感器采集到的2D圖像通過(guò)算法進(jìn)行3D建模，并將圖像信息放置到3D坐標(biāo)系中，從而提供給車輛「鳥(niǎo)瞰式」的全景感知圖景。

在BEV出現(xiàn)之前，低階的輔助駕駛系統(tǒng)一般使用2D感知算法。這類算法基于輸入式攝像頭來(lái)工作——車輛的攝像頭先輸入一張真實(shí)世界的圖像，通過(guò)像素點(diǎn)檢測(cè)物體，再根據(jù)物體在圖片中的位置，推測(cè)物體在對(duì)應(yīng)3D世界里的位置。

為了能獲取到更多的信息，車輛普遍搭載多個(gè)攝像頭，系統(tǒng)需要將每個(gè)攝像頭捕捉到的信息進(jìn)行關(guān)聯(lián)融合；但是由于多個(gè)攝像頭之間的關(guān)聯(lián)難度高，不同攝像頭之間、不同幀之間預(yù)測(cè)一致性較低等原因，導(dǎo)致預(yù)測(cè)的精度較低。

比如一輛從我們右側(cè)駛過(guò)的汽車，會(huì)先后出現(xiàn)并消失在多個(gè)攝像頭捕捉的畫(huà)面中。如何準(zhǔn)確判斷出消失在后視攝像頭中的車，正是剛剛出現(xiàn)在前視攝像頭中的那輛？

基于對(duì)信息準(zhǔn)確性的需求，工程師們嘗試將3D感知技術(shù)應(yīng)用到智能駕駛領(lǐng)域，至此，BEV應(yīng)運(yùn)而生。

相比傳統(tǒng)的感知模式，BEV感知視野更開(kāi)闊立體，計(jì)算效率更高，同時(shí)目標(biāo)檢測(cè)精度也更高。

占據(jù)柵格又能提供什么信息？

占據(jù)柵格，英文全稱：Occupancy Grid，是一種常用的環(huán)境建模方法。它將空間環(huán)境劃分為無(wú)數(shù)個(gè)3D網(wǎng)格，每個(gè)網(wǎng)格有是否被占據(jù)兩種狀態(tài)。

例如，在我們視野前方有一只水杯，在它所占用的空間里，如果轉(zhuǎn)換成3D網(wǎng)格，即水杯占用空間的每一個(gè)3D網(wǎng)格就會(huì)被標(biāo)記為“占據(jù)”狀態(tài)。

換言之，車輛通過(guò)傳感器感知到周圍空間中有哪些障礙物，以及障礙物本身的形態(tài)。通過(guò)應(yīng)用占據(jù)柵格建模法，可以對(duì)行駛道路上的每個(gè)網(wǎng)格進(jìn)行占據(jù)狀態(tài)建模，以分析哪些是障礙物，會(huì)不會(huì)對(duì)安全行駛造成影響。

蔚來(lái)是全球首家將占據(jù)柵格技術(shù)與高性能激光雷達(dá)相結(jié)合的汽車品牌。車頂瞭望塔式的1,550nm超遠(yuǎn)距離高精度激光雷達(dá)，其最遠(yuǎn)探測(cè)距離達(dá)500米，可在逆光、暗光等嚴(yán)苛環(huán)境下準(zhǔn)確識(shí)別前方障礙物，為感知框架提供穩(wěn)定的道路信息輸入。

通過(guò)這條視頻，我們可以看到在車輛前方的區(qū)域內(nèi)，結(jié)合激光雷達(dá)的感知，感知框架在空間中“繪制”了大量彩色的3D色塊，每一個(gè)色塊代表該空間柵格被物體占據(jù)，也就是道路周邊有障礙物存在。

而高性能激光雷達(dá)的超長(zhǎng)探測(cè)距離，則為智能駕駛的規(guī)控提供了更充分的反應(yīng)時(shí)間，進(jìn)一步提升行車安全。

結(jié)合BEV模型與占據(jù)柵格技術(shù)，蔚來(lái)智能駕駛?cè)赂兄蚣芙⒘?60度的視覺(jué)識(shí)別體系，并可在激光雷達(dá)所覆蓋的前向120度范圍內(nèi)形成占據(jù)柵格網(wǎng)絡(luò)。

此時(shí)，BEV負(fù)責(zé)提供車輛周邊物體的類型與運(yùn)動(dòng)狀態(tài)，占據(jù)柵格則負(fù)責(zé)提供精確的位置和形狀信息，提高行車方向上的感知精度。

通過(guò)將感知結(jié)果可視化，可以看到車輛360度空間中有許多“空心”的線框體，每一個(gè)線框體實(shí)際上代表識(shí)別到的物體。視覺(jué)感知系統(tǒng)通過(guò)長(zhǎng)期訓(xùn)練、學(xué)習(xí)，可以將感知到的物體類型做識(shí)別并賦予不同顏色的線框，比如車輛和行人用藍(lán)色標(biāo)識(shí)，靜止障礙物則用灰色標(biāo)識(shí)。

基于這些信息，車輛則可以判斷是否有障礙物或危險(xiǎn)存在，是否需要緊急制動(dòng)，由此提高行車安全。

全新感知框架助力NOP+成長(zhǎng)

得益于全新感知框架，蔚來(lái)高速NOP+的連續(xù)性大幅提升，實(shí)現(xiàn)了全國(guó)高速及城市快速路95%的覆蓋率，解決了80%的高精地圖現(xiàn)勢(shì)性（地學(xué)術(shù)語(yǔ)，指地圖所提供的地理空間信息要盡可能地反映當(dāng)前最新的情況）問(wèn)題。

截至2023年8月1日，NOP+累計(jì)使用里程近6,900萬(wàn)公里，并以每周約400萬(wàn)公里的速度快速增長(zhǎng)，為用戶在日常通勤及長(zhǎng)途出行中提供更輕松、愉悅、安全的駕駛體驗(yàn)。