今天我們來聊聊華為的自動(dòng)駕駛。事情是這樣的,前兩天華為召開了2023創(chuàng)新和知識(shí)產(chǎn)權(quán)論壇。會(huì)上展示了5.5G適當(dāng)可變光圈,三維精彩神嗑、精彩意志店等等很多這些不明覺厲的創(chuàng)新成果。當(dāng)然了還有一個(gè)名叫通用障礙物感知GOD的技術(shù)。這讓我想到4月份華為發(fā)布的第二代自動(dòng)駕駛ADS2.0,也特別提到了這個(gè)GOD網(wǎng)絡(luò)。雖然當(dāng)時(shí)只有短短的一頁P(yáng)PT,但是我覺得這個(gè)GOD技術(shù)是解決整個(gè)自動(dòng)駕駛感知問題的關(guān)鍵。因?yàn)樗唤o了整個(gè)自動(dòng)駕駛系統(tǒng)怎么去更好的看路。

看過華為發(fā)布會(huì)的朋友們,都知道一大樂趣就是看余承東說了多少個(gè)華為的遙遙領(lǐng)先與同行遙遙領(lǐng)先遙遙領(lǐng)先遙遙領(lǐng)先遙遙領(lǐng)先遙遙領(lǐng)先遙遙領(lǐng)先與同行繼續(xù)領(lǐng)先,遙遙領(lǐng)先。所以今天這期視頻我們就一起來聊一聊,華為這個(gè)GOD技術(shù)到底是不是遙遙領(lǐng)先。有了它能不能讓我們?cè)鐜啄耆プ贤耆詣?dòng)駕駛的汽車。哥,對(duì)了,結(jié)尾還有一波小升華,記得一定要看到最后。

自動(dòng)駕駛要解決的第一個(gè)問題就是看路,這個(gè)也應(yīng)該是自動(dòng)駕駛要解決的最重要的問題。因?yàn)橹挥锌疵靼茁飞嫌惺裁?才知道下一步要怎么開。畢竟踩油門誰都會(huì),難的是什么時(shí)候踩剎車。

看路這兩個(gè)字聽起來簡(jiǎn)單,但是做起來卻并沒有那么容易。對(duì)于人類駕駛員來說,這涉及到眼撓手腳的協(xié)調(diào)和配合?？颇慷?、科目三練了這么久,說白了其實(shí)就是練這些東西,那么把這個(gè)配合練成肌肉記憶。但是如果讓一輛自動(dòng)駕駛汽車學(xué)會(huì)看路,難度就不止高了那么一點(diǎn)半點(diǎn)了。光光是這個(gè)看會(huì)有很多的問題。

舉個(gè)例子,自動(dòng)駕駛汽車曾經(jīng)發(fā)生過一個(gè)非常有名的交通事故,就是有一輛白色的大貨車在公路上發(fā)生了側(cè)翻,橫在了路中間。但是后面好巧不巧的是,一輛開啟了自動(dòng)駕駛模式的汽車?？赡苁钱?dāng)時(shí)駕駛員也走神了,沒注意。按理說,后面這輛車的自動(dòng)駕駛系統(tǒng)看到前面橫著一輛大貨車,應(yīng)該趕緊剎車減速,要么打個(gè)方向繞開,要么干脆停下來。結(jié)果萬萬沒想到的是,這個(gè)自動(dòng)駕駛汽車一點(diǎn)都沒減速,反而頭也不回的直接干到大貨車上了。

后來我們分析事故的原因的時(shí)候才發(fā)現(xiàn),自動(dòng)駕駛系統(tǒng)這個(gè)AI在看路的過程中,雖然看到了前面有個(gè)白色的東西,但是之前訓(xùn)練的時(shí)候從來沒學(xué)過這個(gè)橫在地上的白色卡車這個(gè)東西,所以就把它當(dāng)成是一個(gè)他學(xué)過的東西,也就是白云,所以選擇了一往無前開過去。事實(shí)上這種情況在比較低的自動(dòng)駕駛級(jí)別里經(jīng)常會(huì)發(fā)生。比如說L2級(jí)的自動(dòng)駕駛的感知模型,通常只能識(shí)別很有限的物體。比如說正向或者是后向的車輛、行人、車道線、交通標(biāo)志等等,這些東西就組成了一個(gè)所謂的白名單,我們都應(yīng)該都知道黑名單,白名單其實(shí)就是反過來,也就是說自動(dòng)駕駛系統(tǒng)只認(rèn)識(shí)白名單里有的東西。

從技術(shù)上來看,這種感知白名單出現(xiàn)的本質(zhì)原因是因?yàn)閭鹘y(tǒng)的自動(dòng)駕駛本質(zhì)上都是基于計(jì)算機(jī)視覺的這種對(duì)象檢測(cè)算法,而檢測(cè)就非常依賴訓(xùn)練數(shù)據(jù)里對(duì)物體的標(biāo)注。對(duì)自動(dòng)駕駛這個(gè)AI做訓(xùn)練的時(shí)候,會(huì)喂給它很多這種圖片,圖片里會(huì)標(biāo)出來這是一輛車還是一個(gè)人,還是一棵樹等等。那么AI學(xué)習(xí)這些標(biāo)注出來的數(shù)據(jù),會(huì)學(xué)得很好。但是反過來,如果沒有標(biāo)注出來的東西,那他就不認(rèn)識(shí)了。不過有一說一樣,對(duì)于第一級(jí)別的自動(dòng)駕駛或者是駕駛輔助來說,仍然非常需要駕駛員的掌控。所以這種基于白名單的物體識(shí)別也還是有用的,它在很多情況下仍然能夠輔助駕駛決策。但是隨著自動(dòng)駕駛等級(jí)的提升,這種方法肯定越來越不夠用了。

實(shí)際路上的東西千奇百怪,很大一部分物體都是沒有標(biāo)注過的,或者是標(biāo)注不完全的。比如我們可能很難找到這種很多側(cè)翻的白色大卡車的圖片去訓(xùn)練AI。即便我們能夠找到,那么為了保證AI模型的平衡性,我們也會(huì)避免讓它出現(xiàn)這種所謂的過擬合的情況。說白了就是不想讓它看到一個(gè)白色的東西,就覺得是翻倒的大卡車。所以這個(gè)時(shí)候就需要新的看路算法了。這次人們選擇了是用魔法打敗魔法。那么在2019年的計(jì)算機(jī)視覺頂會(huì)CVPR上就發(fā)表了一個(gè)名叫Occupancy Network的工作。在去年的CVPR上,特斯拉把這個(gè)工作應(yīng)用在了自動(dòng)駕駛系統(tǒng)中,并且很好的解決了前面說的這種看路的問題。我總結(jié)了這個(gè)Occupancy Network的三個(gè)主要的優(yōu)點(diǎn),分別是避免白名單的依賴,然后細(xì)節(jié)保留,還有三維空間建模。我們一個(gè)一個(gè)來看看。

先來看第一個(gè),也就是Occupancy Network最大的好處,就是用占用而不是檢測(cè)來顯示路況的信息。這樣就規(guī)避了傳統(tǒng)方法的白名單檢測(cè)問題,這是由他的工作原理來決定的,其實(shí)也并不復(fù)雜。就是把一個(gè)三維世界去劃分成一個(gè)的這種網(wǎng)格的單元。然后通過車輛攝像頭和傳感器感知到的數(shù)據(jù),去判斷哪些單元被占用了,哪些是空閑的。這個(gè)其實(shí)就是這個(gè)網(wǎng)絡(luò)名字里的Occupancy也就是占用的由來。不僅如此,如果我們劃分的網(wǎng)格單元足夠小,就能分辨看出障礙物的很多細(xì)節(jié)。比如說樹木的分支,卡車伸出來的掛鉤等等。相比之下,在傳統(tǒng)的算法里檢測(cè)到的物體都用一個(gè)矩形來表示,而這些細(xì)節(jié)可能就被忽略了,這也非常容易導(dǎo)致事故。

那么3D空間建模其實(shí)是又進(jìn)一步模擬了人類駕駛員的視覺。因?yàn)槲覀兛吹降恼鎸?shí)存在的世界其實(shí)都是三維的。但是攝像頭拍到和處理的其實(shí)都是2D的數(shù)據(jù),那么這就需要對(duì)三維空間進(jìn)行重構(gòu),來更好的把握物體的體積和形狀。這里其實(shí)又用到了神經(jīng)網(wǎng)絡(luò),那么根據(jù)輸入的圖片來生成3D空間的模型。不過多說一句,一旦涉及到3D建模,肯定就對(duì)算力有更高的需求了。這就需要更大算力的自動(dòng)駕駛芯片來支撐,同樣也拉高了這套算法使用和部署的門檻。

說完三個(gè)優(yōu)點(diǎn),這個(gè)Occupancy Network到底有沒有缺點(diǎn)呢?當(dāng)然肯定也是有的。一個(gè)挺大的問題就是輸入數(shù)據(jù)的來源實(shí)在是太單一了,完全來自于攝像頭。攝像頭的好處是技術(shù)成熟,能夠通過機(jī)器視覺算法來判斷看到的東西是什么。但是缺點(diǎn)也同樣明顯,就是3D空間感不強(qiáng),而且非常容易受到環(huán)境的影響,比如說下雨、霧霾,或者是擋住上什么東西,攝像頭就看不見了。所以現(xiàn)在除了那位仍然堅(jiān)守在純攝像頭方案的友商,其他幾乎所有的車廠都在采用多模態(tài)融合的感知方案。其實(shí)就是用各種雷達(dá)、攝像頭、傳感器搞在一起,搞個(gè)滿漢全席式的方案。

舉個(gè)例子,華為ADS2.0的首發(fā)車型問界M5的支架板就搭載了一個(gè)激光雷達(dá),三個(gè)毫米波雷達(dá),12個(gè)超聲波雷達(dá),還有11個(gè)攝像頭。我自己開車的時(shí)候只有兩只眼,自動(dòng)駕駛開車的時(shí)候要27只眼。激光雷達(dá)最精確,但是成本更高;超聲波雷達(dá)成本比較低,適合靜態(tài)或者是緩慢移動(dòng)物體的測(cè)量,但是受到周圍環(huán)境的影響比較大,感知距離有限,只能覆蓋比較近距離的測(cè)量。毫米波雷達(dá)對(duì)于周圍環(huán)境的變化不敏感,適合高速和復(fù)雜環(huán)境的測(cè)量,但是分辨率不高,無法對(duì)物體進(jìn)行精確的描述。所以把這些傳感器搞在一起的好處也非常明顯了,那就是能夠互相的取長(zhǎng)補(bǔ)短,發(fā)揮各自的優(yōu)勢(shì)。

所以華為的GOD技術(shù)中就以視覺為中心,并且融合了多種雷達(dá)傳感器,這些多模態(tài)的輸入可以用來去預(yù)測(cè)真實(shí)物理世界3D voxel的占用狀態(tài),實(shí)現(xiàn)和語義類別無關(guān)的通用目標(biāo)檢測(cè)。說白了就是解決了目標(biāo)檢測(cè)白名單限制的問題。但是GOD網(wǎng)絡(luò)結(jié)合了激光和其他雷達(dá)的數(shù)據(jù),獲取的數(shù)據(jù)更加的豐富。所以構(gòu)建起來的這種異形障礙物世界更加的具象,更接近真實(shí)的世界。那么在逆光和弱光這些攝像頭失效受限的環(huán)境里,GOD也能靠雷達(dá)和其他的傳感器去精確的感知障礙物。因此更加的穩(wěn)定,安全性更好。還在主動(dòng)安全測(cè)試中獲得了優(yōu)秀的成績(jī)。

不僅如此,在自動(dòng)駕駛汽車中其實(shí)還有一個(gè)非常重要的維度,就是速度。障礙物或者靜止在那邊,或者也在移動(dòng)中,所以就需要把速度和位置的信息也加到了模型中,成為多維空間的建模。維度越高包含的信息就越多,就越能反映真實(shí)的情況。不僅能夠刻畫當(dāng)前時(shí)刻的三維物體空間,同時(shí)還隱含了下一個(gè)時(shí)刻的三維環(huán)境的預(yù)測(cè),為預(yù)測(cè)和決策提供了全面的靜態(tài)環(huán)境和目標(biāo)運(yùn)動(dòng)的信息,降低了事故發(fā)生的風(fēng)險(xiǎn)。

除了對(duì)模型本身和輸入數(shù)據(jù)的優(yōu)化,GOD這個(gè)技術(shù)還打上了不少華為自己的標(biāo)簽。比如說從華為最擅長(zhǎng)的集團(tuán)軍作戰(zhàn)的角度來看,GOD的訓(xùn)練樣本達(dá)到了10億級(jí)的量級(jí)。這些數(shù)據(jù)大都來自于搭載了ADS系統(tǒng)的車輛,總量超過了1萬臺(tái),每臺(tái)車每天跑上百公里,這樣就產(chǎn)生了海量的數(shù)據(jù),這些數(shù)據(jù)在三維云端進(jìn)行實(shí)地重建和自監(jiān)督訓(xùn)練,每天循環(huán)往復(fù),就能讓GOD這個(gè)模型的智能駕駛感知能力變得更加的強(qiáng)大和穩(wěn)定,有點(diǎn)大模型的味道了。華為自己也提出,通過GOD技術(shù)能讓車輛永不碰撞,這個(gè)還是挺雄心勃勃的目標(biāo)。如果沒有海量數(shù)據(jù)和這種長(zhǎng)時(shí)間的訓(xùn)練,是肯定做不到這一點(diǎn)。當(dāng)然了,有了算法數(shù)據(jù)肯定也離不開算力這方面,華為已經(jīng)布局很久了,幾年前的視頻我就已經(jīng)介紹過華為的Ascend,這次我也特別問了華為GOD模型的訓(xùn)練都是用的Ascend算力,并且達(dá)到了上千卡的規(guī)模。那么GOD是智能駕駛感知的基礎(chǔ),也是高級(jí)自動(dòng)駕駛不可或缺的關(guān)鍵技術(shù)。

不過在華為的ADS2.0中,GOD還只是其中的那么一部分,它也需要和其他的技術(shù)結(jié)合在一起,才能發(fā)揮更大的作用。比如這次ADS2.0就拋棄了高清地圖,直接用領(lǐng)航輔助功能,結(jié)合道路拓?fù)渫评砭W(wǎng)絡(luò),讓汽車能看懂路,實(shí)現(xiàn)有圖無圖我都能開。預(yù)計(jì)三季度持無圖城市15座,四季度達(dá)到45座。這肯定離不開GOD的智能感知,還有前面介紹的這些大數(shù)據(jù)訓(xùn)練,還有基礎(chǔ)設(shè)施的支持。ADS2.0發(fā)布之后,其實(shí)已經(jīng)有不少的博主做了線下的實(shí)測(cè),是不是遙遙領(lǐng)先不知道,但是口碑好像還不錯(cuò)。如果你也試過,歡迎在評(píng)論區(qū)留言,說說你的體會(huì)和感受。

老于在發(fā)布會(huì)上總喜歡說華為各種遙遙領(lǐng)先,這也成了大家看華為發(fā)布會(huì)的一大樂趣。你說遙遙領(lǐng)先就是真正做到才行,靠吹牛逼是不行的。不過我們本來是抱著看熱鬧的心態(tài)來看,結(jié)果越看越發(fā)現(xiàn)在很多技術(shù)領(lǐng)域華為還真的成了領(lǐng)先,有多么遙不知道。但是這至少說明華為一直在做技術(shù)的積累。這一方面體現(xiàn)在對(duì)單個(gè)點(diǎn)技術(shù)的持續(xù)突破和深入的挖掘,另一方面其實(shí)也體現(xiàn)在把多個(gè)點(diǎn)技術(shù)快速集成在一起,并且快速落地的這種系統(tǒng)的能力上。前者靠一個(gè)個(gè)人一個(gè)小團(tuán)隊(duì)或許就能實(shí)現(xiàn),但是后者需要多個(gè)團(tuán)隊(duì)的統(tǒng)一配合和執(zhí)行。在我看來,這才是華為在技術(shù)上的最大競(jìng)爭(zhēng)優(yōu)勢(shì)。

當(dāng)前環(huán)境充滿不確定性,對(duì)于華為來說尤其艱難。不過面對(duì)不確定的環(huán)境，唯有創(chuàng)新，唯有知識(shí)和技能的積累才是正道。前不久有新聞?wù)f，華為在全球擁有超過12萬件專利，已經(jīng)和29家公司簽署了多個(gè)專利許可協(xié)議，并且在全球范圍內(nèi)開展專利授權(quán)業(yè)務(wù)。專利收入也在增長(zhǎng)，過去三年已經(jīng)達(dá)到了12億美元。專利的重要性不只是授權(quán)費(fèi)用那么簡(jiǎn)單，更重要的是啊它帶來的話語權(quán)和影響力，也是讓公司坐上談判桌的重要籌碼。由此形成研發(fā)投入專利回再投入的正向循環(huán)，并且?guī)砗軓?qiáng)的示范效應(yīng)應(yīng)。那么當(dāng)這個(gè)飛輪轉(zhuǎn)起來之后，就能提升中國(guó)產(chǎn)業(yè)的整體可持續(xù)的創(chuàng)新能力。這么來看的話，華為在專利上的進(jìn)擊之路現(xiàn)在或許才剛剛開始。好了，以上就是本期視頻的全部?jī)?nèi)容，有用請(qǐng)點(diǎn)贊，喜歡請(qǐng)關(guān)注。我是老石，我們下期視頻再見。