為什么說(shuō)純視覺(jué)自動(dòng)駕駛方案離不開(kāi)Transformer
說(shuō)到純視覺(jué)的自動(dòng)駕駛方案,大家第一個(gè)想到的就是Tesla吧。的確,早在2021年,Tesla就已經(jīng)實(shí)現(xiàn)了純視覺(jué)的BEV檢測(cè)方案,而且效果非常好。
細(xì)心的同學(xué)可能發(fā)現(xiàn)了,這套BEV方案中將相機(jī)空間的圖像轉(zhuǎn)換到BEV空間的核心組件就是Transformer。
Transformer來(lái)源于自然語(yǔ)言處理領(lǐng)域,首先被應(yīng)用于機(jī)器翻譯。后來(lái),大家發(fā)現(xiàn)它在計(jì)算機(jī)視覺(jué)領(lǐng)域效果也很不錯(cuò),而且在各大排行榜上碾壓CNN網(wǎng)絡(luò)。
目標(biāo)檢測(cè)領(lǐng)域中,視覺(jué)Transformer不僅可以實(shí)現(xiàn)2D檢測(cè)、3D檢測(cè),還可以實(shí)現(xiàn)多模態(tài)檢測(cè),BEV視角下的檢測(cè),性能也非常出色。
因此,掌握Transformer相關(guān)知識(shí)和工程基礎(chǔ)成為了企業(yè)招聘算法工程師的一個(gè)技能要求點(diǎn),也是簡(jiǎn)歷上的一個(gè)很大的加分項(xiàng)。
然而,想要掌握基于Transformer的目標(biāo)檢測(cè)算法,有以下3個(gè)難點(diǎn):
理解Transformer背后的理論基礎(chǔ),比如自注意力機(jī)制(self-attention), 位置編碼(positional embedding),目標(biāo)查詢(xún)(object query)等等,網(wǎng)上的資料比較雜亂,不夠系統(tǒng),難以通過(guò)自學(xué)做到深入理解并融會(huì)貫通。
掌握基于Transformer的目標(biāo)檢測(cè)算法的思路和創(chuàng)新點(diǎn),一些Transformer論文涉及的新概念比較多,話術(shù)沒(méi)有那么通俗易懂,讀完論文仍然不理解算法的細(xì)節(jié)部分。
Transformer代碼不易看懂,因?yàn)樽饔脵C(jī)制與CNN有不少差別,所以完全理解代碼并實(shí)踐應(yīng)用需要花費(fèi)很大功夫。
那么如何學(xué)習(xí)基于Tansformer的目標(biāo)檢測(cè)算法呢?
課程「目標(biāo)檢測(cè)中的視覺(jué)Transformer」正是幫助各位同學(xué)解決以上這些難點(diǎn)。
不僅為大家詳細(xì)講解視覺(jué)Transformer的基礎(chǔ)知識(shí),各種經(jīng)典的基于Transformer的目標(biāo)檢測(cè)算法,還配有代碼解讀和實(shí)踐課程,讓大家真正活學(xué)活用,理解和掌握這些知識(shí)理論。
課程鏈接:視覺(jué)Transformer:https://ebzbf.xet.tech/s/1MTcd