自從Transformer以及BETR出來(lái)以后，便開(kāi)始在NLP領(lǐng)域一統(tǒng)江湖。隨著這幾年的發(fā)展，在各種視覺(jué)基準(zhǔn)數(shù)據(jù)集上，Vision Transformer已經(jīng)逐步替代掉了以往的CNN結(jié)構(gòu)，并且整體架構(gòu)更加簡(jiǎn)單。近期，基于Transformer的多模態(tài)大模型以及AIGC生成方向等方向也成為了業(yè)界和學(xué)界的研究熱點(diǎn)，同時(shí)大模型也在自動(dòng)駕駛上數(shù)據(jù)標(biāo)注以及模型蒸餾上有著廣泛的應(yīng)用。

自動(dòng)駕駛是高安全型應(yīng)用，需要高性能和高可靠的深度學(xué)習(xí)模型，Vision Transformer是理想的選擇?，F(xiàn)在主流的自動(dòng)駕駛感知算法基本都使用了Vision Transformer相關(guān)技術(shù)，比如分割、2D/3D檢測(cè)，以及最近大火的大模型（如SAM），Vision Transformer在自動(dòng)駕駛領(lǐng)域的落地方面遍地開(kāi)花。另一方面，在自動(dòng)駕駛或圖像處理相關(guān)算法崗位的面試題中，Vision Transformer是必考題，需要對(duì)其理論知識(shí)有深入理解，并且在項(xiàng)目中真實(shí)的使用過(guò)相關(guān)技術(shù)。

如何入門學(xué)習(xí)？

視覺(jué)Transformer的設(shè)計(jì)思想與之前的CNN一個(gè)手工設(shè)計(jì)上有很大的不同，理解上并不是很直觀，自學(xué)入門并不簡(jiǎn)單。許多同學(xué)在剛學(xué)習(xí)的時(shí)候往往不知道如何下手，大多數(shù)人不清楚如何將Vision Transformer應(yīng)用到特定任務(wù)，例如，如何設(shè)計(jì)具體模型結(jié)構(gòu)來(lái)做感知任務(wù)，如何根據(jù)自己的業(yè)務(wù)需要選擇更合適的Transformer模型，如何把視覺(jué)大模型應(yīng)用到自己的業(yè)務(wù)或者研究任務(wù)上等等。

為此，在深入調(diào)研大家的需求后，我們選擇了行業(yè)主流的Vision Transformer感知的基礎(chǔ)及應(yīng)用算法，其內(nèi)容主要包括基于ViT的分割、檢測(cè)、大模型、以及在自動(dòng)駕駛感知的應(yīng)用等。從0到1為大家詳細(xì)展開(kāi)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、算法優(yōu)化、實(shí)戰(zhàn)等方方面面，內(nèi)容非常詳細(xì)，梳理整個(gè)領(lǐng)域一些通用的設(shè)計(jì)原則以及研究進(jìn)展，緊跟22年以后的一些新的方法與研究熱點(diǎn)問(wèn)題。緊密結(jié)合實(shí)戰(zhàn)，幫助大家更好地理解算法的實(shí)現(xiàn)細(xì)節(jié)，系統(tǒng)和全面地介紹基于Transformer的分割與檢測(cè)模型。這是國(guó)內(nèi)首門完整的視覺(jué)Transformer理論與實(shí)戰(zhàn)教程，一騎絕塵！特別適合剛?cè)腴T的小白以及需要在業(yè)務(wù)上從事自動(dòng)駕駛感知或圖像算法的同學(xué)，也很適合想要系統(tǒng)地了解新方向的其他方向從業(yè)人員。

課程大綱如下：

主講老師

Tiger老師，Top2 博士，目前業(yè)界研究員。目前主要研究方向：圖像視頻檢測(cè)與分割，多模態(tài)場(chǎng)景理解，物體跟蹤，多多模態(tài)大模型。曾在計(jì)算機(jī)視覺(jué)頂會(huì)（CVPR、ECCV、ICCV、NeurIPS、ICLR等）/頂刊 （T-PAMI，IJCV，TIP）等發(fā)表相關(guān)論文近30篇，其中以第一作者發(fā)表15篇。熟悉常用的分割與檢測(cè)算法的設(shè)計(jì)與具體實(shí)現(xiàn)。指導(dǎo)過(guò)超過(guò)6個(gè)以上的低年級(jí)博士以及碩士生發(fā)表過(guò)頂會(huì)論文。

本課程適合人群

1. 計(jì)算機(jī)視覺(jué)與自動(dòng)駕駛感知相關(guān)研究方向的本科/碩士/博士；

   
   

2. 自動(dòng)駕駛2D/3D感知相關(guān)算法工程人員；

   
   

3. 想要轉(zhuǎn)入基于Transformer感知算法的小伙伴；

   
   

4. 工作上需要提升的算法工程人員及企業(yè)技術(shù)管理人員；

   
   

本課程需要具備的基礎(chǔ)

1. 具有一定的python和pyTorch基礎(chǔ)，熟悉深度學(xué)習(xí)常用的一些基礎(chǔ)算法；

   
   

2. 對(duì)2D感知包括檢測(cè)與分割等基礎(chǔ)方案有一定了解；

   
   

3. 一定的線性代數(shù)和矩陣論基礎(chǔ)；

   
   

4. 電腦需要自帶GPU，能夠通過(guò)CUDA加速（顯存至少12GB）；

   
   

學(xué)后收獲：

1. 能夠?qū)诨赥ransformer的分割與檢測(cè)模型有系統(tǒng)和深入的理解。

   
   

2. 學(xué)習(xí)到如何構(gòu)建自己的Transformer感知系統(tǒng)來(lái)解決一些多模態(tài)的任務(wù)。

   
   

3. 能夠熟練實(shí)現(xiàn)一些Transformer的分割和檢測(cè)算法，并掌握其在自動(dòng)駕駛系統(tǒng)中算法改進(jìn)與應(yīng)用，達(dá)到代碼級(jí)別的理解。

   
   

4. 學(xué)完本課程可以開(kāi)展自己的關(guān)于Transformer的分割與檢測(cè)上研究工作或者算法工程上新的方法設(shè)計(jì)。

   
   

5. 認(rèn)識(shí)多行業(yè)從業(yè)人員與學(xué)習(xí)合作伙伴，并在交流中達(dá)到更加深入的理解。

   
   

開(kāi)課時(shí)間

2023.9.8號(hào)正式開(kāi)課，加入我們一起學(xué)習(xí)基礎(chǔ)，開(kāi)課后2個(gè)月結(jié)課，離線教學(xué)，微信群內(nèi)答疑（交流環(huán)境非常好，非常重要的部分）！

課程咨詢

掃碼加入學(xué)習(xí)！

掃碼添加小助理咨詢課程！

(微信：AIDriver004)

版權(quán)聲明

自動(dòng)駕駛之心所有課程最終版權(quán)均歸自動(dòng)駕駛之心團(tuán)隊(duì)及旗下公司所屬，我們強(qiáng)烈譴責(zé)非法盜錄行為，對(duì)違法行為將第一時(shí)間寄出律師函。也歡迎同學(xué)們監(jiān)督舉報(bào)，對(duì)熱心監(jiān)督舉報(bào)的同學(xué)，我們將予以重報(bào)！

投訴微信：AIDriver004(備注：盜版舉報(bào))