CVPR 作為計算機視覺和模式識別領域的世界級學術頂會，不僅是學者們展示前沿科技成果的學術會議，也是企業(yè)界探索前沿應用的一大平臺。近年來，隨著大模型技術的爆發(fā)式發(fā)展，基于大模型技術的創(chuàng)新應用正逐步在產(chǎn)業(yè)界釋放出巨大價值空間。作為人工智能技術領域的領軍者與深耕者，百度在大模型技術領域擁有強大的技術優(yōu)勢和深厚技術積累，百度自主研發(fā)的產(chǎn)業(yè)級知識增強大模型體系文心大模型已經(jīng)建設了完整的大模型體系，涵蓋基礎大模型、任務大模型、行業(yè)大模型等，全面滿足產(chǎn)業(yè)應用需求。作為文心大模型的核心之一，文心 · CV 大模型 VIMER 已廣泛應用在自動駕駛、云智一體、移動生態(tài)等核心業(yè)務。

百度召開CVPR首屆大模型研討會?

共探大模型技術現(xiàn)狀和未來

為了進一步推動視覺大模型技術的發(fā)展，百度聯(lián)合浙江大學、香港大學、中科院空天院在 CVPR 2023 上共同舉辦了首屆大模型 Workshop，大模型領域內(nèi)的頂級學者和精英們共同探討了大模型技術的最新進展和未來動向，并收錄了來自百度、劍橋大學等企業(yè)/高校的論文。

在6月19日舉行的 CVPR 2023 Foundation Model Workshop 上，來自百度的資深工程師、中科院空天院客座研究員希滕教授和百度主任架構師張剛分別進行了開幕式和閉幕式致辭。希滕教授還重點介紹了百度文心 CV 大模型及文心交通大模型。

來自華為的資深研究員謝凌曦介紹了 NLP 大模型與 CV 大模型的區(qū)別并提出了 CV 大模型未來的機遇與挑戰(zhàn)。

千支隊伍逐鹿產(chǎn)業(yè)級大模型盛賽?

產(chǎn)學共探技術革新之道

智能交通領域首個多任務大模型國際比賽的舉辦是今年CVPR 2023大模型研討會的一大亮點，競賽從Foundation Model領域的關鍵問題出發(fā)，設置了多任務大模型賽道及跨模態(tài)大模型賽道，吸引了全球35個國家和地區(qū)、超過1500人參賽，征集到來自美團、網(wǎng)易、大華等公司以及清華大學、香港科技大學、華中科技大學、中科院等高校的眾多解決方案。

近年來，智慧汽車、人工智能等產(chǎn)業(yè)發(fā)展，為智能交通發(fā)展創(chuàng)造了良好的發(fā)展機遇。智能交通相關技術已經(jīng)滲透到我們的日常生活中，但是現(xiàn)有大模型的多任務處理模式以及傳統(tǒng)的感知方法（如分類、檢測、分割等）無法滿足我們對更廣交通場景以及更高自動駕駛水平的追逐。百度從當前實際技術研究中的關鍵問題出發(fā)，設置了兩大賽道：

賽道一：統(tǒng)一多任務大模型賽道

本賽道旨在解決多任務、多數(shù)據(jù)的合并沖突問題。對于設計精良的網(wǎng)絡結構和損失函數(shù)，多個任務共同訓練能大幅提升模型的泛化性。由于特定任務的數(shù)據(jù)存在noise，僅使用單一任務的數(shù)據(jù)進行訓練，存在過擬合的風險。統(tǒng)一多任務大模型通過將多個任務的數(shù)據(jù)整合進行統(tǒng)一訓練，能夠?qū)Σ煌蝿盏膎oise做一個平均，進而使模型學到更好的特征。為了進一步探索統(tǒng)一多任務大模型的能力上限，本賽道以交通場景典型任務為題，覆蓋了分類、檢測、分割三大類CV任務至單一大模型中，使得單一大模型具備能力的同時獲得領先于特定單任務模型的性能。最終Allin one大模型在分類、檢測、分割任務上的加權指標會作為獲獎標準。

賽道二：跨模態(tài)圖像檢索賽道

本賽道旨在提升文本圖像檢索的精度。在交通場景中高性能的圖像檢索能力對于交通執(zhí)法、治安治理具有十分重要的作用，傳統(tǒng)的圖像檢索方式通常使用先對圖像進行屬性識別再通過與期望屬性的對比實現(xiàn)檢索能力。隨著多模態(tài)大模型技術的發(fā)展，文本與圖像的表征統(tǒng)一和模態(tài)轉(zhuǎn)換已有廣泛應用，使用該能力可以進一步提升圖像檢索的準確性和靈活性。

研討會上，希滕教授宣布了今年Foundation Model國際比賽的勝出隊伍，最終CTRL隊、njust隊分別獲得了多任務大模型賽道及跨模態(tài)大模型賽道的冠軍，并現(xiàn)場進行了技術方案的分享。

隨著CVPR 2023 大模型研討會的正式落幕，會議中探討的應用場景正在陸續(xù)走向行業(yè)落地。百度作為人工智能技術領域的領軍者與深耕者，在修煉好AI技術“內(nèi)功”的同時，也將不斷向各行業(yè)場景輸出技術能力與解決方案，進一步推動產(chǎn)業(yè)智能化升級發(fā)展。