ICCV 2023 第五屆 LSVOS 視頻實(shí)例分割賽道第一名解決方案

本文提出一種去噪訓(xùn)練策略，并介紹三種顯著提高DVIS視頻實(shí)例分割模型性能的策略，還研究了引入視覺基礎(chǔ)模型對(duì)VIS任務(wù)的影響，最終在ICCV 2023第五屆LSVOS視頻實(shí)例分割賽道上獲得冠軍!代碼已開源!單位: 武漢大學(xué)快手，北航

注: 論文PDF已上傳至星球，可一鍵秒下載

視頻實(shí)例分割是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，是視頻編輯和自動(dòng)駕駛等眾多下游應(yīng)用的基石。本報(bào)告提出了對(duì) SOTA VIS 方法 DVIS 的進(jìn)一步改進(jìn)。首先為可訓(xùn)練跟蹤器引入了一種去噪訓(xùn)練策略，使其能夠在復(fù)雜且長的視頻中實(shí)現(xiàn)更穩(wěn)定和準(zhǔn)確的目標(biāo)跟蹤。 此外，我們還探討了視覺基礎(chǔ)模型在視頻實(shí)例分割中的作用。 通過利用 DINO V2 預(yù)訓(xùn)練的凍結(jié) VIT-L 模型，DVIS 展示了顯著的性能改進(jìn)。 通過這些增強(qiáng)，該方法在開發(fā)和測試階段分別達(dá)到了 57.9AP 和 56.0 AP，并最終在第五屆 LSVOS 挑戰(zhàn)賽的 VIS 賽道中排名第一。

代碼：https://github.com/zhang-tao-whu/DVIS

論文：https://arxiv.org/abs/2308.14392

關(guān)注公眾號(hào) CV算法小屋 了解更多aigc大語言模型信息?

加技術(shù)交流群掌握最新校招面試題和真實(shí)提升項(xiàng)目：加我微信 Lh1141755859? ?