極市直播丨ECCV2022 Oral-吳俊峰:視頻實(shí)例分割新SOTA:SeqFormer&IDOL
|?極市線上分享??第100期 |
一直以來,為讓大家更好地了解學(xué)界業(yè)界優(yōu)秀的論文和工作,極市已邀請(qǐng)了超過100位技術(shù)大咖嘉賓,并完成了99期極市線上直播分享。往期分享請(qǐng)前往bbs.cvmart.net/topics/149或直接閱讀原文,也歡迎各位小伙伴自薦或推薦更多優(yōu)秀的技術(shù)嘉賓到極市進(jìn)行技術(shù)分享,與大家一起交流學(xué)習(xí)~~
視頻實(shí)例分割是一個(gè)近幾年興起并逐漸引起廣泛關(guān)注的領(lǐng)域,它要求算法同時(shí)完成視頻中的物體的檢測(cè)、分割、分類、以及跟蹤。目前主流的視頻實(shí)例分割算法可以被分為Online和Offline兩種范式,Online模型通過逐幀分割并添加后處理進(jìn)行跟蹤,將圖像實(shí)例分割算法擴(kuò)展到視頻實(shí)例分割任務(wù)上。Offline 模型通過將整段視頻輸入以同時(shí)獲得分割和跟蹤的結(jié)果。這兩種范式各有其特色以及特殊的應(yīng)用場(chǎng)景。
在這次分享中,我們邀請(qǐng)到了華中科技大學(xué)博士生吳俊峰,為我們介紹他們兩篇中稿 ECCV 2022 Oral 的工作:
SeqFormer: Sequential Transformer for Video Instance Segmentation, ECCV, 2022 (Oral)
In Defense of Online Models for Video Instance Segmentation, ECCV, 2022 (Oral)
“這兩個(gè)模型分別在 Offline 和 Online 范式下的視頻實(shí)例分割任務(wù)上取得了最高的性能。我們深入分析了此前Offline和Online模型性能相差巨大的原因,并且補(bǔ)齊了這個(gè)差距,讓這兩種范式回到相同的起跑線上。此外IDOL在第四屆大規(guī)模視頻物體分割挑戰(zhàn)賽( 4th Large-scale Video Object Segmentation Challenge,CVPR2022)的視頻實(shí)例分割賽道上取得第一名?!?/p>
01?直播信息
時(shí)間:2022年8月8日(周一):20:00-21:00
主題:ECCV 2022 Oral?| 視頻實(shí)例分割新SOTA: SeqFormer&IDOL?
02?嘉賓介紹

吳俊峰
華中科技大學(xué)博士生,指導(dǎo)老師為白翔教授。研究方向?yàn)橛?jì)算機(jī)視覺,包括視頻實(shí)例分割、目標(biāo)跟蹤等。目前以第一作者身份在計(jì)算機(jī)視覺頂級(jí)會(huì)議上發(fā)表多篇論文,并取得第四屆YouTube-VIS Challenge的冠軍。
個(gè)人主頁(yè):https://wjf5203.github.io
03?關(guān)于分享
?分享大綱
1.視頻實(shí)例分割發(fā)展回顧
2.SeqFormer模型結(jié)構(gòu)
3.SeqFormer的注意力機(jī)制
4.SeqFormer性能和效果展示
5.VIS?Offline、Online模型分析
6.IDOL?的提出和結(jié)構(gòu)
7.IDOL?模型性能和效果展示
8.CVPR2022 Workshop?冠軍解決方案
9.總結(jié)和展望
?論文
SeqFormer: Sequential Transformer for Video Instance Segmentation, ECCV, 2022 (Oral).
arxiv:https://arxiv.org/abs/2112.08275
code:https://github.com/wjf5203/SeqFormer
In Defense of Online Models for Video Instance Segmentation, ECCV, 2022 (Oral)
arxiv:https://arxiv.org/abs/2207.10661
code:https://github.com/wjf5203/VNext
04
參與方式
關(guān)注“極市平臺(tái)”公眾號(hào),回復(fù)“100”可獲取免費(fèi)直播鏈接。
