超低延遲光流估計(jì)：EVA-Flow的開源實(shí)現(xiàn)

2023-09-12 09:24 作者:計(jì)算機(jī)視覺life 0人讀過 | 我要投稿

#論文# #開源# arxiv速遞|浙江大學(xué)湖南大學(xué)開源面向事件相機(jī)的任意時(shí)刻光流估計(jì)

【Towards Anytime Optical Flow Estimation with Event Cameras】?

文章鏈接：[2307.05033] Towards Anytime Optical Flow Estimati...

開源代碼：GitHub - Yaozhuwa/EVA-Flow: The official implement...???

? 摘要—事件相機(jī)能夠在微秒級(jí)別對(duì)亮度變化作出響應(yīng)。它只對(duì)變化區(qū)域產(chǎn)生響應(yīng)的特性特別適用于光流估計(jì)。然而，與事件相機(jī)超低延遲響應(yīng)速度相比，現(xiàn)有的通過事件相機(jī)收集的數(shù)據(jù)集只提供有限 ?為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了一種高幀率、低延遲的事件表示方法——統(tǒng)一體素網(wǎng)格（Unified Voxel Grid），逐個(gè)體素輸入到網(wǎng)絡(luò)中。然后，我們提出了一種名為EVA-Flow的基于事件的任意時(shí)間光流估計(jì)網(wǎng)絡(luò)，僅利用低幀率光流地面實(shí)況進(jìn)行監(jiān)督，生成高幀率的事件光流。我們的EVA-Flow的關(guān)鍵組成部分是堆疊的時(shí)空運(yùn)動(dòng)細(xì)化（Spatiotemporal Motion Refinement，SMR）模塊，它通過預(yù)測(cè)時(shí)間密集的光流并通過空間-時(shí)間運(yùn)動(dòng)細(xì)化來提高準(zhǔn)確性。SMR模塊中利用的時(shí)間密集特征扭曲為中間光流提供了隱式的監(jiān)督。

? 此外，我們引入了修正的流場(chǎng)扭曲損失（Rectified Flow Warp Loss，RFWL），用于在沒有實(shí)況地面實(shí)況的情況下對(duì)中間光流進(jìn)行無監(jiān)督評(píng)估。 ???據(jù)我們所知，這是第一篇專注于通過事件相機(jī)進(jìn)行任意時(shí)間光流估計(jì)的工作。對(duì)MVSEC、DESC和我們的EVA-FlowSet進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明EVA-Flow在性能上達(dá)到了競(jìng)爭(zhēng)水平，具有超低延遲（5毫秒）、最快的推斷速度（9.2毫秒）、時(shí)間密集的運(yùn)動(dòng)估計(jì)（200赫茲）和強(qiáng)大的泛化能力。