arxiv|港科大(廣州)VLIS LAB發(fā)布事件引導(dǎo)視頻幀插值算法在滾動(dòng)快門幀中的自監(jiān)督學(xué)習(xí)

【Self-supervised Learning of Event-guided Video Frame Interpolation for Rolling Shutter Frames】?

文章鏈接：http://arxiv.org/abs/2306.15507???

本文首次嘗試在新的事件相機(jī)數(shù)據(jù)引導(dǎo)下，從兩個(gè)連續(xù)的滾動(dòng)快門( RS )幀中恢復(fù)任意幀率的潛在全局快門( GS )幀。雖然事件具有較高的時(shí)間分辨率，有利于視頻幀插值( VFI )，但在處理該任務(wù)時(shí)遇到的一個(gè)障礙是缺乏成對(duì)的GS幀。另一個(gè)挑戰(zhàn)是當(dāng)捕捉移動(dòng)物體時(shí)，RS幀容易出現(xiàn)失真。為此，我們提出了一個(gè)新穎的自監(jiān)督框架，在一個(gè)統(tǒng)一的框架中利用事件來(lái)指導(dǎo)RS幀校正和VFI。 我們的核心思想是估計(jì)位移場(chǎng)（DF）——在曝光時(shí)間內(nèi)所有像素的非線性稠密3D時(shí)空信息，從而實(shí)現(xiàn)RS和GS幀之間的相互重建以及任意幀率的視頻幀插值（VFI）。。 ???

具體來(lái)說(shuō)，提出了位移場(chǎng)估計(jì)( DFE )模塊來(lái)估計(jì)來(lái)自事件的時(shí)空運(yùn)動(dòng)，以校正RS失真，并一步插值GS幀。然后，我們將輸入的RS幀和DF結(jié)合起來(lái)學(xué)習(xí)一個(gè)用于RS到GS幀插值的映射。然而，由于該映射是高度欠約束的，我們將其與一個(gè)逆映射(即GS - to - RS)和RS幀變形(即RS - to - RS)耦合進(jìn)行自監(jiān)督。由于缺乏用于評(píng)估的標(biāo)記數(shù)據(jù)集，我們生成了兩個(gè)合成數(shù)據(jù)集，并收集了一個(gè)真實(shí)的數(shù)據(jù)集來(lái)訓(xùn)練和測(cè)試我們的方法。實(shí)驗(yàn)結(jié)果表明，我們的方法在性能上與之前的有監(jiān)督方法相當(dāng)或更好。