視頻超分辨率中什么最重要?為什么要幀對齊?

插值法:丟失高頻信息
SR本質(zhì):恢復(fù)高頻


答案:幀對齊和對時序信息的利用才是研究的關(guān)鍵
BasicVSR認(rèn)為

傳播分類

為什么幀對齊:我們希望t+1幀中運動物體的位置大致回到t幀的位置,從而讓兩針進(jìn)行信息上的疊加

光流法
?
08:08
?
?
09:57
?
?
利用3D卷積網(wǎng)絡(luò)自適應(yīng)性自動捕獲運動變化(消耗內(nèi)存、性能)
10:40
?
?
性能不穩(wěn)定
11:40
?
?
12:44
?
?
13:49
?把3維模式運算用2維CNN做,可以節(jié)約計算開銷
?
15:36
?特征圖之間的聚合

?
15:57
?
?
16:03
?
?
17:08
?標(biāo)簽: