SFFAI 90—超分辨率專題《羅正雄:基于展開交替優(yōu)化的盲超分算法》


摘要

https://github.com/greatlog/DAN.git
本期亮點(diǎn)

大綱

什么是SR:研究的是盡可能讓放大后的圖像包含盡可能多的細(xì)節(jié)

病態(tài)問題

模糊核分類

第一種:模糊核單一,已知

2014年(SRCNN)開始,這種方法輸入輸出定義都很清晰(LR和重建圖像SR,LR是原始HR經(jīng)過雙三次降采樣得到的),大家都集中在優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),目前性能已經(jīng)飽和

第二種:模糊核多樣,已知
輸入不僅有LR圖像,還必須有LR對(duì)應(yīng)的模糊核,參考張凱實(shí)驗(yàn)的文章(18-20年),已經(jīng)可以把這類問題解得很好了

為第三種方法服務(wù)
第三種:模糊核多樣,已知(盲超分)
以往是通過模糊核估計(jì)和非盲方法的組合解決盲超分問題

以上方法存在問題:1、模型不兼容2、模糊核估計(jì)不準(zhǔn)確

本文工作(交替優(yōu)化方案)

優(yōu)點(diǎn):1、端到端網(wǎng)絡(luò),restorer和estimator兩個(gè)模塊在同一個(gè)網(wǎng)絡(luò)進(jìn)行優(yōu)化,兩個(gè)模塊有更好兼容性
2、以往模糊核估計(jì)只用到LR圖像,可利用信息有限,而本文模糊核估計(jì)時(shí)用到中間超分結(jié)果,這樣模糊核估計(jì)會(huì)準(zhǔn)確

問題:1、estimator和restorer的參數(shù)如何共享?2、為什么要用到GT的kernel?不是說好的盲超分么,也就是不知道模糊核?如果沒有這個(gè)核怎么辦?3、如果沒有GT的HR又怎么辦?

怎么設(shè)計(jì)restorer和estimator?

我們的方法在不同條件下的測(cè)試

有GT的kernel和沒有的性能差不多,說明我們方法性能提升不來自于得到更準(zhǔn)確的模糊核,在于對(duì)模糊核有更強(qiáng)的魯棒性,這就得益于端到端訓(xùn)練,不要求kernel很精準(zhǔn)

總結(jié)
