在單階段網(wǎng)絡(luò)中并且在feature層級上修復(fù)圖像的紋理和結(jié)構(gòu)，并且將修復(fù)好的紋理和結(jié)構(gòu)組成一張完整的特征圖從而達(dá)到修復(fù)的效果。

論文：https://arxiv.org/abs/2007.06929
代碼：https://github.com/KumapowerLIU/Rethinking-Inpainting-MEDFE

這份工作的一部分是我在騰訊 AI lab實習(xí)期完成的。我去年被 ICCV 2019接收的工作也是關(guān)于圖像修復(fù)方面，大家感興趣的話可以看看?ICCV2019|基于語義連貫性的圖像修復(fù)，全新的迭代 Coherent Attention 機(jī)制提升修復(fù)效果，已開源(鏈接：https://mp.weixin.qq.com/s/RT_OLxgt8w16em8ULr8iPQ)

Image inpainting 一直是一個重要的課題，最近基于attention以及雙階段的模型非常流行，像gated conv/coherent semantic attention/edge connect/structure flow等等。圖像修復(fù)的目標(biāo)是重建合理的整體結(jié)構(gòu)以及真實的細(xì)節(jié)（紋理），雙階段的模型往往在第一階段得到一個coarse的圖像，這個圖像上的結(jié)構(gòu)已經(jīng)修復(fù)的不錯，再在第二個階段進(jìn)行細(xì)節(jié)的修復(fù)。但是這些都是基于image level上，我們的工作想把紋理和結(jié)構(gòu)的修復(fù)放在feature上，從而達(dá)到更好的效果并且在單階段網(wǎng)絡(luò)中實現(xiàn)，因為圖像本就是紋理和結(jié)構(gòu)組成，兩者緊密相連互相影響。

所以我們的出發(fā)點就是在單階段網(wǎng)絡(luò)中并且在feature層級上修復(fù)圖像的紋理和結(jié)構(gòu)，并且將修復(fù)好的紋理和結(jié)構(gòu)組成一張完整的特征圖從而達(dá)到修復(fù)的效果。

上圖是我們的模型架構(gòu)圖，在CNN中，越深的卷積層代表著結(jié)構(gòu)信息（高級語義信息），越淺的卷積層代表紋理以及細(xì)節(jié)信息（低層級信息）。我們利用這種概念，將編碼器的特征分成兩個部分（流），前3層代表紋理信息，后3層代表結(jié)構(gòu)信息，前三層和后三層分別integrate起來變成32×32×256大小的卷積，其中Fte代表前三層的integrated features也就是充滿紋理的feature, Fst代表后三層的integrated features也就是充滿結(jié)構(gòu)信息的feature.

那么如何去修復(fù)這些feature的孔洞區(qū)域？?我們將Fst和Fte分別通過多尺度修復(fù)模塊來修復(fù)孔洞區(qū)域，具體來說多尺度修復(fù)由三個不同卷積大小的partial conv[1]流組成，他們的kernel size分別是3，5，7， Fte和Fst經(jīng)過多尺度修復(fù)模塊后就是圖中的Ffst以及Ffte.

那么如何能夠保證這些feature能夠真正關(guān)注紋理或者結(jié)構(gòu)呢？?我們用了最簡單的constrain，我們將Ffst以及Ffte用1×1的卷積映射到RGB層（Ffst映射后的圖為Iost，F(xiàn)fte映射后的圖為Iote）并于ground truth計算L1 loss，其中Iost的ground truth是結(jié)構(gòu)圖(Ist)，這張結(jié)構(gòu)圖是將原圖通過RTV[2]后抹去紋理生成的，而Iost的ground truth就是原圖(Igt, 有紋理和細(xì)節(jié)的圖)。這種constrain如下圖所示：

那么通過這種設(shè)計，我們的解碼器就分出兩個流，一個是結(jié)構(gòu)流一個是紋理流，這兩個流分別通過多尺度修復(fù)模塊進(jìn)行孔洞填充，并且分別有自己的constrain保證孔洞填充效果并且促使每個流關(guān)注紋理或者結(jié)構(gòu)。

Feature Equalizations

結(jié)構(gòu)和紋理的feature到此時一直是分開的并且都被填充完了，但是一張圖是由結(jié)構(gòu)和紋理一起構(gòu)成，如何將其融合呢并且形成一張完整的特征圖呢？我們提出了特征均衡化來解決這個問題（Feature Equalizations).如Fig.1所示，我們將Ffst以及Ffte拼接并且通過1×1的conv后得到了一個簡單融合Fsf, 接著Fsf通過我們的特征均衡化來進(jìn)行更好的融合，特稱均衡化包括兩個維度的均衡，一個是channel上的一個是spatial上的，其中channel上的均衡我們通過SE-block實現(xiàn)，因為其中的attention值是由Fsf得到，而Fsf已經(jīng)包含了結(jié)構(gòu)和紋理的特征信息，所以這些attention是由結(jié)構(gòu)和紋理信息一起得來從而保證了均衡化。在spatial上，我們提出了雙邊激活函數(shù) bilateral propagation activation function (BPA). 我們從雙邊濾波得到啟發(fā)，對于每個特征點，我們利用周圍的特征點(3×3)以及全局的特征點(32×32)來融合成新的特征點. 具體來說：

結(jié)果展示：

真實數(shù)據(jù)上的結(jié)果展示：