1、Activating More Pixels in Image Super-Resolution Transformer

基于Transformer的方法在低級別視覺任務(wù)中，如圖像超分辨率，表現(xiàn)出了令人印象深刻的性能。Transformer的潛力在現(xiàn)有網(wǎng)絡(luò)中仍未得到充分發(fā)揮。為了激活更多的輸入像素以實(shí)現(xiàn)更好的重建，提出了一種新的混合注意力Transformer(HAT)。它同時結(jié)合了通道注意力和基于窗口的自注意力方案，從而充分利用了它們各自的優(yōu)勢，即能夠利用全局統(tǒng)計和強(qiáng)大的局部擬合能力。

此外，為了更好地聚合跨窗口信息，引入了一種重疊的交叉注意力模塊，以增強(qiáng)相鄰窗口特征之間的交互作用。在訓(xùn)練階段，采用同一任務(wù)預(yù)訓(xùn)練策略來利用模型的潛力以實(shí)現(xiàn)進(jìn)一步的改進(jìn)。大量實(shí)驗證明了所提出的模塊的有效性，進(jìn)一步擴(kuò)展了模型以顯示出該任務(wù)的性能可以得到極大的提高。整體方法在PSNR比現(xiàn)有最先進(jìn)的方法高出1dB以上。

https://github.com/XPixelGroup/HAT

2、Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild

擴(kuò)散模型在單幅圖像超分辨率和其他圖像-圖像轉(zhuǎn)換任務(wù)中顯示出良好的效果。盡管取得了這樣的成功，但在更具挑戰(zhàn)性的盲超分辨率任務(wù)中，它們的表現(xiàn)并沒有超過最先進(jìn)的GAN模型，在盲超分辨率任務(wù)中，輸入圖像的分布不均勻，退化未知。

本文介紹了一種基于擴(kuò)散的盲超分辨率模型SR3+，為此，將自監(jiān)督訓(xùn)練與訓(xùn)練和測試期間的噪聲調(diào)節(jié)增強(qiáng)相結(jié)合。SR3+的性能大大優(yōu)于SR3。在相同的數(shù)據(jù)上訓(xùn)練時，優(yōu)于RealESRGAN。

3、Implicit Diffusion Models for Continuous Super-Resolution

圖像超分辨率（SR）因其廣泛的應(yīng)用而受到越來越多的關(guān)注。然而，當(dāng)前的SR方法通常受到過度平滑和偽影的影響，而大多數(shù)工作只能進(jìn)行固定放大倍數(shù)。本文介紹了一種隱式擴(kuò)散模型（IDM），用于高保真連續(xù)圖像超分辨率。

IDM采用隱式神經(jīng)表示和去噪擴(kuò)散模型相結(jié)合的統(tǒng)一端到端框架，其中，在解碼過程中采用了隱式神經(jīng)表示來學(xué)習(xí)連續(xù)分辨率表示。此外，設(shè)計了一種比例自適應(yīng)調(diào)節(jié)機(jī)制，其中包括低分辨率（LR）調(diào)節(jié)網(wǎng)絡(luò)和一個比例因子，該比例因子調(diào)節(jié)分辨率并相應(yīng)地調(diào)節(jié)最終輸出中的LR信息和生成特征的比例，從而使模型適應(yīng)連續(xù)分辨率要求。大量實(shí)驗證實(shí)了IDM有效性，并展示其在先前藝術(shù)品中的卓越性能。代碼在https://github.com/Ree1s/IDM

4、Perception-Oriented Single Image Super-Resolution using Optimal Objective Estimation

相對于使用失真導(dǎo)向損失（如L1或L2）訓(xùn)練的網(wǎng)絡(luò)而言，使用感知和對抗損失訓(xùn)練的單圖像超分辨率（SISR）網(wǎng)絡(luò)提供了高對比度輸出。但是，已經(jīng)表明，使用單個感知損失無法準(zhǔn)確恢復(fù)圖片中的局部不同形狀，往往會產(chǎn)生不良偽像或不自然的細(xì)節(jié)。因此，人們嘗試了各種損失的組合，例如感知、對抗和失真損失，但往往很難找到最優(yōu)的組合。

本文提出了一種新的SISR框架，應(yīng)用于每個區(qū)域進(jìn)行最優(yōu)目標(biāo)生成，以在高分辨率輸出的整體區(qū)域中生成合理的結(jié)果。具體來說，該框架包括兩個模型：一個預(yù)測模型，用于推斷給定低分辨率（LR）輸入的最佳目標(biāo)圖；一個生成模型，生成相應(yīng)的SR輸出。生成模型基于提出的目標(biāo)軌跡進(jìn)行訓(xùn)練，該軌跡表示一組基本目標(biāo)，使單個網(wǎng)絡(luò)能夠?qū)W習(xí)與軌跡上組合的損失相對應(yīng)的各種SR結(jié)果。

在五個基準(zhǔn)測試中，實(shí)驗結(jié)果表明，該方法在LPIPS、DISTS、PSNR和SSIM度量上優(yōu)于最先進(jìn)的感知驅(qū)動SR方法。視覺結(jié)果也證明了方法在感知導(dǎo)向重構(gòu)方面的優(yōu)越性。代碼和模型在https://github.com/seunghosnu/SROOE

5、Structured Sparsity Learning for Efficient Video Super-Resolution

現(xiàn)有視頻超分辨率（VSR）模型的高計算成本阻礙了它們在資源受限的設(shè)備（例如智能手機(jī)和無人機(jī)）上的部署?，F(xiàn)有VSR模型包含相當(dāng)多的冗余參數(shù)，拖慢推理效率。為了剪枝這些不重要的參數(shù)，根據(jù)VSR的特性開發(fā)了一種結(jié)構(gòu)化剪枝方案，稱為結(jié)構(gòu)稀疏學(xué)習(xí)（SSL）。

SSL為VSR模型的多個關(guān)鍵組件設(shè)計了剪枝方案，包括殘差塊、遞歸網(wǎng)絡(luò)和上采樣網(wǎng)絡(luò)。具體而言，為遞歸網(wǎng)絡(luò)的殘差塊設(shè)計了一種殘差稀疏連接（RSC）方案，以解放剪枝限制并保留恢復(fù)信息。對于上采樣網(wǎng)絡(luò)，設(shè)計了一個像素洗牌剪枝方案，以保證特征通道空間轉(zhuǎn)換的準(zhǔn)確性。此外觀察到，在隱藏狀態(tài)沿著遞歸網(wǎng)絡(luò)傳播時，剪枝誤差會被放大。為緩解此問題，設(shè)計了時間微調(diào)（TF）。大量實(shí)驗證明了SSL在定量和定性上都顯著優(yōu)于最近的方法。代碼在https://github.com/Zj-BinXia/SSL

6、Super-Resolution Neural Operator

提出超分辨率神經(jīng)算子（Super-resolution Neural Operator，SRNO），可以從低分辨率（LR）對應(yīng)物中解決高分辨率（HR）圖像的任意縮放。將LR-HR圖像對視為使用不同網(wǎng)格大小近似的連續(xù)函數(shù)，SRNO學(xué)習(xí)了對應(yīng)的函數(shù)空間之間的映射。

與先前的連續(xù)SR工作相比，SRNO的關(guān)鍵特征是：1）每層中的核積分通過Galerkin類型的注意力得到高效實(shí)現(xiàn)，在空間域中具有非局部特性，從而有利于網(wǎng)格自由的連續(xù)性；2）多層注意力結(jié)構(gòu)允許動態(tài)潛在基礎(chǔ)更新，這對于SR問題從LR圖像“幻想”高頻信息非常重要。

實(shí)驗結(jié)果表明，SRNO在準(zhǔn)確性和運(yùn)行時間方面優(yōu)于現(xiàn)有的連續(xù)SR方法。代碼在https://github.com/2y7c3/Super-Resolution-Neural-Operator

7、Towards High-Quality and Efficient Video Super-Resolution via Spatial-Temporal Data Overfitting

提出一種新的高質(zhì)量、高效的視頻分辨率提高方法，利用時空信息將視頻準(zhǔn)確地分成塊，從而將塊的數(shù)量和模型大小保持在最小。在現(xiàn)成的移動電話上部署模型，實(shí)驗結(jié)果表明，方法實(shí)現(xiàn)了具有高視頻質(zhì)量的實(shí)時視頻超分辨率。與最先進(jìn)的方法相比，在實(shí)時視頻分辨率提高任務(wù)中實(shí)現(xiàn)了28 fps的流媒體速度，41.6 PSNR，速度提高了14倍，質(zhì)量提高了2.29 dB。代碼將發(fā)布：https://github.com/coulsonlee/STDO-CVPR2023

關(guān)注公眾號【機(jī)器學(xué)習(xí)與AI生成創(chuàng)作】，更多精彩等你來讀

深入淺出ControlNet，一種可控生成的AIGC繪畫生成算法！

戳我，查看GAN的系列專輯~！

最新最全100篇匯總！生成擴(kuò)散模型Diffusion Models

CVPR 2022 | 25+方向、最新50篇GAN論文

超110篇！CVPR 2021最全GAN論文梳理

拆解組新的GAN：解耦表征MixNMatch

附下載 | 《可解釋的機(jī)器學(xué)習(xí)》中文版

附下載 |《計算機(jī)視覺中的數(shù)學(xué)方法》分享

《零樣本圖像分類綜述: 十年進(jìn)展》