Aliasing(鋸齒)是采樣過程中常見現(xiàn)象，本文為這一問題的解決提出了有效新思路：內(nèi)容自適應(yīng)低通濾波層，并提出一種用于評價語義/實例分割的平移一致性的新度量準(zhǔn)則。作者在分類、分割等多種任務(wù)上驗證了所提方法的有效性與泛化性。

paper:https://arxiv.org/abs/2008.09604

code:?https://github.com/MaureenZOU/Adaptive-anti-Aliasing

導(dǎo)語：該文是加州大學(xué)&NVIDIA提出了一種消除Aliasing的方案。該文在AntialiasedCNN的基礎(chǔ)上進(jìn)行了更一步的改進(jìn)，將固定模糊核改進(jìn)為內(nèi)容自適應(yīng)低通濾波操作。作者還通過不同的任務(wù)驗證了所提方法的有效性與泛化性能。

Abstract

Aliasing(鋸齒)是采樣過程中常見現(xiàn)象之一，它將高頻信息退化成了更復(fù)雜的表現(xiàn)形式。在深度學(xué)習(xí)領(lǐng)域中，它常見諸于下采樣層中(比如Maxpooling、StrideConv)。一種標(biāo)準(zhǔn)方案是在下采樣之前進(jìn)行低通濾波(比如高斯模糊)，然而這種處理方案是次優(yōu)方案：因為不同位置、不同通道的頻率信息是不相同的。

為解決上述問題，作者提出了一種內(nèi)容自適應(yīng)低通濾波層，它針對輸入特征預(yù)測不同位置、不同通道的濾波權(quán)值。作者在多個任務(wù)(比如ImageNet分類、COCO實例分割、Cityscapes語義分割等)上驗證了所提方案的有效性與泛化性能。定量與定性結(jié)果表明：所提方法可以具有特征頻率自適應(yīng)特性，在避免鋸齒的同時保持有用信息。

Introduction

Aliasing指的是下采樣過程中高頻信息的畸變問題，Nyquist采樣理論表明：采樣率必須至少是最高頻的兩倍方可避免Aliasing問題。下圖給出了1D信號的下采樣Aliasing效應(yīng)，可以看到經(jīng)過下采樣后輸入與輸出具有不同的表現(xiàn)形式。

在深度學(xué)習(xí)領(lǐng)域，下采樣層對于降低計算量非常關(guān)鍵，然而這種Aliasing問題會模型性能的嚴(yán)重下降(尤其當(dāng)測試圖像存在shift問題時)。為解決上述問題，有學(xué)者提出采用高斯模糊+下采樣方案，見下圖c。作者認(rèn)為這種處理方案并非最優(yōu)：不同位置、不同通道的特征頻率信息存在較大差異。

為解決上述方法存在的問題，作者提出了一種內(nèi)容自適應(yīng)下采樣方案，效果見上圖d。它在不同位置、不同通道執(zhí)行不同的高斯濾波，因此可以更好的保持有用信息并避免Aliasing問題。該文的貢獻(xiàn)主要包含以下幾點：

• 提出一種新穎的自適應(yīng)低通濾波器層用于解決Aliasing問題；

• 提出一種新穎的度量準(zhǔn)則用于評價語義/實例分割的平移一致性；

• 通過ImageNet分類、Cityscapes分割以及COCO分割等任務(wù)驗證了所提方案的有效性；

• 通過定量與定性實驗表明了所提方法的可解釋性。

Method

為解決ConvNet中的Aliasing問題，作者提出一種內(nèi)容自適應(yīng)低通濾波模塊。它為特征的不同位置、不同通道生成低通濾波器參數(shù)并執(zhí)行卷積操作用于消除Aliasing。下圖給出了作者所設(shè)計的模塊結(jié)構(gòu)示意圖，其實就是一種動態(tài)濾波器卷積。

Spatial adaptive anti-aliasing

由于圖像不同位置的頻率成分各不相同，作者提出了一種內(nèi)容自適應(yīng)方式學(xué)習(xí)低通濾波器。該過程可以描述為：給出輸入特征X，首先生成低通濾波器(注：不同位置具有不同的濾波器參數(shù))，然后將其作用于輸入特征X：

其中表示輸出特征。通過這種方式，網(wǎng)路可以學(xué)習(xí)模糊更高頻內(nèi)容而非更低頻內(nèi)容，從而減少可能的Aliasing問題，同時保持重要的內(nèi)容信息。

Channel-grouped adaptive anti-aliasing

不同通道特征會從不同角度捕獲輸入的特征信息，進(jìn)而呈現(xiàn)出邊緣、色彩等差異。因此，作者認(rèn)為應(yīng)該對不同通道采用不同的下采樣濾波器。基于此，作者將輸入通道劃分為k組，對每一組預(yù)測一個低通濾波器，然后作用于輸入特征X

Learning to predict filters

為動態(tài)生成低通濾波器，作者采用Conv+BatchNorm方式生成濾波器參數(shù)，其中g(shù)表示分組數(shù)，k表示生成動態(tài)濾波器的卷積核尺寸。為確保生成的濾波器是低通濾波器，作者約束了生成權(quán)值均為正并通過softmax進(jìn)行歸一化。

Analyzing the predicted filters

在該部分內(nèi)容，我們將分析一下所學(xué)習(xí)到的濾波器的表現(xiàn)行為。首先，先來看一下濾波器的空間自適應(yīng)性，見下圖?？梢钥吹剑寒?dāng)圖像內(nèi)容包含高頻信息時，所學(xué)習(xí)到的濾波器方差非常小，此時需要采用進(jìn)行模糊以避免Aliasing；相反，當(dāng)圖像內(nèi)容為平坦區(qū)域時，所學(xué)習(xí)到的濾波器的方差會比較大，此時需要進(jìn)行更少的模糊以避免Aliasing。

下圖給出了不同組學(xué)習(xí)到的濾波器可視化效果圖，同組內(nèi)的通道特征具有相似的表現(xiàn)形式。通過這種方式，所學(xué)習(xí)到的濾波器可以針對特征通道的不同頻率進(jìn)行自適應(yīng)學(xué)習(xí)，同時可以節(jié)省計算量。

Experiments

為驗證所提方法的有效性與泛化性能，作者在ImageNet、COCO實例分割、Cityscapes語義分割等任務(wù)上進(jìn)行了實驗并與其他SOTA方法進(jìn)行了對比。下表給出了所提方法與LPF(低通濾波器)方法的性能對比，可以看到：所提方法取得了更好的性能提升。相比固定模糊核方法，所提方法取得了0.6%的性能提升；所提方法不僅具有更好的指標(biāo)，同時具有更好的一致性度量指標(biāo)。

下表給出了所提方法在COCO實例分割任務(wù)上的性能對比?？梢钥吹剑核岱椒ㄈ〉昧烁玫男阅芴嵘?。相比LPF，所提方法取得了0.4mAP的Mask指標(biāo)提升，0.5mAP的Box指標(biāo)提升。

下表給出了所提方法在Cityscape語義分割任務(wù)上的性能對比?？梢钥吹剑核岱椒ㄈ〉昧烁叩闹笜?biāo)。相比LPF，所提方法取得了0.9mIOU@VOC指標(biāo)提升與0.6mIOU@Cityscapes指標(biāo)提升。

此外，作者還給出了不同分組下的性能對比，見下圖?？梢钥吹剑禾嵘纸M數(shù)有助于提升模型性能，當(dāng)分組數(shù)達(dá)到8后性能飽和。

最后，作者還給出了不同低通濾波器類型的效果對比，見下表。

全文到此結(jié)束，更多實驗結(jié)果詳見原文。

Conclusion

該文提出了一種內(nèi)容自適應(yīng)低通濾波器層用于消除Aliasing問題，作者在多個任務(wù)(ImageNet分類、COCO實例分割、Cityscapes語義分割)上驗證了所提方法的有效性與泛化性能。該文的思路其實挺簡單的，與CARAFE一文有異曲同工之妙。CARAFE采用動態(tài)濾波器卷積進(jìn)行上采樣操作，而該文則是采用動態(tài)濾波器卷積進(jìn)行下采樣操作。該文與LPF的關(guān)鍵區(qū)別在于：低通濾波器自適應(yīng)特征。但這種自適應(yīng)同時也加大了網(wǎng)絡(luò)的計算量。當(dāng)然這個計算量加大相比整個網(wǎng)絡(luò)而言還是比較小的。該文與其他動態(tài)濾波器卷積的一個區(qū)別在于：濾波器的權(quán)值為正，濾波器的參數(shù)為正確保了卷積時的低通特性。這一點與WeightNet中的濾波器處理方式有相似相通之處，WeightNet一文中采用的Sigmoid進(jìn)行處理，而本文則采用的Softmax。當(dāng)然，兩者的出發(fā)點是不相同的，感興趣的同學(xué)可以去看一下上述幾篇文章。

Reference

1. CARAFE：Content-Aware ReAssembly of FEatures

2. LPF：Making Convolutional Networks Shift-invariant Again.

3. WeightNet Revisiting the Design Space of Weight Networks