Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer

paper：https://arxiv.org/abs/2004.10955

本文是Boston & PixelShift.AI & Google Research寫的一篇關(guān)于實時風格遷移的爽文。作者包含大名鼎鼎的Jiawen Chen?？礃祟}也很明顯就知道，它是HDRNet的傳承者，是HDRNet類方法在風格遷移領域的成功應用（手機端4K實時風格遷移）。

Abstract

風格遷移指的是將圖像A的藝術(shù)風格遷移到圖像B的內(nèi)容中，從而媲美相加拍攝的效果。近年來基于深度學習的方法取得了令人驚訝的效果，但存在速度過慢問題或偽影問題，這就導致了相應技術(shù)難以實際產(chǎn)品化落地。作者提出一種的快速的端到端的風格遷移架構(gòu)，它不但速度夠快，而且生成結(jié)果更為逼真。該方法的核心：一個可以學習局部邊緣敏感仿射變換(edge-aware affine transforms)的前向神經(jīng)網(wǎng)絡。該方法一經(jīng)訓練完成，它可以在任意對圖像上實施魯棒風格遷移。相比其他SOTA方法，所提方法可以生成更好的視覺效果，同時更快，在手機端可達實時@4K。

Our model is a feed-forward deep neural network that once trained on a suitable dataset, runs in real time on a mobile phone at full camera resolution (i.e. 12 megapixels or "4K") significantly faster than the state of the art. ? ---- from the paper.

作者設計了一種“雙邊空間（bilateral space）”深度學習算法，它通過一個緊致網(wǎng)絡在低分辨率學習局部放射變換，然后在原始分辨率進行風格映射。是不是很有HDRNet的風格！。該文貢獻包含以下三點：

• 提出一個實時而逼真風格遷移網(wǎng)絡；

• 所提網(wǎng)絡可以在手機端達到實時@4K（注：這是最贊的）；

• 提出一種雙邊空間拉普拉斯正則消除空間網(wǎng)絡偽影

Method

上圖給出了所提方法與其他SOTA方法在生成結(jié)果的視覺效果對比，毋庸置疑，所提方法取得了完勝。所提方法基于單個前向神經(jīng)網(wǎng)絡而設計，它以兩個圖像作為輸入，內(nèi)容圖像與風格圖像，輸出具有前者內(nèi)容后者風格的逼真結(jié)果。

所提方法具有極好的通用性：一經(jīng)訓練完畢，它可以輕易擴展到其他輸入組合。所提方法的關(guān)鍵核心在于：學習局部放射變換，它“天生”可以迫使“逼真約束”（photorealistic constraint）。

Background

Content and Style: 早期的神經(jīng)風格遷移基于優(yōu)化輸入圖像的內(nèi)容與風格，相應損失定義如下：

AdaIN: 除了直接上述計算內(nèi)容與風格損失的方法，還有另一種比較好的方法：特征統(tǒng)計匹配。其中有代表性的當屬AdaIN，其公式描述如下：

其中x與y分別表示內(nèi)容與風格特征通道。在該文中，作者選用了AdaIN及其對應的風格損失：

Bilateral Space: 雙邊空間最早被用于對邊緣敏感圖像降噪進行加速，后被拓展進行圖像間的變換（BGU），再后來因其可微性被拓展到深度學習領域得到了知名的HDRNet被用于tone mapping與細節(jié)增強。

Network Architecture

Style-based Splatting: 首先需要采用多尺度模型學習內(nèi)容與風格特征的聯(lián)合分布，基于該聯(lián)合分布預測仿射雙邊網(wǎng)絡。作者采用預訓練VGG19提取四個尺度(conv1_1, conv2_1, conv3_1, conv4_1)特征，受StyleGAN架構(gòu)啟發(fā)，作者采用splatting blocks處理這些多尺度特征。從最精細(finest)的特征開始，對內(nèi)容與風格特征執(zhí)行權(quán)值共享stride=2的卷積同時通道數(shù)倍增，該權(quán)值共享卷積可以使得后續(xù)的AdaIN層學習內(nèi)容與風格的聯(lián)合分布而無需相應的監(jiān)督。與此同時，將所得內(nèi)容特征加入到AdaIN對齊的特征中，然后再采用stride=1的卷積進行降維選擇有意義(relevant)的特征。

Joint Bilateral Learning: 基于雙邊空間中的對齊內(nèi)容-風格特征，作者尋求學習仿射雙邊網(wǎng)絡（它編碼了語義級的局部變換）。類似于HDRNet，作者將整個網(wǎng)絡劃分為非對稱的兩個分支：(1)用于學習局部顏色變換的全卷積局部分支；(2)包含卷積與全連接層的全局分支，它有助于進行變換的空域正則。

由于所提方法的目標在于：執(zhí)行通用的風格遷移而且無需任何明確的語義表示，作者采用了一個小網(wǎng)絡學習場景類別的全局表示。該全局分支包含兩個stride=2的卷積，后接四個全連接層輸出一個64維的向量summary。與此同時，將該全局表示添加到每個位置的局部表示后并通過1 X1?降維到96。該96維信息可以reshape到8個luma bins,每個bin包含 3X4?的放射變換。

Losses

由于所設計的網(wǎng)絡結(jié)構(gòu)是可微的，故而可以在最終的輸出上直接定義損失函數(shù)。在內(nèi)容損失、風格損失之外，作者還添加了一種新穎的雙邊空間拉普拉斯正則：

Training

作者從500px.com網(wǎng)站上手機了一個包含10W高質(zhì)量專業(yè)圖像的數(shù)據(jù)集，采用Tensorflow進行訓練。優(yōu)化器選用Adam，BatchSize為12（內(nèi)容與風格分別12張）。在每個epoch，作者隨機將上述數(shù)據(jù)劃分為5W內(nèi)容-5W風格。訓練圖像的分辨率為 256X256?，共計訓練25epoch，在單個TeslAV100GPU上花費兩天時間。訓練完成后，推理階段可以在任意分辨率執(zhí)行。

Experiments

在驗證階段，作者從splash.com網(wǎng)絡收集一個包含400高質(zhì)量圖像的測試集。

首先，直接上定性評價結(jié)果。作者將所提方法與PhotoWCT, LST, WCT等方法進行了對比，對比結(jié)果見下圖。由于unpooling與后處理的依賴型，PhotoWCT幾乎在所有場景上都存在不可忽視的偽影問題；而LST主要是進行風格遷移，內(nèi)容生成方面采用了耗時的空域傳播網(wǎng)絡作為后處理步驟降低畸變偽影，盡管如此及，其所生成結(jié)果仍存在不可忽視的額偽影；在內(nèi)容與風格圖像具有相似語義時，WCT表現(xiàn)非常好，但是當兩者存在較大差異時，其性能急劇變差。而所提方法在上述具有挑戰(zhàn)的圖像上均表現(xiàn)優(yōu)異。

然后，補上定量評價結(jié)果，見下圖。從中可以看出：無論是在推理速度、還是生成質(zhì)量方面，所提方法均處于全面優(yōu)勢地位。Note：表中結(jié)果的測試的硬件平臺為：Tesla-V100 GPU。而在手機GPU平臺下，當模型量化到FP16后，其推理速度可達到30Hz@3000x4000（12megapixel）。

其次，補上在視頻中的應用。既然所提方法具有這么快的速度，那么在視頻中的應用如何？是否會存在時序抖動呢？作者發(fā)現(xiàn)：盡管所提方法采用圖像進行訓練，但其可以很好的泛化到視頻內(nèi)容。相關(guān)結(jié)果見下圖，從中可以看出：所生成的視頻具有一致的風格特性、時序相關(guān)性。

最后，補上消融實驗結(jié)果。消融實驗部分建議各位小伙伴仔細研讀原文，故而這里忽略翻譯部分。

Conclusion

作者提出了一種通用而逼真的風格遷移前饋網(wǎng)絡。所提方法的關(guān)鍵核心在于：采用深度學習方法預測仿射雙邊網(wǎng)絡。所提方法不僅具有較好生成質(zhì)量，還具有極快的推理速度（手機端實時@4K，非常的令人驚訝）。很明顯，該方法將引領一段視頻風格遷移的產(chǎn)品化落地。