在寫這篇文章之前，我一直認(rèn)為這些技術(shù)是GAN的兒子，但是有些文章又說是GAN的兄弟，秉承著學(xué)術(shù)的嚴(yán)謹(jǐn)性，我去求證了專業(yè)老師，確定了一下GAN的兒子都是誰，才敢把這篇文章發(fā)出來。

今天將帶大家了解一下GAN和它的兒子們，介紹一下他們?cè)谏虡I(yè)上和在日常中的應(yīng)用場(chǎng)景。結(jié)合實(shí)際讓你漲知識(shí)的同時(shí)捕捉研究創(chuàng)作靈感。

（如有錯(cuò)誤，請(qǐng)?jiān)u論區(qū)或者私信指出，學(xué)習(xí)路上共同進(jìn)步）

01?GAN：創(chuàng)建動(dòng)漫角色

游戲開發(fā)和動(dòng)畫制作成本高昂，并且會(huì)聘請(qǐng)?jiān)S多制作藝術(shù)家來完成相對(duì)常規(guī)的任務(wù)。GAN可以自動(dòng)生成和著色動(dòng)漫角色。

生成器和鑒別器由多層卷積層、批量歸一化和帶有跳過連接的ReLU組成。

02 GAN:姿勢(shì)引導(dǎo)人物圖像生成

通過額外的姿勢(shì)輸入，我們可以將圖像轉(zhuǎn)換為不同的姿勢(shì)。例如，右上角的圖像是地面實(shí)況，而右下角的圖像是生成的圖像。

下面的細(xì)化結(jié)果列是生成的圖像。

該設(shè)計(jì)由一個(gè)2級(jí)圖像生成器和一個(gè)鑒別器組成。生成器使用元數(shù)據(jù)（姿勢(shì)）和原始圖像重建圖像。鑒別器使用原始圖像作為輸入到CGAN設(shè)計(jì)的標(biāo)簽的一部分。

03 CycleGAN

跨域傳輸GAN可能是第一批商業(yè)應(yīng)用。這些GAN將圖像從一個(gè)領(lǐng)域（比如真實(shí)風(fēng)景）轉(zhuǎn)換到另一個(gè)領(lǐng)域（莫奈畫作或梵高）。

例如，它可以在斑馬和馬之間轉(zhuǎn)換圖片。

CycleGAN構(gòu)建了2個(gè)網(wǎng)絡(luò)G和F，以構(gòu)建從一個(gè)域到另一個(gè)域以及反向的圖像。它使用判別器D來評(píng)價(jià)生成的圖像有多好。例如，G將真實(shí)圖像轉(zhuǎn)換為梵高風(fēng)格的繪畫，Dy用于區(qū)分圖像是真實(shí)的還是生成的。

域 A ? 域 B：

我們?cè)诜聪蛴駼? 域A中重復(fù)該過程：

04 StarGAN

StarGAN 是從一個(gè)域到另一個(gè)域的圖像到圖像轉(zhuǎn)換。例如，給定一張快樂的臉，我們想把它轉(zhuǎn)換成一張恐懼的臉。

在 (b) 中，生成器基于輸入圖像和目標(biāo)域標(biāo)簽（例如生氣）生成假圖像。在（c）中，給定這個(gè)假圖像和圖像的原始域（比如快樂），它使用生成器重建圖像。

在（d）中，我們將真實(shí)和虛假圖像提供給鑒別器，以將其標(biāo)記為真實(shí)與否以及其域分類。成本函數(shù)將涉及重建誤差以及識(shí)別圖像及其標(biāo)簽的鑒別器成本。

05 PixelDTGAN

根據(jù)名人圖片推薦商品已受到時(shí)尚博主和電子商務(wù)的歡迎。PixelDTGAN從圖像創(chuàng)建服裝圖像和款式。

06 Super resolution（SRgan）

從較低分辨率創(chuàng)建超分辨率圖像，這是GAN顯示出非常令人印象深刻的結(jié)果的一個(gè)領(lǐng)域，具有直接的商業(yè)可能性。

與許多GAN設(shè)計(jì)類似，它由多層卷積層、批量歸一化、高級(jí) ReLU 和跳過連接組成。

07 Progressive growing of GANs

Progressive GAN可能是第一個(gè)展示類似商業(yè)圖像質(zhì)量的GAN。下面是由GAN創(chuàng)建1024×1024名人外觀圖像。

它采用分而治之的策略，使訓(xùn)練變得更加可行。卷積層一次訓(xùn)練一次以構(gòu)建 2 倍分辨率的圖像。

分9個(gè)階段，生成1024×1024圖像。

08 StyleGAN2

StyleGAN2生成高分辨率圖像。

09 高分辨率圖像合成（High-resolution image synthesis）

這不是圖像分割，相反，從語義地圖生成圖像。收集樣本非常昂貴。我們用生成的數(shù)據(jù)補(bǔ)充訓(xùn)練數(shù)據(jù)集以降低開發(fā)成本，在訓(xùn)練自動(dòng)駕駛汽車時(shí)生成視頻會(huì)很方便。

網(wǎng)絡(luò)設(shè)計(jì)：

09 GauGAN

GauGAN 在給定輸入語義布局的情況下合成逼真的圖像。

10 文本到圖像（StackGAN）

文本到圖像是域轉(zhuǎn)移GAN的早期應(yīng)用之一。我們輸入一個(gè)句子并生成多個(gè)符合描述的圖像。

文本到圖像合成——另一個(gè)實(shí)現(xiàn)：

11 人臉合成（TP-GAN）

合成不同姿勢(shì)的人臉：使用單個(gè)輸入圖像，創(chuàng)建不同視角的人臉。

例如，使用它來轉(zhuǎn)換更容易進(jìn)行人臉識(shí)別的圖像。

圖像修復(fù)

幾十年前，修復(fù)圖像一直是一個(gè)重要的主題。GAN用于修復(fù)圖像并用創(chuàng)建的“內(nèi)容”填充缺失的部分。

12 Learn Joint Distribution（CoGAN）

創(chuàng)建具有不同面部特征P（金發(fā)、女性、微笑、戴眼鏡）、P（棕色、男性、微笑、不戴眼鏡）等組合的GAN是昂貴的……維度使得GAN的數(shù)量呈指數(shù)增長(zhǎng)。

相反，我們可以學(xué)習(xí)單個(gè)數(shù)據(jù)分布并將它們組合起來形成不同的分布，即不同屬性組合。

13 DiscoGAN

DiscoGAN提供了匹配風(fēng)格——許多潛在的應(yīng)用，DiscoGAN無需標(biāo)簽或配對(duì)即可學(xué)習(xí)跨域關(guān)系。例如，它成功地將風(fēng)格（或圖案）從一個(gè)領(lǐng)域（手提包）轉(zhuǎn)移到另一個(gè)領(lǐng)域（鞋類）。

DiscoGAN和CycleGAN在網(wǎng)絡(luò)設(shè)計(jì)上非常相似。

Pix2Pix

Pix2Pix是一種圖像到圖像的轉(zhuǎn)換，在跨域GAN的論文中經(jīng)常被引用。例如，它將衛(wèi)星圖像轉(zhuǎn)換為地圖（左下角）。

14??domain transfer network DNT

（域傳輸網(wǎng)絡(luò)）從圖片創(chuàng)建表情符號(hào)。

15?紋理合成（MGAN）

MGAN的應(yīng)用

16?Image editing（IcGAN）

重建或編輯具有特定屬性的圖像。

17?Face aging（Age-cGAN）

18?DeblurGAN

DeblurGAN執(zhí)行運(yùn)動(dòng)去模糊。

19?神經(jīng)照片編輯器

基于內(nèi)容的圖像編輯：例如，擴(kuò)展發(fā)帶。

優(yōu)化圖像

20?物體檢測(cè)（Perceptual GAN）

這是使用GAN增強(qiáng)現(xiàn)有解決方案的一個(gè)應(yīng)用，可以用在電子眼上面。

21?圖像混合（GP-GAN）

將圖像混合在一起。

22?視頻生成

創(chuàng)建新的視頻序列，它識(shí)別什么是背景并為前景動(dòng)作創(chuàng)建新的時(shí)間序列。

23?生成3D對(duì)象（3DGAN）

這是一篇在使用GAN創(chuàng)建3D對(duì)象時(shí)經(jīng)常被引用的論文。

http://papers.nips.cc/paper/6096-learning-a-probabilistic-latent-space-of-object-shapes-via-3d-generative-adversarial-modeling.pdf

24?Music generation

GAN可以應(yīng)用于非圖像領(lǐng)域，比如作曲。

25?醫(yī)療（AnoGAN）

GAN 還可以擴(kuò)展到醫(yī)療行業(yè)，用于異常檢測(cè)，例如腫瘤檢測(cè)中的醫(yī)學(xué)。

如果文章有問題

或者你需要學(xué)習(xí)上的幫助

解決職業(yè)上困惑可以來微信公眾號(hào)練習(xí)學(xué)姐幫忙

↓↓↓

參考文檔：

https://jonathan-hui.medium.com/gan-some-cool-applications-of-gans-4c9ecca35900

碼字不易，點(diǎn)贊鼓勵(lì)，感謝各位！愛你們！