用語言畫畫這件事聽起來就像霍格沃茲的魔法，但是它目前已經通過AI變成了現(xiàn)實。下面我們對AI作畫的歷史進行一個簡略梳理。

AI繪畫進步得如此之快，以至于人們害怕自己的職業(yè)遲早要被AI取代，我自己甚至都開始焦慮了。在去年8月，Stable diffusion的推特賬號突然掛了，因為被大量藝術家舉報，他們很憤怒也很害怕。Stable diffusion的創(chuàng)始人說：他們在嫉妒AI畫的比他們好。

算法原理

整體說來，以下算法都是基于深度學習，其與傳統(tǒng)機器學習有一些區(qū)別：

即有兩點：

• 人工提取特征——自動提取特征

深度學習最特別最厲害的地方就是能夠自己學習特征提取，機器的超強算力可以解決很多人工無法解決的問 題。自動化后，學習能力更強，適應性也更強。

• 人工判斷生成結果的好壞——自動判斷和優(yōu)化

訓練集需要大量的人工標注數(shù)據，這個過程是成本很高且效率很低的。而人工判斷生成結果的好壞也是如此，有成本高和效率低的問題。

AI 繪畫平臺基于一些目前非?；馃岬?AI 繪畫算法，就是用不同的算法策略實現(xiàn)以上兩點，如下：

1）GAN生成對抗網絡

非常流行的AI繪畫算法，但目前看來算是一種發(fā)展較難的彎路。目前最大使用方向是視頻換臉技術上，比如deepface這類。

它包含兩個網絡：生成器和判別器。生成器生成圖像，而判別器則評估圖像的真實性。

兩個網絡在訓練過程中相互競爭，直到生成器可以生成與真實圖像相同的圖像為止。

最終我們得到了一個效果非常好的“生成器 G”，我們就可以用它來生成我們想要的圖片了。

若對GAN技術有興趣，想深入了解的，可以參考下面的文章：https://zhuanlan.zhihu.com/p/402819206

2）風格遷移技術

風格遷移是一種將一個圖像的藝術風格應用到另一個圖像上的算法。它基于卷積神經網絡（CNN），可以將輸入圖像分解為不同的層和通道，然后將每一層和通道的特征圖與目標風格的特征圖進行比較。最近，風格遷移已經被用于生成獨特的藝術作品，包括與現(xiàn)實世界不同的 3D 場景、動漫圖像等。

這項技術曾是我09年本科畢業(yè)論文的主要研究內容，當時算是非常前沿的技術了，一直以為會是以后自動P圖的主流技術。不過當時我的程序只能實現(xiàn)單一風格統(tǒng)一遷移，無法進行物體識別局部處理。現(xiàn)在技術確實是變化太快了！

有興趣的可以參考以下文章內容深入學習下：

https://zhuanlan.zhihu.com/p/26746283

https://zhuanlan.zhihu.com/p/26746283

從紋理到圖片風格其實只差兩步。第一步也是比較神奇的，是 Gatys 發(fā)現(xiàn)紋理能夠描述一個圖像的風格。嚴格來說紋理只是圖片風格的一部分，但是不仔細研究紋理和風格之間的區(qū)別的話，乍一看給人感覺還真差不多。第二步是如何只提取圖片內容而不包括圖片風格。這兩點就是他的第二篇論文做的事情：Gatys 又偷了個懶，把物體識別模型再拿出來用了一遍，這次不拿 Gramian 算統(tǒng)計模型了，直接把局部特征看做近似的圖片內容，這樣就得到了一個把圖片內容和圖片風格（說白了就是紋理）分開的系統(tǒng)，剩下的就是把一個圖片的內容和另一個圖片的風格合起來。合起來的方法用的正是之前提到的讓神經網絡“夢到”狗的方法，也就是研究員們玩出來的 Deep Dream，找到能讓合適的特征提取神經元被激活的圖片即可。

3）自適應生成

自適應生成是一種使用對抗性損失和重建損失來訓練生成器的算法，它可以生成新的數(shù)據樣本，例如圖像、文本、音頻等等。它的目標是通過學習輸入數(shù)據的特征分布，生成與輸入數(shù)據類似的新數(shù)據。自適應生成算法的基本思想是建立一個生成模型，該模型可以學習輸入數(shù)據的概率分布，并在學習過程中調整模型參數(shù)以最大限度地減少生成數(shù)據與真實數(shù)據之間的差異。這樣，模型就能夠生成與輸入數(shù)據類似的新數(shù)據

可以通過以下鏈接深入了解：https://zhuanlan.zhihu.com/p/28484031?hmsr=joyk.com&utm_source=joyk.com&utm_medium=referral

從算法上來講，邏輯很簡單，總共會有不同的幾種錯誤類型，和對應的課程，只要學生在作文里出現(xiàn)某種錯誤，就自動推這類課程。最著名的自適應生成算法是生成對抗網絡（GAN）。它可以學習藝術家的風格和技巧，然后生成新的藝術作品。自適應生成可以用于生成逼真的肖像、風景畫和動漫角色等。

4）DeepDream算法

通過將深度神經網絡的激活函數(shù)反向傳播，生成幻覺般的圖像。此算法可以生成下面的圖片：

首先，在卷積神經網絡（簡稱 CNN）的研究中，大家并不滿足于精準的圖片分類，還想知道網絡中各層乃至各個神經元都學習到了什么東西。如果能將每一個神經元的內容可視化出來，將是十分有用的。

那么如何對 CNN 中的某一神經元進行可視化呢？

Deep Dream 的想法就是：學習出一張圖片，使得這一神經元能夠產生最大激活。從數(shù)值上看，就是使得這一神經元的輸出值最大。

更一般的，不僅可以最大化某一個神經元的輸出，還可以最大化一組神經元的輸出，或者某一層的總輸出。這樣得到的是多個神經元的混合可視化結果。因此，Deep Dream 是基于訓練好的卷積神經網絡進行圖片的生成，在生成圖片時，神經網絡是凍結的，也就是網絡的權重不再更新，只更新輸入圖片。

這里需要個分割線，因為主角來了

爆發(fā)式發(fā)展

可以說Diffusion Models/擴散算法的出現(xiàn)，是AI繪畫這幾年爆發(fā)式發(fā)展的主要原因。

當前主要有四大生成模型：生成對抗模型、變微分自動編碼器、流模型以及擴散模型。擴散模型（diffusion models）是當前深度生成模型中新SOTA。擴散模型在圖片生成任務中超越了原SOTA：GAN，并且在諸多應用領域都有出色的表現(xiàn)，如計算機視覺，NLP、波形信號處理、多模態(tài)建模、分子圖建模、時間序列建模、對抗性凈化等。此外，擴散模型與其他研究領域有著密切的聯(lián)系，如穩(wěn)健學習、表示學習、強化學習。

可以通過以下文章深入了解下Diffusion Model:?https://zhuanlan.zhihu.com/p/572770333

所謂擴散算法，是指先將一幅畫面逐步加入噪點，一直到整個畫面都變成白噪聲。記錄這個過程，然后逆轉過來給AI學習。

AI那里看到的是一個全是噪點的畫面是如何一點點變清晰直到變成一幅畫的，AI通過學習這個逐步去噪點的過程來學會作畫。這個算法出來之后效果非常好，比以前的AI繪畫效果要好的多。突破了實用化的臨界點。

早在 2010 年 Google 就開始研究 AI 生成一些概念繪畫。受限于算力/模型能力的支持，AI 繪畫早期能夠落地的應用始終在風格遷移、圖片修復等輔助編輯方面。而 2022 年 AI 繪畫的大規(guī)模爆發(fā)，我認為離不開如下幾個關鍵技術的支持：

• 超大規(guī)模、跨模態(tài)的預訓練語言模型的成熟。盡管 2022 年之前，AI 繪畫一直存在，但并不能低成本地根據用戶的提示生成用戶想要的場景。模型在特定的數(shù)據集合上進行訓練，生成的圖像更多地針對該特定數(shù)據集合的一種「平均」體現(xiàn)，相信大家對「改變圖中人物的年齡」「生成某個人群（如亞洲女性）的平均人臉」這種研究還有記憶。而類似 CLIP 等跨模態(tài)語言模型的提出和開放，則打通了「語言-視覺」中的橋梁，讓「輸入文字得到圖片」的模式成為可能；

• 擴散模型的提出及效率的迅速提升。在擴散模型之前主流生成圖片的方法是 VAE 和 GAN，但各有缺點，例如 GAN 的訓練不穩(wěn)定、生成圖像的質量很難保證。diffusion 模型則相對簡單，其效果也較為突出。尤其是 2022 年，基于潛在空間擴散（latent diffsion model，LDM）的模型的提出，讓圖像生成的效率大大提高，資源占用降低；

• 開源社區(qū)的支持。2021 年初，OpenAI 釋出了業(yè)界第一個效果得到公認的文-圖跨模態(tài)模型 CLIP，于是在 2021 年，跨模態(tài)的信息檢索和匹配就成為業(yè)界應用的熱點；2022 年初，OpenAI 由發(fā)表了基于 CLIP 的文-圖生成模型 unCLIP，通過 CLIP + GAN 的方式生成圖像，盡管生成質量還不盡如人意，但引發(fā)了較為熱烈的討論；2022 年 8 月，StabilityAI 的 stable diffusion 的發(fā)布則讓圖-文生成變的更加普惠：開放了模型的權重文件，并且能夠在消費級的顯卡上生成精細的圖像。

主流AI繪畫產品

Midjourney

網址：https://www.midjourney.com/

需要翻墻；不用安裝，向機器人輸入關鍵詞，就給你生成圖片；允許每月免費使用，有很大的時長或者次數(shù)限制，僅能看部分作品；每月大概需要付費 30 美元，訂閱它的人非常多；簡單的平面廣告插畫，類似 ppt 里的 slide 的小圖片，可以批量生成，質量很高，稍微改改就能商用。這部分的從業(yè)者更可能受到 AI 繪畫的沖擊。

它綜合能力全面，圖像生成速度快，而且選擇多樣

Midjourney并非是一個獨立的應用，它是搭在了通訊軟件Discord上，在discord中，向Midjourney機器人發(fā)送符合格式的文字指令，它便會向你回復AI繪畫結果。

DALL?E 2

網址：https://openai.com/dall-e-2/

「DALL-E 2」，名稱合成自超現(xiàn)實主義藝術家“薩爾瓦多·達利(Salvador Dalí)”和《機器人總動員》的英文名“WALL-E”。 DALL-E 2誕生的時間也很短暫，2022年4月份推出，它的前身DALL·E也誕生才一年半左右。只要輸入一些描繪你想要的畫作的關鍵詞，幾秒鐘就可以給你生成一幅。

它生成速度快，文生圖方式，圖像風格寫實，操作簡單，完成度高，而且可以根據一張給定的圖片生成許多與之相關的畫面，其編輯功能已經可以在生成或上傳的圖像中進行更改。目前免費，需要科學上網。有時候容易斷線無反饋！

Disco Diffusion

網址：https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb
Disco Diffusion 是在去年 2 月初開始流行的一個 AI 圖像生成程序，它可以根據描述場景的關鍵詞渲染出對應的圖像，可以在 Google Drive 直接運行，也可以部署到本地運行。目前Github上標星6k+，開源參與沒有Stable diffusion火熱

Stable Diffusion

“Stable Diffusion”是開源圖像合成模型，可以讓任何擁有一臺 PC 和一個像樣 GPU 的人，將文本轉化為圖像。這個 AI 作畫工具幾乎可以模仿任何視覺風格，如果你輸入一個描述性短語，圖像就會像魔術一樣出現(xiàn)在你的屏幕上。

因為開源的項目，加上參與者眾多，其迭代速度飛快，國內攻略較多，且有在學多的支持插件，導致SD的生態(tài)鏈非常好，是目前自由度最高的AI繪畫工具。我們可以使用對應風格的照片訓練AI模型，然后進行再創(chuàng)作，幾乎沒有上限，也許限制它創(chuàng)作發(fā)展的只能是你的硬盤空間和顯卡。預留至少20G的安裝空間。

NovelAI

網址：http://novelai.net/

《novelai》是個非常好用的繪畫網站，可以方便快捷的畫出精美好看的圖畫，相對于一些通用的AI繪畫生成器來說，novelai在二次元圖上更加的準確。

實際上準確說，novelai的初衷是為了讓小說家在平臺上使用AI創(chuàng)作內容，然后給內容配上插畫。其使用的基礎就是stable diffusion，只是相比SD的開源，novelAI采用的是線上平臺方式，不需要自行部署，相對容易上手。因此現(xiàn)在國內大部分將novelAI和stable diffusion并稱混用！這里我們只按novelai線上部分來說！

文心一格

網址：https://yige.baidu.com/

本月最火的一個工具了吧，因為實在是太瞎扯了，從技術的角度看，更像是stable diffusion這類開源項目外面再加一層中翻英的殼。當然不能否認百度在多模態(tài)語言模型方面的努力，希望能越來越好吧！

不過目前我們說的文心一格只說其出圖功能，也就是上線許久的飛漿平臺，免費，出圖效果穩(wěn)定，可支出出大圖，類似novelAI形式

無界AI

網址：https://www.wujieai.com/

目前國內熱度最高的AI繪畫工具，其基礎是SD，所以里面可以提供多種風格模型選擇，同時也提供對midjourney風格繪畫的學習整合，滿足了多維度的需要。支持中文關鍵詞，并提供廣場，方便快速使用他人美圖咒語。使用積分形式生成圖片，積分可以靠分享、充值等方式獲取。

最近審核變嚴，擦邊的圖都不能出了，留意哦

Draft

網址:https://draft.art

這款國產Ai繪畫產品中英文都支持，讓大家輕松。創(chuàng)作使用非常簡單，移動端/pc端輸入網址即可使用，無需下載。

生成速度也相當不錯，快的話，只要十秒就能出圖。另外，社區(qū)提供瀑布流素材，可以帶來靈感創(chuàng)意。