在 Disco Diffusion 官方說明的第一段，其對自身是這樣定義： AI Image generating technique called CLIP-Guided Diffusion。DD 是通過 CLIP 來進(jìn)行圖文匹配，引導(dǎo) AI 進(jìn)行圖像生成的技術(shù)，通過 Diffusion 持續(xù)去噪去生成圖像的，而在整個過程中，CLIP 不斷地評估圖像和文本之間的距離，來為生成圖像的整體方向進(jìn)行指導(dǎo)，最終就體現(xiàn)為“輸入文字-生成圖畫”，因此我們便可以通過文字來引導(dǎo)AI生成藝術(shù)風(fēng)格圖片。

啟動矩池云快速使用Disco Diffusion

矩池云已經(jīng)將 Disco Diffusion 鏡像搭建在平臺上，可以直接使用，無需再進(jìn)行環(huán)境搭建，主機(jī)市場中多種 GPU 可供選擇，具體流程為 主機(jī)市場-選擇GPU-租用-搜索&點(diǎn)擊Disco，點(diǎn)擊“下單”即可。

機(jī)器顯示為“運(yùn)行中”之后，點(diǎn)擊JupyterLab鏈接

進(jìn)入后找到 disco-diffusion文件夾

雙擊 Disco_Diffusion 文件，即可打開項(xiàng)目

默認(rèn)文字輸入生成圖像

更改圖像輸出路徑 Tips

在開始訓(xùn)練前，可以將此處 outDirPath 處的 ‘{root_path}/out_images’ 代碼進(jìn)行調(diào)整，調(diào)整到矩池云網(wǎng)盤中即可，比如如下就改為了 /mnt/DD_result/out_images ?這樣，終止訓(xùn)練以后，圖片會直接存在矩池云網(wǎng)盤中，管理起來更輕松～

點(diǎn)擊菜單欄 Run ，選擇 Run All Cells ，等待依次等待模型加載完成，即可默認(rèn)的生成圖像

默認(rèn)狀態(tài)生成圖像如下

修改文字輸入生成圖像

在 3. Prompts 此處，可以對引號內(nèi)容進(jìn)行文字修改

圖像輸出文件夾

如果沒有操作剛才的“更改圖像輸出路徑 Tips”，最后狀態(tài)的圖像將自動保存在文件夾 images_out 中，雙擊 images_out 就可以看到訓(xùn)練好的圖片。

當(dāng)然如果訓(xùn)練結(jié)束后、關(guān)閉機(jī)器前，想把最終都輸出結(jié)果保存到矩池云網(wǎng)盤，可以在 Jupyterlab 里新建一個Terminal

然后將下面指令復(fù)制粘貼，回車執(zhí)行。

這代表著將 DD 輸出圖像的文件夾 /disco-diffusion/images_out/TimeToDisco，保存到矩池云網(wǎng)盤 /mnt/DD_result/castle 路徑下（這個是我自己創(chuàng)立的，如果是其他路徑進(jìn)行修改即可）。

那么我們就可以在網(wǎng)頁端 “我的網(wǎng)盤” 中找到這個文件夾，展示如下

如果開通了 矩池云客戶端網(wǎng)盤 ?（可以聯(lián)系矩池云小助手開通），就可以輕松在本地計(jì)算機(jī)上進(jìn)行訪問，點(diǎn)擊圖片旁邊的下載圖標(biāo)，即可存在本地。

如果需要更改默認(rèn)下載到本地的文件夾，則可以點(diǎn)擊左下角的設(shè)置圖標(biāo)，修改保存的路徑。

以上是矩池云網(wǎng)盤 Mac版 界面，目前矩池云網(wǎng)盤客戶端支持 Windows 和 Mac ，如果有需要可以聯(lián)系矩池云微信小助手，僅需發(fā)送你的矩池云賬號，即可申請開通。

進(jìn)階使用 Disco Diffusion : 輸入文字

在修改描述語部分，我們在0后面的語句進(jìn)行修改即可，100后面的內(nèi)容可以維持原貌。

默認(rèn)模式下的描述語如下：

["a beautiful painting of a singular lighthouse, shining its light across a tumultuous sea of blood by greg rutkowski and thomas kinkade, Trending on artstation."]

我們看到，句法結(jié)構(gòu)可以總結(jié)為：圖像種類 + 主題描述 + 藝術(shù)家描述 + 風(fēng)格調(diào)整。

輸入描述語（Prompts）的時(shí)候，圖像種類、主題描述、藝術(shù)家描述和風(fēng)格保持在同一個范疇中，AI 對于某位指定藝術(shù)家和該位藝術(shù)家之外的風(fēng)格進(jìn)行組合的情況，會產(chǎn)生迷惑。在實(shí)踐中，我們發(fā)現(xiàn)使用藝術(shù)家風(fēng)格對AI的構(gòu)圖、顏色的調(diào)整非常有效，當(dāng)然這也盡顯于那些納入 DD 本身。

例如，在設(shè)置 Prompts 為 "A beautiful painting of castle on the cloud by Studio Ghibli, Trending on artstation." ?出圖情況為，云和城堡都為宮崎駿工作室出品的作品中常見的鏡像，輸入內(nèi)容相對具有一致性，因此在圖像的風(fēng)格特色比較明顯。

圖像類型（Type/Subject）

"A beautiful painting of"，是對圖像進(jìn)行描述，一定程度上，這一描述也會影響到圖像的風(fēng)格。譬如 sketch、pencil drawing, matte painting, watercolor painting, Oil painting, Portrait photography, Portrait，都是可以拓展嘗試的關(guān)鍵詞，其對應(yīng)的繪畫風(fēng)格。

主題描述（Main idea）

"a singular lighthouse, shining its light across a tumultuous sea of blood"，是對畫面細(xì)節(jié)的描述。畫面描述也是所有描述中需要費(fèi)心思研究的部分，會因?yàn)樵谶@一部分中，決定了畫面中出現(xiàn)的形象。

在描述中，盡量使用確切的語句，比如確定的個數(shù)（比如寫出具體的數(shù)字而不是 many）、形象的詞而不是概述的詞，同時(shí)不使用否定詞，這一部分再在上手輸入實(shí)踐的時(shí)候，會有更深刻的體會。

藝術(shù)家（Artist）

"by greg rutkowski and thomas kinkade"是對藝術(shù)家的描述，可以包含一名或多名藝術(shù)家的風(fēng)格。比如嘗試奇幻的景色風(fēng)格，可以用 Tyler Edlin, Mark Simonetti 的風(fēng)格；科幻類，可以嘗試Jim Burns, John Harris, Dean Ellis, H.R. Giger 的風(fēng)格；動畫類可以嘗試 Studio Ghibli, Makoto Shinkai 的風(fēng)格。

以下為社區(qū)中的嘗試過的一些知名藝術(shù)家的風(fēng)格，可以作為參考。

Hiroshi Yoshida, Max Ernst, Paul Signac, Salvador Dali, James Gurney, Thomas Kinkade, Ivan Aivazovsky, Italo Calvino, Norman Rockwell, Albert Bierstadt, Giorgio de Chirico, Rene Magritte, Ross Tran, Marc Simonetti, John Harris, Hilma af Klint, George Inness, Pablo Picasso, William Blake, Wassily i Kandinsky, Peter Mohrbacher, Greg Rutkowski, Paul Signac, Steven Belledin, Studio Ghibli, John Singer Sargent, Alfons Mucha, Gustav Klimt, John William Waterhouse, Zdzis?aw Beksiński, Edmund Dulac, Arthur Rackham, Ivan Bilibin, Gerald Brom

風(fēng)格調(diào)整

"yellow color scheme" 是對畫面顏色風(fēng)格的描述；參考渲染方式為 Trending on artstation（專業(yè)CG藝術(shù)家社區(qū)，被稱作A站）。參考的種類/渲染方式可以根據(jù)創(chuàng)作者的設(shè)想，進(jìn)行設(shè)定。4k resolution, 8k resolution, Unsplash photo contest winner, Deviantart, pixelart 3d art, Digital art, Blender, Octane Render, Unreal engine, , Acrylic painting, Shot on film 35mm lens, ?Character design, Cgsociety, Mandelbulb 3D, ?Trending on Flickr, Vaporwave 等等。

值得注意的是，這里有提及到 4K resolution / 8K resolusion，這并不代表著圖片將渲染為對應(yīng)的尺寸，尺寸還需要在 Setting 中進(jìn)行設(shè)置，這里指的是 AI 將吸取哪些 4K / 8K 分辨率的圖像中所具備的特征。

輸入方式對輸出畫面的影響

輸入的結(jié)構(gòu)和輸出的圖像有較大關(guān)系，在保持其他設(shè)置100% （包括隨機(jī)變量）一致的情況下，用以下Prompts進(jìn)行輸入

"a magic realism painting by Gediminas Pranckevicius depicting an abandoned building in a field of flowers landscape, vibrant, cinematic lighting"

其結(jié)果為：

保持同樣 Prompts 內(nèi)容，僅僅改變斷句方式，輸入

"a magic realism painting by Gediminas Pranckevicius depicting an abandoned building in a field of flowers landscape", "vibrant cinematic lighting"

其結(jié)果為：

輸入不同句式會對構(gòu)圖產(chǎn)生比較大的影響，這應(yīng)當(dāng)是 DD 模型的自主性比較強(qiáng)造成的。在語義方面，正如先前所說到，CLIP-Guided，意味著輸入文字的含義如果存在誤讀的可能，那么 CLIP 也很有可能會對其進(jìn)行誤讀，最終生成的圖像也就有可能產(chǎn)生不一樣的結(jié)果，這一過程可以在打磨圖像的過程中持續(xù)體會。

圖片生成來自于：https://www.matpool.com/

參考藝術(shù)家風(fēng)格：https://weirdwonderfulai.art/resources/disco-diffusion-70-plus-artist-studies/

參考關(guān)鍵詞： https://imgur.com/a/SnSIQRu