本周V4.0帶來了Stable Diffusion作畫功能和人聲伴奏分離功能。

V4.0版本：2022-08-29

1、加入Stable Diffusion作畫模型，主界面點(diǎn)擊【SD作畫】按鈕即可Stable Diffusion作畫，參數(shù)設(shè)置里是SD作畫設(shè)置，支持和DD作畫一樣的隊(duì)列模式等功能；??

2、加入人聲伴奏分離功能，導(dǎo)入歌曲，即可分離人聲、伴奏、鼓點(diǎn)等，支持批量選擇音頻。

再來幾張我用離線版SD（Stable Diffusion）跑的圖：

01?軟件概覽

軟件名字叫做：AI作畫離線版V4.0(基于Disco Diffusion 5.6與Stable Diffusion 1.4），基于GitHub上的開源項(xiàng)目Disco Diffusion與Stable Diffusion。

如下，軟件主界面，還是以操作簡單為主：

02?軟件安裝

軟件非常大，因?yàn)橛泻芏嚯x線模型，下載完成后，按照網(wǎng)盤里的pdf教程即可進(jìn)行體驗(yàn)。

軟件界面如下所示：

03 軟件功能介紹

功能一：DD(Disco Diffusion)作畫

軟件目錄文件夾的settings.json就是作圖配置文件，當(dāng)然離線版本可通過界面進(jìn)行設(shè)置了。

1、描述詞設(shè)定：描述詞之前手動修改json文件經(jīng)常有小伙伴少輸入標(biāo)點(diǎn)導(dǎo)致出錯(cuò)，界面化可以避免這個(gè)問題，如下默認(rèn)的描述，每段（回車換行算一段）都是同一描述的不同權(quán)重關(guān)鍵詞。

上面的描述對應(yīng)的手動修改json如下，也就是界面化無需引號、逗號來分割同一描述的不同權(quán)重部分。

隊(duì)列模式下的描述詞設(shè)定：當(dāng)如下勾選了隊(duì)列模式后，通過固定的句式，可以生成大量的配置文件，也就可以實(shí)現(xiàn)生成多套參數(shù)的圖。

比如我的文字描述這樣描述：a beautiful girl by {400|1|藝術(shù)家}，當(dāng)點(diǎn)擊保存設(shè)置后就會生成400個(gè)藝術(shù)家的不同配置文件。

注意這個(gè)格式{400|1|藝術(shù)家}中的{}、|這些不能缺少，完全按照固定格式來，400代表生成400個(gè)配置文件，1代表by一個(gè)藝術(shù)家名字（如果設(shè)置成2就代表by兩個(gè)藝術(shù)家名字混搭），藝術(shù)家代表的是軟件目錄下【描述風(fēng)格庫】文件夾下的藝術(shù)家.csv文件，而藝術(shù)家.csv文件如下所示，兩列數(shù)據(jù)：

軟件支持各位自建這種語料庫，大家可以復(fù)制csv建立副本，然后在副本里修改，注意也是按照兩列格式來，第一列是描述，第二列是解釋。比如下面我建的顏色.csv文件，簡單寫了一下，也是一定嚴(yán)格兩列來哈，且都放在軟件目錄下的【描述風(fēng)格庫】文件夾。

2、幫助相關(guān)：對于大多數(shù)參數(shù)，都加入了幫助按鈕，鼠標(biāo)劃到對應(yīng)幫助圖標(biāo)，駐留即可顯示參數(shù)含義，如下所示，當(dāng)然大多數(shù)都是翻譯的官方文檔，加入自己的一點(diǎn)注解。

如果想要加入自己對參數(shù)的注釋，可以修改軟件目錄下的tip.json，如下對應(yīng)的描述修改即可，\n為換行。

3、參考圖：參考圖也人性化了，直接點(diǎn)擊按鈕選擇圖片即可，注意看參數(shù)旁邊的問號，一般加入?yún)⒖紙D時(shí)，skip_steps這個(gè)參數(shù)需要設(shè)置大一些。

參考圖的可玩性很高，比如下面的圖都是基于參考圖，用的自定義模型人像1.5，AI繼續(xù)繪制的，有的圖我也不用貼上參考圖了吧：

▼

隊(duì)列模式下的參考圖：當(dāng)如下勾選了隊(duì)列模式后，可以批量選擇多張參考圖，可以生成大量的配置文件，也就可以實(shí)現(xiàn)生成相同參數(shù)但參考圖不同的圖。

▼

4、AI作畫模型選擇：參數(shù)設(shè)置里提供兩種繪圖Diffusion模型引擎選擇，原版DD、像素版DD以及其他自定義的PT格式模型，如下圖設(shè)置：

▼

像素模式作畫引擎也可以試試，如下就是像素風(fēng)格的圖，也挺有意思：

▼

自定義模型比如選擇國畫風(fēng)或者人像的PT模型文件，然后保存設(shè)置即可。

▼

如下演示的是國畫模型和人像1.5模型的測試樣圖：

▼

5、擴(kuò)散模型訓(xùn)練：上面的自定義模型，諸如人像和國畫都可以通過訓(xùn)練來實(shí)現(xiàn)，如下點(diǎn)擊自己訓(xùn)練Diffusion模型按鈕即可打開訓(xùn)練設(shè)置界面，4.0版本支持在原來的模型基礎(chǔ)上繼續(xù)訓(xùn)練，支持訓(xùn)練多少步停下訓(xùn)練，具體操作可以看視頻：https://www.bilibili.com/video/BV1Ca411S71s。

6、提前終止作畫：當(dāng)作畫步數(shù)超過5步時(shí)，點(diǎn)擊提前終止按鈕即可終止作畫，如下動圖所示：

▼

7、導(dǎo)入配置：支持導(dǎo)入圖片輸出目錄images_out文件下的DD作畫json配置文件或者生成的圖片，如下點(diǎn)擊導(dǎo)入配置按鈕即可：

▼

默認(rèn)寫入作圖參數(shù)到輸出圖片中，考慮到隱私問題，軟件支持去掉此功能，如下去掉勾選即可：

▼

8、AI圖片描述解析：如下按鈕點(diǎn)擊，選擇圖片，稍等片刻即可顯示出描述，當(dāng)然這個(gè)描述有所出入，但當(dāng)作描述來用畫出的圖也確實(shí)不錯(cuò)。

▼

下面演示幾張圖，解析出來的描述：

a?couple of people riding bikes down a road, a matte painting by Makoto Shinkai, featured on pixiv, rayonism, official art, anamorphic lens flare, matte painting

▼

a group of iron man standing next to each other in the ocean, a comic book panel by Paul Pelletier, featured on deviantart, antipodeans, marvel comics, reimagined by industrial light and magic, imax

▼

a painting of a landscape with mountains and trees, a detailed matte painting by Katsukawa Shunsen, pixiv, shin hanga, ukiyo-e, matte painting, detailed painting

▼

a painting of a man with flowers in his lap, an ultrafine detailed painting by Albert Swinden, pexels, metaphysical painting, creative commons attribution, chalk art, detailed painting

▼

功能二：SD(Stable Diffusion)作畫

SD作畫功能和DD功能基本一致，同樣支持隊(duì)列模式、參考圖等功能，SD作畫速度更快，且畫的更加具象，文章開頭也演示了SD的作品，下面主要介紹SD的參數(shù)設(shè)置。

同樣SD也是具有文字描述和參考圖功能，還有一些其他參數(shù)，大家可以鼠標(biāo)懸停到參數(shù)旁邊的問號就會有說明。

▼

SD默認(rèn)會勾選低顯存占用模式，對于小顯存用戶還是比較友好的，實(shí)測4G顯存圖片尺寸（384×640、512×512）無問題，6G顯存960×512無問題，且一張圖生成世界也基本控制在兩三分鐘以內(nèi)，相比DD速度快很多。

▼

功能三：圖片AI高清放大

設(shè)置不同的放大模型和圖片放大倍數(shù)，高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD，當(dāng)輸入的圖片尺寸很大時(shí)，容易超顯存，這時(shí)我們修改拼圖大小這個(gè)參數(shù)即可，比如設(shè)置拼圖大小512時(shí)，6G顯存選擇realesrgan_x4plus模型對1920*1080圖片進(jìn)行4倍放大測試不超顯存。

▼

AI高清放大是一個(gè)免費(fèi)的獨(dú)立功能，如下軟件主界面點(diǎn)擊高清放大按鈕，選擇圖片（支持批量），即可高清放大圖片。

▼

如下，小圖經(jīng)過高清放大的對比效果，二次元和三次元都能勝任。

功能四：老照片修復(fù)

如下軟件主界面點(diǎn)擊老照片修復(fù)按鈕，選擇圖片（支持批量），即可高清修復(fù)老照片，僅對人像進(jìn)行高清修復(fù)。

▼

如下，經(jīng)過高清人臉修復(fù)對比效果動圖演示：

▼

功能五：AI圖片轉(zhuǎn)3D

AI圖片轉(zhuǎn)3D輸出視頻目錄：軟件目錄\video；AI圖片轉(zhuǎn)3D也是一個(gè)獨(dú)立免費(fèi)功能，如下參數(shù)設(shè)置可以設(shè)置生成視頻時(shí)長和攝像頭位置（位置一般不改）：

▼

然后，如下軟件主界面點(diǎn)擊圖片轉(zhuǎn)3D，選擇圖片（支持批量），轉(zhuǎn)換圖片成如下的視頻形式，這個(gè)轉(zhuǎn)換速度較慢，5到30分鐘一張圖。

▼

基本上就是原作項(xiàng)目介紹的這種效果，一張精圖轉(zhuǎn)換成3D的效果，不過相比原作我做了改進(jìn)，支持原圖尺寸大小的視頻。

▼

功能六：圖片風(fēng)格仿造

如下點(diǎn)擊圖片風(fēng)格仿造按鈕，選擇圖片即可自動出幾張風(fēng)格相近的圖，此功能需要至少10GB顯存，參數(shù)設(shè)置可以設(shè)置每次仿造圖片數(shù)。

▼

功能七：二次元生成

如下點(diǎn)擊二次元小姐姐生成按鈕，即可繪制上百張二次元圖片：

▼

如下可在參數(shù)設(shè)置里，設(shè)置各種參數(shù)以生成不同類型的二次元小姐姐：

▼

功能八：三次元生成

和二次元生成功能一樣，如下點(diǎn)擊三次元生成按鈕，即可繪制多張三次元全身圖：

▼

如下可在參數(shù)設(shè)置里，設(shè)置各種參數(shù)以生成不同類型的三次元圖片：

▼

功能九：AI寫小說

如下點(diǎn)擊AI寫小說按鈕，設(shè)置開頭，即可續(xù)寫不同輪數(shù)的文字：

▼

點(diǎn)擊訓(xùn)練小說，如下可以選擇自己的小說語料txt，訓(xùn)練自己的模型：

▼

功能十：伴奏人聲分離

如下點(diǎn)擊伴奏人聲分離按鈕，選擇歌曲（支持批量），即可自動分離人聲、伴奏、鼓點(diǎn)和低音，效果很厲害。

▼

04?顯卡要求

需要至少3GB顯存，且必須是英偉達(dá)顯卡，AMD、intel等不支持。

各種顯存測試參數(shù)可參考：https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。

注：DD默認(rèn)參數(shù)因?yàn)檫x了3個(gè)CLIP模型，如果想要尺寸更大，少選幾個(gè)模型即可，但效果肯定有所影響，諸如6G獨(dú)顯的2060或者1060顯卡，只選如下第一個(gè)模型，尺寸768×512都沒問題：

▼

05?常見錯(cuò)誤

1、爆顯存

下面這些都是圖片設(shè)置過大、模型選擇過多等導(dǎo)致的爆顯存，或者3GB顯存以下的顯卡：

（1） Unable to find a valid cuDNN algorithm to run convolution

（2） CUDA out of memory

2、黑圖

很多小伙伴生成的圖一直是黑的，目前發(fā)現(xiàn)的1660、1660s、1660ti都有問題，原因是中途生成NAN數(shù)據(jù)，解決方案正在尋找。

但1060、1070、1080，甚至980ti、970等都沒有問題，看來問題都在16代顯卡上。

06?激活

軟件點(diǎn)擊AI作畫按鈕后，會彈出激活窗設(shè)定，按照指示聯(lián)系我獲取激活碼即可。

07?小結(jié)

這個(gè)項(xiàng)目確實(shí)很有意思，唯一的問題就是對顯卡要求高，最起碼需要英偉達(dá)3G及以上顯存，AMD等其他顯卡不支持，另外還有一些坑要填，諸如很多網(wǎng)友感興趣的動畫等，這個(gè)得慢慢來了，但后續(xù)版本肯定會有，感興趣的可以體驗(yàn)一下4.0版本了，更詳細(xì)的作圖參數(shù)、教程多刷刷B站相關(guān)視頻即可。