Disco Diffusion AI作畫離線版V3.8,人像、國畫都能畫,還能自己訓練繪畫模型

本周V3.8帶來了自己訓練擴散模型功能和AI寫小說功能,如下是我用3000張國畫訓練的國畫模型畫出來的圖:




如下人像模型的生成圖:






V3.8版本:2022-07-18
1、加入自定義的幾種模型:人像模型、科幻模型、國畫模型,使用這幾種模型后,畫出的風格傾向于模型對應(yīng)的風格;
2、加入自己訓練擴散模型的功能,這樣上面的自定義模型,你也可以自己訓練,6GB顯存就能訓練出國畫模型;??
3、加入AI寫小說功能,這個功能比較簡單,輸入開頭,即可續(xù)寫;
4、圖片風格仿造功能,支持仿造圖片數(shù)量設(shè)置,此功能10GB顯存以下目前直接不讓用了,因為跑不動;??
5、二次元小姐姐生成功能輪播模式,支持設(shè)置輪播時長;
6、刪除參數(shù)設(shè)置里的go_big模式,此模式一直沒做占空,現(xiàn)在測試作用不大;
7、其他bug修復。
再來幾張我用離線版跑常規(guī)模式DD5跑的圖:



01?軟件概覽
軟件名字叫做:AI作畫離線版V3.8(基于Disco Diffusion 5.3),基于GitHub上的開源項目Disco Diffusion,目前僅支持靜態(tài)圖生成。
如下,軟件主界面,還是以操作簡單為主:

02?軟件安裝
軟件非常大,因為有很多離線模型,當然下載過2代的,這些模型可以復用哈。下載完成后,按照網(wǎng)盤里的word教程即可進行體驗。
直接參考B站視頻進行安裝:https://www.bilibili.com/video/BV1Ca411S71s
軟件界面如下所示:

03?軟件功能介紹
功能一:Disco Diffusion作畫
軟件目錄文件夾的settings.json就是作圖配置文件,當然離線版本可通過界面進行設(shè)置了。
1、描述詞設(shè)定:描述詞之前手動修改json文件經(jīng)常有小伙伴少輸入標點導致出錯,界面化可以避免這個問題,如下默認的描述,每段(回車換行算一段)都是同一描述的不同權(quán)重關(guān)鍵詞。

上面的描述對應(yīng)的手動修改json如下,也就是界面化無需引號、逗號來分割同一描述的不同權(quán)重部分。

2、幫助相關(guān):對于大多數(shù)參數(shù),都加入了幫助按鈕,鼠標劃到對應(yīng)幫助圖標,駐留即可顯示參數(shù)含義,如下所示,當然大多數(shù)都是翻譯的官方文檔,加入自己的一點注解。

如果想要加入自己對參數(shù)的注釋,可以修改軟件目錄下的tip.json,如下對應(yīng)的描述修改即可,\n為換行。

3、參考圖:參考圖也人性化了,直接點擊按鈕選擇圖片即可,注意看參數(shù)旁邊的問號,一般加入?yún)⒖紙D時,skip_steps這個參數(shù)需要設(shè)置大一些。

參考圖的可玩性很高,比如下面的圖都是基于參考圖AI繼續(xù)繪制的,哪張是參考圖各位肯定能看出來:
▼









4、AI作畫引擎選擇:參數(shù)設(shè)置里提供兩種繪圖Diffusion模型引擎選擇,原版DD、像素版DD以及其他自定義的PT格式模型,如下圖設(shè)置:

像素模式作畫引擎也可以試試,如下就是像素風格的圖,也挺有意思:
▼




自定義模型比如選擇國畫風或者人像的PT模型文件,即可做出文章開頭的國畫風和人像。

5、擴散模型訓練:上面的自定義模型,諸如人像和國畫都可以通過訓練來實現(xiàn),如下點擊自己訓練Diffusion模型按鈕即可打開訓練設(shè)置界面,具體操作可以看視頻:https://www.bilibili.com/video/BV1Ca411S71s。

功能二:圖片AI高清放大
設(shè)置不同的放大模型和圖片放大倍數(shù),高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD,當輸入的圖片尺寸很大時,容易超顯存,這時我們修改拼圖大小這個參數(shù)即可,比如設(shè)置拼圖大小512時,6G顯存選擇realesrgan_x4plus模型對1920*1080圖片進行4倍放大測試不超顯存。

AI高清放大是一個免費的獨立功能,如下軟件主界面點擊AI高清放大按鈕,選擇圖片(支持批量),即可高清放大圖片。

如下,小圖經(jīng)過高清放大的對比效果,二次元和三次元都能勝任。


AI繪畫輸出圖片目錄在軟件目錄\images_out,如下主界面下方點擊打開圖片輸出目錄按鈕即可打開。

功能三:AI圖片轉(zhuǎn)3D
AI圖片轉(zhuǎn)3D輸出視頻目錄:軟件目錄\video;AI圖片轉(zhuǎn)3D也是一個獨立免費功能,如下參數(shù)設(shè)置可以設(shè)置生成視頻時長和攝像頭位置(位置一般不改):

然后,如下軟件主界面點擊AI圖片轉(zhuǎn)3D,選擇圖片(支持批量),轉(zhuǎn)換圖片成如下的視頻形式,這個轉(zhuǎn)換速度較慢,5到30分鐘一張圖。

基本上就是原作項目介紹的這種效果,一張精圖轉(zhuǎn)換成3D的效果,不過相比原作我做了改進,支持原圖尺寸大小的視頻。

功能四:圖片風格仿造
如下點擊圖片風格仿造按鈕,選擇圖片即可自動出幾張風格相近的圖,此功能需要至少10GB顯存,參數(shù)設(shè)置可以設(shè)置每次仿造圖片數(shù)。




功能五:二次元小姐姐生成
如下點擊二次元小姐姐生成按鈕,即可繪制上百張二次元圖片:


如下可在參數(shù)設(shè)置里,設(shè)置各種參數(shù)以生成不同類型的二次元小姐姐:

功能六:AI寫小說
如下點擊AI寫小說按鈕,設(shè)置開頭,即可續(xù)寫不同輪數(shù)的文字:


04?顯卡要求
需要至少5GB顯存,且必須是英偉達顯卡,AMD不支持。
各種顯存測試參數(shù)可參考:https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。
注:默認參數(shù)因為選了3個CLIP模型,如果想要尺寸更大,少選幾個模型即可,但效果肯定有所影響,諸如6G獨顯的2060或者1060顯卡,只選如下第一個模型,尺寸768×512都沒問題:

05?常見錯誤
1、爆顯存
下面這些都是圖片設(shè)置過大導致的爆顯存,或者5GB以下的顯卡:
(1) Unable to find a valid cuDNN algorithm to run convolution
(2) CUDA out of memory
2、黑圖
很多小伙伴生成的圖一直是黑的,這種貌似是10代及以下顯卡,目前發(fā)現(xiàn)的1660、1660s、1660ti都有問題,原因是中途生成NAN數(shù)據(jù),解決方案正在尋找,但1060沒有問題,看來問題都在16代顯卡上。
06?激活
軟件點擊AI作畫按鈕后,會彈出激活窗設(shè)定,按照指示聯(lián)系我獲取激活碼即可。
07?小結(jié)
這個項目確實很有意思,唯一的問題就是對顯卡要求高,最起碼需要英偉達5G及以上顯存,AMD等其他顯卡不支持,另外還有一些坑要填,諸如很多網(wǎng)友感興趣的動畫等,這個得慢慢來了,但后續(xù)版本肯定會有,感興趣的可以體驗一下3.8版本了,更詳細的作圖參數(shù)、教程多刷刷B站相關(guān)視頻即可。