Disco Diffusion AI作畫離線版V3.10,小說訓(xùn)練、圖片配置導(dǎo)入功能,都來了!

本周V3.10帶來了小說訓(xùn)練、圖片配置導(dǎo)入等功能。
V3.10版本:2022-08-13
www.bilibili.com/video/BV15U4y1C7Fe
1、支持導(dǎo)入AI作畫配置文件,也就是images_out文件夾下的json配置文件,注意必須是DD5_V3.10生成的圖片配置文件才能導(dǎo)入,之前的json文件不支持;
2、支持導(dǎo)入AI作畫配置文件,支持生成的圖片參數(shù)導(dǎo)入注意必須是DD5_V3.10生成的圖片才能導(dǎo)入,之前的圖片文件不支持,此選項可以參數(shù)設(shè)置里關(guān)掉;
3、加入小說訓(xùn)練模型,導(dǎo)入txt格式的小說集,選擇參數(shù)即可訓(xùn)練,也是看loss數(shù)值降到比較低的模型才是好模型;
4、修改界面上一些文字顯示歧義或者錯誤;
5、檢測更新調(diào)用騰訊文檔,很多用戶反應(yīng)上不了GitHub檢測不了更新,騰訊文檔肯定沒問題了吧,( ╯□╰ )。再來幾張我用離線版跑常規(guī)模式DD5跑的圖:










01?軟件概覽
軟件名字叫做:AI作畫離線版V3.10(基于Disco Diffusion 5.6),基于GitHub上的開源項目Disco Diffusion。如下,軟件主界面,還是以操作簡單為主:

02?軟件安裝
軟件非常大,因為有很多離線模型,下載完成后,按照網(wǎng)盤里的pdf教程即可進(jìn)行體驗??芍苯訁⒖糂站視頻進(jìn)行安裝:https://www.bilibili.com/video/BV15U4y1C7Fe
軟件界面如下所示:

03?軟件功能介紹
功能一:Disco Diffusion作畫
軟件目錄文件夾的settings.json就是作圖配置文件,當(dāng)然離線版本可通過界面進(jìn)行設(shè)置了。1、描述詞設(shè)定:描述詞之前手動修改json文件經(jīng)常有小伙伴少輸入標(biāo)點導(dǎo)致出錯,界面化可以避免這個問題,如下默認(rèn)的描述,每段(回車換行算一段)都是同一描述的不同權(quán)重關(guān)鍵詞。

上面的描述對應(yīng)的手動修改json如下,也就是界面化無需引號、逗號來分割同一描述的不同權(quán)重部分。

隊列模式下的描述詞設(shè)定:當(dāng)如下勾選了隊列模式后,通過固定的句式,可以生成大量的配置文件,也就可以實現(xiàn)生成多套參數(shù)的圖。

比如我的文字描述這樣描述:a beautiful girl by {400|1|藝術(shù)家},當(dāng)點擊保存設(shè)置后就會生成400個藝術(shù)家的不同配置文件。注意這個格式{400|1|藝術(shù)家}中的{}、|這些不能缺少,完全按照固定格式來,400代表生成400個配置文件,1代表by一個藝術(shù)家名字(如果設(shè)置成2就代表by兩個藝術(shù)家名字混搭),藝術(shù)家代表的是軟件目錄下【描述風(fēng)格庫】文件夾下的藝術(shù)家.csv文件,而藝術(shù)家.csv文件如下所示,兩列數(shù)據(jù):

軟件支持各位自建這種語料庫,大家可以復(fù)制csv建立副本,然后在副本里修改,注意也是按照兩列格式來,第一列是描述,第二列是解釋。比如下面我建的顏色.csv文件,簡單寫了一下,也是一定嚴(yán)格兩列來哈,且都放在軟件目錄下的【描述風(fēng)格庫】文件夾。

2、幫助相關(guān):對于大多數(shù)參數(shù),都加入了幫助按鈕,鼠標(biāo)劃到對應(yīng)幫助圖標(biāo),駐留即可顯示參數(shù)含義,如下所示,當(dāng)然大多數(shù)都是翻譯的官方文檔,加入自己的一點注解。

如果想要加入自己對參數(shù)的注釋,可以修改軟件目錄下的tip.json,如下對應(yīng)的描述修改即可,\n為換行。

3、參考圖:參考圖也人性化了,直接點擊按鈕選擇圖片即可,注意看參數(shù)旁邊的問號,一般加入?yún)⒖紙D時,skip_steps這個參數(shù)需要設(shè)置大一些。

參考圖的可玩性很高,比如下面的圖都是基于參考圖,用的自定義模型人像1.5,AI繼續(xù)繪制的,有的圖我也不用貼上參考圖了吧:



隊列模式下的參考圖:當(dāng)如下勾選了隊列模式后,可以批量選擇多張參考圖,可以生成大量的配置文件,也就可以實現(xiàn)生成相同參數(shù)但參考圖不同的圖。


4、AI作畫模型選擇:參數(shù)設(shè)置里提供兩種繪圖Diffusion模型引擎選擇,原版DD、像素版DD以及其他自定義的PT格式模型,如下圖設(shè)置:

像素模式作畫引擎也可以試試,如下就是像素風(fēng)格的圖,也挺有意思:




自定義模型比如選擇國畫風(fēng)或者人像的PT模型文件,然后保存設(shè)置即可。

如下演示的是國畫模型和人像1.5模型的測試樣圖:







5、擴(kuò)散模型訓(xùn)練:上面的自定義模型,諸如人像和國畫都可以通過訓(xùn)練來實現(xiàn),如下點擊自己訓(xùn)練Diffusion模型按鈕即可打開訓(xùn)練設(shè)置界面,3.10版本支持在原來的模型基礎(chǔ)上繼續(xù)訓(xùn)練,支持訓(xùn)練多少步停下訓(xùn)練,具體操作可以看視頻:https://www.bilibili.com/video/BV1Ca411S71s。

6、提前終止作畫:當(dāng)作畫步數(shù)超過5步時,點擊提前終止按鈕即可終止作畫,如下動圖所示:

7、導(dǎo)入配置:支持導(dǎo)入圖片輸出目錄images_out文件下的DD作畫json配置文件或者生成的圖片,如下點擊導(dǎo)入配置按鈕即可:

默認(rèn)寫入作圖參數(shù)到輸出圖片中,考慮到隱私問題,軟件支持去掉此功能,如下去掉勾選即可:

功能二:圖片AI高清放大
設(shè)置不同的放大模型和圖片放大倍數(shù),高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD,當(dāng)輸入的圖片尺寸很大時,容易超顯存,這時我們修改拼圖大小這個參數(shù)即可,比如設(shè)置拼圖大小512時,6G顯存選擇realesrgan_x4plus模型對1920*1080圖片進(jìn)行4倍放大測試不超顯存。

AI高清放大是一個免費(fèi)的獨立功能,如下軟件主界面點擊AI高清放大按鈕,選擇圖片(支持批量),即可高清放大圖片。

如下,小圖經(jīng)過高清放大的對比效果,二次元和三次元都能勝任。






AI繪畫輸出圖片目錄在軟件目錄\images_out,如下主界面下方點擊打開圖片輸出目錄按鈕即可打開。

功能三:AI圖片轉(zhuǎn)3D
AI圖片轉(zhuǎn)3D輸出視頻目錄:軟件目錄\video;AI圖片轉(zhuǎn)3D也是一個獨立免費(fèi)功能,如下參數(shù)設(shè)置可以設(shè)置生成視頻時長和攝像頭位置(位置一般不改):

然后,如下軟件主界面點擊AI圖片轉(zhuǎn)3D,選擇圖片(支持批量),轉(zhuǎn)換圖片成如下的視頻形式,這個轉(zhuǎn)換速度較慢,5到30分鐘一張圖。

基本上就是原作項目介紹的這種效果,一張精圖轉(zhuǎn)換成3D的效果,不過相比原作我做了改進(jìn),支持原圖尺寸大小的視頻。

功能四:圖片風(fēng)格仿造
如下點擊圖片風(fēng)格仿造按鈕,選擇圖片即可自動出幾張風(fēng)格相近的圖,此功能需要至少10GB顯存,參數(shù)設(shè)置可以設(shè)置每次仿造圖片數(shù)。




功能五:二次元生成
如下點擊二次元小姐姐生成按鈕,即可繪制上百張二次元圖片:


如下可在參數(shù)設(shè)置里,設(shè)置各種參數(shù)以生成不同類型的二次元小姐姐:

功能六:三次元生成
和二次元生成功能一樣,如下點擊三次元生成按鈕,即可繪制多張三次元全身圖:

如下可在參數(shù)設(shè)置里,設(shè)置各種參數(shù)以生成不同類型的三次元圖片:

功能七:AI寫小說
如下點擊AI寫小說按鈕,設(shè)置開頭,即可續(xù)寫不同輪數(shù)的文字:


點擊訓(xùn)練小說,如下可以選擇自己的小說語料txt,訓(xùn)練自己的模型:

04?顯卡要求
需要至少3GB顯存,且必須是英偉達(dá)顯卡,AMD、intel等不支持。各種顯存測試參數(shù)可參考:https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。注:默認(rèn)參數(shù)因為選了3個CLIP模型,如果想要尺寸更大,少選幾個模型即可,但效果肯定有所影響,諸如6G獨顯的2060或者1060顯卡,只選如下第一個模型,尺寸768×512都沒問題:

05、常見錯誤
1、爆顯存
下面這些都是圖片設(shè)置過大、模型選擇過多等導(dǎo)致的爆顯存,或者3GB顯存以下的顯卡:(1) Unable to find a valid cuDNN algorithm to run convolution
(2) CUDA out of memory
2、黑圖
很多小伙伴生成的圖一直是黑的,目前發(fā)現(xiàn)的1660、1660s、1660ti都有問題,原因是中途生成NAN數(shù)據(jù),解決方案正在尋找,但1060、1070、1080,甚至980ti等都沒有問題,看來問題都在16代顯卡上。
06?激活
軟件點擊AI作畫按鈕后,會彈出激活窗設(shè)定,按照指示聯(lián)系我獲取激活碼即可。
07?小結(jié)
這個項目確實很有意思,唯一的問題就是對顯卡要求高,最起碼需要英偉達(dá)3G及以上顯存,AMD等其他顯卡不支持,另外還有一些坑要填,諸如很多網(wǎng)友感興趣的動畫等,這個得慢慢來了,但后續(xù)版本肯定會有,感興趣的可以體驗一下3.10版本了,更詳細(xì)的作圖參數(shù)、教程多刷刷B站相關(guān)視頻即可。