Disco Diffusion AI作畫離線版V3.9,三次元全身生成、終止作畫、更加高級(jí)的隊(duì)列模式

本周V3.9帶來了三次元全身生成、提前終止功能、更加高級(jí)的隊(duì)列模式、自訓(xùn)練模型斷點(diǎn)訓(xùn)練等功能。如下為三次元全身生成動(dòng)圖演示:

V3.9版本:2022-07-30
1、修復(fù)json文件損壞,打開參數(shù)設(shè)置崩潰的bug;?
?2、軟件目錄的【描述風(fēng)格庫】是后續(xù)快捷描述的調(diào)用庫,都是csv文件,各位可以自己按照模板csv文件格式創(chuàng)建自己的模板庫,軟件自動(dòng)調(diào)用;??
3、添加隨機(jī)描述批量模式,在隊(duì)列模式下,文字描述格式輸入by {400|1|藝術(shù)家},代表從【描述風(fēng)格庫】文件夾得藝術(shù)家.csv文件里調(diào)用單個(gè)藝術(shù)家,生成400個(gè)設(shè)置文件,也就是同樣描述下僅藝術(shù)家不一樣,400個(gè)藝術(shù)家的描述,具體還得看B站視頻介紹;??
4、隊(duì)列模式下,可以多選參考圖,生成多個(gè)setting文件,也就是同樣的參數(shù),不同的參考圖;??
5、擴(kuò)散模型訓(xùn)練支持選擇多少步停止訓(xùn)練、支持基于模型基礎(chǔ)上繼續(xù)訓(xùn)練;??
6、修復(fù)某些擴(kuò)散模型加載報(bào)錯(cuò)的問題;??
7、加入三次元真人全身生成,和原先的二次元參數(shù)設(shè)置基本一致;??
8、加入AI作畫提前終止功能,注意當(dāng)繪制5步以上時(shí),才可以點(diǎn)擊終止按鈕。
再來幾張我用離線版跑常規(guī)模式DD5跑的圖:



01?軟件概覽
軟件名字叫做:AI作畫離線版V3.9(基于Disco Diffusion 5.6),基于GitHub上的開源項(xiàng)目Disco Diffusion。如下,軟件主界面,還是以操作簡(jiǎn)單為主:

02?軟件安裝
軟件非常大,因?yàn)橛泻芏嚯x線模型,下載完成后,按照網(wǎng)盤里的pdf教程即可進(jìn)行體驗(yàn)??芍苯訁⒖糂站視頻進(jìn)行安裝(視頻演示的是3.8版本安裝教程,但安裝套路完全一致):https://www.bilibili.com/video/BV1Ca411S71s軟件界面如下所示:

03?軟件功能介紹
功能一:Disco Diffusion作畫
軟件目錄文件夾的settings.json就是作圖配置文件,當(dāng)然離線版本可通過界面進(jìn)行設(shè)置了。1、描述詞設(shè)定:描述詞之前手動(dòng)修改json文件經(jīng)常有小伙伴少輸入標(biāo)點(diǎn)導(dǎo)致出錯(cuò),界面化可以避免這個(gè)問題,如下默認(rèn)的描述,每段(回車換行算一段)都是同一描述的不同權(quán)重關(guān)鍵詞。

上面的描述對(duì)應(yīng)的手動(dòng)修改json如下,也就是界面化無需引號(hào)、逗號(hào)來分割同一描述的不同權(quán)重部分。

隊(duì)列模式下的描述詞設(shè)定:當(dāng)如下勾選了隊(duì)列模式后,通過固定的句式,可以生成大量的配置文件,也就可以實(shí)現(xiàn)生成多套參數(shù)的圖。

比如我的文字描述這樣描述:a beautiful girl by {400|1|藝術(shù)家},當(dāng)點(diǎn)擊保存設(shè)置后就會(huì)生成400個(gè)藝術(shù)家的不同配置文件。注意這個(gè)格式{400|1|藝術(shù)家}中的{}、|這些不能缺少,完全按照固定格式來,400代表生成400個(gè)配置文件,1代表by一個(gè)藝術(shù)家名字(如果設(shè)置成2就代表by兩個(gè)藝術(shù)家名字混搭),藝術(shù)家代表的是軟件目錄下【描述風(fēng)格庫】文件夾下的藝術(shù)家.csv文件,而藝術(shù)家.csv文件如下所示,兩列數(shù)據(jù):

軟件支持各位自建這種語料庫,大家可以復(fù)制csv建立副本,然后在副本里修改,注意也是按照兩列格式來,第一列是描述,第二列是解釋。比如下面我建的顏色.csv文件,簡(jiǎn)單寫了一下,也是一定嚴(yán)格兩列來哈,且都放在軟件目錄下的【描述風(fēng)格庫】文件夾。

2、幫助相關(guān):對(duì)于大多數(shù)參數(shù),都加入了幫助按鈕,鼠標(biāo)劃到對(duì)應(yīng)幫助圖標(biāo),駐留即可顯示參數(shù)含義,如下所示,當(dāng)然大多數(shù)都是翻譯的官方文檔,加入自己的一點(diǎn)注解。

如果想要加入自己對(duì)參數(shù)的注釋,可以修改軟件目錄下的tip.json,如下對(duì)應(yīng)的描述修改即可,\n為換行。

3、參考圖:參考圖也人性化了,直接點(diǎn)擊按鈕選擇圖片即可,注意看參數(shù)旁邊的問號(hào),一般加入?yún)⒖紙D時(shí),skip_steps這個(gè)參數(shù)需要設(shè)置大一些。

參考圖的可玩性很高,比如下面的圖都是基于參考圖,用的自定義模型人像1.5,AI繼續(xù)繪制的,有的圖我也不用貼上參考圖了吧:





隊(duì)列模式下的參考圖:當(dāng)如下勾選了隊(duì)列模式后,可以批量選擇多張參考圖,可以生成大量的配置文件,也就可以實(shí)現(xiàn)生成相同參數(shù)但參考圖不同的圖。

4、AI作畫引擎選擇:參數(shù)設(shè)置里提供兩種繪圖Diffusion模型引擎選擇,原版DD、像素版DD以及其他自定義的PT格式模型,如下圖設(shè)置:

像素模式作畫引擎也可以試試,如下就是像素風(fēng)格的圖,也挺有意思:




自定義模型比如選擇國畫風(fēng)或者人像的PT模型文件,然后保存設(shè)置即可。

如下演示的是國畫模型和人像1.5模型的測(cè)試樣圖:







5、擴(kuò)散模型訓(xùn)練:上面的自定義模型,諸如人像和國畫都可以通過訓(xùn)練來實(shí)現(xiàn),如下點(diǎn)擊自己訓(xùn)練Diffusion模型按鈕即可打開訓(xùn)練設(shè)置界面,3.9版本支持在原來的模型基礎(chǔ)上繼續(xù)訓(xùn)練,支持訓(xùn)練多少步停下訓(xùn)練,具體操作可以看視頻:https://www.bilibili.com/video/BV1Ca411S71s。
6、提前終止作畫:這個(gè)功能可謂千呼萬喚始出來了,當(dāng)作畫步數(shù)超過5步時(shí),點(diǎn)擊提前終止按鈕即可終止作畫,如下動(dòng)圖所示:

功能二:圖片AI高清放大
設(shè)置不同的放大模型和圖片放大倍數(shù),高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD,當(dāng)輸入的圖片尺寸很大時(shí),容易超顯存,這時(shí)我們修改拼圖大小這個(gè)參數(shù)即可,比如設(shè)置拼圖大小512時(shí),6G顯存選擇realesrgan_x4plus模型對(duì)1920*1080圖片進(jìn)行4倍放大測(cè)試不超顯存。

AI高清放大是一個(gè)免費(fèi)的獨(dú)立功能,如下軟件主界面點(diǎn)擊AI高清放大按鈕,選擇圖片(支持批量),即可高清放大圖片。

如下,小圖經(jīng)過高清放大的對(duì)比效果,二次元和三次元都能勝任。






AI繪畫輸出圖片目錄在軟件目錄\images_out,如下主界面下方點(diǎn)擊打開圖片輸出目錄按鈕即可打開。

功能三:AI圖片轉(zhuǎn)3D
AI圖片轉(zhuǎn)3D輸出視頻目錄:軟件目錄\video;AI圖片轉(zhuǎn)3D也是一個(gè)獨(dú)立免費(fèi)功能,如下參數(shù)設(shè)置可以設(shè)置生成視頻時(shí)長和攝像頭位置(位置一般不改):

然后,如下軟件主界面點(diǎn)擊AI圖片轉(zhuǎn)3D,選擇圖片(支持批量),轉(zhuǎn)換圖片成如下的視頻形式,這個(gè)轉(zhuǎn)換速度較慢,5到30分鐘一張圖。

基本上就是原作項(xiàng)目介紹的這種效果,一張精圖轉(zhuǎn)換成3D的效果,不過相比原作我做了改進(jìn),支持原圖尺寸大小的視頻。
功能四:圖片風(fēng)格仿造如下點(diǎn)擊圖片風(fēng)格仿造按鈕,選擇圖片即可自動(dòng)出幾張風(fēng)格相近的圖,此功能需要至少10GB顯存,參數(shù)設(shè)置可以設(shè)置每次仿造圖片數(shù)。




功能五:二次元生成
如下點(diǎn)擊二次元小姐姐生成按鈕,即可繪制上百張二次元圖片:


如下可在參數(shù)設(shè)置里,設(shè)置各種參數(shù)以生成不同類型的二次元小姐姐:

功能六:三次元生成
和二次元生成功能一樣,如下點(diǎn)擊三次元生成按鈕,即可繪制多張三次元全身圖:


如下可在參數(shù)設(shè)置里,設(shè)置各種參數(shù)以生成不同類型的三次元圖片:

功能七:AI寫小說
如下點(diǎn)擊AI寫小說按鈕,設(shè)置開頭,即可續(xù)寫不同輪數(shù)的文字:


04?顯卡要求
需要至少5GB顯存,且必須是英偉達(dá)顯卡,AMD、intel等不支持。各種顯存測(cè)試參數(shù)可參考:https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。注:默認(rèn)參數(shù)因?yàn)檫x了3個(gè)CLIP模型,如果想要尺寸更大,少選幾個(gè)模型即可,但效果肯定有所影響,諸如6G獨(dú)顯的2060或者1060顯卡,只選如下第一個(gè)模型,尺寸768×512都沒問題:

05?常見錯(cuò)誤
1、爆顯存下面這些都是圖片設(shè)置過大、模型選擇過多等導(dǎo)致的爆顯存,或者5GB顯存以下的顯卡:
(1) Unable to find a valid cuDNN algorithm to run convolution
(2) CUDA out of memory
2、黑圖
很多小伙伴生成的圖一直是黑的,目前發(fā)現(xiàn)的1660、1660s、1660ti都有問題,原因是中途生成NAN數(shù)據(jù),解決方案正在尋找,但1060、1070、1080,甚至980ti等都沒有問題,看來問題都在16代顯卡上。
06?激活
軟件點(diǎn)擊AI作畫按鈕后,會(huì)彈出激活窗設(shè)定,按照指示聯(lián)系我獲取激活碼即可。
07?小結(jié)
這個(gè)項(xiàng)目確實(shí)很有意思,唯一的問題就是對(duì)顯卡要求高,最起碼需要英偉達(dá)5G及以上顯存,AMD等其他顯卡不支持,另外還有一些坑要填,諸如很多網(wǎng)友感興趣的動(dòng)畫等,這個(gè)得慢慢來了,但后續(xù)版本肯定會(huì)有,感興趣的可以體驗(yàn)一下3.9版本了,更詳細(xì)的作圖參數(shù)、教程多刷刷B站相關(guān)視頻即可。