新增圖片風格仿造和二次元全身圖生成,AI作畫Disco Diffusion離線版V3.7來啦!

本周V3.7帶來了圖片風格仿造和二次元全身圖生成功能,如下是風格仿造功能生成圖:


如下是二次元生成圖:



V3.7版本:2022-07-041、加入rudalle項目的圖片風格仿造功能,點擊主界面圖片風格仿造按鈕,選擇一張圖,即可輸出4張風格類似的四張圖,此功能要求至少10GB顯存;??2、加入基于TAADNE項目的二次元人像和全身半身生成功能,點擊主界面二次元小姐姐按鈕,即可生成各種不同類型的二次元,參數(shù)設置里可進行參數(shù)設置,以生成不同類型;??3、修復快捷描述,部分用戶打開失敗的bug;??4、加入3D視頻輸出目錄的按鈕。
01?軟件概覽
軟件名字叫做:AI作畫離線版V3.7(基于Disco Diffusion 5.3),基于GitHub上的開源項目Disco Diffusion,目前僅支持靜態(tài)圖生成。如下,軟件主界面,還是以操作簡單為主:

如下參數(shù)設置界面,文字描述旁邊的文字描述快捷設置按鈕點擊即可進入設置界面,設置界面詳情文章開頭已描述。

02?軟件體驗
軟件非常大,因為有很多離線模型,當然下載過2代的,這些模型可以復用哈。下載完成后,按照網(wǎng)盤里的word教程即可進行體驗。
一、安裝
直接參考B站視頻進行安裝:https://www.bilibili.com/video/BV1za411X7BC?
軟件界面如下所示:

二、作圖配置
軟件目錄文件夾的settings.json就是作圖配置文件,當然3.0版本通過界面進行設置了。
1、描述詞設定:描述詞之前手動修改json文件經常有小伙伴少輸入標點導致出錯,界面化可以避免這個問題,如下默認的描述,每段(回車換行算一段)都是同一描述的不同權重關鍵詞。

上面的描述對應的手動修改json如下,也就是界面化無需引號、逗號來分割同一描述的不同權重部分。

2、幫助相關:對于大多數(shù)參數(shù),都加入了幫助按鈕,鼠標劃到對應幫助圖標,駐留即可顯示參數(shù)含義,如下所示,當然大多數(shù)都是翻譯的官方文檔,加入自己的一點注解。

3、參考圖:參考圖也人性化了,直接點擊按鈕選擇圖片即可,注意看參數(shù)旁邊的問號,一般加入?yún)⒖紙D時,skip_steps這個參數(shù)需要設置大一些。

參考圖的可玩性很高,比如下面的圖都是基于參考圖AI繼續(xù)繪制的,哪張是參考圖各位肯定能看出來:









4、AI作畫引擎選擇:參數(shù)設置里提供兩種繪圖Diffusion模型引擎選擇,原版DD和像素版DD,如下圖設置:
像素模式作畫引擎也可以試試,如下就是像素風格的圖,也挺有意思:


5、AI高清放大:設置不同的放大模型和圖片放大倍數(shù),高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD,當輸入的圖片尺寸很大時,容易超顯存,這時我們修改拼圖大小這個參數(shù)即可,比如設置拼圖大小512時,6G顯存選擇realesrgan_x4plus模型對1920*1080圖片進行4倍放大測試不超顯存。

AI高清放大是一個免費的獨立功能,如下軟件主界面點擊AI高清放大按鈕,選擇圖片(支持批量),即可高清放大圖片。

如下,小圖經過高清放大的對比效果,二次元和三次元都能勝任。




6、AI繪畫輸出圖片目錄:軟件目錄\images_out,如下主界面下方點擊打開圖片輸出目錄按鈕即可打開。

7、AI圖片轉3D輸出視頻目錄:軟件目錄\video;AI圖片轉3D也是一個獨立免費功能,如下參數(shù)設置可以設置生成視頻時長和攝像頭位置(位置一般不改):

然后,如下軟件主界面點擊AI圖片轉3D,選擇圖片(支持批量),轉換圖片成如下的視頻形式,這個轉換速度較慢,5到30分鐘一張圖。

基本上就是原作項目介紹的這種效果,一張精圖轉換成3D的效果,不過相比原作我做了改進,支持原圖尺寸大小的視頻。

8、圖片風格仿造功能:如下點擊圖片風格仿造按鈕,選擇圖片即可自動出四張風格相近的圖,此功能需要至少10GB顯存。



9、二次元小姐姐生成:如下點擊二次元小姐姐生成按鈕,即可繪制上百張二次元圖片:


如下可在參數(shù)設置里,設置各種參數(shù)以生成不同類型的二次元小姐姐:

9、過程圖片:軟件目錄\progress.png,每幾個step(頻率display_rate可配置)更新一次圖片。
10、錯誤文件緩存清除:一般出現(xiàn)超顯存等問題時,會在C盤用戶目錄下的CrashDumps文件夾目錄產生很大文件,這個目錄里的文件可以刪掉,如下主界面下方點擊清理錯誤文件緩存即可打開目錄,手動刪除即可。

三、顯卡要求
需要至少5GB顯存,且必須是英偉達顯卡,AMD不支持。各種顯存測試參數(shù)可參考:https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。
注:默認參數(shù)因為選了3個CLIP模型,如果想要尺寸更大,少選幾個模型即可,但效果肯定有所影響,諸如6G獨顯的2060或者1060顯卡,只選如下第一個模型,尺寸768×512都沒問題:

四、常見錯誤
1、爆顯存
下面這些都是圖片設置過大導致的爆顯存,或者5GB以下的顯卡:
(1) Unable to find a valid cuDNN algorithm to run convolution
(2) CUDA out of memory
2、黑圖
很多小伙伴生成的圖一直是黑的,這種貌似是10代及以下顯卡,目前發(fā)現(xiàn)的1660、1660s、1660ti都有問題,原因是中途生成NAN數(shù)據(jù),解決方案正在尋找,但1060沒有問題,看來問題都在16代顯卡上。
03?小結
這個項目確實很有意思,唯一的問題就是對顯卡要求高,最起碼需要英偉達5G及以上顯存,AMD等其他顯卡不支持,另外還有一些坑要填,諸如很多網(wǎng)友感興趣的gobig、動畫等,這個得慢慢來了,但后續(xù)版本肯定會有,感興趣的可以體驗一下3.7版本了,更詳細的作圖參數(shù)、教程多刷刷B站相關視頻即可。