散文網(wǎng) » 科技 »數(shù)碼 » AI作畫離線版V4.2，自動寫描述、二次元TAG解析、圖片視頻上色功能來啦！

AI作畫離線版V4.2，自動寫描述、二次元TAG解析、圖片視頻上色功能來啦！

2022-11-12 13:38 作者:萬能君的軟件庫 0人讀過 | 我要投稿

本周V4.2帶來了非常多的功能，主要是AI自動寫描述、二次元TAG解析、圖片視頻上色功能。V4.2版本：2022-11-11

1、加入DeepDanbooru解析功能，參數(shù)設(shè)置下方點(diǎn)擊對應(yīng)按鈕，導(dǎo)入圖片即可解析背后的TAG，對于SD作畫諸如NovelAI等模型有些用處；

2、加入SD自動寫描述功能，隨便寫個(gè)開頭，描述框右邊AI寫描述按鈕即可續(xù)寫描述；

3、圖片上色功能支持黑白二次元圖上色；

4、SD作畫支持進(jìn)度顯示和預(yù)覽圖，在參數(shù)設(shè)置里設(shè)置預(yù)覽頻次即可，目前僅在描述轉(zhuǎn)圖模式下生效；

5、SD作畫顯存占用模式非常低改為超級低，現(xiàn)在的非常低相比超級低多用1G顯存，提速將近1倍；

6、SD作畫參考圖支持自適應(yīng)寬高比選項(xiàng)，比如參考圖尺寸寬高為1024×512，繪圖參數(shù)尺寸設(shè)置512×512，默認(rèn)無，代表不自適應(yīng)，最終出的圖尺寸為512×512；固定寬代表，以繪圖參數(shù)尺寸設(shè)置的寬512為準(zhǔn)，參考圖寬高比2比1，高自動修改為256，最終輸出512×256的圖；7、AI高清放大現(xiàn)在支持2-10倍放大設(shè)置了；

8、DD作畫支持設(shè)置多張顯卡用戶的單卡使用序號，比如想要用第二張顯卡，序號設(shè)置為1即可；

9、快捷描述現(xiàn)在不是替換了，而是可以基于原來的描述插入；

10、新增圖片或者視頻上色功能，點(diǎn)擊主界面圖片/視頻上色按鈕，批量選擇圖片或者視頻即可進(jìn)行上色操作；

11、鑒黃模型在官方模型基礎(chǔ)上加入另一個(gè)模型，兩個(gè)模型共存投票（全票通過）進(jìn)行最終結(jié)果判別，不好的圖直接黑圖了；

12、SD動畫、參考視頻支持負(fù)描述，修復(fù)參考視頻差異度參數(shù)、種子無效的bug；

13、DD和SD參考圖作畫保存的文件名字包含參考圖名字；

14、谷歌的prompt2prompt占坑，SD參數(shù)設(shè)置勾選文字編輯模式即可跑修改描述關(guān)鍵詞更改畫面風(fēng)格功能，目前做的很簡陋，基本先占坑；

15、SD模型融合支持，可選擇兩個(gè)ckpt格式的SD模型進(jìn)行按比例融合，融合后的ckpt格式模型，可在SD設(shè)置里調(diào)用；

16、老照片修復(fù)功能還同時(shí)輸出高清修復(fù)的純?nèi)四槇D片和原來的人臉照片。

01?軟件概覽

軟件名字叫做：AI作畫離線版V4.2(基于Disco Diffusion 5.6與Stable Diffusion 1.4），基于GitHub上的開源項(xiàng)目Disco Diffusion與Stable Diffusion。如下，軟件主界面，還是以操作簡單為主：

02?軟件安裝

軟件非常大，因?yàn)橛泻芏嚯x線模型，下載完成后，按照網(wǎng)盤里的pdf教程即可進(jìn)行體驗(yàn)。軟件界面如下所示：

03?軟件功能

功能一：DD(Disco Diffusion)作畫

軟件目錄文件夾的settings.json就是作圖配置文件，當(dāng)然離線版本可通過界面進(jìn)行設(shè)置了。1、描述詞設(shè)定：描述詞之前手動修改json文件經(jīng)常有小伙伴少輸入標(biāo)點(diǎn)導(dǎo)致出錯(cuò)，界面化可以避免這個(gè)問題，如下默認(rèn)的描述，每段（回車換行算一段）都是同一描述的不同權(quán)重關(guān)鍵詞。

上面的描述對應(yīng)的手動修改json如下，也就是界面化無需引號、逗號來分割同一描述的不同權(quán)重部分。

隊(duì)列模式下的描述詞設(shè)定：當(dāng)如下勾選了隊(duì)列模式后，通過固定的句式，可以生成大量的配置文件，也就可以實(shí)現(xiàn)生成多套參數(shù)的圖。

比如我的文字描述這樣描述：a beautiful girl by {400|1|藝術(shù)家}，當(dāng)點(diǎn)擊保存設(shè)置后就會生成400個(gè)藝術(shù)家的不同配置文件。

注意這個(gè)格式{400|1|藝術(shù)家}中的{}、|這些不能缺少，完全按照固定格式來，400代表生成400個(gè)配置文件，1代表by一個(gè)藝術(shù)家名字（如果設(shè)置成2就代表by兩個(gè)藝術(shù)家名字混搭），藝術(shù)家代表的是軟件目錄下【描述風(fēng)格庫】文件夾下的藝術(shù)家.csv文件，而藝術(shù)家.csv文件如下所示，兩列數(shù)據(jù)：

軟件支持各位自建這種語料庫，大家可以復(fù)制csv建立副本，然后在副本里修改，注意也是按照兩列格式來，第一列是描述，第二列是解釋。比如下面我建的顏色.csv文件，簡單寫了一下，也是一定嚴(yán)格兩列來哈，且都放在軟件目錄下的【描述風(fēng)格庫】文件夾。▼

2、幫助相關(guān)：對于大多數(shù)參數(shù)，都加入了幫助按鈕，鼠標(biāo)劃到對應(yīng)幫助圖標(biāo)，駐留即可顯示參數(shù)含義，如下所示，當(dāng)然大多數(shù)都是翻譯的官方文檔，加入自己的一點(diǎn)注解。

如果想要加入自己對參數(shù)的注釋，可以修改軟件目錄下的tip.json，如下對應(yīng)的描述修改即可，\n為換行。

3、參考圖：參考圖也人性化了，直接點(diǎn)擊按鈕選擇圖片即可，注意看參數(shù)旁邊的問號，一般加入?yún)⒖紙D時(shí)，skip_steps這個(gè)參數(shù)需要設(shè)置大一些。

參考圖的可玩性很高，比如下面的圖都是基于參考圖，用的自定義模型人像1.5，AI繼續(xù)繪制的，有的圖我也不用貼上參考圖了吧：

隊(duì)列模式下的參考圖：當(dāng)如下勾選了隊(duì)列模式后，可以批量選擇多張參考圖，可以生成大量的配置文件，也就可以實(shí)現(xiàn)生成相同參數(shù)但參考圖不同的圖。

4、AI作畫模型選擇：參數(shù)設(shè)置里提供兩種繪圖Diffusion模型引擎選擇，原版DD、像素版DD以及其他自定義的PT格式模型，如下圖設(shè)置：

像素模式作畫引擎也可以試試，如下就是像素風(fēng)格的圖，也挺有意思：

自定義模型比如選擇國畫風(fēng)或者人像的PT模型文件，然后保存設(shè)置即可。

如下演示的是國畫模型和人像1.5模型的測試樣圖：

5、擴(kuò)散模型訓(xùn)練：上面的自定義模型，諸如人像和國畫都可以通過訓(xùn)練來實(shí)現(xiàn)，如下點(diǎn)擊自己訓(xùn)練Diffusion模型按鈕即可打開訓(xùn)練設(shè)置界面，4.1版本支持在原來的模型基礎(chǔ)上繼續(xù)訓(xùn)練，支持訓(xùn)練多少步停下訓(xùn)練，具體操作可以看視頻：https://www.bilibili.com/video/BV1Ca411S71s。

6、提前終止作畫：當(dāng)作畫步數(shù)超過5步時(shí)，點(diǎn)擊提前終止按鈕即可終止作畫，如下動圖所示：

7、導(dǎo)入配置：支持導(dǎo)入圖片輸出目錄images_out文件下的DD作畫json配置文件或者生成的圖片，如下點(diǎn)擊導(dǎo)入配置按鈕即可：

默認(rèn)寫入作圖參數(shù)到輸出圖片中，考慮到隱私問題，軟件支持去掉此功能，如下去掉勾選即可：

8、AI圖片描述解析：如下按鈕點(diǎn)擊，選擇圖片，稍等片刻即可顯示出描述，當(dāng)然這個(gè)描述有所出入，但當(dāng)作描述來用畫出的圖也確實(shí)不錯(cuò)。

下面演示幾張圖，解析出來的描述：a?couple of people riding bikes down a road, a matte painting by Makoto Shinkai, featured on pixiv, rayonism, official art, anamorphic lens flare, matte painting

a group of iron man standing next to each other in the ocean, a comic book panel by Paul Pelletier, featured on deviantart, antipodeans, marvel comics, reimagined by industrial light and magic, imax

a painting of a landscape with mountains and trees, a detailed matte painting by Katsukawa Shunsen, pixiv, shin hanga, ukiyo-e, matte painting, detailed painting

a painting of a man with flowers in his lap, an ultrafine detailed painting by Albert Swinden, pexels, metaphysical painting, creative commons attribution, chalk art, detailed painting

9、多顯卡多開選擇：對于多顯卡用戶，多開軟件，選擇顯卡序列號，可以實(shí)現(xiàn)不同顯卡跑圖任務(wù)，諸如編號從0開始。

功能二：SD(Stable Diffusion)作畫

SD作畫功能和DD功能基本一致，同樣支持隊(duì)列模式、參考圖等功能，SD作畫速度更快，且畫的更加具象，下面主要介紹SD的參數(shù)設(shè)置。同樣SD也是具有文字描述和參考圖功能，還有一些其他參數(shù)，大家可以鼠標(biāo)懸停到參數(shù)旁邊的問號就會有說明。

1、描述詞設(shè)定：描述詞句式基本和DD一樣，但SD作畫多了個(gè)負(fù)描述，負(fù)描述默認(rèn)可以不寫，負(fù)描述如果寫，就代表不想讓繪畫結(jié)果出現(xiàn)的元素。

支持寫個(gè)開頭，然后如下點(diǎn)擊AI生成描述進(jìn)行續(xù)寫描述：

2、繪圖參數(shù)：圖片尺寸和DD一樣，需要64的倍數(shù)，當(dāng)然隨便填寫尺寸也行，軟件會自動轉(zhuǎn)換；繪圖步數(shù)和DD類似，不過SD步數(shù)50就夠了，多了沒啥意義；繪制圖片輪數(shù)代表每次畫幾張圖；描述相關(guān)度默認(rèn)數(shù)值就可以，當(dāng)然可以嘗試10以上數(shù)值；隨機(jī)種子默認(rèn)0，代表每次種子隨機(jī)，設(shè)置大于零的固定值，如果其他參數(shù)一樣，則SD出圖完全一樣，這點(diǎn)和DD不一樣哈。

3、顯存占用模式選擇：軟件提供不同顯存占用模式：適中、低、很低、非常低、超級低、高和極高幾種模式，其中超級低可以實(shí)現(xiàn)4G顯存畫出1024×1024極限尺寸，當(dāng)然速度也比較慢，且至少需要16G內(nèi)存；而高可以實(shí)現(xiàn)自適應(yīng)顯存占用，速度比較均衡。

4、16代黑圖問題：針對GTX 16系列，諸如1660等顯卡，SD作畫會黑圖，需要勾選如下選項(xiàng)，可以正常出畫。

5、參考圖：和DD一樣，SD也支持參考圖，不過參數(shù)比較簡單，基本上就是導(dǎo)入原圖，修改描述，設(shè)置圖片差異度參數(shù)即可，注意差異度參數(shù)范圍0-1，1代表與參考圖差異最大哈。另外，自適應(yīng)尺寸比較人性化，比如參考圖尺寸寬高為1024x512，繪圖參數(shù)尺寸設(shè)置512×512,默認(rèn)無，代表不自適應(yīng)，最終出的圖尺寸為512×512，固定寬代表，以繪圖參數(shù)尺寸設(shè)置的寬512為準(zhǔn)，參考圖寬高比2比1，高自動修改為256，最終輸出512x256的圖。

如下，試試SD參考圖，實(shí)現(xiàn)真人參考圖用二次元描述實(shí)現(xiàn)真人二次元效果：

6、動畫：SD動畫選擇2D，即可開啟動畫模式，動畫也可以設(shè)置參考圖，支持動畫變化角度、縮放大小、xyz軸移位等。

文字描述需要如下格式，每一次換行都是一個(gè)過渡描述，每個(gè)過渡描述末尾三個(gè)冒號后面跟著的數(shù)字，代表動畫幀數(shù)。

SD動畫如果選擇參考視頻，則可以導(dǎo)入視頻，實(shí)現(xiàn)視頻風(fēng)格轉(zhuǎn)換，參考視頻模式下，就和逐幀參考圖一個(gè)意思了，只是比較便捷。

7、自定義SD模型選擇：支持選擇第三方ckpt格式的SD模型，如下所示，選擇ckpt所在路徑即可實(shí)現(xiàn)利用第三方ckpt模型作畫。

8、圖片風(fēng)格仿造：這個(gè)功能需要至少16G顯存，無需描述，導(dǎo)入圖片即可實(shí)現(xiàn)圖片仿造，目前僅是個(gè)實(shí)驗(yàn)功能，效果不是太穩(wěn)定，如下仿造下面這張圖：

如下為仿造的兩張圖：

9、局部修改：如下點(diǎn)擊局部修改按鈕，可以實(shí)現(xiàn)涂鴉部分區(qū)域?qū)崿F(xiàn)局部修改功能，此功能效果也比較有限，換臉什么的還可以，如下演示：

10、Dream Booth訓(xùn)練：DB訓(xùn)練是非常厲害的一個(gè)功能，如下點(diǎn)擊打開進(jìn)入DB訓(xùn)練界面：

DB訓(xùn)練是非常厲害的一個(gè)功能，如下點(diǎn)擊打開進(jìn)入DB訓(xùn)練界面，DB實(shí)現(xiàn)的功能是學(xué)會你訓(xùn)練圖片的風(fēng)格或者相貌。我來舉個(gè)例子，我訓(xùn)練圖和正則圖都選擇四張滑稽表情。

然后標(biāo)識詞寫做huaxiaoji，項(xiàng)目名隨便寫我來舉個(gè)例子，我訓(xùn)練圖和正則圖都選擇四張滑稽表情；訓(xùn)練設(shè)備支持CPU（需要16G內(nèi)存，挺慢）和顯卡（需要24G顯存），模型尺寸256和512選擇，我選擇256就不錯(cuò)，后面參數(shù)是ckpt模型保存及訓(xùn)練停止步數(shù)，一般400-800步效果不錯(cuò)。

訓(xùn)練完后，在模型輸出目錄找到ckpt文件，然后SD模型自定義選擇這個(gè)ckpt文件，正常描述即可，注意描述里帶著huaxiaoji標(biāo)識詞，如下都是滑稽模型出的圖：

當(dāng)然參考圖也支持哈，人像二次元滑稽化，如下所示：

11、模型融合：點(diǎn)擊SD模型融合按鈕，如下支持不同ckpt格式的SD模型按照比例融合，融合后的模型兼具兩個(gè)模型的特點(diǎn)。

12、DeepDanbooru二次元TAG解析：如下點(diǎn)擊按鈕，支持二次元圖片的TAG解析，諸如NovelAI等模型比較有需求：

功能三：圖片AI高清放大

設(shè)置不同的放大模型和圖片放大倍數(shù)，高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD，當(dāng)輸入的圖片尺寸很大時(shí)，容易超顯存，這時(shí)我們修改拼圖大小這個(gè)參數(shù)即可，比如設(shè)置拼圖大小512時(shí)，6G顯存選擇realesrgan_x4plus模型對1920*1080圖片進(jìn)行4倍放大測試不超顯存。支持2-10倍放大。