三個(gè)月沒(méi)更新了，V5.1帶來(lái)了非常多的功能，主要是ControlNet 1.1作畫(huà)、騰訊T2I-Adapter作畫(huà)、清華大學(xué)類(lèi)chatgpt項(xiàng)目、摳圖、視頻補(bǔ)幀、數(shù)字人、界面功能整合與優(yōu)化等。

V5.1版本：2023-5-18（V5.1版本開(kāi)始不支持win7，僅支持win10、win11）

1、支持ControlNet 1.1作畫(huà)、騰訊T2I-Adapter作畫(huà)兩種作畫(huà)功能；

2、支持LORA（包括Lycoris類(lèi)的lora模型）、眾多VAE類(lèi)模型加載；

3、所有作畫(huà)功能支持參考圖選擇視頻參考，自動(dòng)逐幀參考，自動(dòng)生成視頻；

4、音視頻轉(zhuǎn)文字的最大模型后端改為faster_whisper，速度提升4倍，顯存占用3-5G左右（int8和fp16模式），且不會(huì)出現(xiàn)繁體中文了；?

5、加入清華大學(xué)的類(lèi)chatgpt項(xiàng)目chatglm，6G顯存就能用；?

6、加入rembg摳圖和SAM摳圖（facebook的seg anything）功能；?

7、圖片說(shuō)話加入音頻驅(qū)動(dòng)功能（包括維持原圖，不僅僅是人臉視頻了），圖片說(shuō)話參數(shù)設(shè)置里設(shè)置即可；?

8、支持視頻補(bǔ)幀，最高16倍補(bǔ)幀；

9、圖片高清放大支持半精度模型，顯存占用減小一倍，且支持高清放大視頻了；?

10、圖片轉(zhuǎn)3D支持選擇幾個(gè)模式輸出以及視頻碼率設(shè)置；?

11、主界面眾多功能菜單化、作畫(huà)參數(shù)設(shè)置界面分離化，參數(shù)分類(lèi)不擁擠；

12、軟件報(bào)錯(cuò)后不需要重開(kāi)軟件了，按鈕仍可以點(diǎn)擊。

01?軟件概覽

軟件名字叫做：AI作畫(huà)離線版V5.1，基于GitHub上的開(kāi)源項(xiàng)目Disco Diffusion與Stable Diffusion以及眾多開(kāi)源項(xiàng)目。如下，軟件主界面，還是以操作簡(jiǎn)單為主：

02?軟件安裝

軟件非常大，因?yàn)橛泻芏嚯x線模型（模型按照功能劃分，可按需下載），下載完成后，按照網(wǎng)盤(pán)里的pdf教程即可進(jìn)行體驗(yàn)。

軟件界面如下所示：

03?軟件功能

介紹功能一：DD(Disco Diffusion)作畫(huà)

1、描述詞設(shè)定：如下默認(rèn)的描述，每段（回車(chē)換行算一段）都是同一描述的不同權(quán)重關(guān)鍵詞。

隊(duì)列模式下的描述詞設(shè)定：當(dāng)如下勾選了隊(duì)列模式后，通過(guò)固定的句式，可以生成大量的配置文件，也就可以實(shí)現(xiàn)生成多套參數(shù)的圖。

比如我的文字描述這樣描述：a beautiful girl by {400|1|藝術(shù)家}，當(dāng)點(diǎn)擊保存設(shè)置后就會(huì)生成400個(gè)藝術(shù)家的不同配置文件。注意這個(gè)格式{400|1|藝術(shù)家}中的{}、|這些不能缺少，完全按照固定格式來(lái)，400代表生成400個(gè)配置文件，1代表by一個(gè)藝術(shù)家名字（如果設(shè)置成2就代表by兩個(gè)藝術(shù)家名字混搭），藝術(shù)家代表的是軟件目錄下【描述風(fēng)格庫(kù)】文件夾下的藝術(shù)家.csv文件，而藝術(shù)家.csv文件如下所示，兩列數(shù)據(jù)：

軟件支持各位自建這種語(yǔ)料庫(kù)，大家可以復(fù)制csv建立副本，然后在副本里修改，注意也是按照兩列格式來(lái)，第一列是描述，第二列是解釋。比如下面我建的顏色.csv文件，簡(jiǎn)單寫(xiě)了一下，也是一定嚴(yán)格兩列來(lái)哈，且都放在軟件目錄下的【描述風(fēng)格庫(kù)】文件夾。

2、幫助相關(guān)：對(duì)于大多數(shù)參數(shù)，都加入了幫助按鈕，鼠標(biāo)劃到對(duì)應(yīng)幫助圖標(biāo)，駐留即可顯示參數(shù)含義，如下所示，當(dāng)然大多數(shù)都是翻譯的官方文檔，加入自己的一點(diǎn)注解。

3、參考圖：參考圖也人性化了，直接點(diǎn)擊按鈕選擇圖片即可，注意看參數(shù)旁邊的問(wèn)號(hào)，一般加入?yún)⒖紙D時(shí)，skip_steps這個(gè)參數(shù)需要設(shè)置大一些。

4、AI作畫(huà)模型選擇：參數(shù)設(shè)置里提供兩種繪圖Diffusion模型引擎選擇，原版DD、像素版DD以及其他自定義的PT格式模型，如下圖設(shè)置：

如下演示的是國(guó)畫(huà)模型：

5、AI圖片描述解析：如下按鈕點(diǎn)擊，選擇圖片，稍等片刻即可顯示出描述，當(dāng)然這個(gè)描述有所出入，但當(dāng)作描述來(lái)用畫(huà)出的圖也確實(shí)不錯(cuò)。

下面演示幾張圖，解析出來(lái)的描述：a?couple of people riding bikes down a road, a matte painting by Makoto Shinkai, featured on pixiv, rayonism, official art, anamorphic lens flare, matte painting

a group of iron man standing next to each other in the ocean, a comic book panel by Paul Pelletier, featured on deviantart, antipodeans, marvel comics, reimagined by industrial light and magic, imax

a painting of a landscape with mountains and trees, a detailed matte painting by Katsukawa Shunsen, pixiv, shin hanga, ukiyo-e, matte painting, detailed painting

功能二：SD(Stable Diffusion)作畫(huà)

SD作畫(huà)功能和DD功能基本一致，同樣支持隊(duì)列模式、參考圖等功能，SD作畫(huà)速度更快，且畫(huà)得更加具象，下面主要介紹SD的參數(shù)設(shè)置。同樣SD也是具有文字描述和參考圖功能，還有一些其他參數(shù)，大家可以鼠標(biāo)懸停到參數(shù)旁邊的問(wèn)號(hào)就會(huì)有說(shuō)明。

1、描述詞設(shè)定：描述詞句式基本和DD一樣，但SD作畫(huà)多了個(gè)負(fù)描述，負(fù)描述默認(rèn)可以不寫(xiě)，負(fù)描述如果寫(xiě)，就代表不想讓繪畫(huà)結(jié)果出現(xiàn)的元素。

支持寫(xiě)個(gè)開(kāi)頭，然后如下點(diǎn)擊AI生成描述進(jìn)行續(xù)寫(xiě)描述，目前有兩種自動(dòng)寫(xiě)描述引擎了：

2、繪圖參數(shù)：圖片尺寸和DD一樣，需要64的倍數(shù)，當(dāng)然隨便填寫(xiě)尺寸也行，軟件會(huì)自動(dòng)轉(zhuǎn)換；繪圖步數(shù)和DD類(lèi)似，不過(guò)SD步數(shù)20就夠了；繪制圖片輪數(shù)代表每次畫(huà)幾張圖；描述相關(guān)度默認(rèn)數(shù)值就可以，當(dāng)然可以嘗試10以上數(shù)值；隨機(jī)種子默認(rèn)0，代表每次種子隨機(jī)，設(shè)置大于零的固定值，如果其他參數(shù)一樣，則SD出圖完全一樣，這點(diǎn)和DD不一樣哈。

3、顯存占用模式選擇：軟件提供不同顯存占用模式：超級(jí)低、非常低、高、極高，以及帶著xformers加速模塊模式，加速模塊效果拔群，速度很快，顯存占用也低了很多。

4、16代黑圖問(wèn)題：針對(duì)GTX 16系列，諸如1660等顯卡，SD作畫(huà)會(huì)黑圖，需要勾選如下選項(xiàng)，可以正常出畫(huà)。

5、參考圖：和DD一樣，SD也支持參考圖，不過(guò)參數(shù)比較簡(jiǎn)單，基本上就是導(dǎo)入原圖，修改描述，設(shè)置圖片差異度參數(shù)即可，注意差異度參數(shù)范圍0-1，1代表與參考圖差異最大哈。另外，自適應(yīng)尺寸比較人性化，比如參考圖尺寸寬高為1024x512，繪圖參數(shù)尺寸設(shè)置512×512,默認(rèn)無(wú)，代表不自適應(yīng)，最終出的圖尺寸為512×512，固定寬代表，以繪圖參數(shù)尺寸設(shè)置的寬512為準(zhǔn)，參考圖寬高比2比1，高自動(dòng)修改為256，最終輸出512x256的圖。

如下，試試SD參考圖，實(shí)現(xiàn)真人二次元效果或者其他的一些效果：

6、動(dòng)畫(huà)：SD動(dòng)畫(huà)選擇2D，即可開(kāi)啟動(dòng)畫(huà)模式，動(dòng)畫(huà)也可以設(shè)置參考圖，支持動(dòng)畫(huà)變化角度、縮放大小、xyz軸移位等。

文字描述需要如下格式，每一次換行都是一個(gè)過(guò)渡描述，每個(gè)過(guò)渡描述末尾三個(gè)冒號(hào)后面跟著的數(shù)字，代表動(dòng)畫(huà)幀數(shù)。

7、SD、LORA、VAE模型選擇：支持選擇第三方ckpt、safetensors格式的SD模型、VAE模型以及LORA模型（還支持Lycoris類(lèi)的LORA模型），如下所示：

8、局部修改：如下點(diǎn)擊局部修改按鈕，可以實(shí)現(xiàn)涂鴉部分區(qū)域?qū)崿F(xiàn)局部修改功能，此功能效果也比較有限，換臉什么的還可以，如下演示：

9、模型融合：點(diǎn)擊SD模型融合按鈕，如下支持不同ckpt或者safetensors格式的SD模型按照比例融合，融合后的模型兼具兩個(gè)模型的特點(diǎn)。

10、DeepDanbooru二次元TAG解析：如下點(diǎn)擊按鈕，支持二次元圖片的TAG解析，諸如NovelAI等模型比較有需求：

功能三：CN作畫(huà)

CN就是目前大名鼎鼎的ControlNet，目前軟件同步到CN 1.1版本，總體使用方式和SD差別不大。CN的精髓在于下圖，不同的這些模型：

這些模型的作用就是針對(duì)不同的參考圖進(jìn)行創(chuàng)作，諸如Lineart模型就是針對(duì)線稿參考圖，然后實(shí)現(xiàn)線稿上色或者二次創(chuàng)作的目的，如下演示，選擇Lineart_Anime這個(gè)二次元線稿的CN模型配上二次元SD模型和描述：

如下選擇openpose這個(gè)人體姿勢(shì)的CN模型，左圖為原圖，中間為識(shí)別原圖的骨骼圖，右圖為生成的圖。

如下SEG語(yǔ)義分割的CN模型效果：

如下MLSD這種識(shí)別建筑線稿的CN模型效果：

如下為超分辨率的Tile的CN模型，真的是模糊圖重繪神器：

功能四：T2I作畫(huà)

T2I作畫(huà)和ControlNet實(shí)現(xiàn)的結(jié)果基本相似，套路也是一樣，如下也是提供眾多模型：

在這里就不做重復(fù)演示了，如下官方的介紹圖：

功能五：圖片/視頻AI高清放大

設(shè)置不同的放大模型和圖片放大倍數(shù)，高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD，當(dāng)輸入的圖片尺寸很大時(shí)，容易超顯存，這時(shí)我們修改拼圖大小這個(gè)參數(shù)即可，比如設(shè)置拼圖大小512時(shí)，6G顯存選擇realesrgan_x4plus模型對(duì)1920*1080圖片進(jìn)行4倍放大測(cè)試不超顯存。支持2-10倍放大。

AI高清放大是一個(gè)獨(dú)立功能，軟件主界面圖片處理菜單選擇圖片/視頻高清放大選項(xiàng)，選擇圖片或者視頻（支持批量），即可高清放大圖片或者視頻。如下，小圖經(jīng)過(guò)高清放大的對(duì)比效果，二次元和三次元都能勝任。

功能六：老照片修復(fù)

軟件主界面圖片處理菜單選擇老照片修復(fù)選項(xiàng)，選擇圖片（支持批量），即可高清修復(fù)老照片，僅對(duì)人像進(jìn)行高清修復(fù)。如下，經(jīng)過(guò)高清人臉修復(fù)對(duì)比效果動(dòng)圖演示：

功能七：圖片/視頻上色

軟件主界面圖片處理菜單選擇圖片/視頻上色，選擇黑白視頻或者圖片即可實(shí)現(xiàn)上色，支持批量。如下參數(shù)設(shè)置里，可以選擇不同上色模型，二次元模型專(zhuān)注二次元線稿上色：

如下動(dòng)圖演示，上色前后的效果：

功能八：圖片說(shuō)話

圖片說(shuō)話功能，可以實(shí)現(xiàn)導(dǎo)入的圖轉(zhuǎn)換成說(shuō)話人視頻的形式，支持音頻和視頻驅(qū)動(dòng)，默認(rèn)音頻驅(qū)動(dòng)說(shuō)話。

軟件主界面點(diǎn)擊圖片處理菜單選擇圖片說(shuō)話，選擇圖片（支持批量），轉(zhuǎn)換圖片成如下的視頻形式。

功能九：AI圖片轉(zhuǎn)3D

AI圖片轉(zhuǎn)3D輸出視頻目錄：軟件目錄\video；AI圖片轉(zhuǎn)3D也是一個(gè)獨(dú)立免費(fèi)功能，如下參數(shù)設(shè)置可以設(shè)置生成視頻時(shí)長(zhǎng)和攝像頭位置（位置一般不改）：

軟件主界面圖片處理菜單選擇圖片轉(zhuǎn)3D，選擇圖片（支持批量），轉(zhuǎn)換圖片成視頻形式，這個(gè)轉(zhuǎn)換速度較慢，5到30分鐘一張圖?；旧暇褪窃黜?xiàng)目介紹的這種效果，一張精圖轉(zhuǎn)換成3D的效果，不過(guò)相比原作我做了改進(jìn)，支持原圖尺寸大小的視頻。

功能十：摳圖

軟件主界面圖片處理菜單選擇摳圖，選擇圖片（支持批量），即可進(jìn)行背景和人物分割，如下演示：

功能十一：二次元生成

軟件主界面圖片處理菜單選擇二次元生成，即可繪制上百?gòu)埗卧獔D片：

如下可在參數(shù)設(shè)置里，設(shè)置各種參數(shù)以生成不同類(lèi)型的二次元小姐姐：

功能十二：三次元生成

軟件主界面圖片處理菜單選擇三次元生成，即可繪制上百?gòu)埲卧獔D片：

如下可在參數(shù)設(shè)置里，設(shè)置各種參數(shù)以生成不同類(lèi)型的三次元圖片：

功能十三：AI寫(xiě)小說(shuō)

軟件主界面小說(shuō)聊天菜單選擇AI寫(xiě)小說(shuō)|聊天界面，如下點(diǎn)擊AI寫(xiě)小說(shuō)按鈕，設(shè)置開(kāi)頭，即可續(xù)寫(xiě)不同輪數(shù)的文字：

點(diǎn)擊訓(xùn)練小說(shuō)，如下可以選擇自己的小說(shuō)語(yǔ)料txt，訓(xùn)練自己的模型：

還支持清華大學(xué)Chatglm，注意這個(gè)至少需要6G顯存，且加載模型較慢，請(qǐng)耐心等待，可以實(shí)現(xiàn)類(lèi)似Chatgpt的形式：

功能十四：伴奏人聲分離

軟件主界面音視頻處理選擇伴奏人聲分離，選擇歌曲（支持批量），即可自動(dòng)分離人聲、伴奏、鼓點(diǎn)和低音，效果很厲害。若顯存4G及以下，可以如下參數(shù)設(shè)置勾選低顯存占用模式即可：

功能十五：音視頻轉(zhuǎn)文字

軟件主界面音視頻處理選擇音視頻轉(zhuǎn)文字，選擇音頻或者視頻，即可進(jìn)行語(yǔ)音識(shí)別，輸出字幕和文字版txt文件。音視頻轉(zhuǎn)文字功能，支持100多個(gè)國(guó)家語(yǔ)言，若選擇漢語(yǔ)，則不過(guò)什么語(yǔ)言的音視頻，最終都會(huì)自動(dòng)翻譯成中文字幕和txt文件，方便快捷，不過(guò)翻譯效果有限，最好還是選擇原視頻語(yǔ)言進(jìn)行識(shí)別。5.1版本大模型(int8)模式僅需要4-5G顯存，速度快4倍，效果也很好。

如下，選取的日文視頻演講識(shí)別字幕效果，紅框?yàn)檐浖R(shí)別自動(dòng)翻譯的字幕：

功能十六：視頻補(bǔ)幀

軟件支持視頻2-16倍補(bǔ)幀，這個(gè)效果也是很不錯(cuò)的，如下參數(shù)設(shè)置進(jìn)行設(shè)置參數(shù)即可：

點(diǎn)擊音視頻處理菜單的視頻補(bǔ)幀選項(xiàng)，選擇要補(bǔ)幀的視頻即可，補(bǔ)幀效果就是如下這種效果，原理是AI計(jì)算相鄰兩幀，然后腦補(bǔ)出中間大量幀：

04?顯卡要求

需要至少2GB顯存，且必須是英偉達(dá)顯卡，AMD、intel等不支持。

05?小結(jié)

這個(gè)項(xiàng)目確實(shí)很有意思，需要英偉達(dá)2G及以上顯存，AMD等其他顯卡不支持，感興趣的可以體驗(yàn)一下5.1版本了，更詳細(xì)的作圖參數(shù)、教程多刷刷B站相關(guān)視頻即可。

06?本期內(nèi)容獲取

方式一：百度網(wǎng)盤(pán)https://pan.baidu.com/s/1B0g4MPFe_drP_hRjgEnKGg 提取碼：95kh

方式二：天翼網(wǎng)盤(pán)https://cloud.189.cn/t/ZZ7vuyZrMvmm (訪問(wèn)碼:7dn8)??