1.寫在前面

該筆記整理了b站up主"AI小王子Jay"的sd系統(tǒng)教學(xué)視頻,作者個(gè)人空間有全套視頻，為了方便以后復(fù)習(xí)我做一下簡(jiǎn)單的整理。

2.部署

項(xiàng)目原址https://github.com/AUTOMATIC1111/stable-diffusion-webui

墻內(nèi)訪問有概率進(jìn)不去,有解決辦法請(qǐng)自行百度,但是如果進(jìn)不去,建議搭梯子

看readme自己搭建,這一頁內(nèi)容幾乎包含了搭建需要的所有步驟,看教學(xué)視頻可以輔助搭建

3.txt2img：

3.1 CheckPoint（ckpt）

放在models/stable diffusion文件夾下的.ckpt文件,核心模型,直接決定出圖的風(fēng)格

3.2 VAE

變分自編碼器,增加圖片飽和度,降低灰度,放在models/VAE文件夾下,不是特別關(guān)鍵的參數(shù)

3.3 Clip skip

讓tag和圖片建立關(guān)系,不知道為什么我的ui沒有這個(gè)選項(xiàng),不建議調(diào)太高,可以不調(diào)整.

3.4 Prompt

提示詞,使用sd的核心,很好理解,需要注意的是,詞條建議用短句而不是短語或者單詞來組成prompt

靠前的詞條權(quán)重高,使用括號(hào)調(diào)整權(quán)重:()增大為1.1倍;{}增大為1.05倍,[]減小為0.9倍;(prompt:float)可以手動(dòng)規(guī)定權(quán)重,以1為標(biāo)準(zhǔn)值

[prompt|prompt]和prompt AND prompt兩種方式可以混合渲染,有區(qū)別但是不詳細(xì)說了

詞條整理:原up主的Discord(雖然我不知道這是他原創(chuàng)的還是搬運(yùn)了別人的東西):

https://discord.gg/9sJRDU6nbu?需要梯子,需要注冊(cè)discord

我的度盤鏈接

鏈接：https://pan.baidu.com/s/1C9Dh5_dG2aPRiJP0gk0jow?pwd=skmm

提取碼：skmm

3.5 Sample step

采樣次數(shù),20-40足矣,高了事倍功半,而且顯卡吃不消

3.6 Sampling method

很多,建議用DPM++SDEkarras

-a噪點(diǎn)不居中,關(guān)鍵詞識(shí)別度低

-karras去噪快

-DDIM&PLMS過時(shí)了

-DPM建議使用

3.7 圖片分辨率

好理解,依據(jù)顯卡性能量力而行,眾所周知分辨率一直是最影響性能的參數(shù)之一

3.8 可選項(xiàng)

Restore face修臉的,畫人建議選上, tiling畫紋理用的,別選,Hires.fix高分辨率.,

3.9 Batch count&size

count可以拉高但是size量力而行

3.10 CFG scale

prompt和圖片相關(guān)性,越高,則相關(guān)度越高,建議4-9

3.11 Seed

給生成結(jié)果帶來隨機(jī)性,同一個(gè)seed+相同參數(shù),出的圖相同

3.12 模板預(yù)設(shè)

就是把prompt保存成模板,以供重復(fù)使用

寫好prompt以后點(diǎn)擊第五個(gè)按鈕保存,在style里面選擇模板后按第四個(gè)按鈕應(yīng)用到prompt里面

如需刪除預(yù)設(shè)，在項(xiàng)目根目錄中的“style.csv”文件中手動(dòng)刪除

五個(gè)按鈕,第一個(gè)是加載上一次的配置,包括prompt,seed和參數(shù)在內(nèi)的所有配置,第二個(gè)是清空,第三個(gè)是展開extra network,就是顯示models文件夾中的其他模型,下面會(huì)說

3.13 Extra embeddings

顯示其他的模型,分為以下幾個(gè):

Texture inversion:集合參數(shù),這里的一個(gè)模型就是一個(gè)prompt,這個(gè)prompt集合了若干個(gè)prompt,以形成特定的效果,有點(diǎn)像prompt模板,在prompt中,直接使用這個(gè)inversion對(duì)應(yīng)的提示詞,就可以表示它所包含的所有提示詞效果

Hypernetworks:超網(wǎng)絡(luò)是novelai提出和使用的,用來給模型細(xì)小的微調(diào),現(xiàn)在已經(jīng)不怎么用了

Checkpoints:已經(jīng)詳細(xì)講過了

LoRa:改變畫面風(fēng)格和面部的細(xì)小模型,下面給出一個(gè)lora的使用方法樣例,注意,如果使用多個(gè)lora,請(qǐng)保證權(quán)重之和<=1

ps:如果想要讓模型顯示圖片,可以把png/jpg格式的圖片放到模型所在的文件夾里,然后把名字改成和對(duì)應(yīng)文件夾相同的

想要更多模型,推薦網(wǎng)站:

CivitaI,c站,最主流的模型網(wǎng)站,需要梯子:

https://civitai.com/

Liblib AI,不需要梯子,(據(jù)說是)全免費(fèi):

https://www.liblibai.com/?bd_vid=8307283623378637137

3.14 Scripts

腳本是實(shí)現(xiàn)一些特殊效果的功能,具體如下:

3.14.1 Prompt matrix

同一個(gè)描述在不同條件下的效果,出來的結(jié)果是一個(gè)矩陣圖,每種效果之間會(huì)兩兩結(jié)合，使用方法樣例如下：

其中第一個(gè)prompt是描述，后面的幾個(gè)詞是效果，使用"|"鏈接

兩個(gè)單選框,第一是把變量(也就是效果)放在prompt前面,不選;第二個(gè)是給每一張圖片選擇不一樣的seed,這意味著對(duì)同一個(gè)描述的每個(gè)不同效果,使用的是完全不同的圖片,一般不選

Select prompt:在哪個(gè)提示詞框里面使用prompt matrix,一般選positive

Select joining char:選擇連接符,用逗號(hào)就可以

Grid margin:每張子圖片的之間有多少像素的空隙

3.14.2 Prompts from file or textbox

工程化的操作方式,不使用ui交互,而是直接填寫參數(shù)來生成圖片,支持上傳參數(shù)文件也支持手打

輸入樣例:

實(shí)際上,如果我們用記事本格式打開一張ai圖片,我們可以看到圖片中的生成參數(shù)信息

所以如果我們有一張ai圖,就相當(dāng)于獲得了它的所有信息,aigc的過程也就是調(diào)參的過程

在Png Info功能中,可以查看一張ai圖片的信息

兩個(gè)參數(shù)，分別是每張圖使用迭代隨機(jī)seed(就是說每張圖的seed值++)和所有圖使用相同隨機(jī)seed，二選一

3.14.3 XYZ plot

其實(shí)就是構(gòu)造圖表,XYZ分別是圖表的三個(gè)軸,每個(gè)軸的每個(gè)值構(gòu)造出一個(gè)(x,y,z)向量,每個(gè)向量對(duì)應(yīng)一個(gè)值.如果只需要二維圖表,那么只用XY兩個(gè)軸就可以,也推薦這么做,因?yàn)槿齻€(gè)軸太吃顯卡

界面和一個(gè)輸入樣例:

如果軸類型是一個(gè)對(duì)象,那么軸值框會(huì)出現(xiàn)若干個(gè)可選項(xiàng);如果軸類型是一個(gè)值,那么軸值框內(nèi)填寫2數(shù)值,可以填寫數(shù)字列表(如1,2,4,6,8,9)也可以是范圍+步距的形式(如1-10(+2),如果不寫步距,默認(rèn)+1).

另外幾個(gè)參數(shù)好理解,Draw legend畫圖例建議選上

4. img2img

和上面重復(fù)的部分不再贅述

4.1 All-in-one-prompt

一個(gè)提示詞插件,看了下項(xiàng)目地址，是對(duì)提示詞系統(tǒng)的全面優(yōu)化，非常好用，我沒有

4.2 Denoising

重繪強(qiáng)度,越低,出圖和原圖越相近

4.3 拉伸模式Resize mode

Just resize:純拉伸,注意,在分辨率界面,點(diǎn)擊尺子按鈕,出圖分辨率會(huì)調(diào)整為原圖分辨率

Cope and resize:裁剪,字面意思

Resize and fill:以最后一個(gè)像素為基礎(chǔ)填充新尺寸多出來的元素.如果重繪強(qiáng)度夠高,這個(gè)選項(xiàng)可以讓sd繪制填充的部分,但是繪制仍然是基于最后一個(gè)像素的

Just resize(latexxx):直接拉伸,采樣有隨機(jī)性,一般不用

4.4 生成模式

就是原圖界面上面幾個(gè)選項(xiàng)卡

4.4.1 sketch:涂鴉

這個(gè)模式下,原圖界面會(huì)多一個(gè)簡(jiǎn)易畫筆,可以對(duì)原圖涂鴉,涂鴉后sd根據(jù)加工圖重繪

繪制優(yōu)化插件canvas-zoom,優(yōu)化涂鴉細(xì)節(jié)部分的體驗(yàn)

這個(gè)模式用于局部添加元素,或者是簡(jiǎn)筆畫出圖很好用

4.4.2 Inpaint局部重繪

字面意思,可控性高的局部繪制功能,參數(shù)解釋:

Mask blur蒙版模糊度:給蒙版增加高斯模糊,值越低 ,蒙版和原部分界線越分明,反之過渡越平滑,但是太高的模糊度會(huì)導(dǎo)致蒙版失效,需要合理控制.

Mask mode蒙版模式:masked繪制蒙版部分,not masked繪制蒙版外的部分,相當(dāng)于反選

注意,蒙版繪制的顏色不會(huì)影響到出圖顏色

Mask content蒙版蒙住的內(nèi)容:四個(gè)參數(shù),fill表示重繪時(shí)完全不考慮原圖,original表示必須參考原圖,latent noise不考慮原圖,比fill更有想象力和細(xì)節(jié),這是因?yàn)樗菑娜S機(jī)噪聲狀態(tài)開始繪制的,latent nothing,不考慮原圖,細(xì)節(jié)比fill更多一些,用的少

Inpaint area 重繪區(qū)域,whole picture像素集中在整張圖片,蒙版區(qū)域的像素少一些,only masked像素集中在蒙版,所以細(xì)節(jié)更多

Only masked padding僅蒙版填充半徑:指重繪時(shí)參考原圖在蒙版周圍的像素的多少,這個(gè)值表示半徑,單位pixel,值越高,就越貼近原圖,建議32以上

4.4.3 Inpaint sketch局部重繪涂鴉

在Inpaint基礎(chǔ)上可以涂鴉帶顏色的重繪方法,兩個(gè)方法的結(jié)合,看起來很強(qiáng)大,只多了一個(gè)參數(shù)

Mask transparency蒙版透明度:透明度越高,出圖越模糊,一般設(shè)置為0

4.4.4 Inpaint upload局部重繪,上傳蒙版

使用其它專業(yè)的工具(比如ps)繪制蒙版,可以制作更高質(zhì)量的模板,自己繪制的時(shí)候注意,白色的部分是蒙版.

4.4.5 Batch批量處理

設(shè)置文件夾,讓sd處理文件夾里面的圖片

input/output directory 輸入/輸出文件夾目錄,必須是全英文路徑

Inpaint batch mask directory蒙版文件夾目錄,只在使用蒙版的時(shí)候需要,為了使圖片和蒙版的對(duì)應(yīng),對(duì)應(yīng)圖片和蒙版名稱需相同

4.5 反推

就是這兩個(gè)東西,用來反向推到關(guān)鍵詞的,上下分別是以句子的形式反推和以單詞的形式反推

5 圖片修復(fù)

5.1 Extras高清化

單張圖像和批量處理等,邏輯和之前講過的相似,不再贅述

resize

scale by按照指定倍數(shù)縮放,scale to按照需要的像素值縮放,可以改變?cè)瓐D比例,這個(gè)模式下需要勾選裁剪,不然比例變化不好看

upscaler

1和2都是高清化算法,分別是主要/次要算法,前三個(gè)是過時(shí)的傳統(tǒng)算法,只是用推薦的插件算法4x-Ultrasharp就好

ESRGAN很好,但是色彩略差

anime6B對(duì)動(dòng)漫圖片效果好

upscaler2目的是為了權(quán)衡圖片材質(zhì),避免過度磨皮,使用一個(gè)較低性能的算法可以平衡其他算法,現(xiàn)在很少用了

GFPGAN

面部修復(fù)算法,只修復(fù)面部時(shí),不使用任何upscaler,然后設(shè)置放大倍率,注意,只修復(fù)面部而不會(huì)修復(fù)其他信息

Codeformer

面部修復(fù)算法,但是會(huì)改變?cè)燃?xì)節(jié),可以和GFP同時(shí)用,混合比率

Remove Background

一個(gè)插件,很強(qiáng)大的摳圖功能,一般使用u2net,后面的cloth/human后綴等是專精的算法,isnet-anime對(duì)動(dòng)漫的摳圖效果好.直接在webui的擴(kuò)展插件界面通過項(xiàng)目地址添加即可,項(xiàng)目地址:

https://github.com/AUTOMATIC1111/stable-diffusion-webui-rembg.git

Return mask 出圖的時(shí)候是蒙版圖

Alpha matting可以去掉摳圖的黑邊,具體參數(shù):erode size主體邊緣像素預(yù)留區(qū)域,類似邊緣模糊,數(shù)值低一點(diǎn)好;foreground/Background threshold 前景/背景閾值,越高,去除前景/背景的元素就越多,建議值為:erodesize=6,fore=143,back=187

5.2 Stable SR

一個(gè)好用的圖片修復(fù)和高清化插件,據(jù)說效果非常好,暫不詳細(xì)描述了(因?yàn)檫€沒有實(shí)操)