介紹

安裝 StableDiffusion兩種方式，一種是去?github?上下載工程部署，另一種是安裝大佬的整合包，如果找不到整合包可以私信我。?

這里不詳細(xì)介紹安裝部分，當(dāng)我們安裝完后，打開網(wǎng)頁(yè)端時(shí)，會(huì)看到一個(gè)操作界面?？吹?SD 的操作界面，有種既熟悉又陌生的感覺，會(huì)點(diǎn)直接生成按鈕，直接生成圖片，但是如何寫提示詞呢可以生成好看的圖片呢，如何對(duì)圖片進(jìn)行二次修復(fù)呢，網(wǎng)上有好多好的模型如何導(dǎo)入我的 SD 中呢，還有很多問題，那么我們?cè)趺慈腴T呢。這里介紹一些 SD 概念，讓我們快速入門 SD。

如果想獲取更多關(guān)于 SD 的內(nèi)容，關(guān)注公眾號(hào)

模型的后綴

在 SD 中模型一般分為兩種后綴：xxx.ckpt，xxx.safetensors

ckpt模型：

checkpoint模型，大模型，一般為2~7GB，檢查點(diǎn)/關(guān)鍵點(diǎn)模型。 這種模型的訓(xùn)練類型玩游戲存檔差不多，運(yùn)行到關(guān)鍵位置，建立一個(gè)關(guān)鍵點(diǎn)保存已運(yùn)算的部分，方便回滾及計(jì)算。 保存下來(lái)的checkpoint關(guān)鍵點(diǎn)模型，可以支持我們AI作圖。 因?yàn)槭菣z查點(diǎn)模型，大部分的模型具有不斷往下迭代更新的能力。

safetensors模型

這種模型稍微小一些

是訓(xùn)練者為了讓模型更加可靠、高效而開發(fā)的

文件夾

那么這些模型在哪個(gè)文件夾呢？

在sd-webui-aki-v4.1\models\Stable-diffusion文件夾下

VAE

有時(shí)候我們會(huì)看到 VAE 的標(biāo)識(shí)，這是什么？ VAE 全稱：variational Auto Encoder：變分自解碼器 可以理解為調(diào)色濾鏡，主要影響畫面的色彩質(zhì)感 現(xiàn)在大部分模型已經(jīng)把VAE放到checkpoint模型下，不需要再加載。 也有一部分模型還是需要加載vae的，不然圖片有可能發(fā)灰發(fā)白

這種模型的文件夾在sd-webui-aki-v4.1\models\VAE

模型在哪下載

模型的下載途徑有很多，這里推薦兩個(gè)比較好的Hugging face，C 站。

Hugging face:https://huggingface.co/models

下載SD官方模型

搜索欄輸入：stable diffusion?

文生圖模型

點(diǎn)擊：Text-to-Image?

例如：waifu anythin dreamShaper模型

標(biāo)簽介紹

Model card：介紹 Files and versions:文件下載，模型文件一般再safety_checker文件夾

?community：社區(qū)，討論區(qū)

C站：https://civitai.com/

下面介紹一下如何使用該網(wǎng)站。

篩選模型的類型

例如選checkpoint模型，則選擇checkpoint即可

CheckPoint Type （模型的類型）

CheckPoint Type 處有三個(gè)選項(xiàng)

• ALL：所有類型，這里一般選 ALL 即可

• Trained：這個(gè)一般是作者訓(xùn)練的一手模型

• Merge：這個(gè)融合模型，是把多個(gè)模型融合在一起，一般的名稱為xxx_Mix

Base model

SD發(fā)展很快，因?yàn)殚_源，不少大佬不斷更新，出現(xiàn)了很多 SD 的版本，而模型訓(xùn)練需要基于 SD 的底模進(jìn)行訓(xùn)練，這里便是選擇基于SD哪個(gè)版本為底模進(jìn)行訓(xùn)練的。

類型篩選標(biāo)簽

模型下載

點(diǎn)擊進(jìn)入卡片，會(huì)看到有下載的按鈕

復(fù)制Prompt（提示詞）

那么下載模型后，如何能夠生成作者類似圖片呢，這里可以復(fù)制作者的提示詞。?

其他人做的圖片分享

在這里可以找到很多其他的作者分享的圖片，根據(jù)圖片，可以找到圖片使用的模型，以及使用的提示詞，這里就像抄作業(yè)一樣，復(fù)制好的提示詞到我們自己的 SD 上。

模型進(jìn)階

上面我們提到基本是大模型，放在文件夾sd-webui-aki-v4.1\models\Stable-diffusion下，那么除了這些大模型外。 我們還需要了解三種小模型：

• Embedding：文本嵌入 嵌入式向量

• LoRa ：（Low-Rank Adaptation Models）低秩模型

• Hypernetwork ：超網(wǎng)絡(luò) 既然有了大模型，我們可以根據(jù)提示詞生成各種各樣的圖片，那么這些小模型有什么用呢？ 上面的大模型我們可以比喻為上千頁(yè)的大書，當(dāng)我們輸入提示詞，AI會(huì)在大書中查找，根據(jù)提示詞生成我們的圖片。那么我們想生成特定種類的圖片呢，這時(shí)候再寫提示詞，不管怎么嘗試都打不到我們滿意的程度，那么這時(shí)候就需要小模型了，小模型類似于書簽、卡片記錄了更多信息，讓 AI 更加清楚的知道我們需要什么樣的模型。

Embedding 文本嵌入 嵌入式向量

類似于書簽，可以快速找到相應(yīng)的模型類型，一般幾十KB

在C站上對(duì)用這樣的模型

下載下來(lái)后綴一般與VAE一樣，為.pt文件

放在文件夾sd-webui-aki-v4.1\embeddings下

應(yīng)用

在提示詞中加入關(guān)鍵提示詞，可以在一個(gè)提示詞里面加入多個(gè)Embedding

例如：復(fù)制下面的提示詞

或者把圖片上傳到stable diffusion后使用反推出提示詞

舉例幾個(gè)模型

• 三視圖模型： CharTurner - Character Turnaround helper for 1.5 AND 2.1 鏈接：https://civitai.com/models/3036?modelVersionId=9857

• 解決AI畫手的問題：EasyNegative (主要針對(duì)二次元模型使用)，Deep Nagative(主要針對(duì)真人使用)，需要把提示詞放入負(fù)面提示詞里

LoRa （Low-Rank Adaptation Models）低秩模型

類似于詳細(xì)的描述一個(gè)東西，向 AI 傳遞特征準(zhǔn)確，主體清晰的信息，讓AI 可以創(chuàng)造出類似風(fēng)格的圖片，主要應(yīng)用到游戲、動(dòng)漫角色二次創(chuàng)作構(gòu)建。 比如你可以讓 AI 生成一只喜羊羊，那么 AI 會(huì)問了什么事喜羊羊呢？這時(shí)候通過提示詞以及上面的書簽我們已經(jīng)無(wú)法實(shí)現(xiàn)。那么這時(shí)候就用到 LoRa 了，它類似一個(gè)彩色卡片，上面記錄喜羊羊的信息，這樣 AI 就全面認(rèn)知了一個(gè)喜羊羊的信息，便能更好生成一只喜羊羊，生成一個(gè)AI里之前不認(rèn)識(shí)的東西。

大?。簬装僬?，比大模型小很多了，因?yàn)長(zhǎng)ora 是根據(jù)大模型進(jìn)行訓(xùn)練的，類似彩色卡片，記錄指定的信息。

下載放到文件夾\sd-webui-aki-v4.1\models\Lora，

使用

例如下面的例子：把文件名加入提示詞里

<lora:dark theme:0.7>,0.7為權(quán)重

訓(xùn)練自己的 Lora模型

C 站上下載的都是別人訓(xùn)練好的，如果我想訓(xùn)練自己指定的模型，那么該怎么訓(xùn)練呢？這里有篇文章，可以關(guān)注公眾號(hào)，回復(fù) "SD"，獲取文章

Hypernetwork 超網(wǎng)絡(luò)

有點(diǎn)類似LoRa，主要針對(duì)于畫風(fēng)的改變，設(shè)置特定的藝術(shù)風(fēng)格，例如把圖片改成雕塑化、像素畫、抽象化、Q版圖等

使用

設(shè)置--》擴(kuò)展模型，選擇放到文件夾下的模型，如果沒有就刷新一下

舉例

q版可愛畫風(fēng)：Waven Chibi Style

文件夾

下載后放到：sd-webui-aki-v4.1\models\hypernetworks

下載

C站下載，篩選Hypernetwork?

總結(jié)

這里了解關(guān)于 StableDiffusion基礎(chǔ)概念，再使用 SD 時(shí)，不至于摸不著頭腦，當(dāng)然SD還有很多操作，歡迎關(guān)注我，有時(shí)間會(huì)分享出來(lái)。 如果你想訓(xùn)練自己的Lora，比如想用指定模特圖片，生成照片，可以關(guān)注公眾號(hào)，回復(fù)"SD"，獲取文章，詳細(xì)介紹了如何訓(xùn)練自己的 Lora 模型。