Stable Diffusion模型目前有版本1和版本2，2個(gè)都是開源的。但1版本使用的是OpenAI的CLIP，2版本用的是OpenCLIP，它是CLIP的開源版本。雖然從解碼提示詞的角度來說，Stable Diffusion1.5的版本比Stable Diffusion2的版本要表現(xiàn)得更好些，因此，我們比較推薦的是Stable Diffusion1.5版本。

這種不再使用CLIP的轉(zhuǎn)變，可能會(huì)為項(xiàng)目貢獻(xiàn)者提供一些保護(hù)，避免潛在的責(zé)任問題，鑒于即將到來的知識(shí)產(chǎn)權(quán)訴訟浪潮肯定會(huì)影響此類模型，這一點(diǎn)很重要。

幾類模型詳解

今天的學(xué)習(xí)和匯總，主要內(nèi)容根據(jù)B站的AI次世代博主的內(nèi)容組織和增加的。有興趣的可以參考著學(xué)習(xí)。

【AI繪畫入門教程】AI繪畫入門? 模型詳解? 保姆教程 Stable Diffusion模型到哪下載？】 https://www.bilibili.com/video/BV1eL411176f/?share_source=copy_web&;vd_source=96188266665c90578cc52f2450fb0552

【1】大模型/底模型-屬于基礎(chǔ)模型也叫預(yù)調(diào)模型

首先介紹的是大模型，是SD能夠繪圖的基礎(chǔ)模型。安裝完SD軟件后，必須搭配基礎(chǔ)模型才能使用。不同的基礎(chǔ)模型，其畫風(fēng)和擅長(zhǎng)的領(lǐng)域會(huì)有側(cè)重。

【2】Lora模型-屬于微調(diào)模型

介紹：

如果把基礎(chǔ)模型比喻作一座房子的地基，那么Lora模型就好比在這個(gè)地基上蓋起來的房子。我們通常也稱為微調(diào)模型，用于滿足一種特定的風(fēng)格，或指定的人物特征屬性。在數(shù)據(jù)相似度非常高的情形下，使用微調(diào)模型，可以節(jié)省大量的訓(xùn)練時(shí)間和訓(xùn)練資源，就可以產(chǎn)出我們需要的結(jié)果。

獲得：

要想獲得不同的lora，可以是到網(wǎng)絡(luò)上C站或國(guó)內(nèi)的AI圖站下載。下載后的lora文件直接放到Stable Diffusion安裝目錄的models的lora目錄里。刷新后就可使用。

使用：

點(diǎn)擊lora調(diào)用按鈕后，在tag欄就可以看到一個(gè)詞條，然后再繼續(xù)編輯描述語即可。

訓(xùn)練lora的教程B站上很多，也容易讓大家看的迷糊，畢竟各有各的煉法，也因?yàn)槊總€(gè)人的理解和硬件不同，會(huì)有不同操作方式。

這方面的個(gè)人心得，也會(huì)放在稍后的05期分享中跟大家探討。

【3】VAE美化模型

VAE，全名Variational autoenconder，中文叫變分自編碼器。作用是：濾鏡+微調(diào)。

有的大模型是會(huì)自帶VAE的，比如我們常用的Chilloutmix。如果再加VAE則可能畫面效果會(huì)適得其反。

【4】Embeddings和Hypernetworks個(gè)性化模型

Embeddings-也是屬于微調(diào)模型，Hypernetworks則不太用了。

Embeddings叫文本反轉(zhuǎn)，通過僅使用的幾張圖像，就可以向模型教授新的概念。用于個(gè)性化圖像生成。與lora模型一樣，Embeddings也必須配合基礎(chǔ)模型使用。

【5】DreamBooth模型

DreamBooth，可用于訓(xùn)練預(yù)調(diào)模型用的。是使用指定主題的圖像進(jìn)行演算，訓(xùn)練后可以讓模型產(chǎn)生更精細(xì)和個(gè)性化的輸出圖像。

【6】LyCORIS模型

介紹：

此類模型也可以歸為L(zhǎng)ora模型，也是屬于微調(diào)模型的一種。一般文件大小在340M左右。不同的是訓(xùn)練方式與常見的lora不同，但效果似乎會(huì)更好不少。

其中本人較喜歡的“Miniature world style 微縮世界風(fēng)格”就屬于這類模型。

獲得：

但要使用此類微調(diào)模型，需要先安裝一個(gè)locon插件，直接將壓縮包解壓后放到StableDiffusion目錄的extensions目錄里。

下載地址：https://github.com/KohakuBlueleaf/a1111-sd-webui-locon

使用：

使用時(shí)注意，除了要將lora調(diào)入，還要在正向tag開頭添加觸發(fā)詞

例如：這個(gè)微縮世界風(fēng)格的lyCORIS的調(diào)用，正向描述語如下

mini\(ttp\), (8k, RAW photo, best quality, masterpiece:1.2), island, cinematic lighting,UHD,miniature, landscape, Crystal ball,on rock,?<lora:miniatureWorldStyle_v10:0.8>

訓(xùn)練：

對(duì)此類模型的訓(xùn)練有興趣的，可以參看：

【Stable Diffusion風(fēng)格化LyCORIS（LoCon和LoHa）_ LoRA】 https://www.bilibili.com/video/BV1XL411X7n5/?share_source=copy_web&;vd_source=96188266665c90578cc52f2450fb0552

模型下載處-C站

網(wǎng)址（需科學(xué)上網(wǎng)）：https://civitai.com/

首頁面下拉，可以看到此模型的其他作品作參考。

國(guó)內(nèi)模型下載處-AI圖站

https://aituzhan.com/

這個(gè)站點(diǎn)或許可以淘到不少C站下架了的模型，還是相當(dāng)不錯(cuò)的。

介紹幾個(gè)大模型

這里介紹幾款基礎(chǔ)模型給大家，在文字結(jié)尾有百度鏈接也可以下載到，或者自行到上面推薦的2個(gè)站點(diǎn)下載。

lofi_V2pre.safetensors

這是一款不輸于chilloutmix_Ni.safetensors（最常用的用于繪制亞洲女性的基礎(chǔ)模型）

寫實(shí)風(fēng)格，善于人物。

revAnimated_v121.safetensors

這款模型作圖效果很好，還能搭配很多不同lora達(dá)到很強(qiáng)的表現(xiàn)效果。

v1-5-pruned-emaonly.safetensors

1.5版本官方模型

cuteRichstyle15_cuteRichstyle.ckpt

可愛人物像模型，這個(gè)模型不僅需要調(diào)用模型，在tag中還需要調(diào)用到觸發(fā)詞：cbzbb

Waifu-diffusion

很出名的模型，用來生成Novel AI類似風(fēng)格的圖片。日漫風(fēng)格的模型。

下載鏈接：https://huggingface.co/hakurei/waifu-diffusion

?

常用到的基礎(chǔ)模型和插件（持續(xù)更新中）

鏈接：https://pan.baidu.com/s/1c9utQmWlGcRqLTr_kftTyA?pwd=1111?

提取碼：1111?

--來自百度網(wǎng)盤超級(jí)會(huì)員V5的分享

本系列的下一期我們將介紹在StableDiffusion的UI界面中常用到的標(biāo)簽頁和插件。

?

?