學(xué)習(xí)筆記|為什么你用Stable Diffusion畫的那么模糊?如何使用VAE

今天看到一個(gè)對(duì)比,用Stable Diffusion的基礎(chǔ)模型和付費(fèi)版的Midjoureny V5做對(duì)比,結(jié)果當(dāng)然是Stable Diffusion表現(xiàn)一塌糊涂。
和Midjoureny內(nèi)置了大量的模型相比,Stable Diffusion基礎(chǔ)模型基本上沒什么價(jià)值。
Stable Diffusion作為開源軟件,最大的特點(diǎn)就是模型自由搭配組合,最著名的模型分享站點(diǎn)是C站。
對(duì)于AI繪畫愛好者來說,C站下載量排在前面的可以無腦下載。
你永遠(yuǎn)可以相信全世界的LSP們的集體審美:
我沒看到黑人美人魚,沒看到吊眼角的亞洲人,沒看到以肥為美的LGBT... ...
無論是真人模型還是動(dòng)漫模型,都是一水的馬甲線大長(zhǎng)腿的美少女,當(dāng)然偶爾也有花樣美男。

編輯切換為居中
PS,不要被下載量最大的前兩個(gè)預(yù)覽圖迷惑,這兩個(gè)是綜合類的模型,畫真人美女更出色,只是作者為了低調(diào),放了很樸素的圖,但依然被LSP們頂?shù)较螺d前列。
動(dòng)漫題材的模型中,MIX-Pro是非常出色的一個(gè),下載量也比較大。

在使用這個(gè)模型的時(shí)候,我發(fā)現(xiàn)一個(gè)問題:我和C站網(wǎng)友做的畫面幾乎一致,基本復(fù)現(xiàn)的同時(shí),畫面卻非?;野担幌窬W(wǎng)友做的那么靚麗。
比如我用了這一段提示詞。 正向: Original Characters, Natural Volumetric Lighting And Best Shadows, Deep Depth Of Field, Sharp Focus, Portrait Of Stunningly Beautiful Petite Girl, Soft Delicate Beautiful Attractive Face With Alluring Brown Eyes, Lovely Medium Small Breasts, Sharp Eyeliner, Seductive Smiling, Closed Mouth, Windswept Disheveled Brown Hair, Thick Layered Medium Hairstyles, Blush Eyeshadow With Thick Eyelashes, Parted Lips, Oversized Straw Sun Hat, Single Ribbon Bow, White Rustic One-piece Dress Long, (Flutter In The Wind:1.1), (Ripe Yellow Rye Field Under Beautiful Summer Sunset Sky With Clouds:1.2), (Highest Quality, Amazing Details:1.4), Masterpiece, Bloom, Picturesque, Vivid Watercolor Paintings,White gloves 反向(比較隨意和大同小異)。
(worst quality, low quality, loli, child, infant, baby:1.4), lowres, blurry, bad anatomy, bad hands, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, (signature, watermark, username,letter, letterboxed, copyright name, copyright, chinese text, artist name, name tag, company name, name tag, text, error:1.5)
我畫出來的畫面是這樣的:

雖然很好看,但畫面明顯不夠靚麗,哪里出問題了?
這種情況就是因?yàn)闆]有使用正確的VAE。
什么是VAE?
VAE 的全稱是Variational Auto-Encoder,翻譯過來是變分自動(dòng)編碼器,本質(zhì)上是一種訓(xùn)練模型,Stable Diffusion里的VAE主要是模型作者將訓(xùn)練好的模型“解壓”的解碼工具。
在C站下載模型,需要特定VAE的情況下,會(huì)提示下載鏈接。
編輯切換為居中
VAE文件擴(kuò)展名是CKPT或者PT,安裝路徑是 models\VAE ,需要和早期的模型文件區(qū)分開,早期模型文件擴(kuò)展名也是CKPT,但模型文件一般2G以上,而VAE文件只有幾百兆。

拷貝完畢后,刷新首頁(yè)外掛VAE模型,選中對(duì)應(yīng)的VAE文件,重新生成即可。

新生成的畫面更加清晰和透徹,效果遠(yuǎn)好于不使用VAE。
那么問題來了,由于搜羅模型非常費(fèi)勁,有些模型被C站下架,如果下載模型的時(shí)候沒有找到VAE文件怎么辦?
可以下載一些通用VAE,可能效果比專用VAE略差一些,但基本能夠解決顏色、亮度失真的問題。有時(shí)候生成的畫面會(huì)過亮,這就需要更換一下通用VAE文件,嘗試生成最好的結(jié)果。
比如,我用通用VAE生成的圖像是這樣的:

和專用VAE幾乎沒有太大區(qū)別(為什么帽檐破了??)。
本文用到的模型文件下載:
1、Mix-Pro V3:https://www.123pan.com/s/ztzbVv-LV5Eh.html
2、Mix-Pro V4:
https://www.123pan.com/s/ueDeVv-Rk0I.html提取碼:lgyh
3、本模型專用VAE:
https://www.123pan.com/s/ueDeVv-Dk0I.html提取碼:lgyh
4、通用VAE(三個(gè),可分別嘗試最佳效果):
https://www.123pan.com/s/ztzbVv-lTqEh.html
https://www.123pan.com/s/ztzbVv-7TqEh.html
https://www.123pan.com/s/ztzbVv-STqEh.html