【AI繪畫(huà)】不是每個(gè)模型都需要外掛VAE! VAE真正的作用是什么？
總有人不管哪個(gè)模型都在說(shuō)需要VAE，今天必須要糾正一下這個(gè)錯(cuò)誤的觀點(diǎn)。
一、模型必須要手動(dòng)選擇VAE的錯(cuò)誤觀點(diǎn)
首先，正常情況下，每個(gè)模型都是自帶了一個(gè)VAE的。是的，你沒(méi)看錯(cuò)，就在一個(gè)大模型的內(nèi)部，它本身是帶有VAE權(quán)重的。（當(dāng)然你可以使用我寫(xiě)的插件“模型轉(zhuǎn)換” 把VAE從大模型內(nèi)刪除，這屬于特殊情況）
那么為什么，我們經(jīng)常需要在WebUI里面選擇VAE?
注意，實(shí)際上這個(gè)選項(xiàng)的真正意思應(yīng)該叫“外掛VAE模型”。也就是說(shuō)，是在大模型內(nèi)的VAE出問(wèn)題了、壞了、或者是我們不滿(mǎn)意的情況下，才需要使用外部手動(dòng)選擇的VAE權(quán)重。
選擇了外掛VAE模型后，大模型內(nèi)本身帶有的VAE則會(huì)完全失效。
為什么會(huì)有這種情況的出現(xiàn)？
因?yàn)楹芫靡郧暗囊粋€(gè)模型，叫做AnythingV3，它的效果很好，傳播很廣泛，但唯獨(dú)模型內(nèi)的VAE權(quán)重由于模型融合導(dǎo)致它是壞掉的，最后直接使用這個(gè)模型出圖發(fā)灰，而必須手動(dòng)選擇使用正常的外掛VAE才能正常出圖。
那為什么后來(lái)的人越來(lái)越多的都要手動(dòng)選擇VAE？
因?yàn)槿趤?lái)融去，最后凡是融了A3的VAE都?jí)牡袅?/strong>
二、你下了一坨各種VAE，其實(shí)最后都是一個(gè)
是的，事實(shí)上所有的各種VAE，常見(jiàn)的那些什么Anythingv3.vae.pt、Anythingv4.vae.pt、xxx-Mix.vae.pt 等等等等各種各樣的融合模型的VAE，都是這個(gè)animevae.pt，或者我以前喜歡叫他final-prune.vae.pt。
這玩意從哪里來(lái)的呢？一路玩過(guò)來(lái)的懂的都懂，我就不在多提了。
你的電腦里，存了一大坨亂七八糟的相同VAE模型！！
那么哪些VAE是真的有區(qū)別的？請(qǐng)認(rèn)準(zhǔn)他們的哈希值。啟動(dòng)器內(nèi)的這些才是真正不一樣的VAE。
三、VAE是會(huì)有像濾鏡的效果，但是它不是濾鏡
你說(shuō)的對(duì)，但是《Stable Diffusion》是由Runwayml自主研發(fā)的一款全新開(kāi)放世界冒險(xiǎn)游戲。游戲發(fā)生在一個(gè)被稱(chēng)作「潛空間」的幻想世界，在這里，被神選中的人將被授予「Sampler」，導(dǎo)引擴(kuò)散之力。你將扮演一位名為「提示詞」的神秘角色，在自由的旅行中邂逅性格各異、能力獨(dú)特的模型們，和他們一起擊敗強(qiáng)敵，找回失散的圖像——同時(shí)，逐步發(fā)掘「穩(wěn)定擴(kuò)散」的真相。
先來(lái)復(fù)習(xí)一下Stable Diffusion的工作原理。詳情可以看我以前的專(zhuān)欄。
總的來(lái)說(shuō)，我們目前玩的SD，所謂的“繪畫(huà)”過(guò)程是在一個(gè)名為“潛空間”內(nèi)部發(fā)生的。
你可以把他理解為一個(gè)壓縮的空間，為了節(jié)省資源所以這么做的
而VAE則是在 “潛空間” 與 “像素空間” 之間的一個(gè)橋梁。像素空間就是我們?nèi)搜劭吹恼D片。
VAE它分為編碼器與解碼器。編碼器負(fù)責(zé)將圖像壓縮到潛空間中的低維表示，而解碼器從潛空間恢復(fù)圖像。
我們使用同一組參數(shù)，生成的潛空間圖像實(shí)際上是一樣的。
而切換了VAE，只是切換了不同的模型去把他的潛空間圖像轉(zhuǎn)換為像素空間的圖像。這也就是為什么切換了VAE只有一些細(xì)節(jié)上的差距、以及顏色上的差距。
