超越comfyUI,實現SDXL雙模型聯用的WebUI插件

細心的AI繪畫愛好者可能發(fā)現,SDXL的默認模型不僅體積大,而且有兩個。
一個是base,一個是refiner。
根據官方文檔,這兩個模型的用途不完全一樣。
sdxml -base-1.0:生成1024 x 1024圖像的基本文本到圖像模型?;灸P褪褂肙penCLIP-ViT/G和CLIP-ViT/L進行文本編碼。
sdxml -refiner-1.0:一個圖像到圖像的模型,用于細化基本模型的潛在輸出,可以生成更高保真度的圖像。細化模型只使用OpenCLIP-ViT/G模型。
SDXL 1.0的refiner是基于OpenCLIP-ViT/G的具有6.6B參數模是目前可用的最強大的開放訪問圖像模型之一。
base模型在第一階段創(chuàng)建(有噪聲的)結果,然后由專門為最后去噪步驟設計的refiner模型進一步處理(基本模型也可以作為一個模塊單獨使用)。

簡單總結,base是一個“底座”大模型,而refiner可以對base生成的圖片進行優(yōu)化(去噪聲)。
當然了,經過我的實測,有時候這個優(yōu)化是負優(yōu)化... ...
根據官方文檔,SDXL需要base和refiner兩個模型聯用,才能起到最佳效果。而支持多模型聯用的最佳工具,是comfyUI。

使用最為廣泛的WebUI(秋葉一鍵包基于WebUI)只能一次加載一個模型,為了實現同等效果,需要先使用base模型文生圖,再使用refiner模型圖生圖。
操作繁瑣。
后來,comfyUI除了WebUI用的插件,實現了在WebUI以插件的形式可以輕松的切換到comfyUI界面。我也做了介紹,但依然存在一個問題:comfyUI的操作習慣和WebUI完全不同,非常不便。
于是,有人做了一個插件,讓WebUI可以同時加載兩個模型,使用base模型跑圖后接著用refiner模型優(yōu)化,實現和comfyUI幾乎一樣的效果,操作方式卻是完全WebUI化的。
當然了,和comfyUI相比,還是遜色一點,這個插件只能支持多掛載一個模型,不能像comfyUI那樣任意掛載N多模型。
從實用的角度來說,SDXL一個模型出圖,一個refiner模型優(yōu)化就足夠了。
這個插件的名字,就叫Refiner。

https://github.com/wcde/sd-webui-refiner
(國內訪問GitHub不太穩(wěn)定,多試幾次,一般十分鐘內肯定可以)
安裝完畢后,首頁左下角會有Refiner選項。

使用的時候,點擊啟用,選中模型和迭代步數就可以了。推薦迭代步數10-20之間。
讓我們試一下。
提示詞:
portrait of a beautiful anime girl wearing a gothic dress, in a dark and moody atmosphere filled with white mist, indoor dimlight, (black and red ink splash:1.2) embedding:SimplePositiveXLv1
模型使用base,不使用Refiner的情況下。

使用Refiner,迭代步數10。

PS,最近C站放出了修復原生bug的base模型和Refiner模型,從模型名可以看出,我用的是修復后的模型。

和comfyUI相比,缺乏直觀的生成過程對比,略有一絲絲缺憾。
但是操作簡便,不用修改使用習慣,足以彌補缺憾。