AI繪圖工具fooocus發(fā)布,小顯存再戰(zhàn)三年,4G也能跑SDXL大模型!

SDXL發(fā)布后,最開(kāi)心的大概是黃皮衣(英偉達(dá)老板黃仁勛)。
因?yàn)閷?duì)于大部分用戶來(lái)說(shuō),尤其是8G以下顯存,已經(jīng)很難支撐新版大模型了,連爆顯存的機(jī)會(huì)都沒(méi)有,跑都跑不起來(lái)。
不過(guò),根據(jù)網(wǎng)友的反饋,WebUI比較吃顯存,而comfyUI相對(duì)節(jié)約顯存,同等情況下,后者生成圖能快一些。
但對(duì)于絕大多數(shù)入門新手來(lái)說(shuō),comfyUI的流程圖式的操作方式非常不友好(對(duì)碼農(nóng)比較友好)。
SDXL發(fā)布后,ControlNet遲遲沒(méi)有做好適配,作者在干什么呢?
他在寫一個(gè)“全新”的獨(dú)立程序,可以跑起SDXL的大模型,最重要的是,這個(gè)程序?qū)︼@存非常友好,最低4G即可跑SDXL大模型!
對(duì)配置的需求堪比SD1.5時(shí)代了。
他是如何做到的?
這個(gè)程序叫fooocus,我下載了程序,大體翻了一下代碼,發(fā)現(xiàn)作者非常聰明。
他并沒(méi)有追求大而全的各種功能,而是在內(nèi)置了一個(gè)comfyUI的情況下,做了大量的性能方面的優(yōu)化提升,留給用戶的界面異常簡(jiǎn)潔,除了輸入提示詞、選擇模型外,幾乎不需要做任何其他設(shè)置,所有設(shè)置都是作者優(yōu)化好的。
簡(jiǎn)言之,他在comfyUI外面套了一個(gè)深度優(yōu)化后的極簡(jiǎn)版的殼。
由于目前尚未有一鍵安裝包,這個(gè)程序尚有一點(diǎn)點(diǎn)安裝門檻,我寫了一個(gè)教程。
1、程序下載(以Windows版本為例)
https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_1-1-10.7z
這個(gè)地址直接訪問(wèn)可能不穩(wěn)定,但可以用迅雷下載。
2、模型下載
該程序默認(rèn)用到了3個(gè)SDXL的模型,一個(gè)base,一個(gè)Refiner,和一個(gè)LoRA。
為了安裝方便,建議先提前下載好這三個(gè)模型。
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors
https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors
https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_offset_example-lora_1.0.safetensors
為了保持和WebUI(如秋葉一鍵包)的模型通用,
兩個(gè)大模型放到WebUI的大模型目錄即可,比如:sd-webui\models\Stable-diffusion\SDXL
一個(gè)LoRA模型放到WebUI的LoRA模型目錄,比如sd-webui\models\lora
3、解壓縮fooocus程序并修改配置
(1)共用模型的配置文件
修改以下文件:
Fooocus_win64_1-1-10\Fooocus\modules\path.py

將大模型和LoRA的對(duì)應(yīng)目錄改成WebUI對(duì)應(yīng)的模型和LoRA目錄。
(2)修改啟動(dòng)IP地址(本機(jī)啟動(dòng)無(wú)需修改)
因默認(rèn)只能在本機(jī)訪問(wèn),如果需要在局域網(wǎng)訪問(wèn)電腦,則需要修改啟動(dòng)IP地址。
修改以下文件:
Fooocus_win64_1-1-10\Fooocus\webui.py

將最后一行的server_name=后面改為"0.0.0.0"即可。
4、啟動(dòng)fooocus
執(zhí)行run.bat即可啟動(dòng)。
5、界面簡(jiǎn)介
用過(guò)WebUI,對(duì)fooocus就不會(huì)陌生,它把界面做到了極簡(jiǎn)。

左邊欄是生成圖片的界面,左下方輸入提示詞和生成按鈕。
右側(cè)是高級(jí)選項(xiàng)。
高級(jí)選項(xiàng)有三個(gè)選項(xiàng),
一個(gè)是基本設(shè)置,主要是尺寸、種子和負(fù)面提示詞;
一個(gè)是風(fēng)格設(shè)置,這個(gè)直接使用了WebUI的風(fēng)格插件,文件名都一樣;

最后一個(gè)是高級(jí)選項(xiàng),用來(lái)選取模型和LoRA,因?yàn)樯衔牡呐渲眠^(guò)程中,我改成了WebUI的配置,所以可以直接使用WebUI的模型、LoRA。

6、joy it!
模型:sdxl_bluePencilXL_v009
提示詞:
fantasy,dream girl sitting on the moon, colorful, masterpiece, ultra detail,8k, RAW photo, best quality,
