SD XL 1.0 重磅更新！免費開源可商用（附在線使用+本地部署教程）
文章轉(zhuǎn)載于：優(yōu)設(shè)網(wǎng)
大家好，這里是和你們一起探索 AI 繪畫的花生~
7 月 26 日，Stability AI 發(fā)布了 Stable Diffusion XL 1.0 模型，它在圖像生成質(zhì)量上有了極大的提升，并且模型是開源的，圖像可免費商用，所以一經(jīng)發(fā)布就收到了廣泛的關(guān)注，今天我們就一起了解一下 SDXL 1.0 的圖像生成質(zhì)量、在線使用途徑及本地部署方法。
一、SDXL 1.0 模型簡介
Stable Diffusion XL是在Stability AI 在今年 4 月份推出的新模型，訓(xùn)練參數(shù)是之前 Stable Diffusion v2.1 的 2.5 倍，其生成的圖像在美學(xué)程度和質(zhì)量上有了很大的改進(jìn)。Stability AI 在今年 6 月底更新了 SDXL 0.9, 并在一個月后更新出 SDXL 1.0，足以看出其對 XL 系列模型的重視。
據(jù)官方介紹，SDXL 1.0 相比之前的模型，優(yōu)勢主要體現(xiàn)在以下幾個方面：
可以直接根據(jù)文本生成生成任何藝術(shù)風(fēng)格的高質(zhì)量圖像，無需其他訓(xùn)練模型輔助，寫實類的表現(xiàn)是目前所有開源文生圖模型里最好的。
依據(jù)簡單的提示詞就能生成復(fù)雜、精致且美觀的圖像，不再需要調(diào)用“masterpiece”“best quality”等詞語。
可直接生成 1024x1024 的圖像，色彩也更鮮艷、準(zhǔn)確，在對比度、光照和陰影的處理上也比之前要好很多。
在文本、物體空間排列、手部等內(nèi)容的處理上表現(xiàn)很好。
可以理解“The Red Square”（著名地點）與“red square”（形狀）等概念之間的差異。
官方放出的 SDXL 1.0 生成的圖像
今年 4 月份的時候，我做過一份 6 大在線 AI 繪畫工具的出圖效果對比，當(dāng)時的 Stable Diffusion v2.1 與 Midjourney v5 模型在圖像質(zhì)量上有非常明顯的差距。如今過去了 4 個月，Midjourney 已經(jīng)是 v5.2 版本了，Stable Diffusion 也更新到了 XL 1.0，我用與之前一樣的提示詞再次進(jìn)行測試，下面是對比結(jié)果，可以看出 SDXL 的圖像生成質(zhì)量與原來的 v2.1 相比進(jìn)步明顯，與 Midjourney 的差距也明顯縮小。
A beautiful landscape shot with the sun setting on a calm lake, lush forestssnow-capped mountains in the distance, professional photography,
一個美麗的風(fēng)景拍攝與太陽落在一個平靜的湖，郁郁蔥蔥的森林雪山在遠(yuǎn)處，專業(yè)攝影
a hyper-real photo portrait of an experienced female designer, half-length, Light grey background
一位經(jīng)驗豐富的女設(shè)計師的超現(xiàn)實肖像照片，半身，淺灰色背景
A happy boy in a short-sleeved tracksuit, sunny, basketball court in the background, anime illustration, bright color -
一個穿著短袖運動服的快樂男孩，陽光明媚，背景是籃球場，動漫插畫，色彩鮮艷
A lovely little princess, with black long wavy hair, wearing a gorgeous blue dress, happyand smiling, POP mart IP, chibi, Disney style, surrounded by sunflowers, bright drea"mycolours, front lighting, 3d render, blender
可愛的小公主，黑色波浪長發(fā)，身穿華麗的藍(lán)色連衣裙，開心地微笑著，POP mart IP，Chibi，周圍是向日葵，明亮的顏色，3d 渲染，Blender
Flat illustration of A fit woman Jogging, plants, Professional Fitness, minimalist, pure white background, Ul/UX, Vibrant color
一個適合女人慢跑的平面插圖，植物，專業(yè)健身，極簡主義，純白色背景，Ul/UX，鮮艷的顏色
Magnificent ancient Chinese complex, floating in the clouds, wide-angle panoramaoverhead shot, story splitting, a strong sense of space, flocks of flying cranes, waterfall, blooming peach blossoms, bright color, game concept design,high quality, 8k, masterpiece
氣勢恢宏的中國古代建筑群，漂浮在云中，廣角全景俯視拍攝，故事分裂，空間感強，成群的飛鶴，瀑布，盛開的桃花，鮮艷的色彩，游戲概念設(shè)計，高品質(zhì)，8k，杰作
此外，Stability AI 還特別強調(diào)了 SDXL 1.0 在 Fine-tuning （微調(diào)）上能力的提升，這意味這我們可以在 SDXL 1.0 基礎(chǔ)上，更輕松地訓(xùn)練出不同風(fēng)格的 checkpoint 及 lora 模型，而無需額外的數(shù)據(jù)整理。Stability AI 團(tuán)隊也正在構(gòu)建專門用于 SDXL 模型的 ControlNet/ T2I 控件，inpainting、outpainting、mask 等功能等成熟會后也會更新出來。
SDXL 模型將來也會有適配的 controlnet 插件
知名開源 AI 繪畫模型社區(qū) Civitai 最近也開啟了專門針對 SDXL 的模型訓(xùn)練比賽，也就是未來會有更多基于 SDXL 的高質(zhì)量 checkpiont、lora 模型可以供廣大 AI 繪畫愛好者使用，這對開源 AI 繪畫的生態(tài)升級及整體發(fā)展都是重大利好。
Civitai 比賽鏈接： https://civitai.com/articles/1462
二、在線使用 SDXL 1.0
目前我們有三種方式可以免費在線使用 SDXL 1.0 生成圖像：Stability AI 官方 Discord 服務(wù)器、Stability AI 官方在線 AI 繪畫工具 DreamStudio，以及 Stability AI 旗下的在線 AI 圖像處理工具 Clipdrop。
1. Discord 服務(wù)器
SD XL1.0 Discord 服務(wù)器： https://discord.com/invite/CDNvxYeM
點擊上方鏈接加入 SD XL1.0 官方服務(wù)器，點擊“SDXL BETA BOT”內(nèi)的任一頻道，在文本框內(nèi)輸入 /Dream，再輸入文本提示詞，按 Enter 發(fā)生出去就可以了。文生圖功能目前可以免費使用，但是會有使用頻率限制，受限時可以等待片刻或者換另一個頻道嘗試。
2. Dreamstudio
網(wǎng)站直達(dá)： https://dreamstudio.ai/generate
DreamStudio 是 Stability AI 的官方應(yīng)用，目前已經(jīng)內(nèi)置了最新的 SD XL1.0 模型。里面的可選功能很多，可以填寫負(fù)面提示詞、使用圖像提示、設(shè)置畫面橫縱比、生成步數(shù)等，新用戶有 200 點免費生成額度。
3. Clipdrop
網(wǎng)站直達(dá)： https://clipdrop.co/stable-diffusion
Clipdrop 是 Stability AI 收購的一家在線 AI 圖像處理工具，現(xiàn)在也內(nèi)置了最新的 SDXL 1.0 模型，并且新增了畫面橫縱比和負(fù)面提示詞 2 項功能。生成服務(wù)也是可以免費使用的，但是圖像右下角會有 Clipdrop 的水印。
三、本地部署 SDXL 1.0
SDXL 1.0 的源文件已經(jīng)在 Huggingface 上開源了，我們可以通過 Stable Diffusion WebUI 在本地免費使用 SDXL 1.0，具體操作步驟如下。
①將 Web 更新到 1.5 版本，版本號在 WebUI 最底部的一行小字中可以查看，秋葉整合包可以直接在啟動器內(nèi)更新。
②如果你的電腦顯存小于等于 8G，則在使用前需要開啟顯存優(yōu)化，不然顯存會帶不動 SDXL 1.0。如果是秋葉整合包，可以在啟動器的「高級選項」設(shè)置內(nèi)開啟。如果是 Automatic1111 純凈版，請編輯 webui-user.bat 文件，在 set COMMANDLINE_ARGS= 后面加上以下參數(shù)：--medvram（顯存低于 8G ）或 --lowvram （顯存低于 4G）。
③下載 2 個大模型、1 個 Lora 模型和 1 個 Vae 模型。大模型安裝到根目錄的 models\Stable-diffusion 文件夾，Lora 模型安裝到 models\Lora 文件夾，Vae 模型安裝到 models\VAE 文件夾（文末有資源包）。
基礎(chǔ)大模型和 lora 模型：stabilityai/stable-diffusion-xl-base-1.0 at main
精修大模型：stabilityai/stable-diffusion-xl-refiner-1.0 at main
Vae 模型：stabilityai/sdxl-vae at main
④以上參數(shù)和模型都設(shè)置好后，就可以啟動 WebUI，進(jìn)入文生圖界面，對應(yīng)參數(shù)設(shè)置如下。不需要開啟高清修復(fù)，也不要啟用任何拓展/插件/腳本。
參考數(shù)值：
大模型：sd_xl_base_1.0_0.9vae.safetensors (啟用后會有很多 lora、embedding 模型失效，切換回其他大模型后會自動恢復(fù))
外掛 Vae：sdxl_vae.safetensors
CLIP 終止層數(shù)：1
正向提示詞：a girl walking on the beach,hair flowing, sea and sunset, realistic photography, High detail, ,8K, sharp focus, （記得使用前面下載好的 lora 模型，l 權(quán)重建議設(shè)在 0.3 左右）
負(fù)向提示詞：(worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) watermark, moles, nsfw,Cleavage
CFG scale: 7
步數(shù)：30
采樣方式：DPM++ 2M Karras（任選，不支持 DDIM/PLMS/UniPC 采樣器）
尺寸：1024*1024
⑤圖像生成后，直接發(fā)送到“圖生圖”版塊，并做出以下修改，其他不變，點擊「生成」按鈕，最終圖像會比原圖更清晰銳利。
將大模型修改為 sd_xl_refiner_1.0_0.9vae.safetensors
外掛 Vae：sdxl_vae.safetensors
刪除正向提示詞中的 <lora:offset_0.2:0.3>”
采樣方式：DPM++ 2M Karras
重繪幅度 0.1-0.3 之間
如果在精修過程中出現(xiàn)如下報錯：
NansException: A tensor with all NaNs was produced in Unet. This could be either because there's not enough precision to represent the picture, or because your video card does not support half type. Try setting the "Upcast cross attention layer to float32" option in Settings > Stable Diffusion or using the --no-half commandline argument to fix this. Use --disable-nan-check commandline argument to disable this check.
請關(guān)閉 WebUI，回到啟動器，在「高級選項」內(nèi)，關(guān)閉 “VAE 模型半精度優(yōu)化”和“數(shù)值溢出檢查”。再回到 WebUI 重新開始圖生圖操作，精修過程就可以正常進(jìn)行了。
最終效果圖：
以上就是本期為大家介紹的最新開源文生圖模型 SDXL 1.0 的相關(guān)內(nèi)容，它的圖像生成質(zhì)量極高，且素材可以免費商用，部署到本地后可以無限制生成高質(zhì)量的圖像，非常值得一試。喜歡本期推薦的話記得點贊收藏支持一波，之后會繼續(xù)為大家推薦更多 AI 繪畫干貨。有關(guān)于本文或者設(shè)計的問題可以在評論區(qū)提出 ，我會第一時間回復(fù)。
