AMD卡啟動Stable Diffusion AI繪畫的方法(干貨教程)

因為一直想學(xué)會怎么用AI畫(煉)畫(金),這兩天研究清楚了怎么在自家電腦上跑Stable Diffusion。作為一個機器學(xué)習(xí)、人工智能的外行(略懂),我想從自己的經(jīng)驗,用和我同樣的人能聽懂的方式,講一講如何在本地搭建Stable Diffusion。希望大家都能創(chuàng)作出自己心儀的畫作。

Stable Diffusion各組分的關(guān)系
Stable Diffusion是算法本身,本質(zhì)上是一個python包。
Stable Diffusion WebUI是使用該算法的圖形化界面。不借助WebUI也可以使用Stable Diffusion,但是要寫python程序。圖形界面中,最普及的是AUTOMATIC1111。當(dāng)然網(wǎng)絡(luò)上也有各式社區(qū)成員提供的自己寫的WebUI,本質(zhì)上功能都是一樣的。但AUTOMATIC1111用的人多,能找到的信息多,功能全面,而且眼下更新速度很快。
在有了算法和圖形化界面之后,你需要給算法提供一個模型。這個模型決定了畫出來的畫風(fēng)是什么樣子的,例如NovelAI就是Stable Diffusion的一個二次元向的模型。
ckpt文件是Stable Diffusion模型的文件格式,下載后,放置在根目錄下的model文件夾里的,stable diffusion子文件夾里面。不同的模型是在不同的數(shù)據(jù)集上訓(xùn)練出來的。例如Waifu Diffusion是在Danbooru動漫圖片庫中訓(xùn)練出來的,訓(xùn)練的tag就是數(shù)據(jù)庫中社區(qū)成員們貢獻的tag。Danbooru的健全版是Safebooru。
有的模型使用safetensor文件,可以和ckpt文件一樣使用,一樣也放到model文件夾里的stable diffusion子文件夾里面。
vae是variable autoencoder的意思。在Stable Diffusion WebUI的settings里面,stable diffusion那一欄,有一個“SD VAE”,在這里可以選擇載入vae組分。使用vae組分可以讓圖片的色彩變得更好。

安裝Stable Diffusion以及WebUI
基本的AMD卡安裝方法在這里:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-AMD-GPUs
Automatic1111的GitHub頁面在這里:
https://github.com/AUTOMATIC1111/stable-diffusion-webui
Mac/Linux+AMD 安裝法:
安裝python 3.10.6。如果是anaconda,先用conda create -n <環(huán)境名> python=3.10.6設(shè)置一個python 3.10.6的虛擬環(huán)境,然后activate這個環(huán)境。環(huán)境名你可以叫sd(stable diffusion)
安裝git(https://git-scm.com/)
***重要*** 打開webui-user.sh文件進行編輯,找到export COMMANDLINE_ARGS這一行,在后面寫上"--precision full --no-half --skip-torch-cuda-test"
在命令行運行webui.sh
安裝完成
啟動Stable Diffusion:
cd到stable diffusion的根目錄
activate python 3.10.6的環(huán)境
運行:python launch.py --precision full --no-half --skip-torch-cuda-test?--opt-split-attention-v1
復(fù)制shell里面顯示的本地網(wǎng)址,在瀏覽器里面打開就可以了
如果發(fā)現(xiàn)內(nèi)存不夠,在啟動launch.py時加上--medvram 或者 --lowvram
Windows+AMD安裝法
安裝python 3.10.6,在python官網(wǎng)上下載安裝程序,***重要*** 在安裝的第一個窗口下方勾選“將python添加到path”。
安裝git
Windows+AMD使用AUTOMATIC1111的directml這一個fork,在這個頁面的第一段:https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-AMD-GPUs
***重要*** 下載github上的文件后,進入網(wǎng)站上的repositories文件夾,下載這個文件夾里的k-diffusion和stable-diffusion-stability-ai兩個文件夾,移動到本地repositories文件夾里面的位置。
運行webui-user.bat
安裝完成
啟動Stable Diffusion:
在命令提示符中cd到Stable Diffusion所在的根目錄
運行python launch.py --precision full --no-half --opt-split-attention-v1
復(fù)制shell里面顯示的本地網(wǎng)址,在瀏覽器里面打開就可以了
如果發(fā)現(xiàn)內(nèi)存不夠,在啟動launch.py時加上--medvram or --lowvram

Diffusion模型
安裝好以后,需要下載至少一個模型進行畫圖。這里附上幾個好用的模型鏈接,都是開源的。
CompVis Stable Diffusion v-1-4(默認):https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
我知道你們想要的是什么!——
Waifu Diffusion:https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main
DosMix:https://civitai.com/models/6250/dosmix?
? ? DosMix的二次元版:https://civitai.com/models/6437/anidosmix
? ? DosMix的三次元版(非常真實?。篽ttps://civitai.com/models/6925/realdosmix
VAE(改善色彩,放在/model/VAE下面,在WebUI的Settings->Stable Diffusion->SD VAE中啟用):
? ? MSE:https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.ckpt
? ? kl-f8-anime2:https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt
DosMix必須要使用VAE,不然看起來圖片是灰灰的,色彩不夠。

測試
完成安裝后,可以使用以下tag進行測試:
模型 Waifu Diffusion 2
Positive prompt:masterpiece, best quality, 1girl, green hair, sweater, looking at viewer, upper body, beanie, outdoors, watercolor, night, turtleneck
Negative prompt: longbody, lowres,?bad?anatomy,?bad?hands,?cropped,?low quality, worst quality
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2114573465, Size: 512x512, Model hash: c76e0962bc, Model: wd-1-4-anime_e2

Positive prompt: masterpiece, best quality, 1girl, black semi-long, black hair, swimsuit, white bikini, looking at viewer, upper body, beach, seaside, blue sky, outdoors, sandy beach
Negative prompt: longbody, lowres,?bad?anatomy,?bad?hands,?cropped,?low quality, worst quality
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3616288369, Size: 512x512, Model hash: c76e0962bc, Model: wd-1-4-anime_e2

Positive prompt: masterpiece, best quality, 1girl, pink pajama, beige hair, bob hair, sister, bedroom, morning, sunlight, window, indoors, upper body, selfie, imouto, brown eyes, fluffy
Negative prompt: longbody, lowres,?bad?anatomy,?bad?hands,?extra?digit,?fewer?digits, missing?fingers, cropped,?low quality, worst quality
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 3065561171, Size: 512x512, Model hash: c76e0962bc, Model: wd-1-4-anime_e2

Positive prompt: masterpiece, best quality, 1girl, watercolor, highschool girl, black hair, bob hair, brown eyes, looking up, sailor uniform, rainy, bluish grey background, blurry background, upper body
Negative prompt: longbody, lowres,?bad anatomy,?bad hands,?extra digit,?fewer digits, missing fingers, cropped,?low quality, worst quality, detailed background, large breast, wet clothes
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 1693703419, Size: 512x512, Model hash: c76e0962bc, Model: wd-1-4-anime_e2

祝大家好運!