本地搭建Stable Diffusion
這兩天學(xué)習(xí)了下AI繪畫的一點知識,沒了解之前總是看到一些什么模型、訓(xùn)練、提示詞等待詞匯,完全不理解什么意思,于是抽了時間做了個入門學(xué)習(xí)。
最開始是在midjourney網(wǎng)站看了下,生成的圖片確實非常漂亮。但是這個是收費的,而且費用不低。然后了解到還有個開源且功能強大的Stable Diffusion
上次在知乎看到有人基于阿里云服務(wù)器搭建了該應(yīng)用,跟著后面也實現(xiàn)了。今天主要是在本地機器搭建環(huán)境,了解到這個對電腦硬件要求比價高,我這電腦典型的就是顯卡垃圾,不知道能否成功。
從零開始
1. 下載并安裝Python
通過官網(wǎng)下載對應(yīng)版本的Python,可以先看下stable-diffusion-webui依賴的版本號,寫這篇文章時,使用的是3.10.6,由于官網(wǎng)下載非常慢,可以通過文末連接下載Python官網(wǎng)下載
安裝非常簡單,直接雙擊exe文件,如下圖(圖中是3.11.4,因為我已經(jīng)安裝了3.10.6版本),直接選擇Install Now即可(記得勾選Add python.exe to PATH)

安裝完成后,可以通過下面的命令檢查是否安裝成功
python -V
如果輸出?Python 3.10.6
?則沒問題,如果剛才沒有勾選環(huán)境‘Add python.exe to PATH’,我們就手動配置下:

其中PYTHON_HOME
為安裝路徑,一般為C:\Users\<用戶名>\AppData\Local\Programs\Python
記得配置鏡像,不然下載依賴包會很慢
pip config set global.index-url='https://mirrors.aliyun.com/pypi/simple/'
2. 安裝git(如果不使用git命令,不必安裝,可以直接去github下載zip包)
Git官網(wǎng)下載
下載的exe文件直接雙擊安裝,如果提示是否添加PATH,記得勾選,然后運行下面的命令,輸出git version xxx
即可,如果提示不是內(nèi)部命令,和安裝Python一樣,手動添加環(huán)境變量(也就是把git安裝目錄添加到環(huán)境變量PATH中)
git -v
3. 下載stable-diffusion-webui
自己選擇一個目錄(比如我的是D:\AI),保證該盤存儲空間至少10G。stable-diffusion-webui
如果你安裝了Git,可以使用下面的命令下載
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
等待下載完成即可,
如果沒有安裝可以直接訪問 https://github.com/AUTOMATIC1111/stable-diffusion-webui.git,然后下載zip文件并解壓

** 注意 **git下載可能比較慢,可以通過安裝steampp(https://steampp.net/)或者使用其他插件,當然如果你能魔法上網(wǎng)也行。steampp還可以幫助你訪問登錄https://www.midjourney.com/app/
4. 開始安裝
進到stable-diffusion-webui目錄,我的是D:\AI\stable-diffusion-webui,找到webui-user.bat直接雙擊接口,這個過程會比較漫長,需要安裝Python的依賴以及基礎(chǔ)模型文件。但是注意,直接這樣在安裝gfpgan、clip、openclip時會失敗。
需要修改\modules\launch_utils.py中的url,在原來的url前面添加:https://ghproxy.com/,像下面這樣
gfpgan_package = os.environ.get('GFPGAN_PACKAGE', "https://ghproxy.com/https://github.com/TencentARC/GFPGAN/archive/8d2447a2d918f8eba5a4a01463fd48e45126a379.zip")
clip_package = os.environ.get('CLIP_PACKAGE', "https://ghproxy.com/https://github.com/openai/CLIP/archive/d50d76daa670286dd6cacf3bcd80b5e4823fc8e1.zip")
openclip_package = os.environ.get('OPENCLIP_PACKAGE', "https://ghproxy.com/https://github.com/mlfoundations/open_clip/archive/bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6b.zip")
接下來會下載模型文件v1-5-pruned-emaonly.safetensors,這個文件接近4G,下載非常慢,可以在文末連接中下載。下載完成后將其放到\models\Stable-diffusion
下面

5. 啟動
上面的步驟完成后運行webui-user.bat,如果沒有出錯可以看到http://127.0.0.1:7860/
這個地址,一般會自動在瀏覽器打開應(yīng)用,如果沒有可以手動在瀏覽器輸入。


在txt2img中,輸入關(guān)鍵提示詞,點擊Generate等待一段時間后即可生成圖片(這是引入了國風3的模型生成的圖片)。

由于我的電腦是碼代碼的,所以顯卡當時選的是最低的,而stable-diffusion非常依賴顯卡性能。開始的時候生成圖片時會提示內(nèi)存溢出,之后調(diào)整了參數(shù)
# 修改webui-user.bat文件,調(diào)整這個地方,以低性能顯卡運行
set COMMANDLINE_ARGS= --lowvram ?--xformers
當然現(xiàn)在仍然存在問題,圖片生成完成,后臺沒有出錯,但在預(yù)覽處看不到圖片效果,但是不要慌,可以打開輸出目錄,其實圖片已經(jīng)保存了。
更多參數(shù)可以參考官方文檔https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Command-Line-Arguments-and-Settings
整合包安裝
建議使用第一種方式安裝,優(yōu)點是安裝包不會太大,整個安裝過程可以幫助自己理解,提升排錯能力。缺點是安裝的是個殼子,里面各種模型、插件都要安裝(也是優(yōu)點,按需安裝)。整合包非常大,慎重選擇。
根據(jù)文末提供的連接下載sd-webui-aki-v4.zip,其他資源根據(jù)需求選擇是否下載
解壓文件到指定目錄,直接通過啟動器.exe打開,如果缺少依賴環(huán)境,可以下載對應(yīng)應(yīng)用并執(zhí)行
重新啟動,沒有問題會打開如下頁面,點擊“一鍵啟動”后會打開瀏覽器,打開和上面一樣的頁面

其他操作都差不多,整合版是中文的,可能會更友好些,由于我沒有使用整合包安裝,整體流程差不多如上面那樣,過程中如果出現(xiàn)問題可以一起交流。
教程
快速開始使用 → https://www.bilibili.com/read/cv22661198新手最全教程 → https://www.bilibili.com/read/cv221596094月模型推薦 → https://www.bilibili.com/video/BV1em4y1z7Dg模型安裝使用百科 → https://www.bilibili.com/read/cv21362202
模型
一般模型下載是在C站(https://civitai.com/),可是我不會魔法。下面有幾個網(wǎng)站可以參考
https://huggingface.co/
https://www.liblibai.com/
待補充...
插件
Tagcomplete:Tag補全,https://github.com/DominikDoom/a1111-sd-webui-tagcomplete
sd-face-editor:面部修復(fù),https://github.com/ototadana/sd-face-editor
Images-browser:歷史圖片瀏覽,https://github.com/yfszzx/stable-diffusion-webui-images-browser
prompt-all-in-one:Prompts輔助,https://github.com/Physton/sd-webui-prompt-all-in-one
Canvas-zoom:畫布縮放,https://github.com/richrobber2/canvas-zoom
Deforum: 圖生視頻,https://github.com/deforum-art/sd-webui-deforum extensions/deforum
Tagger:關(guān)鍵詞反推,https://github.com/toriato/stable-diffusion-webui-wd14-tagger
待補充...
插件安裝可以直接進入\extensions目錄,然后通過git clone或直接去github下載zip源文件解壓;也可以webui啟動后,在Extensions中選擇多種方式安裝
提示詞
https://promptomania.com/stable-diffusion-prompt-builder
https://search.krea.ai
https://lexica.art
https://arthub.ai
https://guide.novelai.dev/guide
下載
hkvr7m0roy.feishu.cn/docx/W3gjdigAwoXkXLxqTvgcI739nQX?from=from_copylink
提供了下面的資源:
Steam++
Python-3.10.6
Stable Diffusion整合包V4
模型 v1-5-pruned-emaonly.safetensors、GuoFeng3.3.safetensors
很難下載的資源:codeformer-v0.1.0.pth(這個300多兆的文件下載了一天,不懂怎么沒人提供下載資源)
問題匯總
圖片生成完成后無法預(yù)覽
每次點擊Generate生成完成后無法重復(fù)點擊生圖
最后
這幾天才學(xué)習(xí)這個,如果有問題或有興趣可以一起探討