散文網(wǎng) » 科技 »學(xué)習(xí) » Stable Diffusion零基礎(chǔ)從入門到入土（保姆級教程）

Stable Diffusion零基礎(chǔ)從入門到入土（保姆級教程）

2023-06-22 19:18 作者:進(jìn)擊的阿鈦 0人讀過 | 我要投稿

前言

大家好，我是阿鈦老師。最近一直在整合和AI相關(guān)的一些資源，接下來我打算做stable diffusion（以后簡稱SD）的系統(tǒng)課，目的是改善國內(nèi)課程體系不完善的情況，這是現(xiàn)在的一個重中之重的問題，因?yàn)槲野l(fā)現(xiàn)網(wǎng)絡(luò)上對于stable diffusion的相關(guān)課程都是各有千秋，但是又很難做到由點(diǎn)到線，由線及面的全方位的覆蓋。對于高級一點(diǎn)的課程，我們只能通過閱讀大量的國外的文章和教程一點(diǎn)點(diǎn)的去摸索，可能需要實(shí)驗(yàn)很多次才能達(dá)到理想的效果。對于入門一些的課程，網(wǎng)上資源雖然很多，但又過于零散，相對一些純小白十分的不友好。很難不發(fā)現(xiàn)，至今仍有人再走我們走過的彎路，重復(fù)著我們的痛苦，比如基礎(chǔ)教程中的軟件安裝到進(jìn)階教程中的dream booth模型訓(xùn)練。可以說，很多人是根本不懂電腦上的一些操作，更別說涉及到原理的什么AI算法、各種參數(shù)。只能盲人摸象在這個坑里越陷越深投入了大量的時間卻得不到回報。

本教程首先通過最基本的軟件的安裝和使用，由淺入深的進(jìn)行講解，其次通過對模型的講解，主要讓大家了解必要的神經(jīng)網(wǎng)絡(luò)、SD模型煉制的基本原理。用最通俗易懂的語言幫助大家理解這些原理，從而高效的進(jìn)行學(xué)習(xí)、研究。然后我還會講解 dream booth、Lora、embedding的各種參數(shù)以及訓(xùn)練的方法。有些同學(xué)可能看到這些名詞已經(jīng)開始頭疼了，看到這些晦澀難懂的名詞甚至想要放棄了。阿鈦老師在這里給大家打個預(yù)防針，既然大家決定來學(xué)這門課程，就一定要抱有必勝的信心。首先，涉及高等數(shù)學(xué)、線性代數(shù)、編程寫代碼的專業(yè)知識咱們不回去深入研究，其次不管你是學(xué)生、文職工作、美術(shù)相關(guān)專業(yè)、還是其他的不想關(guān)的專業(yè)、又或者那你是老板、投資人又不懂計算機(jī)，只要大家跟著我的這個課程一步一步的走，就一定能基本掌握其中的基本原理。給大家講個親身經(jīng)歷，我的弟弟是學(xué)體育專業(yè)、他看我一直在研究這個東西，就想跟我學(xué)，現(xiàn)在人家已經(jīng)開始在教同學(xué)玩這個了。咱們以前經(jīng)常開玩笑說人家數(shù)學(xué)不好就說，你數(shù)學(xué)是體育老師教的吧！可現(xiàn)在來看，體育老師不止會教數(shù)學(xué)哈。扯遠(yuǎn)了，扯遠(yuǎn)了。說這個主要想表達(dá)什么的就是說，咱們體育專業(yè)可以說跟這個AI繪畫是沒有什么太大的關(guān)系，你要非說有，那倒也能說出一些，咱們不去深究。既然咱們這么不相干的專業(yè)都能掌握這門技術(shù)，所以大家更應(yīng)該充滿信心去學(xué)習(xí)這門課程。

通過通俗易懂的語言和一系列相關(guān)的案例去講解這些原理和參數(shù)，目的在于能夠讓大家快速的構(gòu)建知識體系，確保絕大多數(shù)人不掉隊(duì)都能趕上 A I 這趟快車，不會去深入研究專業(yè)的知識體系，所以大家不要糾結(jié)我講的專業(yè)知識的深度太淺，如果想吐槽，那我也歡迎。

一、Stable Diffusion簡介：

Stable Diffusion 是由 Comp Vis、Stability AI 和 LAION 共同開發(fā)的一個文本轉(zhuǎn)圖像模型，它通過 LAION-5B 子集大量的 512x512 圖文模型進(jìn)行訓(xùn)練，我們只要簡單的輸入一段文本，Stable Diffusion 就可以迅速將其轉(zhuǎn)換為圖像，它的特點(diǎn)是可以控制生成過程中的隨機(jī)性和多樣性，以及使用不同的采樣器來優(yōu)化生成效果。

起初Stable Diffusion被一個叫 Anlatan 的公司用在他們的NovelAI這個項(xiàng)目上。NovelAI是一個AI輔助小說創(chuàng)作平臺，Stable Diffusion模型用于根據(jù)小說內(nèi)容生成插圖，是該公司的內(nèi)部項(xiàng)目并未開源。但是該模型原始的機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)來源與各個網(wǎng)絡(luò)的免費(fèi)資源，該公司卻將其用于他們的付費(fèi)服務(wù)，該行為一度引起爭議。

2022年10月6日，NovelAI 發(fā)生了一起數(shù)據(jù)泄露，其服務(wù)源代碼被泄露。泄露原因不明，傳聞NovelAI服務(wù)器采用了弱密碼，導(dǎo)致黑客攻擊，模型數(shù)據(jù)被泄露。之后NovelAI被迫開源，逐漸在圈內(nèi)火爆起來。

Stable Diffusion WebUI（Automatic1111）是一個圖形化界面，可以讓我們方便地使用Stable Diffusion來進(jìn)行文本到圖像（txt2img）和圖像到圖像（img2img）的轉(zhuǎn)換。它提供了豐富的功能和設(shè)置選項(xiàng)，例如：

文本反轉(zhuǎn)：根據(jù)圖像輸入，生成描述該圖像的文本輸出
文本加權(quán)和負(fù)文本：通過在文本中添加括號或減號，來增加或減少對某些詞語的關(guān)注度
圖像編輯：可以使用遮罩和裁剪功能，來對圖像進(jìn)行局部修改或重繪
圖像增強(qiáng)和放大：可以使用GFPGAN和realESRGAN等技術(shù)，來提升圖像的清晰度和分辨率
生成預(yù)覽：可以實(shí)時觀察生成過程中的圖像變化
提示矩陣：可以使用豎線分隔多個文本輸入，來生成多個圖像輸出的組合
詞語種子：可以使用詞語代替數(shù)字作為種子，來控制生成結(jié)果的隨機(jī)性

這些基于 Stable Diffusion封裝的Web Ui 開源項(xiàng)目，可以通過界面交互的方式來使用 Stable Diffusion。當(dāng)然，國內(nèi)也有很多大佬封裝了很便利的傻瓜式整合包比如：秋葉一鍵整合包、星空一鍵整合包等......極大的降低了使用門檻。本文將以秋葉一鍵整合包為例進(jìn)行教學(xué)講解，帶您逐步去了解AI繪畫。

Stable Diffusion簡單應(yīng)用示例：（TxT2Img）

Prompt: In a cyberpunk city, a police car is on the street, raining, light effect, Simon Stalenhag, Ian McQue, Ghibli Studio, Beeple, Kaino University 在一個賽博朋克城市中，一輛警車在街上行駛，下著雨，燈光效果非常炫酷。這個場景可能是由Simon Stalenhag、Ian McQue、吉卜力工作室、Beeple或Kaino大學(xué)等藝術(shù)家或機(jī)構(gòu)創(chuàng)作的。 Prompt: Glowing crystals in the depths of the black valley, Simon Stalenhag, Ian McQue, Ghibli Studio, Beeple, Kaino University, high-definition picture, unreal engine 黑暗峽谷深處閃耀著晶瑩剔透的水晶，這個場景可能是由Simon Stalenhag、Ian McQue、吉卜力工作室、Beeple或Kaino大學(xué)等藝術(shù)家或機(jī)構(gòu)創(chuàng)作的。這幅高清晰度的圖片可能是使用虛幻引擎制作的。 Prompt: A silver mech horse running in a dark valley, in the night, Beeple, Kaino University, high-definition picture, unreal engine, cyberpunk. 一匹銀色機(jī)械馬在黑暗的峽谷中奔跑，夜晚里閃耀著光芒。這個場景可能是由Beeple或Kaino大學(xué)等藝術(shù)家或機(jī)構(gòu)創(chuàng)作的。這幅高清晰度的圖片可能是使用虛幻引擎制作的，屬于賽博朋克風(fēng)格。

二、Stable Diffusion的工作原理：

維基百科中的解釋是：“Stable Diffusion由3個部分組成：變分自編碼器（VAE）、U-Net和一個文本編碼器。與其學(xué)習(xí)去噪圖像數(shù)據(jù)（在“像素空間”中），而是訓(xùn)練VAE將圖像轉(zhuǎn)換為低維潛在空間潛在空間。添加和去除高斯噪聲的過程被應(yīng)用于這個潛在表示，然后將最終的去噪輸出解碼到像素空間中。在前向擴(kuò)散過程中，高斯噪聲被迭代地應(yīng)用于壓縮的潛在表征。每個去噪步驟都由一個包含殘差神經(jīng)網(wǎng)絡(luò)（ResNet）中堅(jiān)的U-Net架構(gòu)完成，通過從前向擴(kuò)散往反方向去噪而獲得潛在表征。最后，VAE解碼器通過將表征轉(zhuǎn)換回像素空間來生成輸出圖像?！?/p>

三、安裝與使用 Stable Diffusion ：

（一）Stable Diffusion web ui的部署主要有兩種：

1、本地部署

2、云端部署

（二）如何判斷自己得電腦性能是否能夠流暢運(yùn)行SD

Stable Diffusion是一個開源項(xiàng)目，完全免費(fèi)，如今可以實(shí)現(xiàn)本地部署，在個人電腦上運(yùn)行Stable Diffusion 。

雖然在本地運(yùn)行的門檻雖然降低了很多，但是本地部署對電腦的配置是有一些要求的，接下來就講一講如何判斷自己的電腦能不能使用SD web ui 。

? ?（1）、首先在---任務(wù)欄，點(diǎn)擊---鼠標(biāo)右鍵，點(diǎn)擊打開---任務(wù)管理器

（2）、打開任務(wù)管理器后，點(diǎn)擊頂部菜單欄中的---性能，打開性能界面

（3）、點(diǎn)擊下方 GPU 一欄。

第一步：查看這個位置的名字是否為 NVIDIA 開頭，也就是我們所說的N卡、英偉達(dá)顯卡，如果是AMD的顯卡的話，那你使用SD 可能有些困難，建議您更換英偉達(dá)顯卡的電腦或設(shè)備。

第二步：查看這一欄專用GPU內(nèi)存中的兩個數(shù)字，圖中為?3.6/24.0GB?如果后面一個數(shù)字最小值建議大于等于4，如果低于4，那么您的設(shè)備可能運(yùn)行SD會非常的困難。流暢使用，沒有訓(xùn)練模型的需求，建議8GB。如需升級建議你找專業(yè)人士升級配置。

（4）、點(diǎn)擊內(nèi)存這一欄；

第一步：點(diǎn)擊內(nèi)存欄

第二步：查看這個位置的數(shù)值大小，最小值建議為8GB，流暢使用建議32GB，如果小于8建議你找專業(yè)人士升級配置。

（5）、查看自己顯卡在SD繪圖中的性能可以參考下圖(以下統(tǒng)計數(shù)據(jù)由國外大神測試制作，僅為Windows系統(tǒng)下測試結(jié)果，理論上Linux系統(tǒng)性能更優(yōu)，但考慮到大多數(shù)同學(xué)的操作系統(tǒng)為windows，所以不對Linux下的SD作介紹)

各型號顯卡出圖能力參考表

原文鏈接：https://docs.getgrist.com/3mjouqRSdkBY/sdperformance/p/1

（6）、最后避免后期的一些兼容性問題建議您使用windows10、windows11系統(tǒng)以獲得穩(wěn)定的使用效果。（需要重裝系統(tǒng)請私信）

（三）開始本地部署之前得前置操作——環(huán)境配置

運(yùn)行環(huán)境配置簡單來說就是設(shè)置SD軟件所需要得環(huán)境，打個比方，淡水魚需要用淡水養(yǎng)殖才合適；而海水魚則需要用海水養(yǎng)殖最為合適。那么對于計算機(jī)來說，軟件就是魚，運(yùn)行環(huán)境就是水，用合適得水養(yǎng)合適的魚，魚也就能正常生長發(fā)育，同理安裝了合適的運(yùn)行環(huán)境的計算機(jī)，也能夠讓軟件流暢的運(yùn)行。那么，我們該如何檢查或安裝這個運(yùn)行環(huán)境到我們的電腦呢？

（1）下載整合包

打開下面網(wǎng)盤鏈接，下載網(wǎng)盤中的“00.Stable Diffusion整合包”

網(wǎng)盤百度網(wǎng)盤https://pan.baidu.com/s/1Zi5M0MFT2kJ9rcDPreE8_Q?pwd=8888
提取碼：8888123云盤

1.下載完后打開下載文件的文件夾，找到.環(huán)境搭建.rar——右鍵點(diǎn)擊——1.環(huán)境搭建.rar——點(diǎn)擊解壓到1.環(huán)境搭建——等待解壓完成。

2.解壓完成后文件夾內(nèi)會出現(xiàn)一個1.環(huán)境搭建文件夾，點(diǎn)擊打開——1.環(huán)境搭建文件夾——獲得三個安裝包

（2）安裝python

雙擊1-python-3.10.6-amd64.exe——點(diǎn)擊打開第一個安裝包——開始安裝python

如果出現(xiàn)以下界面代表已經(jīng)安裝過python，請查看第一部位置的前兩個數(shù)字是否為3.10，如果不是，建議執(zhí)行第二步，點(diǎn)擊Uninstall卸載當(dāng)前版本。如果是3.10.xx版本則關(guān)閉此窗口。

2.如果是第一次安裝，則會顯示以下界面。點(diǎn)擊下方兩個方框——勾選Use admin privileges when installing py.exe和Add python.exe to PATH兩個選項(xiàng)——然后點(diǎn)擊——Customize installation

3.進(jìn)入可選功能設(shè)置Optional Features——防止出現(xiàn)問題建議勾選所有選項(xiàng)——點(diǎn)擊Next到下一步

4.高級選項(xiàng)設(shè)置Advanced Options——按圖中提示勾選相應(yīng)的

選項(xiàng)后——點(diǎn)擊install

5.開始安裝——出現(xiàn)進(jìn)度條——安裝完成后出現(xiàn)Setup was successful——點(diǎn)擊Close關(guān)閉頁面——python安裝完成

（3）安裝git

雙擊2-Git-2.39.2-64-bit.exe——打開Git安裝包——一直點(diǎn)擊Next——直到出現(xiàn)install按鈕——點(diǎn)擊install——開始安裝git——等待安裝完成后——點(diǎn)擊Finish——關(guān)閉頁面——GIT安裝完成

（4）安裝CUDA

按鍵盤的win+r按鍵（如圖所示）——彈出運(yùn)行窗口

在彈出的運(yùn)行窗口內(nèi)輸入cmd——點(diǎn)擊確認(rèn)——彈出一個控制臺窗口——輸入nvidia-smi——按鍵盤Enter鍵

出現(xiàn)如下界面后——如圖查看這個位置顯示的數(shù)字——我的是12.1，代表我可以安裝的CUDA的最高版本是12.1

復(fù)制鏈接https://developer.nvidia.com/cuda-toolkit-archive到瀏覽器，推薦用edge瀏覽器——打開鏈接（如圖）——這里按上一步的提示，我選擇的是11.8的版本——點(diǎn)擊方框內(nèi)區(qū)域到下一步

如圖根據(jù)自己的系統(tǒng)選擇——1選擇電腦系統(tǒng)（一般選windows）——2默認(rèn)選擇x86_64——3選擇電腦系統(tǒng)版本（根據(jù)自己的系統(tǒng)版本選擇，我是win10就點(diǎn)第一個10）——4選擇exe（local）——5點(diǎn)擊Download開始下載CUDA安裝包