寫在前面的話

近期在小紅書發(fā)現(xiàn)了許多極其可愛、美觀的萌寵圖片，對這些美妙的圖像深深著迷

于是想著看看利用AI繪畫StableDiffusion以下簡稱（SD）做出來。

以下是詳細(xì)實(shí)操的全過程，包括所有用的資料已經(jīng)打包到網(wǎng)盤。

最后嘗試的最終效果如下：

更多圖片請查看網(wǎng)盤：

「萌寵圖片及關(guān)鍵詞」

鏈接：https://pan.quark.cn/s/ba9c3e8ef92a

如果你想了解更多的StableDiffusion的知識，請參閱：

AI繪畫：Stable Diffusion 終極煉丹寶典：從入門到精通

原文鏈接閱讀更舒服：AI繪畫：StableDiffusion煉丹Lora攻略-實(shí)戰(zhàn)萌寵圖片生成

一：準(zhǔn)備

需要的資料都打包在網(wǎng)盤里面，需要的自行下載。

我用夸克網(wǎng)盤分享了「StableDiffusion煉丹資料」

網(wǎng)盤鏈接：https://pan.quark.cn/s/3c8cc96f3221

二、Lora作用

LORA可以讓我們輕松畫出特定的人物，物品，特殊的筆觸和特殊的畫風(fēng)或風(fēng)格，屬于一種特殊訓(xùn)練的子集。

1.AI模特

煉出一個自己的模特，讓這個模特穿上自己的商品

2.煉衣服Lora

添加一個衣服的Lora，就可以讓人物穿上特定的衣服

3.改變畫風(fēng)/畫面背景

通過添加Lora改變照片的畫風(fēng)，這個畫風(fēng)可以自己去訓(xùn)練

Lora模型究竟是什么？

專業(yè)的解釋

LoRA的全稱是LoRA: Low-Rank Adaptation of Large Language Models，可以理解為stable diffusion（SD)模型的一種插件，和hyper-network，controlNet一樣，都是在不修改SD模型的前提下，利用少量數(shù)據(jù)訓(xùn)練出一種畫風(fēng)/IP/人物，實(shí)現(xiàn)定制化需求，所需的訓(xùn)練資源比訓(xùn)練SD模要小很多，非常適合社區(qū)使用者和個人開發(fā)者。LoRA最初應(yīng)用于NLP領(lǐng)域，用于微調(diào)GPT-3等模型（也就是ChatGPT的前生）。由于GPT參數(shù)量超過千億，訓(xùn)練成本太高，因此LoRA采用了一個辦法，僅訓(xùn)練低秩矩陣（low rank matrics），使用時將LoRA模型的參數(shù)注入（inject）SD模型，從而改變SD模型的生成風(fēng)格，或者為SD模型添加新的人物/IP。

通俗的解釋

Lora可以復(fù)刻人物和物品的特征，固定人物動作，改變照片畫風(fēng)

而且Lora只需要少量的數(shù)據(jù)就可以訓(xùn)練出來，比訓(xùn)練大模型要簡單很多

所以大家可以通過訓(xùn)練自己的Lora，做出定制的圖片

但不得不說的是，目前的Lora還不能做到100%相同，尤其是細(xì)節(jié)方面

但是相信隨著之后的技術(shù)發(fā)展，萬物皆可Lora的時代是不遠(yuǎn)的

三、如何煉制自己的Lora模型？

煉制Lora的方式有很多種

有用腳本訓(xùn)練的，也有在網(wǎng)站界面上訓(xùn)練的，最近還有很多朋友做出來了訓(xùn)練Lora的整合包

創(chuàng)建Lora模型的方式有許多，包括通過腳本進(jìn)行訓(xùn)練，通過網(wǎng)頁界面操作，甚至有一些專業(yè)人士最近提供了Lora訓(xùn)練的一鍵式整合包。盡管這些方法在表面上看起來有所不同，但其訓(xùn)練邏輯其實(shí)都是相同的。

因此，我們可以選擇使用整合包。整合包的優(yōu)點(diǎn)在于，它將煉丹所需的所有工具和步驟集成在一款軟件中，為我們提供了一種更為便捷且有效的訓(xùn)練方式。

整合包就是把煉丹所需要的所有工具都整合到一個軟件里

煉丹分為以下幾步：

1.下載整合包

2.準(zhǔn)備工作

3.開始訓(xùn)練

4.測試Lora

5.優(yōu)化Lora

四、煉丹前的準(zhǔn)備（下載整合包）

在煉Lora之前，需要大家先確認(rèn)一下自己的電腦配置：

1.電腦配置需要N卡，并且6G顯存以上

2.A卡和Mac系統(tǒng)，或者電腦配置不太行的小伙伴建議用云平臺

我這里用的是B站up主朱尼醬的整合包：

我用夸克網(wǎng)盤分享了「StableDiffusion煉丹資料」

網(wǎng)盤鏈接：https://pan.quark.cn/s/3c8cc96f3221

下載好了之后把它解壓到D盤或者E盤，不要放在C盤??！

秋葉的整合包我也試過煉Lora，兩個對比下來，我覺得朱尼醬的整合包會更適合小白

打開解壓之后的文件夾，在“cfurnace_ui”文件夾里面找到“賽博丹爐”的應(yīng)用程序

可以創(chuàng)建一個桌面快捷方式，這樣就不用每次都要打開文件

看到這個頁面就安裝好了，點(diǎn)擊“開啟煉丹爐”就可以開始煉Lora啦！

五、選擇合適的大模型

跟畫圖一樣，煉Lora之前也要先選一個大模型，確定Lora的畫風(fēng)

這里訓(xùn)練的萌寵，我選擇的是“cheeseDaddys_35”大模型

真人模型=》選用“chilloutmix”的大模型

二次元=》選用“anything”的大模型

如果你的Stable Diffusion里面沒有模型，那就要先去下載模型噢！

網(wǎng)盤里面已經(jīng)給大家放了這兩個大模型

我用夸克網(wǎng)盤分享了「2.大模型checkpoint」

鏈接：https://pan.quark.cn/s/9767ac274f83

再往下就可以選擇一個我們要訓(xùn)練的Lora的類型

選擇之后就會幫我們選擇默認(rèn)的參數(shù)

訓(xùn)練真人Lora就選“人物”

訓(xùn)練二次元就選“二次元”

如果想煉繪畫的風(fēng)格可以選畫風(fēng)

除此之外還可以自定義去煉平面設(shè)計(jì)圖或者建筑之類的

我這里選擇的是產(chǎn)品

六、高質(zhì)量素材的制作

以上準(zhǔn)備工作及參數(shù)設(shè)置好了后，就可以開始上傳自己的素材開始訓(xùn)練了。

這些素材就是我們要喂給AI學(xué)習(xí)的素材

素材的質(zhì)量非常重要??！會直接影響最后出來的Lora的質(zhì)量

我們的素材需要滿足幾個點(diǎn)：

1.上傳20~30張照片

2.素材要高清?。?！

3.多角度照片

這里我就以煉萌寵Lora為例子，上傳萌寵的照片

點(diǎn)擊“刪除全部”把默認(rèn)的素材刪掉

然后點(diǎn)擊“上傳素材”，上傳自己的照片

一般情況下，下面的參數(shù)默認(rèn)就可以了

需要調(diào)整參數(shù)的話，最好是需要了解參數(shù)的含義，如果亂調(diào)的話，可能會訓(xùn)練失敗。

不要選擇太高的分辨率，容易爆顯存

另外，如果訓(xùn)練真人Lora，可以勾選最右邊的“臉部加強(qiáng)訓(xùn)練”

勾選了之后就會再多裁剪出來一組只有臉的照片，這樣AI能學(xué)到更多的臉部細(xì)節(jié)

七、耐心等待的訓(xùn)練過程

看到這個頁面就是模型正在訓(xùn)練中

到這一步只要耐心等待就可以了，沒什么需要操作的

我們可以看一下下面的參數(shù)是什么意思

“Steps”就是訓(xùn)練步數(shù)

每訓(xùn)練50步右下角就會出現(xiàn)一張圖片

那樣就可以實(shí)時看到Lora的樣子

這個白頭發(fā)和紅裙子是后臺加上去的關(guān)鍵詞

可以測試Lora的泛化性

泛化性就是看這個Lora能不能自由的去更換照片里的東西，比如發(fā)型、發(fā)色、服裝之類的

Loss可以用來參考模型的好壞

一個好的模型Loss值在0.07~0.09之間

注意：具體好不好還是要在Stable Diffusion實(shí)際測試才知道

等訓(xùn)練完了之后，點(diǎn)擊“模型”

就可以看到生成出來模型

按照默認(rèn)參數(shù)訓(xùn)練會出來20個模型，但不是說最后一個模型就是最好的

有可能煉到第十六第是十七個模型就已經(jīng)夠了，再往后的模型就已經(jīng)訓(xùn)練過度了

所以這些模型還要實(shí)際在SD測試一下，才知道哪個是最好的

八、如何測試Lora的好壞

模型生成出來之后就可以到SD里面生成圖片

在SD里面可以生成這么一張大圖，可以直接看到所有模型在不同權(quán)重下出來的效果

比較一下哪個模型更好，就只保留那個模型就可以了

接下來我們就看看怎么生成這張大圖

首先把新生成的10個模型復(fù)制到SD的models文件夾，放到Lora文件夾里面

注意：最好新建一個文件夾，比如cuteDog

然后把沒有序號編碼的那個Lora重命名

沒有序號編碼的Lora就是最后生成出來的一個模型，這里只是為了方便進(jìn)行測試，統(tǒng)一一下所有模型的名稱

保存好模型之后就可以打開SD進(jìn)行測試了

首先先選一個大模型

你用哪一個大模型來訓(xùn)練lora就選哪個大模型

然后輸入正面關(guān)鍵詞和負(fù)面關(guān)鍵詞

正面關(guān)鍵詞可以輸入一些質(zhì)量詞，比如最高質(zhì)量、高清畫質(zhì)、大師杰作等等

負(fù)面關(guān)鍵詞直接復(fù)制我們以前用過的就可以

接下來就是選用我們剛剛煉好的Lora

隨便選一個都可以

重點(diǎn)來了：把000017換成NUM，1換成STRENGTH

<lora:cute dog_20230708214731-000017:1>

例如：

<lora:cute dog_20230708214731-NUM:STRENGTH>

迭代步數(shù)，采樣方法這些參數(shù)大家可以按照自己的習(xí)慣去修改

然后滑到最下面找到“腳本”

在腳本里面選擇 “X/Y/Z圖表”

X軸、Y軸類型都選擇 “提示詞搜索/替換”

X軸的值輸入：NUM,000001,000002,000003,000004,000005,000006,000007,000008,000009,000010

這里的序號對應(yīng)的就是我們10個Lora的編號

Y軸值輸入：STRENGTH,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1

這里的序號代表的是Lora的權(quán)重

全部參數(shù)設(shè)置好了之后就可以點(diǎn)擊“生成”

生成出來就是這么一張大圖，可以看到這幾個Lora模型在不同強(qiáng)度下的表現(xiàn)

九、如何優(yōu)化Lora

實(shí)際上，煉丹是一件比較玄學(xué)的事

有的人可能一次性就能煉出自己滿意的Lora

但有的人可能要煉好幾次才出來一個好的Lora

這時候我們可以通過調(diào)整訓(xùn)練的參數(shù)再重新煉一個

前提是 確保我們的喂給AI的素材是高質(zhì)量的！

不然不管怎么修改參數(shù)，出來的Lora都是不合格的

這里我們就把煉Lora會遇到的問題分成兩種情況

1.Lora出來的照片不像本人：AI沒學(xué)好

2.Lora過擬合，甚至出來的照片崩了：AI學(xué)過頭了

過擬合就是不管輸入什么關(guān)鍵詞，出來的照片都是你喂給AI的照片

沒辦法自由控制人物的服裝、發(fā)型、發(fā)色等

點(diǎn)擊“參數(shù)調(diào)優(yōu)”我們就可以自行設(shè)置參數(shù)

如果生成的照片不像本人，那就可以適當(dāng)增加Repeat（學(xué)習(xí)步數(shù)）值

如果照片過擬合了，那就減少Repeat值

其他參數(shù)都可以不用調(diào)，因?yàn)槟J(rèn)的參數(shù)就差不多是最優(yōu)值了

十、資源下載匯總

Lora煉丹網(wǎng)盤資源匯總：https://pan.quark.cn/s/3c8cc96f3221

StableDiffusion資源整合安裝包：https://pan.quark.cn/s/2750beda9269

StableDiffusion關(guān)鍵詞分類查詢：StableDiffusion的關(guān)鍵詞分類查詢

ControlNet資料匯總：https://pan.quark.cn/s/47bc8c79892a

AI資料網(wǎng)盤匯總（不定期更新）：AI專區(qū)網(wǎng)盤資源匯總

AIGC從入門到精通教程匯總：AIGC從入門到精通教程匯總

原文鏈接閱讀更舒服：AI繪畫：StableDiffusion煉丹Lora攻略-實(shí)戰(zhàn)萌寵圖片生成