Lora模型訓練

一.簡介

1.何為Ai繪畫模型

訓練模型的過程就是把樣本進行一個降維，從圖片最終降維成一串串數(shù)字的過程

2.什么是大模型

3.lora模型訓練

舉例

基于lora訓練出來的圖片特征去覆蓋底膜當中的一些特征

二. lora模型訓練核心參數(shù)

知識點：

• 參數(shù)背后邏輯
• 參數(shù)之間對于模型是怎么影響

1. 核心參數(shù)

1.1步數(shù)相關

image

repeat：AI對每一張圖片學習次數(shù)

epoch：訓練了集里面的多少張圖片一共訓練多少步，這樣一個循環(huán)就是一個epoch

batch size：同一時間去學習幾張圖片

注意：repeat參數(shù)不在參數(shù)表中設置，在train/下的文件夾名設定的

重要結論：對于lora模型甚至所有的模型訓練，訓練集的準備是重中之重，從根本決定是否能得到好的模型和未來生成圖片的質(zhì)量，它的泛用性到底好不好

什么是好的訓練集？素材要充分，包括近景、中景和遠景以及不同角度，從高像素中截取的訓練數(shù)據(jù)細節(jié)更多

訓練集中除去圖片還有text的文本，文本放著對圖片特征的描述

repeat、epoch參數(shù)詳解：

決定步數(shù)的核心參數(shù)batch_size：

batch_size取決于顯存大小

收斂：就是AI訓練出的圖片和你的原圖到底有多像，越像收斂越好

建議：如果你要增加batchsize，想去得到更快的學習速度，那同時可能需要增加對應學習率

學習步數(shù)total accumulation steps:

1.2速率和質(zhì)量相關的核心參數(shù)

unet lr（unet學習率）

text encoder lr、

optimizer（優(yōu)化器）：決定我們整個學習模型時候它對于學習率的調(diào)整的一種邏輯

Dim（網(wǎng)絡維度）

learning_rate

dim:

一個網(wǎng)路維度，網(wǎng)格數(shù)字越大，它的網(wǎng)絡維度越細，它所學習保留下來的圖像特征就會精度精細度更大

目前主流把Dim設成128，我們會看到很多主流lord模型的大小都是144張

optimizer

三.實證數(shù)據(jù)

• repeat實證

• 多epoch VS 單輪次實證

多epoch得到更多的模型，得到好模型的概率越大

• 學習率實證

學習率降低，學的更慢了，訓練時間增加，得到好的模型周期靠后（圖中標記綠色地方），

新手參數(shù)建議：

實物細節(jié)更多

unet lr：如果發(fā)現(xiàn)loss下不去，就提高學習率，loss下的太低了，或者沒有得到一個特別像的模型，就調(diào)整unet學習率

成熟lora參數(shù)參考實例

四.lora實操

目前主流訓練工具兩類：

ui和腳本

1.工作流

步驟1.素材處理：

1.1 裁剪成512*512或768*768或其它32倍數(shù)的分辨率

工具：

• sd中圖像預處理

• 網(wǎng)站birme.net,缺點不能放大

• 美圖秀秀

1.2 如何打tag

批量反推tag

手動調(diào)整tag

tag標準結構習慣：

tag標注非常重要的邏輯和注意點：

步驟2.設參訓練

歸檔訓練的模型數(shù)據(jù)

0.7-0.9的loss都是比較優(yōu)

步驟3.xyz測試

sd的腳本xyz圖標功能

模型放置目錄有兩種：

• lora模型目錄
• additional-networks擴展目錄

技巧：為了確認模型的泛化性如何，對一個tag比如銀色頭發(fā)設置權重為1，如果泛化性好，頭發(fā)的顏色會根據(jù)提示詞調(diào)整

生成xyz圖片結果：

圖中黃色頭發(fā)都是泛化性不好的

煉丹小技巧：

1.如何通過DA優(yōu)化器尋找最優(yōu)學習率

參數(shù)設置：optimizer（優(yōu)化器）選擇DAdaptation；LR scheduler參數(shù)選擇constant；LR warmup=0；unet learning rate=1;text encoder lr=0.5;learning rate=1

開始訓練

點擊start tensorbard檢測學習率變化

恒定不變的值就是學習率最優(yōu)值

再次調(diào)參訓練

如果優(yōu)化器選Lion，建議學習率unet learning rate為最優(yōu)學習率的1/3

2.技巧二：loss值是個參考，更多的是xyz測試看實際模型效果，如果效果不是那么像，可讓repeat數(shù)量更高一些

3.技巧三通過插件可附加網(wǎng)絡（lora插件）查看成熟模型參數(shù)

4.技巧思 通常訓練集文件夾命名規(guī)則：repeat+文件名，在分類歸檔訓練特征

如訓練真人模型，希望某個細節(jié)更加清晰或全身圖出來時概率更低