最新更新時(shí)間：2023/8/10

名詞解釋

lora

lora是大模型的路標(biāo)，是字典的書簽。AI將提示詞對(duì)應(yīng)的底模特征與訓(xùn)練集中的特征進(jìn)行對(duì)比，將兩者的差異進(jìn)行對(duì)比并將差異儲(chǔ)存，這就是lora。

AI在訓(xùn)練集學(xué)習(xí)時(shí)，先識(shí)別訓(xùn)練集中特征，并將此特征與最符合的提示詞進(jìn)行綁定。所以當(dāng)提示詞中沒有合適的對(duì)象時(shí)，則綁定到了觸發(fā)詞中。

當(dāng)AI識(shí)別的特征過于復(fù)雜時(shí)，難以識(shí)別其屬于哪種提示詞，也無(wú)法精確地綁定到對(duì)應(yīng)地提示詞，并污染solo等高度概括詞。這種情況在鬼怪類由為嚴(yán)重，需要專門裁切來(lái)強(qiáng)化訓(xùn)練，否則即便將復(fù)雜特征都賦予到觸發(fā)詞上，也會(huì)過擬合無(wú)法使用。

在使用lora時(shí)，AI會(huì)優(yōu)先從lora中查詢提示詞對(duì)應(yīng)的特征。

底模

含義：訓(xùn)練lora時(shí)使用的大模型。

底模與訓(xùn)練lora的畫風(fēng)越貼近，在訓(xùn)練時(shí)，更容易將特征進(jìn)行匹配并記錄差異。許多新的大模型都是基于SD1.5最初的大模型，將各種提示詞對(duì)應(yīng)的特征進(jìn)行了優(yōu)化，使之能出圖更加符合美感。但是這意味著這些特征已經(jīng)是被改造過的，如果魔化嚴(yán)重，在此底模訓(xùn)練出的lora在其他大模型上就難以使用，效果不佳。所以訓(xùn)練時(shí)，也推薦直接使用SD1.5進(jìn)行l(wèi)ora訓(xùn)練。

loss率

含義：訓(xùn)練模型與實(shí)際樣本之間的偏差值，存在局部最優(yōu)以及全局最優(yōu)，

不同作者作者：

1、loss降低保證了更多的細(xì)節(jié)得到學(xué)習(xí)，訓(xùn)練圖片特征融合率更高（畫風(fēng)、劃痕、光影、色彩、材質(zhì)）

2、不同的圖片數(shù)量和特征差異所對(duì)應(yīng)的最優(yōu)化的loss出現(xiàn)在不同訓(xùn)練步數(shù)區(qū)間

3、好的loss率至少應(yīng)該在0.1以下，不同優(yōu)化器的最佳loss不同

4、實(shí)踐上，同類對(duì)比下loss越低lora的效果越好，當(dāng)loss在后半段的波動(dòng)越穩(wěn)定，效果越好。

學(xué)習(xí)率

含義：尋找最優(yōu)模型時(shí)的訓(xùn)練跨度，學(xué)習(xí)率的數(shù)值影響全局最優(yōu)的尋找路徑

泛化

含義：模型在訓(xùn)練集以外的數(shù)據(jù)上的擬合程度。

在使用其他提示詞和特征時(shí)，lora的特征仍能正確地被還原和使用。

梯度下降

含義：指導(dǎo)AI學(xué)習(xí)策略

擬合

過擬合：只會(huì)盲目照搬訓(xùn)練集里的圖，而不總結(jié)規(guī)律

過擬合特征：

• Tag 失效，無(wú)法調(diào)用

• 畫面物體/人物出現(xiàn)詭異細(xì)節(jié)

• 畫面線條變粗

欠擬合：還原度太差，與訓(xùn)練集不相像

擬合成功：lora的目標(biāo)對(duì)象能成功還原出訓(xùn)練集中的特征

收斂

研究函數(shù)的重要工具，指學(xué)習(xí)結(jié)果會(huì)聚于一點(diǎn)，向某一值靠近

魯棒性

在異常和危險(xiǎn)情況下系統(tǒng)生存的能力，面對(duì)各種異常情況時(shí)仍能保持相對(duì)穩(wěn)定的性能。

即模型的穩(wěn)定性、堅(jiān)韌性。

表現(xiàn)：

在不同的大模型下都能有不錯(cuò)的發(fā)揮。

還原性

含義：與訓(xùn)練圖集特征的相似度

LyCORIS

特征：在畫風(fēng)結(jié)合效果上更好

官方：https://github.com/KohakuBlueleaf/a1111-sd-webui-lycoris.git

正則化

含義：先驗(yàn)知識(shí)，在AI訓(xùn)練lora前提前認(rèn)知元素之間的相對(duì)位置。

作用1：提高lora的泛化能力，在煉制功能性和畫風(fēng)lora中必不可少。在物品lora中，使AI認(rèn)知物品的位置關(guān)系。

作用2：給某一提示詞提供不同的特征，從而降低此提示詞的權(quán)重，提高lora的泛化性，和突出目標(biāo)特征的還原性

官方網(wǎng)址：github.com/kohya-ss/sd-scripts/blob/main/docs/train_README-zh.md

不同作者建議：

1、數(shù)量推薦：訓(xùn)練集（10~30）；正則訓(xùn)練集（80~100），至少大于等于訓(xùn)練集數(shù)量。訓(xùn)練次數(shù)：6_ 訓(xùn)練集,1_ 正則訓(xùn)練集。

2、不用打標(biāo)和預(yù)處理

3、不適用角色lora

4、用于數(shù)據(jù)增強(qiáng)：在人型lora訓(xùn)練集中放入風(fēng)格和姿態(tài)各異的無(wú)臉果圖來(lái)假裝角色對(duì)象的裸體形象，從而泛化其畫風(fēng)和動(dòng)作，適用于訓(xùn)練集數(shù)量過少的情況。（對(duì)此方法的還原性存疑，以及訓(xùn)練步數(shù)參數(shù)未知）

先驗(yàn)知識(shí)

先驗(yàn)知識(shí)是指在進(jìn)行學(xué)習(xí)、推理或決策之前已經(jīng)具備的關(guān)于特定領(lǐng)域的知識(shí)和概念。

在機(jī)器學(xué)習(xí)中，先驗(yàn)知識(shí)可以用來(lái)指導(dǎo)模型的學(xué)習(xí)過程，幫助模型更快、更準(zhǔn)確地進(jìn)行訓(xùn)練和推理。

先驗(yàn)知識(shí)可以幫助我們從大量的信息中篩選出重要的內(nèi)容，減少冗余和無(wú)關(guān)信息的干擾

打標(biāo)類型與對(duì)比

提示詞分類：

• 喚起（觸發(fā)詞、高度概括詞1girl、solo）

• 人物特征（發(fā)型、發(fā)色、眼睛顏色、臉型）

• 衣服（上中下）

• 配件（服飾配件武器）

• 姿勢(shì)（表情）

• 背景（特效視角表達(dá)形式）

• 負(fù)面詞

打全標(biāo)：中庸

不刪除任何詞（包括重復(fù)的詞匯，僅刪除錯(cuò)誤詞）

刪特征：還原與泛化不錯(cuò)

人物特征詞被刪除

僅喚起：過擬合

人物特征詞被刪除，衣服保留高度概括詞（shoes、uniform?）

不同打標(biāo)方法效果對(duì)比

判斷邏輯：只有需要的特征得到充分還原便是好，不需要的特征越充分還原就越不受控。

過擬合：僅喚起

泛化性（換裝能力）：正則化>全標(biāo)=刪特征>?僅喚起

過擬合風(fēng)險(xiǎn)（崩壞概率）：僅喚起>?刪特征>全標(biāo)>正則化

學(xué)習(xí)速度：全標(biāo)=僅喚起=刪特征>?正則化

還原性：訓(xùn)練時(shí)間減少的正則對(duì)象還原性變差

易調(diào)用性： 僅喚起 > 刪特征 > 全標(biāo)>?正則化

結(jié)論

1、當(dāng)需要發(fā)表lora給予他人使用時(shí)，選擇刪特征+正則

2、當(dāng)不需要換裝自用時(shí)，選擇打全標(biāo)

3、當(dāng)需要降低特征污染、提高還原性時(shí)，要增加訓(xùn)練時(shí)間

4、當(dāng)需要增強(qiáng)泛化能力時(shí)，則增加正則化訓(xùn)練，提高正則化權(quán)重

聲明：很多內(nèi)容都是從不同作者的教學(xué)視頻和文章中摘抄并加之個(gè)人總結(jié)來(lái)的，涉及之多很難再一一找到出處，只能在此為所有教學(xué)奉獻(xiàn)的老師致以感謝。