Embeddings | LoRa | Hypernetwork概念簡析,懂了才

Embeddings(詞嵌入)的概念和三
種應(yīng)用

C站里篩選時以另外一種形式被表達
“Texttual Inversion” 文本倒置
模型checkpoint比作字典,em就是字典上的小書簽,精準(zhǔn)地為你指向個別字詞的含義

有時也可以那么幫我們實現(xiàn)特定形象的呈現(xiàn),例如貓又,em會匯總貓,人,妖怪的信息
em在深度學(xué)習(xí)領(lǐng)域全稱“嵌入式向量”
后綴一般是.pt
位置 根目錄/embeddings
em不需要特別調(diào)用,只需要在提示詞中調(diào)用
反推提示詞技巧:圖生圖導(dǎo)入圖片,cliphe和deepbooru反推
db速度和識別準(zhǔn)確度更具有優(yōu)勢
反推的詞篩選修改后加入文生圖提示詞里,生成的形象就更準(zhǔn)確了
Em對ai繪畫的幫助
1.可以為我們指向某種特定的形象,例如D.VA
對于一些更為廣泛,容錯率更高的角色概念,em表現(xiàn)會好很多
2.一個有趣的例子chaituner em(角色轉(zhuǎn)身)
作者給出的基本提示詞格式

x描述人物特點,例如dva的em
y著重描寫服飾

一次生成里可以激活多個em,不會沖突,但具體效果要再觀察
3.解決ai不會畫手的痛點
寫入反向提示詞里
以easynegative為例,是一種綜合的全方面的基于負(fù)面樣本的提煉,解決的問你可能包括肢體錯亂,顏色混雜,噪點和灰度異常等
基于counterfeit訓(xùn)練,對大多數(shù)二次元模型有效
deepnegative基于真人模型訓(xùn)練
Lora 低秩適應(yīng)模型
Low-Rank Adaptation Models
作用:幫助你向ai傳遞、描述一個特征準(zhǔn)確、主題清晰的形象
例如,小豬佩奇
如果說em是輕薄便利的小書簽,lora就是一張加載里面的彩頁,他直接寫明了佩奇是什么,有什么特點,可以用什么方式去呈現(xiàn)
位置:根目錄/models/lora
觸發(fā):<lora:名字>
某些lora也會提供觸發(fā)提示詞(Trigger Word),可以加上強化效果
降低lora權(quán)重,可以降低Lora對模型畫風(fēng)的影響。0.5-0.8之間都可以確切地保留特征但減弱對畫面風(fēng)格的影響
Hypernetwork超網(wǎng)絡(luò)
經(jīng)由他讓ai學(xué)習(xí)一些原本不存在他的世界里的東西,并且描述清楚一步到位
lora是傳單,hy就是小卡片
區(qū)別:hy一般用于改善生成圖像的整體風(fēng)格,“畫風(fēng)”。這個畫風(fēng)比checkpoint定義的畫風(fēng)更精細(xì),不是二次元和真實系 的區(qū)別,類似梵高和莫奈這種的小區(qū)別
位置:根錄/models/hypernetwork
使用方法:設(shè)置-附加網(wǎng)絡(luò)-將超網(wǎng)絡(luò)(Hypernetwork)添加到提示詞