最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

LoRA訓(xùn)練 ——打標(biāo)簽(tag)

2023-09-02 02:13 作者:octppus  | 我要投稿

之后會出視頻,這個是文案,大家可以先看看

訓(xùn)練lora的時候很多人會頭疼不知道怎么打標(biāo)簽,怎么修改。

其實(shí)并不一定要打標(biāo)簽,

很多視頻都再強(qiáng)調(diào)打標(biāo)簽的重要性,但實(shí)際上,打標(biāo)簽對于一個LoRA模型訓(xùn)練的好不好并沒有影響,只是再使用這模型的時候是否方便。

打標(biāo)簽的目的就是讓AI明白

某個詞語=某個(些)特征

比如我們輸入提示詞girl,會出來一張女孩的圖片,就是因?yàn)槟P椭術(shù)irl對應(yīng)的就是女孩的各種特征。

如果我們想要讓girl對應(yīng)一個具體的角色,我們就需要再加入其他的提示詞,比如艾米利亞。

這個時候圖片中的特征就變成了girl和emilia的交集,

女生應(yīng)該有長頭發(fā),艾米利亞是銀色頭發(fā),因此girl,emilia這兩個提示詞對應(yīng)的頭發(fā)特征應(yīng)該是銀色長發(fā)。

girl長發(fā)
emilia銀色長發(fā)

這些事大模型中提示詞對應(yīng)的特征,我們使用LoRA模型的目的就是講某些提示詞對應(yīng)到訓(xùn)練集中的特征。

這些提示詞可以是大模型中原本就有的,

門派成員=原本有的提示詞

傀儡=自創(chuàng)提示詞

施術(shù)者=訓(xùn)練集

幾層功力=模型權(quán)重

把大模型比作一個門派,提示詞是這個門派中的成員,使用原本的提示詞相當(dāng)于奪舍,把這個提示詞原本指向的特征變成訓(xùn)練集中的特征。

使用自創(chuàng)的提示詞,相當(dāng)于在門派中安插了一個傀儡,然后再附身再那個傀儡上。

用我的配音員喂喂做個例子,我就用下面這一張圖去訓(xùn)練一個lora

提示詞我只打一個weiwei

呆狐貍喂喂

然后weiwei這個提示詞,對應(yīng)的就是喂喂的這張圖片中的所有特征,白色長發(fā)狐貍娘,藍(lán)眼睛,粉色裙子。。。。

提示詞weiwei

打1girl同樣也會出現(xiàn)呆狐貍的形象,因?yàn)檫@張圖片的特征中包含了1girl,原本1girl的特征被指向了喂喂的特征

提示詞1girl

那區(qū)別在哪呢?我們把lora的權(quán)重降低到0.6

weiwei提示詞的依舊很明顯地還原了訓(xùn)練集的特征,而1girl則出現(xiàn)了其他特征。

LoRA的權(quán)重就如同施術(shù)者的功力。

奪舍的功力下降了,宿主的意識就開始掌控身體,和外來意識發(fā)生了抵抗。

但對于傀儡來說,它本身舊沒有太強(qiáng)的意識,不用全力附身也可以控制。

如果要奪舍,除了施術(shù)者自身的功力外,奪舍對象的選擇也很重要,要選擇特性和施術(shù)者比較契合的,就容易奪舍成功。

如果那個提示詞本身和訓(xùn)練集的特征足夠相似,也可以呈現(xiàn)出來,但如果和訓(xùn)練集一點(diǎn)關(guān)系沒有,那就很難還原訓(xùn)練集的特征。

比如使用紅頭發(fā)這個提示詞,但是喂喂是白頭發(fā),特征不吻合,因此出來的圖片還原度極差。


需要使用十層功力才能還原

但如果使用的是長發(fā)這個提示詞,和訓(xùn)練集的特征相符,權(quán)重低一些也可以還原大部分特征。

我們繼續(xù)看下一個測試

這一次我們把訓(xùn)練的提示詞weiwei換成fox

fox原本的特征


fox的特征再LoRA的影響下,變成了喂喂的特征


lora的權(quán)重減少,fox的特征就比較明顯(耳朵),喂喂的特征減少

我們要讓圖片呈現(xiàn)出訓(xùn)練集沒有的特征是非常困難的,比如閉嘴的特征


這時候我們準(zhǔn)備兩張圖片,一張張嘴,一張閉嘴的

weiwei,open mouth
weiwei,closed mouth

然后分別給他們打上對應(yīng)的標(biāo)簽

可以很好的還原,由此可見訓(xùn)練集的重要,打標(biāo)簽只是輔助使用。但是打標(biāo)簽和訓(xùn)練集配合可以讓我們控制這些細(xì)微的特征。

當(dāng)然前提是訓(xùn)練集要夠好,如果訓(xùn)練集不好,訓(xùn)練出來的模型一定不好。

下面的例子,我把張嘴的圖片加了個cry的特征,閉嘴的加了個smile的特征

結(jié)合張嘴和哭的特征,就可以呈現(xiàn)出張嘴大哭的表情

結(jié)合閉嘴和笑的特征,呈現(xiàn)出抿嘴笑的表情

實(shí)際使用的時候特征很多,如果找不到適合的訓(xùn)練集,要訓(xùn)練一個還原度高有不會過度擬合的模型并不簡單。

就比如以上的圖片都是站姿,因此要呈現(xiàn)出其他姿勢的話,就只能降低還原度。除非添加其他動作的訓(xùn)練集圖片。

以上就是本期的全部內(nèi)容,之后會在視頻中細(xì)講,還有很多關(guān)于lora的知識,之后也會慢慢說,制作不易,對各位有幫助的話點(diǎn)個贊吧。

LoRA訓(xùn)練 ——打標(biāo)簽(tag)的評論 (共 條)

分享到微博請遵守國家法律
九寨沟县| 保德县| 资源县| 内丘县| 福鼎市| 泗水县| 白城市| 万山特区| 利川市| 靖西县| 濮阳县| 孝义市| 龙陵县| 淮南市| 公安县| 土默特左旗| 桐柏县| 五河县| 柳林县| 镇雄县| 乐至县| 余江县| 上犹县| 南雄市| 涞源县| 襄汾县| 潼南县| 蒙山县| 全椒县| 酉阳| 安庆市| 旬邑县| 昌江| 农安县| 鹿泉市| 九台市| 酉阳| 阿拉善左旗| 炉霍县| 鄂州市| 农安县|