Embeddings | LoRa | Hypernetwork概念簡(jiǎn)析,懂了才

文本嵌入/嵌入式向量(Embeddings)
詞嵌入模型的基本概念:
它是一種占用空間極小的模型文件,通常只有幾十kb左右,如果說(shuō)Checkpoint是一本大字典,那么Embeddings就像是上面的一片小“書(shū)簽”,它能夠精準(zhǔn)的指向個(gè)別字、詞匯的含義,從而提供一個(gè)極其高效的索引。這種索引除了能幫AI更好地畫(huà)好字典里已經(jīng)有的東西以外,有時(shí)候也能實(shí)現(xiàn)特定形象的呈現(xiàn)。
它的放置路徑是在根目錄的同名文件夾里。
Embeddings不需要調(diào)用,只需要在特定的提示詞里用特定的“咒語(yǔ)”去召喚它。
對(duì)于一些廣泛,容錯(cuò)率高的概念,Embeddings的表現(xiàn)會(huì)不錯(cuò)。

以EasyNegative為例子

它只需要一個(gè)提示詞進(jìn)行激活,但這個(gè)提示詞需要放在負(fù)面提示詞里。進(jìn)行提交后就會(huì)進(jìn)行修復(fù)畫(huà)面錯(cuò)亂的手指問(wèn)題。
但是EasyNegative能解決的問(wèn)題遠(yuǎn)不止多了少了的手或手指,它是一種綜合的、全方位的基于負(fù)面樣本的提煉,解決的問(wèn)題還包括肢體錯(cuò)亂、顏色混雜、噪點(diǎn)和灰度異常等。它可以單獨(dú)使用也可以加入提示詞中使用,對(duì)正面畫(huà)面內(nèi)容影響不大。而不同的EasyNegative針對(duì)的類(lèi)型可能會(huì)有些許區(qū)別,EasyNegative是基于Counterfeit進(jìn)行訓(xùn)練的,作者測(cè)試對(duì)大多數(shù)二次元的模型都有較好效果,但應(yīng)用到真人模型可能效果就沒(méi)有正面理想了,而另一款DeepNegative是針對(duì)真人模型來(lái)訓(xùn)練的,可能會(huì)更加適合,也可以根據(jù)具體使用來(lái)選擇。

低秩模型(LoRa)
LoRa的作用在于幫助向AI傳遞、描述某一個(gè)特征準(zhǔn)確、主體清晰的形象。
如果說(shuō)Embeddings是輕薄便利的小書(shū)簽?zāi)芡ㄟ^(guò)索引給出一些關(guān)鍵信息,那么LoRa就像夾在書(shū)中的彩頁(yè)一般,它直接寫(xiě)清楚了需要信息的所有特點(diǎn)介紹,所以AI對(duì)這種信息的了解一定是更為準(zhǔn)確的,因此,它一定是比Embeddings所占用空間更大一點(diǎn),容量大概在100-200MB左右。
目前LoRa的主要應(yīng)用特點(diǎn)在于各種游戲、動(dòng)漫角色的二次創(chuàng)作構(gòu)建,因?yàn)橛?xùn)練LoRa需要針對(duì)一個(gè)對(duì)象各方各面的素材,如果是人物,可能還需要不同姿勢(shì)、表情、甚至是不同畫(huà)風(fēng)的素材。
超網(wǎng)絡(luò)(Hypernetwork)
盡管在作用原理上有所差異,但是最終呈現(xiàn)的效果大致是和LoRa相似的,如果說(shuō)LoRa是傳單,那么把Hypernetwork理解為小卡片意思也相差不遠(yuǎn),但有一點(diǎn)顯著區(qū)別,Hypernetwork一般被用于改善畫(huà)風(fēng),這個(gè)畫(huà)風(fēng)比checkpoint所定義的畫(huà)風(fēng)更為精細(xì)一些,不像二次元與真實(shí)系之間的那種大的區(qū)別,有點(diǎn)像梵高和莫奈之間的小區(qū)別。
使用前需要先到設(shè)置里找到一個(gè)附加網(wǎng)絡(luò)的選項(xiàng),在里面選擇對(duì)應(yīng)的超網(wǎng)絡(luò)添加到提示詞里
在網(wǎng)絡(luò)上多數(shù)研究者對(duì)于Hypernetwork在圖像生成方面的評(píng)價(jià)并不好,至少不如LoRa和Embeddings那么好,其次它的作用其實(shí)可以部分被LoRa所取代,有不少優(yōu)秀的LoRa通過(guò)對(duì)訓(xùn)練的樣本把控已經(jīng)實(shí)現(xiàn)了畫(huà)風(fēng)的塑造植入。盡管如此,在需要實(shí)現(xiàn)不同藝術(shù)風(fēng)格時(shí),它仍然可以提供不小的幫助。