[Novel AI]別人訓(xùn)練的詞條、模型應(yīng)該怎么用

今天遇見很多人問,下載了別人分享的私爐成功,應(yīng)該怎么用?pt文件不知道是什么類型的?下載的文件不知道放哪里?放進(jìn)文件夾后不知道怎么在webui里面用?

webui可以訓(xùn)練的東西分三類:詞條(embedding或者tag),超網(wǎng)絡(luò)(hypernetwork,濾鏡),模型(ckpt)
我們一一分別來講功能和使用方法
一、詞條
詞條就是我們平時(shí)叫的tag。在使用時(shí)是直接輸入在這個(gè)框中的。

而在訓(xùn)練時(shí),詞條是選擇訓(xùn)練embedding這一項(xiàng)

詞條的pt文件通常很小,只有幾十kb大小。文件大小正是區(qū)分詞條和超網(wǎng)絡(luò)的關(guān)鍵點(diǎn)。

而詞條的pt文件是要放置在\stable-diffusion-webui\embeddings文件夾里

在webui的訓(xùn)練-訓(xùn)練的embedding里面可以看見已經(jīng)加載完成的詞條

而這些詞條使用時(shí),只需要將文件名當(dāng)做tag輸入到prompt欄里面就可以了。當(dāng)然我們建議把這些私人訓(xùn)練的詞條寫在最前面,以防止他們不被顯示。



二、超網(wǎng)絡(luò)
超網(wǎng)絡(luò)(hypernetwork)可以看做是一個(gè)濾鏡,這個(gè)濾鏡可以外掛在任何一種模型上,使生成的圖片獲得這個(gè)濾鏡的加成。
超網(wǎng)絡(luò)在訓(xùn)練時(shí)是選擇的生成hypernetwork這一項(xiàng)

超網(wǎng)絡(luò)和詞條一樣都是pt文件。但是超網(wǎng)絡(luò)因?yàn)楫吘惯€是一個(gè)網(wǎng)絡(luò),很復(fù)雜,所以它的pt文件通常都更大,在幾十M到上百M(fèi)的水平。
所以當(dāng)你從其他地方下載了一個(gè)pt文件后,可以通過觀察這個(gè)文件的大小來確定這個(gè)pt文件是一個(gè)詞條(embedding)還是一個(gè)超網(wǎng)絡(luò)(hypernetwork)

超網(wǎng)絡(luò)和詞條(embedding)放置的位置不一樣,超網(wǎng)絡(luò)要放置\stable-diffusion-webui\models\hypernetworks文件里

你可以在webui的設(shè)置中,看到成功加載的超網(wǎng)絡(luò)(hypernetwork)。

同時(shí),在這個(gè)地方,你可以選擇一個(gè)超網(wǎng)絡(luò)(hypernetwork),然后點(diǎn)擊保存設(shè)置。將這個(gè)選好的超網(wǎng)絡(luò)激活。激活后,你訓(xùn)練的圖片就會(huì)有這個(gè)超網(wǎng)絡(luò)濾鏡的畫風(fēng)了。


三、模型
模型就是我們生成一張圖片所必須的ckpt文件。
我們可以在webui的左上角看見我們已經(jīng)安裝好的ckpt。同樣的,我們也是在這個(gè)地方選擇并激活我們的模型。其中【】方括號(hào)內(nèi)的字符串即hash碼,就是這個(gè)模型的具體身份碼。你可以把它看做是身份證號(hào)碼,不管這個(gè)模型的名字怎么變,只要這個(gè)hash碼是一樣的,這兩個(gè)模型就是同一個(gè)模型。所以下了一堆模型的朋友快去清理一下你的模型庫吧。

模型的訓(xùn)練是使用的一個(gè)叫dreambooth的工具[NovelAI]使用DreamBooth讓AI繪出自己想要的人物 - 嗶哩嗶哩 (bilibili.com)
因?yàn)閷?duì)顯存的要求非常高,通常在云端進(jìn)行訓(xùn)練。
下載好的模型文件是ckpt格式的。通常都有幾個(gè)G的大小。我們把這個(gè)文件放到stable-diffusion-webui\models\Stable-diffusion文件夾中

不同的模型會(huì)有完全不同的出圖效果。具體情況請(qǐng)自行查詢資料。

另外,在比較新的webui中,我們還能找到模型合并工具。這個(gè)工具能夠?qū)蓚€(gè)訓(xùn)練好的模型進(jìn)行融合,得到一個(gè)既有模型A的風(fēng)格又有模型B的風(fēng)格的模型。當(dāng)然也有可能融合失敗。。
