最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

【專業(yè)向節(jié)點AI】SD ComfyUI大冒險-基礎(chǔ)篇 04數(shù)據(jù)微調(diào) Lora與超

2023-08-04 22:26 作者:但丁jr  | 我要投稿


嗨這里是油醬醬。今天這個視頻中我們初步掌握了AI圖像的生成技術(shù)。無論是所謂的文生圖還是我們的圖生圖,以及相應(yīng)的提升圖像質(zhì)量的方式。然后隨著使用的深入,我們越來越會發(fā)現(xiàn)節(jié)點式的方式能夠讓我們很輕松的來到AI處理的一個底層的概念,就是對于我們數(shù)據(jù)的處理。在當(dāng)前的框架中,我們知道采樣器是我們某一個節(jié)點的一個核心,他接受了我們對應(yīng)的這些數(shù)據(jù)流。然后這個時候會根據(jù)我們提供的大模型以及對應(yīng)的這樣的一個文本信息,或者是我們當(dāng)前輸入的前空間的方式,來產(chǎn)生最終的一個處理結(jié)果。在這個視頻中之所以又提到之前講過的內(nèi)容,是因為我們現(xiàn)在除了去更換我們節(jié)點上的這些可換參數(shù)。無論是我們的大模型還是我們的文本,也或者是我們當(dāng)前的前空間數(shù)據(jù),我們還可以去加入一些節(jié)點,對我們進行傳輸?shù)臄?shù)據(jù)進行處理。

00:57

然后對于這個處理,我們先從兩個比較簡單應(yīng)用的方式入手,分別是我們的Lora以及我們的超網(wǎng)絡(luò)。

首先讓我們最為常用的Lora開始

可以看到,在我們的加載器當(dāng)中,有一個東西叫做我們的Lora加載器。

載入之后你會發(fā)現(xiàn)NOA加載器它的一個主要的處理數(shù)據(jù)是我們傳入的模型數(shù)據(jù),以及我們對應(yīng)的這樣的一個語言圖像對比預(yù)訓(xùn)練的數(shù)據(jù)。對于處理所產(chǎn)生的結(jié)果取決于當(dāng)前所加載的log模型。這個模型是自帶的。如果你有一些其他自己的模型,你可以來到我們對應(yīng)的設(shè)置中找到我們的常用路徑??梢钥吹酱蜷_對應(yīng)的Lora的一個文件夾,將你的模型放入,然后重啟blender就可以看到你自己的模型了。

01:40

然后接下來看一下它的節(jié)點數(shù)的連接方式。首先它需要來接受我們一個模型數(shù)據(jù)以及對應(yīng)的預(yù)訓(xùn)練數(shù)據(jù)。然后這個時候處理完成之后,首先模型數(shù)據(jù)需要直接連接到我們的采樣器。然后這個時候我們當(dāng)前的一個處理過的這樣的預(yù)訓(xùn)練數(shù)據(jù),要直接連到我們的提示詞和我們的這個否定詞上面。那么在這種情況下,就實現(xiàn)了我們當(dāng)前一個大模型通過我們的Lora理之后,然后得到的一個最終結(jié)果。


02:07

可以看到在在這個時候如果我們啟動對應(yīng)的一個節(jié)點的話,可以看到我們這個時候角色類型的的大AR會影響到我們當(dāng)前的效果,會讓它趨近于我們一個這樣訓(xùn)練過的一個人物形象。但是很明顯的可以看到,我們第一層生成的這個東西,它的強度太大了,導(dǎo)致這個效果有一些過渡了。所以在這的話我們可以降低它的一個強度。比如說給到一個0.6,那么此時再重新的點一下我們的運行節(jié)點數(shù),來看一下當(dāng)前的一個變化??梢钥吹竭@個時候我們調(diào)整了強度之后,第一層生成的圖像就不會出現(xiàn)這樣的用力過猛的情況了。

02:41

然后在這個時候,或許我們會發(fā)現(xiàn)一個問題,就是對于當(dāng)前這個節(jié)點,它有兩組參數(shù)。雖然對于這兩組參數(shù),它分別是對應(yīng)的我們當(dāng)前所輸入的兩種類型的這樣的數(shù)據(jù)。但是對于他們的控制是否起作用,以及控制產(chǎn)生的結(jié)果是否能夠最終達到一致,完全取決于你模型本身的一個訓(xùn)練方式。比如說可以看到你最終訓(xùn)練出來的lora作用于當(dāng)前的一個這樣的大模型的一個模型數(shù)據(jù),然后以及作用于對應(yīng)的一個文本的這樣的一個數(shù)據(jù),他們是不一樣的。那么這個時候,你這兩個參數(shù)調(diào)整,它肯定會有一定的差異。但是如果你使用了一些,比如說像傳統(tǒng)的dream booth這種方式,他們這兩個數(shù)值是一樣的。所以在這個時候,你無論調(diào)哪個,他們其實的效果都是這樣,沒有特別大的差異的。

03:25

再加上很多時候作者并不會標記自己這樣的一個訓(xùn)練的方式,以及最終產(chǎn)生的訓(xùn)練結(jié)果。所以通常情況下吧,我們可以看到像外部UI,它會將這個參數(shù)進行一個合并?來產(chǎn)生最后一個效果。不過在今天我們既然知道這個事情,就可以來嘗試著做一個東西。來分析一下你的Lora是否是采用了對應(yīng)的這樣的一個不同學(xué)習(xí)力的一個訓(xùn)練方式來產(chǎn)生的。

03:48

在這的話我們可以先將我們的節(jié)點數(shù)弄短一點?比如說我們就從這兒進行切斷,按著control然后劃右鍵直接把它切了。直接把我們的這個圖像預(yù)覽連接到當(dāng)前這個上面來。然后在這的話我可以先簡單跑一下,看一下當(dāng)前這個效果能否產(chǎn)生??梢钥吹轿覀儺?dāng)前就能夠產(chǎn)生一個這樣的快速預(yù)覽的節(jié)點了??梢园阉x得稍微近點。然后接下來我們就需要來做一下對比效果。在這里可以直接shift加D復(fù)制一份兒,然后再往上方再復(fù)制一份是吧。

04:16

那么對于他們來說,我們可以先簡單的連接一下它的模型的一個數(shù)據(jù)。首先連上我們的模型,再連上我們的這樣的一個CRIP,然后上方的這個也是一致,然后連上我們的模型,然后連上我們的這樣的一個CRIP,然后連接完成之后,此時我們要做的是什么呢?就是只改動我們當(dāng)前l(fā)oa上的數(shù)值。第一個我們將兩個參數(shù)都設(shè)置成0,對于我們的第二支,我們可以把它設(shè)置成一個一,然后另外一個是零,然后另外一個我們就把這個數(shù)值換一下。第一個是我們的陵,然后第二個是我們的一。然后設(shè)置完成之后,這個時候我們直接點擊一下我們當(dāng)前的運行節(jié)點數(shù)。

04:55

然后這個時候通過對比圖像就可以看出,當(dāng)前的一個lora主要能夠引起變化的參數(shù)就在于我們第一個對于主模型強度的影響。但是就和剛才所講的一樣,它們之間的一個效果取決于模型本身的一個素質(zhì)。在這塊如果我們切換成另外一個小李所提供的這樣一個law?a的話,我們重新的把它們進行一個這樣的節(jié)點數(shù)運行。然后這個時候你就可以看到當(dāng)前Lora產(chǎn)生一個主要影響的參數(shù)是來自于CRP了。所以在這個時候如果你獲得到了一個沒有用過的大A你可以使用這種方式來去分辨一下,究竟是哪個參數(shù)能夠?qū)τ诋?dāng)前的一個效果產(chǎn)生較大的影響。當(dāng)然了,如果你嫌麻煩的話,可以直接同步的控制兩個參數(shù),把它們設(shè)置成同樣的數(shù)值,進行一個統(tǒng)一控制,也是一個比較不錯的選擇。

05:43

然后接下來對于Lora來說,它還允許我們進行一個組合使用。在這的話可以找到我們一個基礎(chǔ)的一個文生圖框架。然后此時我們來加入我們的一個Lora的節(jié)點,將我們的數(shù)據(jù)進行一個連接。然后將我們當(dāng)前的Lora的這個數(shù)據(jù)可以先連到我們當(dāng)前的一個文本編碼器上。在這種情況下,我們就可以看到剛才我們所搭建出的一個基本框架,就是我們的大模型所傳遞出的這兩種數(shù)據(jù)。然后經(jīng)過Lora的干涉,最終產(chǎn)生了我們一個最終效果的影響。

06:15

在這個過程中,我們還可以來添加一個Lora,讓它進行一個共同影響。在之后我們來創(chuàng)建一下當(dāng)前的這個Lora,直接到我們當(dāng)前節(jié)點上將對應(yīng)的數(shù)據(jù)這樣聯(lián)通?然后注意一下當(dāng)前的處理順序,可以看到當(dāng)前我們這個大模型所傳遞出的這些數(shù)據(jù),經(jīng)過了兩個Lora的影響產(chǎn)生的一個效果。

在這一塊我們可以區(qū)分一下,增加另外一個Lora。然后此時點擊一下我們運行節(jié)點數(shù),看一下兩個lw共同處理下的模型是一個什么樣的樣式。然后這個時候如果你覺得效果不夠好的話,那么此時可以調(diào)整一下對應(yīng)兩個lora參數(shù)。比如說我們可以先將疾風(fēng)之后的效果削弱削成0.6,可以看一下當(dāng)前的效果。也可以來考慮提升一下另外一個Lora的一個強度是吧?

06:59

剛才我們也測試過了,知道CARP的強度對當(dāng)前的一個柔軟影響較大,我們可以將這個數(shù)值,比如說給到一個三,然后這個時候重新計算一下,可以看到在這個時候一個綜合效果的影響,然后讓我們產(chǎn)生了一個最終樣式的一個變化。然后在這如果你想提高圖像的一個精細度,可以像我們之前一樣,將 我們一個這樣的圖像的超分修復(fù),然后進行一個追加。追加完成之后,將我們當(dāng)前的采樣一連。那么此時直接點擊一下我們的運行節(jié)點數(shù),可以看到此時我們就會得到一個具備更加細節(jié),同時尺寸更大的這樣的一個圖像了。

07:33

看了Lora的方式之后,在這兒話

有一個和它比較相似的方式,就是對應(yīng)的這樣的一個超網(wǎng)絡(luò)。

對他來說可以看到它的輸入數(shù)據(jù)和輸出數(shù)據(jù)只有一種。所以在這的話,我們只需要這樣把它連入,就會產(chǎn)生一個最終的效果。然后在這塊為了對比它的一個效果,我們可以先將當(dāng)前的這樣的一個節(jié)點數(shù)進行一個復(fù)制。然后其中這個我們將它進行移除,然后直接性的進行連接。然后這個時候連一下我當(dāng)前的一個CRIP。然后連接完成之后,相當(dāng)于是我們下方這個是沒有這樣的一個超網(wǎng)絡(luò),上方是有的。我們點擊一下運行節(jié)點數(shù),對他們進行一個對比,可以看到在其他參數(shù)完全相同的情況下,這個時候我們上方的分支因為添加了這樣的一個超網(wǎng)絡(luò),所以它就會獲取我們當(dāng)前超網(wǎng)絡(luò)處理之后的這樣的一個效果,作用到最終的一個圖像上。


08:25

然后在這的話我們也可以把它開的稍微小一點。比如說給到一個0.3,可以看到當(dāng)前這樣的一個能夠產(chǎn)生這樣線條的一個超網(wǎng)絡(luò)能夠帶來的影響。即使我們將它的強度調(diào)小,依舊能夠看到它為我們最終圖像所帶來的一個特征化的改變,讓它產(chǎn)生了一個這樣更加硬朗的線條。

08:45

然后現(xiàn)在我們知道另外一種可以影響我們模型最終處理的效果的一個方式,就是使用我們的超網(wǎng)絡(luò)。在這里也就意味著我們現(xiàn)在可以對它進行一個混合使用。比如說在前面我們先加上我們一個這樣的lora,然后這個時候我們先將這個數(shù)據(jù)簡單的連接一下,然后這個時候?qū)ow的強度還是調(diào)低一點。比如說給到一個0.6,這個時候點擊一下運行節(jié)點數(shù),看一下當(dāng)前的效果??梢钥吹酱藭r我們就會獲得一個撈大模型所給到的人物特征,以及當(dāng)前的一個超網(wǎng)絡(luò)。我們使用到的是一個線條特征的一個效果?它們共同作用下產(chǎn)生了我們當(dāng)前這樣的一個圖像。

09:23

然后這個時候,對于這張圖像,如果你希望它變得更大的話,可以使用我們之前的一個超分修復(fù),然后對它進行一個節(jié)點追加。這個在之前我們講過,我們只需要將當(dāng)前的一個前空間連到采樣上去,然后直接繼續(xù)點擊我們一個運行節(jié)點數(shù)。它就會從當(dāng)前我們已經(jīng)算過的這個數(shù)據(jù)往后進行一個中繼計算。然后計算完成之后,就會看到我們會獲得一個這樣的圖像。那么對于它,如果你也想對它進行調(diào)整的話,在這的話像我們之前一樣,可以對它這樣的一個數(shù)據(jù)進行處理。無論是我們的Lora還是我們當(dāng)前的一個超網(wǎng)絡(luò)。在這塊我們使用超網(wǎng)絡(luò),比如說我們希望它的一個效果,比如說給到一個0.58,同時對它進行一個重新性的計算。然后計算完成之后,就可以看到當(dāng)前這樣的一個超網(wǎng)絡(luò)對于圖像的一個影響。

10:08

然后在這的話,如果你不希望嘴是這樣張開的,同時露出了牙齒的話,可以改變一下當(dāng)前的一個提示詞。然后在這的話,可以看到我們這里面是有對應(yīng)的牙齒的,可以把它這樣刪除。把其中的這個張開嘴,open?mouse,?然后改成close?mouth,就是把我們的嘴閉上,然后這個時候重新點擊一下我們的運行節(jié)點數(shù),可以看到此時我們得到的圖像,其中的嘴就這樣閉上,也不會露出我們的牙齒了。

10:35

然后以上便是我們今天使用Lauren和超網(wǎng)格對于圖像最終效果產(chǎn)生影響的一個方法。對,他們不要忘記要靈活使用是吧?在什么位置需要處理的話,就把它填上去,就可以產(chǎn)生這樣的一個效果了。然后以上就是今天的主要內(nèi)容,希望他能夠?qū)δ阌兴鶐椭?/p>


【專業(yè)向節(jié)點AI】SD ComfyUI大冒險-基礎(chǔ)篇 04數(shù)據(jù)微調(diào) Lora與超的評論 (共 條)

分享到微博請遵守國家法律
如皋市| 眉山市| 韶关市| 松阳县| 乐平市| 老河口市| 怀化市| 辉县市| 正镶白旗| 金塔县| 东兴市| 孙吴县| 肇庆市| 顺昌县| 潢川县| 海兴县| 九龙坡区| 铜鼓县| 邯郸县| 仁布县| 宝丰县| 金平| 仙居县| 湟源县| 佛教| 合山市| 佛山市| 宣城市| 沂源县| 明水县| 耒阳市| 巢湖市| 即墨市| 蓝山县| 台山市| 卫辉市| 新郑市| 怀柔区| 台江县| 延津县| 怀仁县|