最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

探討如何在ComfyUI中進(jìn)行Upscale

2023-08-12 13:18 作者:但丁jr  | 我要投稿

各位朋友大家好。在這個視頻中,我想跟大家探討一下,在康復(fù) UI 中,如何對我們用 AI 生成的圖片進(jìn)行放大。這個技巧的必要性在于,目前我們使用 stable division,無論是 1.5 版本還是 SDXL,來生成圖片時,其初始狀態(tài)都會有一個畫幅的限制。


例如,1.5 版本的模型本身的數(shù)據(jù)源,在訓(xùn)練時使用的圖片可能就是 512x512 的畫幅,而 SDXL 則是 1024x1024。因此,如果我們在生成圖片時設(shè)定了超出原數(shù)據(jù)畫幅的內(nèi)存空間大小,就會導(dǎo)致生成畫面出現(xiàn)錯亂。比如說,如果是風(fēng)景的話,構(gòu)圖可能就不自然;如果是人物的話,肢體可能會出現(xiàn)畸形,如多手臂、多頭部,或者脖子過長、軀干過長等問題。


因此,我通常在第一次使用它來生成圖片時,畫幅不會超過模型元數(shù)據(jù)的大小,比如我現(xiàn)在使用的是 SD XL,它的原數(shù)據(jù)是 1024x1024,那么我就會設(shè)定畫面高度的最大值為 1024。如果我把設(shè)定值稍微提高一點(diǎn),比如設(shè)為 1280,有時候你生成的畫面可能看起來并沒有明顯的問題,但是如果仔細(xì)觀察,往往會發(fā)現(xiàn)可能會出現(xiàn)人物的脖子長了或者腰部長了,造成身材比例失調(diào)的情況。


所以,當(dāng)我們第一次生成圖片,畫幅有限制以后,就使得我們最終生成的畫面大小受到了限制。如果你想得到一個相對比較高精度的畫面,你就需要對這個畫面進(jìn)行縮放,這個縮放是在生成畫面后進(jìn)行的。這個縮放其實(shí)也比較復(fù)雜,我研究的也不是很透徹。因?yàn)槟慵瓤梢栽?latent 空間進(jìn)行縮放,也可以在 pixel 空間進(jìn)行縮放,兩者是有區(qū)別的。


今天主要是來講講如何在 pixel 空間實(shí)現(xiàn)一些縮放。我通常會在內(nèi)存中生成一個畫面后,先進(jìn)行一個圖生圖的操作。因?yàn)樵趫D生圖的過程中,我們可以進(jìn)行一次縮放,對整個畫幅進(jìn)行縮放,然后使得它在 latent 空間里面有更多的噪點(diǎn)加入,再按照我們之前的描述詞來進(jìn)行進(jìn)一步的采樣和生成。這樣就可以提高畫面的細(xì)節(jié)度,提高整體的畫面質(zhì)量。


但是,這個過程中存在一個問題,因?yàn)槿绻惆颜麄€畫面的畫幅放大得很大,那么在圖層圖的這一步驟中,你需要使用的顯存會大量增加。比如說我把現(xiàn)在的畫幅放大2倍,也就是說 1024x768 的畫幅會變?yōu)?2048x1536,這個畫幅可能對于很多人的顯卡來說壓力非常大,因?yàn)樾枰娘@存會比較多。


因此,在這個過程中,我們可能需要把縮放值設(shè)得稍微小一點(diǎn)。并且,還存在一個問題,就是說你這個放大后,整個畫幅加大以后,如果我們設(shè)定的噪點(diǎn)值設(shè)得比較大,設(shè)得比較大的情況下,依然會出現(xiàn)肢體錯亂,構(gòu)圖錯亂的問題。因?yàn)樗麄€已經(jīng)超出了模型本身的畫幅大小,所以這種方式只適合在圖層圖時,我們畫面不需要有很大變化的情況下使用。在這樣的情況下,我們會將噪聲值設(shè)定為相對較小的值,這樣就可以保證最終生成的畫面不會出現(xiàn)太多的錯亂。


這就是我們在圖層圖過程中經(jīng)常采用的一種方式,即先將畫幅放大,然后降低噪聲,以此來生成最終的畫面。例如,我現(xiàn)在的畫幅是 1024x768,我將其放大2倍,也就是其實(shí)畫幅是其原來的四倍。你可以看到,整個畫面的總體感覺沒有太大的變化,但如果你仔細(xì)觀察,會發(fā)現(xiàn)細(xì)節(jié)有所不同,畫面的清晰度得到了提高。


那么,如果我想進(jìn)一步提高畫幅,因?yàn)槲覀冇袝r候需要更大的畫面,我就會用這樣的一個畫幅再去進(jìn)行一個縮放。這時候我們就需要專門的縮放模型,這類模型有很多,像比較常見的有 Topaz Gigapixel AI、Adobe Super Resolution 等,但是我比較常用的可能就是這兩種。


這組縮放操作,我在之前的幾個視頻里已經(jīng)反復(fù)講過。我是從 Such的工作流中借鑒過來的,因?yàn)槲矣X得它實(shí)現(xiàn)的畫質(zhì)還是不錯的。它的主要縮放模型使用的是 MMANMKD,輔助的是 UltraSharp。這兩者都是直接對畫面進(jìn)行一次縮放,這個縮放默認(rèn)是在原有畫幅的基礎(chǔ)上進(jìn)一步放大四倍。然后我們會將放大的結(jié)果進(jìn)行疊加。


我這邊只是簡單地做了一個平均,即兩種模型各占一半的比例。所以也不存在哪一個是主模型,哪一個是輔助模型。你可以根據(jù)需要調(diào)整這兩者的融合比例。這樣的話,我們得到的畫面已經(jīng)非常高清了。


但是我們有時候可能并不需要這么大的畫幅,對吧?這時候我會使用一個節(jié)點(diǎn)叫做 "Image Scale to Side",它可以讓我根據(jù)畫面的最長邊來進(jìn)行縮放,我就把它的最長邊設(shè)定為 3200。這樣最終得到的畫面是 3200x2400,對于大多數(shù)的使用狀態(tài)來說應(yīng)該已經(jīng)足夠了。


如果我們有更極端的畫幅需求,比如我想在當(dāng)前的畫幅基礎(chǔ)上再進(jìn)一步放大2倍或者4倍,甚至更高,那怎么辦呢?顯然我無法直接將整個畫面放大,然后再進(jìn)行采樣,因?yàn)閹缀鯖]有顯卡能夠處理這么大的畫面。這時候就有一種方案,就是將放大后的畫面切分成小塊,然后對每一小塊進(jìn)行計(jì)算,最后再進(jìn)行拼合。


這邊就是我安裝了一個插件叫做 "Ultimate SD UpScale"。安裝后,會在 "Image Upscaling" 下面出現(xiàn)兩個節(jié)點(diǎn)。這個插件的主要作用就是進(jìn)行圖層圖的過程,只不過它不是對整張畫面進(jìn)行圖層圖,而是把這張畫面切分成小塊。每一個小塊都進(jìn)行圖層圖操作后,再把這些小塊拼合成一張整體的畫面。


這個節(jié)點(diǎn)的參數(shù)有很多,但其中比較特殊的就是 "Tile Width" 和 "Tile Height",

?
17:45
?

這兩個參數(shù)用來設(shè)定畫面的切片大小,即每一小塊的大小。我們可以看到其切片大小設(shè)定為 512x512,這是因?yàn)檫@個插件是針對 SD 1.5 版本設(shè)計(jì)的,所以它的切片大小應(yīng)該限定在 1.5 版本的尺寸范圍內(nèi)。如果未來這個插件能夠配合 SD XL 使用,我們估計(jì)可以將切片大小設(shè)定為 1024x1024。


此外,這個插件還有一些其他參數(shù),例如 "Mask Blur"

?
18:42
?

用于設(shè)定遮罩模糊度,我猜測這可能是因?yàn)槊恳黄倪吘壙赡苡幸欢▍^(qū)域的遮罩,這樣在最終拼合畫面時,能夠在切片邊緣進(jìn)行更好的融合,避免出現(xiàn)明顯的切痕。


采樣算法方面,我嘗試了幾種不同的算法,包括 DPM2MSDE 等,發(fā)現(xiàn) DPM2MSDE 的效果最好,其他的采樣算法我測試結(jié)果不理想。這可能與我處理的圖片類型有關(guān),不同的采樣算法在不同的案例中可能會有不同的效果。


至于描述詞的編寫,其實(shí)也就是不斷地去嘗試,沒有什么特別深奧的地方。需要大家注意的是,SD XL 的描述詞編寫方式相對比較復(fù)雜,它將描述詞分為 G、LG、L、R、Positive R 和 Negative R 等幾個部分,每個部分都有其特定的作用和編寫方式。


在實(shí)際操作中,我發(fā)現(xiàn)長句式的描述詞在 SD XL 中效果更好,這與 1.5 版本的處理方式有所不同。在XL 版本中,長句式的描述詞作用并不大,往往是短語和單詞起到更明顯的作用。


總體來說,圖片的縮放主要有以下幾種方式:一種是在圖層圖的過程中進(jìn)行縮放,這種方式有一定的畫幅限制,因?yàn)槌鲆欢ó嫹?,顯卡可能無法進(jìn)行計(jì)算;另一種方式是在完成圖層圖后,使用專門的縮放模型進(jìn)行縮放;最后一種方式是使用 "Ultimate SD UpScale" 插件,該插件會將畫面切分成小塊,對每一小塊進(jìn)行圖層圖操作,然后再拼合,這種方式適合處理超大畫幅的圖片。


在實(shí)際操作中,我們可以根據(jù)自己的需求和顯卡的性能,選擇合適的縮放方式。這個過程可能需要不斷地嘗試和調(diào)整,但最終能夠得到滿意的結(jié)果。希望這個視頻能夠?qū)Υ蠹矣兴鶐椭绻腥魏螁栴}或者有更好的縮放方法,歡迎與我交流。謝謝大家。

探討如何在ComfyUI中進(jìn)行Upscale的評論 (共 條)

分享到微博請遵守國家法律
周至县| 宣化县| 盘锦市| 奈曼旗| 娄烦县| 石台县| 宁陵县| 绵阳市| 余庆县| 遂昌县| 鹤庆县| 华池县| 高清| 固原市| 隆昌县| 利津县| 贵南县| 洞口县| 安远县| 高青县| 葫芦岛市| 安岳县| 天峨县| 泗阳县| 成都市| 丰顺县| 博白县| 兴宁市| 鲁山县| 仁寿县| 乐山市| 庆阳市| 贵定县| 黔江区| 威宁| 德安县| 永平县| 嵊泗县| 鲁山县| 陆河县| 武陟县|