最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

讓你的ComfyUI達到和WebUI相同的效果

2023-08-25 21:19 作者:超白金地底人  | 我要投稿

閱讀建議:適合使用過WebUI,并準備嘗試使用ComfyUI且已經(jīng)安裝成功,但弄不清ComfyUI工作流的新人玩家閱讀。我也是剛剛開始嘗試各種玩具的新人玩家,希望大家也能分享更多自己的知識!


如果不知道怎么安裝和初始化配置ComfyUI,可以先看一下這篇文章:

Stable Diffusion ComfyUI 入門感受 - 舊書的文章 - 知乎 https://zhuanlan.zhihu.com/p/620297462


  • 前言

相信不少喜歡嘗試新鮮事物的AI玩家已經(jīng)用過ComfyUI這樣的新工具了,與WebUI相比,ComfyUI有著更快的出圖速度和更小的資源占用。但是復雜的工作流自定義能力反而非常勸退,很多在WebUI中工作正常的咒語,到了ComfyUI中就會出鬼圖,很讓人困惑。這有兩方面原因,一是ComfyUI對關鍵字的權重有著不同于WebUI的理解,其二便是工作流設置存在缺漏。


本文會介紹一個簡單的有Hires.Fix能力的ComfyUI工作流,讓在WebUI上能跑通的咒語也能在ComfyUI上生成不錯的圖片 。


  • 我需要從零開始搭建工作流嗎?

不用。當你第一次使用ComfyUI時,系統(tǒng)已經(jīng)有一個內(nèi)置的工作流,大概是下圖這樣的:

如果你已經(jīng)修改過工作流,點擊右邊的“Load Default”按鈕就可以恢復成一開始的原樣


現(xiàn)在可以直接復制一段WebUI上能跑的咒語上去,會有什么結果呢?

Model: Counterfeit-V2.5_pruned

咒語:

Positive:

(((masterpiece))), (((best quality))), ((ultra-detailed)), (highly detailed CG illustration), ((an extremely delicate and beautiful)),cinematic light,((1mechanical girl)),solo,full body,(machine made joints),((machanical limbs)),(blood vessels connected to tubes),(mechanical vertebra attaching to back),((mechanical cervial attaching to neck)),(sitting),expressionless,(wires and cables attaching to neck:),(wires and cables on head),(character focus),science fiction,extreme detailed,colorful,highest detailed

Negative:

(worst quality, low quality, NSFW),monochrome, zombie,overexposure, watermark,text,bad anatomy,bad hand,((extra hands)),extra fingers,too many fingers,fused fingers,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples, detached arm, liquid hand,inverted hand,disembodied limb, oversized head,extra body,extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands),? (blurry), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:), Ugly Fingers, (extra digit and hands and fingers and legs and arms:), (deformed fingers:), (long fingers:),(bad-artist-anime), bad-artist, bad hand,(extra legs:1.2),(ng_deepnegative_v1_75t),((hands on head))


ComfyUI
WebUI

如果使用默認的工作流,在加載了相同模型的情況下,兩者的效果差距是非常遠的。原因很簡單,因為我的WebUI上面已經(jīng)提前做好很多參數(shù)的配置。下面會開始講解如何在ComfyUI中添加這些配置。

  • 添加VAE

在ComfyUI界面的空白處的右鍵菜單中,點擊這一項,就可以添加一個加載VAE的模塊:

添加VAE

點擊后能看見界面上多了一個模塊,但目前這個模塊還沒與我們的工作流連接

工作空間中出現(xiàn)了Load VAE這個模塊

此時,我們需要將該模塊右邊的紅點與 VAE_DECODE 模塊相連接,這個模塊就被加入工作流當中了

將Load VAE加入工作流

這里我們做的工作,就相當于在WebUI中設置VAE

  • 設置采樣方式(Sampling method

關于采樣方式的介紹,可以看看這篇文章:

stable diffusion webui如何工作以及采樣方法的對比 - 劉登宇的文章 - 知乎 https://zhuanlan.zhihu.com/p/612572004

這里直接使用WebUI中的 DPM++ 2M Karras 方式,在ComfyUI中需要這樣設置:

sample_name設置成dpmpp_2m,scheduler設置成karras

如此設置之后,我們再看一下最新的效果:

ComfyUI效果

如此一來,效果就和WebUI原始的效果相當了。


  • “如果使用Hires.fix,ComfyUI又將如何應對?”

WebUI中的Hires.fix功能,這目前還是AI繪畫中比較重要的環(huán)節(jié)。

WebUI使用Hires.Fix的效果



對比原圖,差異很大,很多物體甚至不一樣了

仔細觀察會發(fā)現(xiàn),圖片中的很多物體發(fā)生了變化,甚至修復了一部分手指和四肢的問題。因為 Hires.Fix 并非簡單的直接放大圖片,而是在一般步驟中生成的圖片的基礎上,添加噪點并重新繪制圖片,所以能夠比原圖有更多的細節(jié),而不是簡單的分辨率提升。

在這里,我們可以打一個簡單的比方。如果讓一個人類畫家直接在一個巨大的墻上作畫,那有很大的可能會出現(xiàn)比例失調(diào),留白過多,細節(jié)失衡的問題。因此需要提前打好草稿,約束好墻面每個部分內(nèi)容,再來作畫才能達到比較理想的效果。這里我們前面生成的低分辨率圖像就是給AI的草稿,然后AI才能在此基礎上豐富細節(jié)。

如果一開始就給AI一個大畫布,那他可能會出現(xiàn)如下對話:

“我讓你畫美少女,畫好了嗎?”

“好了”

“哪呢?沒看到???”

“右下角那嘎達擱著呢。你就說我畫沒畫吧!”

了解了WebUI中Hires.Fix的工作流程,我們也就能夠更好的配置ComfyUI中類似的工作流了。


現(xiàn)在,讓我們暫時先刪除 Save Image 節(jié)點,為后面的操作騰出空間。

刪除 Save Image 節(jié)點
  • 添加預覽圖片節(jié)點

這個功能對最終圖片的生成沒有影響,但是可以更直觀的看到使用 Hires.fix 前后的變化。我們通過右鍵菜單 “Add Node -> Image -> Preview Image” 來添加這個節(jié)點。之后將這個節(jié)點和 VAE Decode 連接。

  • ?添加放大節(jié)點

這里我們使用 Upscale Image (Using Model) 節(jié)點來放大圖像。不過在此之前,我們需要加載用來放大圖像的模型。通過右鍵菜單 “Add node -> loaders -> Load Upscale Model” 添加一個用來加載放大模型的節(jié)點。再通過右鍵菜單 “Add node -> Image -> Upscaleing -> Upscale Image (Using Model)” 添加另一個節(jié)點。然后再按照下圖的方式,將這兩個節(jié)點和之前的工作流連接起來。

這里使用的是RealESRGAN_x4plus_anime_6B模型

這里可以嘗試直接輸出圖片,看一看直接放大的效果,這顯然不是我們想要的。

分辨率雖然提高了
但是湊近看會發(fā)現(xiàn)涂抹感非常嚴重,有種不可名狀的美

為此,我們需要參照上面介紹過的WebUI的處理流程,再重新繪制一遍畫面。不過,為了降低顯卡的運算壓力,我們再添加一個縮放節(jié)點,讓畫布尺寸小一些。點擊右鍵菜單?“Add node -> Image -> Upscaleing ->?Upscale Image” 添加縮放節(jié)點,并與之前的工作流連接起來。這個節(jié)點的設置如圖所示:


  • 添加 VAE Encode 節(jié)點

現(xiàn)在,我們要用這張放大了圖像為基礎,讓模型在上面重新作畫。首先,需要將我們的半成品圖像重新融入AI的 Laten Space。通俗點講,就是用大記憶恢復術,讓AI將前面生成的半成品圖像認作是自己畫了一半的草稿,這樣AI就能接著繼續(xù)畫。通過右鍵菜單 “Add Node -> Laten -> VAE Encode” 添加這個節(jié)點,通過下圖的方式將其連入工作流:

這里的vae接口連的就是前面的 Load VAE節(jié)點?
  • 添加 KSample

這一步就理解成為AI準備一張新的畫布,只不過畫布上已經(jīng)有了我們的半成品圖像作為草稿了。通過右鍵菜單 “Add Nodd -> Sampling -> KSample” 添加這個節(jié)點。同時,我們也希望AI能夠延續(xù)我們之前的咒語繼續(xù)畫,而不是異想天開搞逆天二創(chuàng),因此我們需要再次使用咒語來對內(nèi)容進行約束。

Positive,Negative,Model接口都是與之前的CLIP節(jié)點和 Load Model 節(jié)點連接

值得注意的是,這個節(jié)點中有一個 denoise 參數(shù)。這個參數(shù)代表AI對半成品的 “重繪” 程度,如果設置為 1 ,那就意味著 100% 重繪,也就是生成另外一張畫,這肯定不是我們希望的。一般可以設置在0.3~0.7之間,這個憑感覺來。


  • 重見天日

到這步就可以讓AI再次創(chuàng)造的成品輸出了。通過 “Add Node -> Laten -> VAE Decode” 添加節(jié)點,這個節(jié)點在初始流程中也出現(xiàn)過,可以理解成將存儲在AI記憶中的圖像拉取到現(xiàn)實空間,與之前的VAE Encode 正好相反。最后再通過 “Add Image -> Image -> Save Image” 添加輸出圖像節(jié)點。


這樣,一個帶有Hires.Fix功能的工作流就創(chuàng)建完成了??梢钥纯垂ぷ餍Ч?/p>

起碼臉沒啥毛病

  • 總結

經(jīng)過以上的設置,這個工作流已經(jīng)能夠實現(xiàn)WebUI首頁的text2img的所有功能了。這么一看,是不是感覺自己在瞎折騰了?我直接用WebUI不好嘛?

這其實也沒錯。要不怎么說WebUI是非常好的工具呢。ComfyUI強大的地方在于在于對流程的自定義,可以對圖像的細節(jié)部分進行更高可控的重繪。但是對于普通的嘗鮮愛好者來說,本文目前所做的工作,也就是幫各位降低一點顯存需求而已。

各位如果看到了最后,不妨重新回去看看最開始引用的那篇文章,本文也不過是在其基礎上,對其中某個章節(jié)進行拙劣的擴寫罷了。不同的工具最終都是用來滿足我們的需求的,沒必要沉醉在對工具本身的糾結上,現(xiàn)在就開始行動才是最重要的。

下面是本文中用到的工作流,直接復制保存成 .json 格式,就可以直接加載在ComfyUI中了。祝各位工作愉快,生活順利!



讓你的ComfyUI達到和WebUI相同的效果的評論 (共 條)

分享到微博請遵守國家法律
黑河市| 隆化县| 金川县| 大洼县| 扬州市| 五家渠市| 山阳县| 巫山县| 漳平市| 从江县| 阿坝县| 凤凰县| 察隅县| 临沂市| 郎溪县| 平果县| 盱眙县| 台南县| 阆中市| 新巴尔虎左旗| 固安县| 金阳县| 阿拉尔市| 察雅县| 安龙县| 晴隆县| 清流县| 吉首市| 喀喇| 昭平县| 兴业县| 邯郸县| 丰城市| 洛阳市| 辽宁省| 万载县| 太康县| 滦南县| 都匀市| 沅江市| 固始县|