MacBook Pro部署Stable Diffusion WebUI筆記 (五)出圖流程
續(xù)上一篇內(nèi)容,發(fā)現(xiàn)了一個(gè)文件漏掉了,那就是leres目錄下還有個(gè)文件叫l(wèi)atest_net_G.pth,這個(gè)文件是對(duì)應(yīng)depth類型里的預(yù)處理器depth_leres++,而leres目錄下的另外一個(gè)文件res101.pth,對(duì)應(yīng)的是預(yù)處理器depth_leres。但是這兩個(gè)預(yù)處理器在我的Macbook上都會(huì)報(bào)錯(cuò),無(wú)法正常使用。由于另外兩個(gè)depth的預(yù)處理器可以使用,所以這個(gè)問(wèn)題可以暫時(shí)擱置一下。
同時(shí)追加了一組模型,來(lái)自https://huggingface.co/mskani/controlnet-hands/tree/main里的controlnet-hands.pth和controlnet-hands.yaml,不過(guò)也有遇到一個(gè)問(wèn)題,那就是在webui加載之后,controlnet里的模式(model)列表中可以看到controlnet-hands的選項(xiàng),在預(yù)處理器(preprocessor)列表里面卻沒(méi)看到新的預(yù)處理器選項(xiàng)。
最近把macOS升級(jí)到了13.4.1,另外webui啟動(dòng)的時(shí)候也會(huì)報(bào)錯(cuò),報(bào)錯(cuò)的信息如下:
No module ' xformers '. Proceeding without it.
Warning: caught exception ' Torch not compiled with CUDA enabled' ,memory monitor disabled.
升級(jí)操作系統(tǒng)之前還有一行報(bào)錯(cuò),升級(jí)以后沒(méi)了。內(nèi)容沒(méi)及時(shí)記下來(lái),好像就是要求升級(jí)操作系統(tǒng)的。目前的報(bào)錯(cuò)信息不影響使用,就是速度慢。搜索了一下,好像要通過(guò)虛擬環(huán)境來(lái)弄,嫌麻煩,就暫時(shí)先這樣了。
放一個(gè)鏈接備忘一下,以后試試,希望不會(huì)逝世:
https://zhuanlan.zhihu.com/p/621380618
終于可以進(jìn)入算圖的部分,目前最大的感想就是sd動(dòng)不動(dòng)就炸顯存罷工,如履薄冰啊。
目前的話,我大致把出圖分成3個(gè)階段。
第一階段是文生圖獲得初稿。初稿大小在512像素附近浮動(dòng),比如下面這例圖就是400*600像素的,臉部修復(fù)是用了插件ADetailer。蘋果系統(tǒng)在這個(gè)階段速度還是可以接受的。

第二階段是使用圖生圖細(xì)化,這個(gè)過(guò)程里使用插件ControlNet增加細(xì)節(jié),并且把圖片放大。下面這張就是在第一階段初稿的基礎(chǔ)上圖生圖到1000*1500像素。在這個(gè)倍率下,就開(kāi)始會(huì)爆顯存了。所以我啟用了插件Tiled VAE。ControlNet里使用了tile_resample處理器,勾選了Low VRAM??梢詫?duì)比上一張圖,tile_resample處理之后出現(xiàn)了很多原來(lái)沒(méi)有的東西。

第三階段是使用圖生圖放大,第二階段1000*1500像素的大小是不夠的。在這個(gè)例子里我把1000*1500像素的圖通過(guò)StableSR放大到了3000*4344, 之所以數(shù)值不夠整,是第一階段的初稿下面有一行小字,我在第二階段算完以后才把它裁掉。總體來(lái)說(shuō),是在二階段上放大了3倍。另外,之所以不在第二階段就從600像素直接上4000像素,最大的原因就是頂不住會(huì)爆。
就目前的嘗試來(lái)看,效果最好的還是StableSR,雖然色彩上變得灰了一些。我還嘗試了4X Ultrasharp和官網(wǎng)的放大工具,特別是官網(wǎng)的放大工具是充值9美刀之后才能使用的,雖然可以放得更大同時(shí)速度也是最快的,但是效果上不盡如人意。
為了StableSR不爆,同時(shí)開(kāi)啟了插件里的Tiled Diffusion和Tiled VAE,打開(kāi)了StableSR里的Pure noise。放大完成后使用了PS下面的色彩匹配,一鍵校色。

下面是局部的比較,差異看原尺寸圖的話會(huì)更一目了然。

StableSR放大后的草帽細(xì)節(jié)滿滿,色彩修正什么的都是小問(wèn)題,沒(méi)細(xì)節(jié)啥都沒(méi)用。


以上是目前采用的作圖流程。