StableDiffusion繪畫教程—毛坯房變精裝修

StableDiffusion更新1.6版本之后引入了新的controlnet模型Ipadapter,這使得以webui現(xiàn)在也具備快速繪制室內(nèi)室外建筑裝修效果圖的能力。
現(xiàn)在我就用一個實例來演示如何把一張毛坯房照片變成精裝修,并且設(shè)定好了之后只需要更換參考圖就可以生成各種風(fēng)格,不需要任何lora
以下繪制流程的靈感來自于comfyui,不僅是毛坯房照片,線稿,手繪草圖都可以適用。
特別申明:我并非建筑裝修業(yè)內(nèi)人士,教學(xué)中所繪制的效果圖僅供參考
第一步:打開sd圖生圖界面
( 以往做效果圖都是在文生圖做但是用文生圖有個巨大的bug,特別是毛坯房照片地面臟亂,墻面不平的情況下同學(xué)們大概率會畫出敘利亞戰(zhàn)損版)。
這次我使用的大模型是:The Final Fantasy of Fireflies
這是我個人融合的大模型,照片寫實風(fēng)格,比較萬金油,lib,煉丹閣,xtimesai,這些網(wǎng)站我都上傳了,直接搜索即可。
在提示詞中寫入建筑類圖像質(zhì)量控制的提示詞:
正向:
(extremely detailed CG unity 8k wallpaper),(masterpiece),(best quality),(ultra-detailed),(best illustration),(best shadow),
反向:
cluttered,paintings,(worst quality:2),(low quality:2),(normal quality:2),lowres,signature,blurry,drawing,sketch,poor quality,ugly,text,pixelated,low resolution,chaotic spaces,outdated design,

第二步:打開controlnet,如下設(shè)置:

點擊啟用,點擊完美像素模式,點擊IP-Adapter,選定對應(yīng)的模型
這一步并不需要上傳圖像,controlnet會自動讀取圖生圖中的原始圖像作為風(fēng)格參考圖
Ipadapter模型中上傳的圖像我們稱為參考圖,主要作用是使用給定的圖片作為提示詞向量輸入到繪制的過程中,相當(dāng)于低配版的lora
如果你想在生成的圖像中有更多原始圖像的細節(jié)比如原始圖像中的家具就需要使用
ip-adapter_sd15_plus
這個模型比標準模型風(fēng)格遷移能力更強
然后繼續(xù)添加第二條controlnet:

啟用,完美像素模式,上傳獨立的控制圖像,選擇深度,
選擇預(yù)處理器選擇:depth_leres,
上傳一張毛坯房照片,點擊預(yù)覽,
設(shè)置權(quán)重:0.5
深度模型在這里是目標圖,AI在繪制圖像的時候是以參考圖(Ipadapter)作為引導(dǎo),向著目標圖的方向繪制。
深度模型的作用是保持房間內(nèi)各個墻面之間的空間結(jié)構(gòu)與輸入的毛坯房一致。
我只設(shè)置了權(quán)重,而沒有設(shè)置結(jié)束步驟的原因在于根據(jù)我的經(jīng)驗,在繪制室外場景時候結(jié)束步驟小于1的時候會讓最后生成的圖像線條歪曲,所以我偏向設(shè)置權(quán)重而不是結(jié)束步驟
然后繼續(xù)添加第三條controlnet:

啟用,完美像素模式,上傳獨立的控制圖像,選擇線稿,
選擇預(yù)處理器:lineart_realistic(寫實線稿)
上傳毛坯房照片,點擊預(yù)覽
設(shè)置權(quán)重:0.4
線稿模型在這里的目標是保持墻體立面邊緣的正確性。
除了線稿,之外,涂鴉(強化邊緣預(yù)處理),軟邊緣(軟邊緣檢測-Hed),canny(硬邊緣檢測都是可以適用的模型)它們的作用類似,對于不同的參考圖:照片,線稿,涂鴉,3d分塊顏色模型圖可以嘗試不同的模型。
如果是線稿和手繪,我比較推薦用:涂鴉模型。
第三步:點擊這個小箭頭,上傳毛坯房照片的分辨率到圖生圖全局控制中

如果分辨率過大,你需要等比例縮小,一般我會以長或者寬的任意一邊最大值不超過或者等于1024為準,具體需要參考你硬件水平來設(shè)置,
如果你安裝有sd-webui-aspect-ratio-helper 這個插件,直接鎖定后調(diào)整即可,強烈建議大家都裝上這個插件,作圖神器。

采樣器選擇:DPM++ 2M Karras,
其他設(shè)置默認即可
接下來,在網(wǎng)上搜索一張你喜歡的室內(nèi)效果圖照片作為圖生圖的原始圖片并上傳

現(xiàn)可以嘗試生成一張看看效果

怎么樣,還不錯吧, 我們繼續(xù)優(yōu)化一下,之前的提示詞除了質(zhì)量控制并沒有內(nèi)容的描述,我們在提示詞里添加一些物品描述:
(window:0.2),couch,green plant,coffee table,decorative painting,potted plant,
(窗戶:0.2),沙發(fā),綠色植物,茶幾,裝飾畫,盆栽
然后我們再次開始繪制,看看效果

怎么樣是不是很簡單,如果你想嘗試不同風(fēng)格的效果只需要修改圖生圖原始輸入圖片即可