2023

08 | 01

前言：Ai肆虐全球的同時(shí)，在Ai繪圖賽道上，stable diffusion無(wú)論在出圖質(zhì)量，適配插件程度，都作為碾壓一眾的頂流存在，又由于其完全開(kāi)源，可以本地部署，使得Midjourney都稍遜一籌。所以，作為設(shè)計(jì)師，對(duì)于它的使用掌握尤為重要。為此，我將持續(xù)為大家更新SD以及其系列插件的入門和進(jìn)階用法。（文章以提供思路為主，不懂的可以留言評(píng)論區(qū)）

01

簡(jiǎn)要介紹

首先，我們要知道在Stable Diffusion中，我們所用到的語(yǔ)義分割控制的作用，當(dāng)我們?cè)谟?xùn)練大模型的時(shí)候，會(huì)遇到模型精度不高，場(chǎng)景細(xì)節(jié)把握不到位的情況，這時(shí)候我們可以用Semantic Segmentation或Segment anything來(lái)作為seg處理結(jié)果，但是它的模型處理效果較為一般，很多場(chǎng)景識(shí)別不出來(lái)或者精細(xì)場(chǎng)景混亂，還需要大量后期Ps處理。

OneFormer作為國(guó)內(nèi)外領(lǐng)先的圖像分割神經(jīng)網(wǎng)絡(luò)模型，該模型框架的精度更高，無(wú)需對(duì)每個(gè)框架進(jìn)行單個(gè)訓(xùn)練，它在實(shí)例分割 (instance segmentation) 、語(yǔ)義分割 (semantic segmentation) 、全景分割 (panoptic segmentation)。這三個(gè)子任務(wù)都有著大量的算法與模型。且通過(guò)一次訓(xùn)練，就可以最大化的進(jìn)行精準(zhǔn)處理，系統(tǒng)化的減少了訓(xùn)練的工作量。

↑上圖為OneFomer網(wǎng)頁(yè)界面

實(shí)例分割:?(instance segmentation)?任務(wù)旨在區(qū)分不同的“實(shí)例”，例如圖像中不同的人物個(gè)體。實(shí)例分割從某種角度看和物體檢測(cè)很像，不同的是在這里我們需要的是一個(gè)對(duì)應(yīng)類別的二元的分割掩膜，而不是一個(gè)檢測(cè)框。實(shí)例也可以稱為“物體 (objects)”或“實(shí)物 (things)”。需要注意的是，不同的個(gè)體可能在圖像中是相互重疊的。

語(yǔ)義分割:(semantic segmentation)?區(qū)分的是不同的“語(yǔ)義類別”，比如屬于人物、天空等類別的各個(gè)像素點(diǎn)。與實(shí)例分割不同的是，這里我們不需要區(qū)分開(kāi)同一類別下的不同個(gè)體，例如這里我們只需要得到“人物”類別的像素級(jí)掩膜即可，不需要區(qū)分開(kāi)不同的人。有些類別根本不存在個(gè)體的區(qū)分，比如天空、草地，這種類別我們稱之為“東西 (stuff)”，以此區(qū)分開(kāi)其它類別，稱之為“實(shí)物 (things)”。請(qǐng)注意這里不存在不同語(yǔ)義類別間的重疊，因?yàn)橐粋€(gè)像素點(diǎn)只能屬于一個(gè)類別。（我們?cè)趕d中所常用到的分割方式）

全景分割:(panoptic segmentation)?在 2018 年由?Kirillov et al.?提出，目的是為了統(tǒng)一實(shí)例分割和語(yǔ)義分割。模型單純地鑒別出一系列的圖像部分，每個(gè)部分既有對(duì)應(yīng)的二元掩膜，也有對(duì)應(yīng)的類別標(biāo)簽。這些區(qū)分出來(lái)的部分，既可以是“東西”也可以是“實(shí)物”。與實(shí)例分割不同的是，不同部分間不存在重疊。

OneFormer?通過(guò)在全景數(shù)據(jù)集上訓(xùn)練，達(dá)到了領(lǐng)先水平。OneFormer 增加了一個(gè)文本編碼器 (text encoder)，使得模型有了一個(gè)基于文本條件 (實(shí)例、語(yǔ)義或全景) 的輸入。該模型已經(jīng)收錄入Transformers 之中，比其他圖像分割神經(jīng)網(wǎng)絡(luò)模型更準(zhǔn)確，但由于文本編碼器的引入，所以速度略慢。下圖展示了 OneFormer 的基本結(jié)構(gòu)，它使用 Swin Transformer 或 新的?DiNAT?作為骨干網(wǎng)絡(luò)。（如下圖）

02

使用方法：

一、打開(kāi)[03]中的OneFomer網(wǎng)頁(yè)。

二、導(dǎo)入我們所選的圖片素材。任務(wù)令牌我們選擇semantic語(yǔ)義分割。（無(wú)需區(qū)分同種模型具體類別）

三、模型選擇ADE20K。(controlnet支持)

四、子系統(tǒng)我們選擇DiNAT-L。（兩種子系統(tǒng)均是基于使用Transformers的解碼器decoder，DiNAT-L和ADE20K更適配）

五、點(diǎn)擊提交。

六、將圖片復(fù)制到Stable Diffusion中，啟用controlnet，因?yàn)槲覀円呀?jīng)生成了mutator，所以預(yù)處理器選擇none，模型選擇sd中的seg，其他的參數(shù)同學(xué)們可自己調(diào)整。

七、如果我們需要更改生成的模型，我們可以將（五）生成的圖片放入Ps或者Stable Diffusion內(nèi)置的Ps中（下載鏈接放在[03]中，下載步驟放入[04]中。會(huì)的同學(xué)可跳過(guò)[04]中的內(nèi)容。

八、我們?nèi)绻枰奶砑訄?chǎng)景中物體，我們?cè)赑s中使用的顏色必須能被ADE20K可以識(shí)別。為了方便大家的學(xué)習(xí)與使用，我為大家翻譯并整理成ADE20K顏色表，已打包好在[03]中。

↑上圖為預(yù)覽

[注：如果大家想放入人物且具體調(diào)整，可以使用openpose。鏈接放入[03]中，下載步驟放入[04]中。會(huì)的同學(xué)可跳過(guò)[04]中的內(nèi)容。]

↑上圖為openpose使用效果

03

[02]中出現(xiàn)的插件安裝步驟：

· SD內(nèi)置Ps安裝步驟：打開(kāi)Stable Diffusion，點(diǎn)擊擴(kuò)展（extentions），點(diǎn)擊從網(wǎng)址安裝（install from URL）,輸入git網(wǎng)址，點(diǎn)擊安裝，重啟WebUI，即可使用。

· Openpose動(dòng)作以及手部檢測(cè)插件安裝步驟：打開(kāi)Stable Diffusion，點(diǎn)擊擴(kuò)展（extentions），點(diǎn)擊從網(wǎng)址安裝（install from URL）,輸入git網(wǎng)址，點(diǎn)擊安裝，重啟WebUI，即可使用。

·?segment anything插件安裝步驟：打開(kāi)SD,點(diǎn)擊擴(kuò)展（extentions），點(diǎn)擊從網(wǎng)址安裝（install from URL）,輸入git網(wǎng)址，點(diǎn)擊安裝，在網(wǎng)頁(yè)打開(kāi)網(wǎng)址，下載大模型，模型大小一共三種（如下圖），具體根據(jù)自己電腦實(shí)際情況而定，下載好之后將模型放入本地文檔stable-diffusion-webui\stable-diffusion-webui\extensions\sd-webui-segment-anything\models\sam中，重啟WebUI，即可使用。

04

[02]中出現(xiàn)的網(wǎng)頁(yè)：

?· OneFormer網(wǎng)頁(yè)版鏈接地址：https://huggingface.co/spaces/shi-labs/OneFormer（在線使用無(wú)需安裝）

·?Stable Diffusion內(nèi)置Ps git網(wǎng)址：https://github.com/yankooliveira/sd-webui-photopea-embed.git（需安裝）

? ??在線PS：https://www.photopea.com/（在線使用，無(wú)需安裝）

?·?Openpose編輯器網(wǎng)頁(yè)版鏈接地址：https://github.com/fkunn1326/openpose-editor（需安裝）

·??segment anything插件安裝地址：https://github.com/continue-revolution/sd-webui-segment-anything（需安裝）

?·?ADE20K顏色表百度網(wǎng)盤鏈接：https://pan.baidu.com/s/16_nFVmKdfYIpuXHP6sXdwQ? ? ??提取碼：xmh1

（寫在最后：制作與翻譯不易，轉(zhuǎn)載請(qǐng)聯(lián)系我們標(biāo)明出處，感謝您的理解與支持~

后續(xù)還會(huì)繼續(xù)更新相關(guān)內(nèi)容，您的關(guān)注是我更新的動(dòng)力，關(guān)注一下再走唄o(*￣▽￣*)ブ）

END

溫馨提示

圖片 | 小木函

文字 | 小木函

封面圖 | 小木函

封面字體丨英文、數(shù)字：Liberation Sans字體；中文：思源黑體

內(nèi)文字體丨系統(tǒng)自帶