工具部分

一、?圖生圖

圖生圖是最簡單的重繪工具，講解將從這里開始，首先，我們來看看圖生圖的界面：

???? 界面上方相比文生圖差不多，只是多了兩個反推按鈕，作用是根據(jù)圖生圖上傳的圖片反推提示詞，效果一般，不如tagger，第一次使用均需下載反推模型，報錯通常是網(wǎng)絡(luò)問題。一般來說標簽器更適合批量反推，對于單張圖片，自行目力更好。

界面中間的左側(cè)是上傳參考圖的位置，支持直接拖入，也支持從剪貼板粘貼。

?? 繼續(xù)看下方的參數(shù)，與文生圖相同的部分略過，

??????? ③為生成尺寸設(shè)定，當拉動拉條時，參考圖上會顯示比例關(guān)系。最新版webui可以直接調(diào)整倍數(shù)，即為保持原圖比例的前提下倍數(shù)縮放，右下角的尺子圖案是直接設(shè)定為原圖分辨率。

??????? ②為當參考圖與設(shè)定尺寸不符合時的處理方法，僅調(diào)整大小就是拉伸，會改變比例；裁剪后縮放是裁掉部分原圖，可以保持比例；縮放后填充空白是按比例縮放后加長短邊；潛空間放大比較特殊，同樣是拉伸，但是反推進潛空間再放大，類似于高清修復中的潛變量放大算法。

????? ?? ④為圖生圖的靈魂，重繪幅度設(shè)定，根據(jù)具體的需要，重繪度的變化較大，所以絕對值參考意義較小。應(yīng)該看相對值，太過了減小，不足加大。0表示完全為原圖，1表示完全為新圖。經(jīng)驗上以0.5為區(qū)分：0.5以前都能保持原圖大部分內(nèi)容，反之則再創(chuàng)作更多。

???????? 界面下方則是插件，與文生圖一致，不多贅述。

腳本欄多了一些文生圖所沒有的功能，有用的為SD放大，其他的向外繪制之類功能效果糟糕，沒有實用價值，好奇可自行嘗試之。

圖生圖的基本用法：上傳圖片，填入提示詞，調(diào)整生成圖目標尺寸，不斷調(diào)整重繪度與提示詞進行抽卡。

圖生圖能做的：對整張圖進行修改，根據(jù)重繪度大小，依照原圖再創(chuàng)作或者修瑕疵，風格轉(zhuǎn)換。

二、?局部重繪
普通局部重繪在圖生圖頁面的第三個選項卡。

同樣的，略過相同的參數(shù)，僅針對與文生圖、普通圖生圖不同的參數(shù)進行講解，先看面板。

②為重繪目標，很容易理解，就是選擇要重繪涂過的區(qū)域還是沒涂的區(qū)域，根據(jù)要改動的范圍大還是小選擇涂要改的區(qū)域還是不變的區(qū)域。

①為蒙版邊緣模糊，也就是重繪區(qū)域和原圖區(qū)域的邊界交融度，改變這項參數(shù)影響局部重繪區(qū)域和原圖的融合度。太高的邊緣模糊會導致蒙版不精準，范圍內(nèi)未改變或者范圍外發(fā)生變動，太低會導致銜接生硬。

③為蒙版區(qū)域的預處理，四個選項分別是填充色塊、不作處理、填充潛空間噪聲、留空白，指在重繪前對蒙版遮蓋內(nèi)容的處理方式。影響的差異可以參照蒙版預處理的研究（見研究部分 四）。

④為交給AI重繪的參考范圍，即：是以整張圖為整體進行局部重繪，還是只從蒙版周邊參考重繪。僅蒙版模式其效果類似于將蒙版部分裁剪下來，再單獨進行重繪，關(guān)于AI畫細節(jié)好壞與畫面占比的關(guān)系不多贅述；同時這個模式也將切斷模型對全圖的理解，造成重繪部分畫面融合度的下降。

⑤僅用于僅蒙版模式，控制和蒙版一起被切下來進重繪的部分大小，這個值越大，僅蒙版切下來的范圍就越大。

當上傳參考圖后，涂覆蒙版的設(shè)置在右上角顯示：

環(huán)形箭頭為撤銷按鈕，注意其存在bug，生成多次后需要修改蒙版時，一次不一定只撤銷一步；

叉為刪除參考圖，當蒙版范圍發(fā)生問題后你需要從這里清除緩存重新上傳；

滑條為畫筆大小的控制，靈活使用它。

局部重繪涂覆的黑色為蒙版，是透明的選區(qū)，而不是實際色塊。

涂覆蒙版的時候并不需要嚴格的精準（除非你想要改動部分與不變部分的區(qū)分非常精準，這種情況你應(yīng)該使用上傳蒙版），局部重繪會參考全圖，涂覆到外部的內(nèi)容不代表會被完全改變。相反，涂入一部分改動處以外的內(nèi)容還有助于AI進行理解，增大重繪成圖的融合度。

局部重繪的基本用法：上傳圖片，填寫提示詞，設(shè)定成圖尺寸，涂上蒙版，修改重繪度和提示詞不斷抽卡。

局部重繪能做的：控制圖片已經(jīng)滿意的一部分不作改變，抽卡不滿意的部分。

三、?涂鴉模式

涂鴉在圖生圖選項卡的第二頁，為圖生圖的變體，較少應(yīng)用。

與普通圖生圖相比，其多了畫筆，和局部重繪一樣可以選擇畫筆尺寸，同時可以選擇顏色并可以吸色，吸色的范圍是全屏幕，可以吸取webui外的內(nèi)容。

涂鴉模式相當于在原圖上加入色塊，再進行普通圖生圖，一般通過webui提供的畫筆很難進行什么好的修改，與之同等效果為導入PS進行修改再導出進行圖生圖，功能更完善，操作也更人性化，故對此功能不多贅述。

涂鴉模式的基本用法：導入圖片涂色修改，調(diào)整參數(shù)進行全圖范圍圖生圖。

涂鴉模式能做的：手動涂改圖片后在涂改的基礎(chǔ)上圖生圖。涂上去的色塊都是實色。不如PS+重繪。

四、?有色蒙版重繪

也稱局部重繪手涂蒙版模式，漢化為涂鴉重繪的模式也是指這同一個功能，在圖生圖選項卡的第四項。它是局部重繪的變體，功能強大。

其面板與局部重繪一致，只是多了一個滑條選擇：蒙版透明度。

這是因為有色蒙版模式所涂蒙版同時是半透明色塊與選區(qū)，此滑條即為調(diào)整所涂蒙版的透明度，透明度越高，蒙版顏色影響越弱，100時相當于無蒙版；透明度越低，越接近涂覆色塊后重繪，所涂蒙版對區(qū)域的顏色指導就越強，同時也越遮蔽原圖內(nèi)容。

當上傳參考圖后，有色重繪的蒙版涂覆顯示如下：

可調(diào)整畫筆大小，設(shè)置畫筆顏色。建議盡量使用吸色，也可吸取webui外的顏色。

涂覆有色重繪的蒙版時，應(yīng)采取類似涂鴉的方式，描摹大致形狀，靈魂畫技亦可，重要的只是顏色能匹配上，大致告訴AI哪個部分需要如何用色，但也不是精確需求。局部重繪對于蒙版的精度要求并不很高，因為AI會參考原圖，不是完全照著蒙版畫。

有色蒙版與通過PS涂色再局部重繪有類似之處，區(qū)別在于有色蒙版的色塊與蒙版是同時的。Webui中的畫板好處是省去了打開PS的麻煩，但使用體驗上自然不如PS，所以可以自行選擇。

關(guān)于有色重繪的性質(zhì)，可以參閱有色蒙版功能研究（見研究部分 六）。

有色蒙版的基本用法：導入圖片填寫tag，調(diào)整參數(shù)，吸取顏色直接在你要重繪的部分上涂出你要的結(jié)果，不斷調(diào)整參數(shù)抽卡。

有色蒙版能做的：大幅重繪原圖內(nèi)容，指定目標顏色，指定形狀等。

五、?上傳蒙版模式

上傳蒙版模式也是局部重繪的衍生，在圖生圖選項卡第五項。參數(shù)與局部重繪相同，區(qū)別只在于，你可以上傳一張描好的蒙版來代替webui自帶的畫板。要實現(xiàn)精確的區(qū)分就需要使用這個模式。

蒙版的規(guī)則與PS蒙版灰度圖轉(zhuǎn)透明度類似，其中白色為選區(qū)，黑色為非蒙版內(nèi)容，漸變似乎在上傳蒙版模式中不起效（也可能是我的對比不嚴格）使用純色即可。

上傳蒙版的優(yōu)勢在于可以通過PS等工具制作精細的蒙版，實現(xiàn)精確的局部重繪。由于webui內(nèi)置的畫板體驗實在說不上好，用PS之類更可以借助選擇主體等功能，或者結(jié)合sam?anything語義分割進行精確重繪區(qū)域選擇。

但其實局部重繪一般用不到太高的精度，通常使用普通局部重繪涂覆即可。

上傳蒙版模式基本用法：制作蒙版，上傳參考圖與蒙版，更改參數(shù)抽卡。

上傳蒙版能做的：精準控制重繪區(qū)域。

六、?Controlnet

Controlnet本質(zhì)是提供額外的參數(shù)以施加多維控制，所有的controlnet模型都需要參考圖，可以看作一類特殊的圖生圖。Controlnet不屬于webui原生攜帶，需要安裝插件，

git地址為：https://github.com/Mikubill/sd-webui-controlnet

復制到擴展頁面，從網(wǎng)址安裝，稍作等待，顯示安裝完成后重啟webui，即可看到下拉菜單。

此外，你還需要下載你需要的controlnet模型，預處理器可以不自己下載，第一次使用時會自動下載，如果速度過慢，也可以手動下載，在控制臺可以看到正在下載的鏈接。

Controlnet1.1的模型可以在抱臉上找到：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

.pth后綴的是模型，同名的yaml小文件是配置文件，兩個都需要才能使用。但controlnet的webui插件安裝后已經(jīng)自動攜帶了yaml配置文件，文件夾里已經(jīng)有了就不用再自己下了。另外也推薦直接下載半精度的版本，不影響效果，且占用更低，

倉庫是：https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main

下載好模型后，有兩個目錄都可以放，兩個均等價：webui主目錄下的\models\ControlNet文件夾；主目錄下的\extensions\sd-webui-controlnet\models文件夾。即一個是插件內(nèi)的模型文件夾，一個是模型目錄內(nèi)的controlnet文件夾。模型是可選的，無需一股腦的全下了，看清楚自己需要什么模型，用的時候臨時下也不遲。

如果插件正常安裝了，在webui頁面下方就會有這么一欄：

如果看到的是“控制網(wǎng)絡(luò)”，不要慌，就是本人。點開這個下拉菜單，就看到controlnet的面板了：

①點擊啟用，不點contrlnet根本就沒有開啟。點了后即使收起下拉菜單也在開啟狀態(tài)，必須取消才會關(guān)閉。

③為創(chuàng)建空白畫布，只有在用涂鴉模型的時候才會需要到這個。

②為參考圖與目標圖尺寸不一致時，調(diào)整參考圖使其像素最大的選項。

④是新增了的一些預設(shè)，只要選擇了，就會自動選中對應(yīng)的預處理器和模型。

⑤為預處理器選擇，作用是把上傳的參考圖處理成controlnet模型能夠識別的形式，所以直接上傳能夠識別的圖就不需要預處理器。

⑥點了不會爆炸，而是顯示預處理結(jié)果預覽，方便檢查預處理器是否正常工作，同時也是部分插件的啟動途徑。

⑦為controlnet模型選擇，就是你下載的那些，每個模型有各自的功能，后面再說。

⑧為控制強度設(shè)置，類似于提示詞語法中的加減權(quán)重和分步渲染，拉低權(quán)重和減少controlnet作用的時間都能減輕控制，介入時機和終止時機字面意思，不多說了。

⑨為控制模式選擇，也是字面意思。在新版插件中是作為原指令模式的替代，但有所區(qū)別。這個選項對出圖結(jié)果的影響較大，不要總是切來切去。

其他選項或通用，或意義不大，無需講解，接下來簡單說說controlnet1.1的模型。首先，模型效果和演示你都可以在

controlnet1.1的git頁面：https://github.com/lllyasviel/ControlNet-v1-1-nightly

找到，因此只作最簡短的說明。
打開controlnet模型選擇，你會看到自己下載的模型：

如果剛剛下載完的模型不顯示，點擊右邊這個按鈕刷新。不要把別的奇奇怪怪的模型放到controlnet文件夾。每個模型既對應(yīng)一種輸入，也對應(yīng)一種控制方式，簡單來說：

Openpose-輸入姿勢骨骼圖，保持姿勢不變，隨機其它部分。骨骼圖可以通過上傳自拍照片經(jīng)過預處理模型得到，也可以通過各種openpose編輯器得到，當直接上傳的就是骨骼圖就選擇“無”預處理。

Canny-輸入線條輪廓，使生成圖保持同樣輪廓形狀。輪廓圖可以通過上傳圖預處理得到，也可以自己畫。

Mlsd-輸入直線輪廓，控制形狀。和同名預處理器配合，檢測并保持直線趨勢，用于建筑。

Softedge-比canny約束更強的邊緣檢測，更像的同時AI發(fā)揮的自由度就會受限。

Normal-法線貼圖，輸入三維輪廓，保持成圖形狀，改變紋理?？梢酝ㄟ^預處理得到，也可以從3Dopenpose編輯器得到。

Depth-深度圖，輸入灰度表示的深度圖，保持前后空間關(guān)系不變，改動其他部分。預處理器和3Dopenpose編輯器均可得到。

Seg-輸入色塊表示的語義分割圖，保持各區(qū)域事物內(nèi)容不變，可用于指定構(gòu)圖。語義分割圖可以通過預處理模型、sam?anything得到，也可以自己涂。手動編輯可以從語義對照表上吸色涂抹，如果你使用騰訊的t2iseg，對照表可以參照我機翻的182色版本: 【騰訊文檔】附-T2i_Seg顏色對照表_已翻譯（https://docs.qq.com/sheet/DR3l2RUpWYWpXcnFi?tab=000001）

Con1.1的coco數(shù)據(jù)集語義顏色對照可以參照比如：https://qun.qq.com/qqweb/qunpro/share?_wv=3&_wwv=128&appChannel=share&inviteCode=1ZknTkrflSs&contentID=1lSYMt&businessType=2&from=181174&shareSource=5&biz=ka（編者注：復制到手機QQ打開）

Lineart-線稿識別，輸入線稿，保持線稿不變進行上色。可以直接輸入線稿也可以上傳圖通過預處理獲得，可以自己手繪線稿，線條明顯一點為好。

Tile-分塊語義賦予，簡單來說當分塊放大時，它可以控制每一塊的tag都只有自己圖上有的那部分，緩解重繪度拉大時每個分塊都自己畫成一副完整圖的問題。

Inpaint-涂抹蒙版進行局部重繪的模型，權(quán)重控制重繪度。

Shuffle-隨機重排原圖中的元素，預處理器為可選項。實際效果中類似于保持同樣的顏色元素，并打亂重新排布，可以用作色調(diào)約束。

Scribble-涂鴉生成，靈魂畫手的發(fā)揮場所?？梢栽趙ebui新建畫布涂，也可以在其他地方涂好上傳，預處理器需要選擇同名系列，草稿找靈感或者眼前有景道不得時可以比劃著告訴AI你要的內(nèi)容用。細化程度比canny等高，自然，就過于自由，沒那么強約束。

常用openpose編輯器說明：

2Dopenpose編輯器，優(yōu)點：簡單易用，快捷。缺點：不支持新東西，可編輯性差。

插件Git地址：https://github.com/fkunn1326/openpose-editor

3Dopenpose編輯器，優(yōu)點：3D化，可自定義性強同時輸出用于多維約束的多個controlnet中間圖。缺點，凹姿勢繁瑣，不支持con1.1的openpose_hand。

插件Git地址：https://github.com/nonnonstop/sd-webui-3d-open-pose-editor

新openpose編輯器，優(yōu)點：可自定義性強，保留了2D編輯器的簡潔性，支持openpose_full，支持從預處理結(jié)果直接編輯。缺點：凹姿勢不直觀，不能處理depth等多維約束。

插件Git地址：https://github.com/huchenlei/sd-webui-openpose-editor

七、?部分設(shè)置項說明

圖生圖的參數(shù)不止面板上這些，還有很多放在設(shè)置中，為了方便調(diào)整可以把它放到外面，在設(shè)置-用戶界面處可以進行調(diào)整。

常用的與圖生圖相關(guān)的設(shè)置有：

放大選項卡中的

，以及

，前者為調(diào)整圖生圖所用的放大算法，后者用于重繪出現(xiàn)色差（常見于模型和底圖差異過大）嘗試開啟或勾選。

Stable Diffusion選項卡中的

第一項類似于有色重繪的蒙版透明度，越低越透明；第二項影響重繪效果，噪聲倍率越強越不像原圖；第三項指圖生圖時不會按照選定的步數(shù)，而是根據(jù)重繪度按比例放縮，例如10步0.7重繪度，實際只執(zhí)行7步，當勾選后則設(shè)定幾步就執(zhí)行幾步。第四項無需修改，因為不建議用透明底圖進行圖生圖。

且如果用于局部重繪，這個設(shè)置項是不能正常生效的，因為局部重繪的蒙版實質(zhì)上就是透明區(qū)域，原圖中的透明部分將被當作填充潛空間數(shù)值零的蒙版處理。

Controlnet設(shè)置中的

，這是影響同時使用多個controlnet模型多維約束的設(shè)置，如果你的cnet網(wǎng)絡(luò)只有一個，調(diào)整這里即可，注意，同時使用越多controlnet模型，對于顯存的要求就越大，雖然可以開啟低顯存優(yōu)化，但速度將非常慢。

八、?Photoshop

PS當然也是重繪的工具之一.jpg（此小節(jié)只介紹了ps的一些基礎(chǔ)操作以及基礎(chǔ)功能介紹，站內(nèi)都有，故不做搬運）

重繪學派法術(shù)緒論工具部分就是這些啦，剩下的會看情況慢慢補齊的，該部分主要介紹各個模塊的功能

本專欄為授權(quán)委托代投

作者：落辰星

b站專欄編輯：洛失喵