AI景觀制圖與人類(lèi)助理 ControlNet 與 ComfyUI 可視化
#01?Prompt
完美的提示是 AI 生成出色內(nèi)容的關(guān)鍵，而對(duì)于關(guān)鍵詞的研究通常需要很大的耐心去慢慢調(diào)試，索性有網(wǎng)站解決了這個(gè)問(wèn)題。小編在這里給搭建推薦一個(gè)基于Jina.ai的優(yōu)化關(guān)鍵詞的網(wǎng)站。它是專(zhuān)為大型語(yǔ)言模型 (LLM)、大型模型 (LM) 和 LMOps 設(shè)計(jì)的尖端提示詞優(yōu)化器。簡(jiǎn)化了提示工程，能夠自動(dòng)優(yōu)化 ChatGPT、GPT-3.5、DALL-E 2、StableDiffusion 和 MidJourney 提示。目前免費(fèi)版本有每日登陸后可以有20個(gè)積分分可以?xún)稉Q優(yōu)化次數(shù)，并且達(dá)成成就可獲得額外積分。
網(wǎng)址：https://promptperfect.jina.ai 或直接搜索promptperfect 即可，有網(wǎng)頁(yè)版本與客戶(hù)端版本均可以下載。
除了優(yōu)化文字的網(wǎng)站，也有反向從圖片輸出關(guān)鍵詞的網(wǎng)站，雖然這項(xiàng)工作在本地部署的sd上有集成這一功能，但是它十分消耗資源，所以記得即使清理模型在每次反推關(guān)鍵詞后。在這里也推薦一個(gè)網(wǎng)站可以在云端解析圖片關(guān)鍵詞。地址2在此：https://spell.novelai.dev/?
#02?Control Net
/?安裝 /
對(duì)于上一期安裝了一鍵啟動(dòng)器的同學(xué)們?cè)黾影惭bControlNet插件，可以前往B站文章?https://www.bilibili.com/read/cv21829826?進(jìn)行安裝步驟，這里就不再贅述。
在安裝好之后，只需要在文生圖的最下端，腳本處選擇ContralNet即可使用了。
/ 模式 /
Human Pose-to-Image：ControlNet 根據(jù)人體姿勢(shì)生成清晰、解剖學(xué)上準(zhǔn)確的圖像。它甚至可以很好地處理四肢折疊或不可見(jiàn)的姿勢(shì)，確保忠實(shí)地呈現(xiàn)輸入姿勢(shì)。這也是網(wǎng)上目前最常見(jiàn)的功能
▲圖片來(lái)源 https://www.promptengineering.org/enhancing-stable-diffusion-models-with-control-nets/
Scrible-to-image——從初始草圖中提取基本特征，然后生成具有卓越準(zhǔn)確性的詳細(xì)、高分辨率圖像。此功能還將實(shí)際照片變成涂鴉，然后從中生成圖像。適合同學(xué)們將初步想法進(jìn)行深化的嘗試。
Normal Map-to-Image：此應(yīng)用程序允許用戶(hù)關(guān)注對(duì)象的連貫性而不是周?chē)h(huán)境和深度，從而可以更直接地對(duì)對(duì)象和背景進(jìn)行編輯。這也是最適合建筑的出圖模式之一，但是通常以室內(nèi)場(chǎng)景為主。對(duì)于景觀環(huán)境來(lái)說(shuō)，我們可以在關(guān)鍵詞部分描述想要的景觀場(chǎng)景（例如），在controlNet的深度放處理過(guò)的建筑深度圖，同時(shí)在img2img 模式里放一張類(lèi)似的建筑物或場(chǎng)景，會(huì)有不一樣的感覺(jué)，比如下圖的關(guān)鍵詞為 landscape architecture, competition style, portfolio, axonometric isometric view, monochrome, vector lineart, urban farm, high tech, soilless growing techniques， 對(duì)于的圖紙是建筑類(lèi)。反而會(huì)生成有趣的景觀。
#03?Comfy UI
前篇已經(jīng)介紹過(guò)，ComfyUI 是一個(gè)基于節(jié)點(diǎn)流程式的stable diffusion AI 繪圖工具WebUI，?可以想象成集成了stable diffusion功能的substance designer或ShaderGraph， 通過(guò)將stable diffusion的流程拆分成節(jié)點(diǎn)，實(shí)現(xiàn)了更加精準(zhǔn)的工作流定制和完善的可復(fù)現(xiàn)性。
/ 安裝 /
需從Github https://github.com/comfyanonymous/ComfyUI#installing 上下載、解壓并運(yùn)行。確保將 Stable Diffusion 的 ckpt或safetensors 文件放在：ComfyUI\models\checkpoints 中。額外補(bǔ)充的VAE模型（上期分享的不同類(lèi)別，訓(xùn)練好的模型們）則需要放在models/vae 文件夾之中。很遺憾的是當(dāng)前Comfy UI 與之前分享的一鍵啟動(dòng)器并不能很好兼容，所以需要獨(dú)立安裝運(yùn)行。
▲圖片來(lái)源 ：https://github.com/comfyanonymous/ComfyUI#installing
/ 云部署 /
當(dāng)然也可以使用谷歌Colab進(jìn)行云端部署，在沒(méi)有充值的情況下運(yùn)行速度略微感人且只有四個(gè)小時(shí)時(shí)間使用。Link to open with google colab：https://colab.research.google.com/github/comfyanonymous/ComfyUI/blob/master/notebooks/comfyui_colab.ipynb
/ 操作 /
▲圖片來(lái)源 ：https://github.com/comfyanonymous/ComfyUI#comfyui
上圖是來(lái)自官方Github中的操作基本指南，有Grasshopper 使用基礎(chǔ)的同學(xué)應(yīng)該可以很快速的理解節(jié)點(diǎn)與流程的邏輯關(guān)系。
/ 案例與學(xué)習(xí) /
對(duì)于建筑，景觀出圖，在官網(wǎng)上有個(gè)很類(lèi)似的例子：ControlNet and T2I-Adapter Examples 地址 ：https://comfyanonymous.github.io/ComfyUI_examples/controlnet/
▲圖片來(lái)源 ：https://github.com/comfyanonymous/ComfyUI#comfyui
同樣，在單個(gè)模型之外也可以將不同的組件組合起來(lái)，實(shí)現(xiàn)不同的效果，例如同時(shí)使用兩種ContralNet對(duì)于圖像進(jìn)行生成和控制。不過(guò)強(qiáng)烈建議先看一遍第一個(gè)案例，深度圖控制，因?yàn)镃omfyUI的可復(fù)現(xiàn)性，即便沒(méi)有看懂，你可以將示例中的圖片下載下來(lái)，然后直接拖動(dòng)到ComfyUI的界面中，就能重構(gòu)出生成這張圖的節(jié)點(diǎn)網(wǎng)絡(luò)，包括使用的參數(shù)和種子，只要你也使用一樣的模型和VAE，那么就能夠幾乎生成這同一張圖。
▲圖片來(lái)源 ：https://github.com/comfyanonymous/ComfyUI#comfyui
對(duì)于ComfyUI的具體介紹可以去看知乎https://zhuanlan.zhihu.com/p/620297462?的這篇文章，屬于是目前除了官方文檔之外，中文最詳細(xì)的介紹ComfyUI的使用文章。解釋不同功能，由淺入深。
▲圖片來(lái)源 ：https://zhuanlan.zhihu.com/p/620297462
