Satble Diffusion 給視覺設計帶來了前所未有的可能性和機會，它為設計師提供了更多選擇和工具的同時，也改變了設計師的角色和設計流程。然而，設計師與人工智能軟件的協(xié)作和創(chuàng)新能力仍然是不可或缺的。接下來我將從三個維度來向大家分享 Satble Diffusion 在視覺設計方向的技巧應用。

一、線稿/插畫秒變3D

1. 線稿秒變 3D 場景

在人工智能繪畫軟件之前，我們如果想將一張線稿設計圖轉變?yōu)橐环?3D 場景可能需要非常復雜的過程，比如：線稿填色成平面插畫，然后根據(jù)畫面物體的結構在 3d 軟件中進行建模，最終根據(jù)配色進行打光渲染等步驟來完成。而現(xiàn)在我們運用 stable diffusion 甚至數(shù)秒的時間就可以完成一系列方案。

關于 stable diffusion 的使用原理網絡上有許多詳細的教程，在這里就不向大家贅述。接下來我將向大家分享如何運用 SD 將 midjourney 生成的線稿圖轉變?yōu)?3d 場景。

整個的創(chuàng)作過程在文生圖模式下進行創(chuàng)作的，大模型選擇的是 disneypixarcartoon_v10.safetensors，外掛 VAE 濾鏡為 chilloutmix_Niprunedfp32fix.vae.ckpt；最關鍵的部分 controlnet，前后都選擇為 canny-邊緣檢測或者也可以嘗試 lineart-標準線稿提?。▽⒕€稿圖上傳其中），根據(jù)畫面添加正反向具體的描述關鍵詞，不斷的去調整合適的參數(shù)，就可以得到我們想要的效果。

如果最終效果圖部分視覺沒有達到我們的預期，我們可以結合圖生圖模式下的局部重繪或者上傳重繪蒙版功能，運用重繪蒙板結合關鍵詞進行重新繪制，直達到我們的預期效果為止。當熟悉了整個創(chuàng)作模式后進行批量輸出方案時，線稿輸出 3d 畫面的效率大大超出我們的想象。

2. 平面卡通 IP 秒變 3D 角色

除了上述的線稿轉 3d 場景之外，我們日常的平面 IP 卡通人物也可以通過 stable diffuson 秒變 3d 人物，在實現(xiàn)過程上述的案例有所不同，因為我們需要更加精準的按照我們的平面插畫進行 3d 人物的制作，當然我們更期望最終的 3d 形象與我們的平面效果完全吻合，因此這里我們不再使用文生圖模式，而是采用圖生圖模式來進行更精準的控制。

以一張用 midjourney 生成的 ip 卡通平面三視圖為例：根據(jù)我們卡通人物的特征，添加詳細的正反向描述關鍵詞來構建預期效果，重繪幅度數(shù)值設置為 0.5。另外，在模型的使用上還是有很大區(qū)別的，大模型選用了 revanimated_v122.safetensors，濾鏡是 animevae.pt。controlnet 采用 depth-zoe 控制深度；canny 或者 lineart-anime 控制外形線稿的提??；關于 lora 模型選擇了 blindbox 給予類似于盲盒有趣的 3d 效果，另外還使用了 charturnerv2:0.4 這個 lora 模型用來增強模型的塑料質感，最終就形成了如圖的 3D 角色。

二、人物場景的精準控制

在互聯(lián)網許多應用領域篩選出符合預期的人物場景圖是一個難題，但是自從有了 stable diffusion 之后，這個難題幾乎迎刃而解。通過 stable diffusion 的圖生圖模式，配合 controlnet 的精準控制就非常容易達到我們想要的預期效果。當然在這個過程中，為了避免版權糾紛問題，在使用圖生圖的底圖時盡量選取我們擁有版權的圖片，這樣在這個基礎上做衍生就規(guī)避了版權的風險。

比如，現(xiàn)在我想要一張（如下圖）同樣姿勢的工作人員不是站在空調旁邊，而是想讓他站在微波爐旁邊的場景，那么我們可以將原圖放在圖生圖模式下，大模型同樣選用 relistiCV20，濾鏡選擇 animevae.pt。lora 模型選擇 filmvelvia2 類似于膠片質感來烘托真實的場景氛圍；controlnet 運用的是 openpose_full 用其來控制人物的姿勢狀態(tài)，配合重繪幅度參數(shù)的調節(jié)以及正反關鍵詞的描述來達到想要的效果。本案例的正反關鍵詞描述如下：

正向關鍵詞：A handsome smiling Chinese repairman is standing under the microwave oven, wearing a green T-shirt. There are some white furniture in the scene, dramatic lighting,

一位面帶微笑的中國修理工站在微波爐下，身穿綠色 T 恤。場景中置放了一些白色的家具，引人注目的燈光。

反向關鍵詞：EasyNegative ,GS-DeMasculate-neg,bhands-neg, lowres Unreasonable view (worst quality:2), (low quality:2),

前 3 個英文單詞是調用的 embeddings 文件名稱，低分辨率的，不合理的視圖（最差質量：2），（低質量：2）

另外在真實人物場景的輸出過程中，很多時候人物的手部、臉部會出現(xiàn)問題，我們可以通過 SD 的進階模型 embeddings 在一定程度上去修復畫面手部的問題，例如調節(jié)手部的模型 bhands-neg.pt；對于人物臉部扭曲的問題，我們可以運用 face editor 插件，通過調整參數(shù)來使人物的表情更加真實自然。

三、SD設計創(chuàng)意字體

Stable diffusion 除了可以創(chuàng)作上述的 3d、真實場景圖之外，當然也可以完成創(chuàng)意風格字體的設計。對于創(chuàng)意風格字體我們可以通過文生圖的形式，給予 sd 更多的創(chuàng)作空間可以產出多樣風格的字體樣式，接下來繼續(xù)和大家分享如何將白底黑字轉變?yōu)槲覀兿胍膭?chuàng)意風格的創(chuàng)作過程。

以上圖冰塊文字為案例：整個過程是在文生圖模式下進行的，在大模型上需要選擇是：realisticVision，濾鏡選擇的是：VAE 模型 vae-ft-mse-840000-ema-pruned.safetensors，如果沒有的話可以前往 c 站去下載。采樣方法在這個案例中選擇了 DPM++ 2M Karras，Controlnet 預處理器運用的是 lineart（標準線稿提取），模型運用的是 lineart。然后在里面導入我們的白底黑字圖片，在正反向描述語里描述我們想要的效果，經過多次嘗試就會遇到意想不到的驚喜。最后為了更好地提高視覺效果細節(jié)，我們可以將最終圖片導入到圖生圖模式下（描述同文生圖），Controlnet 預處理器選擇 tile_resample，模型選擇 control_v11f1e_sd15_tile，經過二次處理后會發(fā)現(xiàn)視覺效果更加驚艷細致。當然在這里主要是向大家介紹制作創(chuàng)意風格字體的一個思路，具體的參數(shù)和模型大家可以根據(jù)具體情況去調節(jié)。

以下為本案例使用的關鍵詞：

正向關鍵詞：high quality, masterpiece, ((Transparent ice cubes)), glacier background,

高品質，杰作，（（ 透明的冰塊 ）），冰川背景。

反向關鍵詞：EasyNegative, BadArtist, BadPrompt, BadImages, poor anatomical structure, low quality, text errors, extra numbers, fewer numbers, jpeg artifacts, signatures, watermarks, username, blurring, cropped,

前 4 個英文單詞是調用的 embeddings 文件名稱，解剖結構差，低質量，文本錯誤，多余的數(shù)字，缺少的數(shù)字，jpeg 偽影，簽名，水印，用戶名，模糊，被裁剪的。