新增像素模式繪畫，AI作畫離線版V3.4來啦！
本周V3.4帶來了像素繪制模式，這個功能基于 https://github.com/KaliYuga-ai/Pixel-Art-Diffusion 項目，實現(xiàn)像素風格的AI繪畫，如下為我測試的像素風格圖片：
V3.4版本：2022-06-12
1、圖片轉3D支持時長和攝像機位移設置，原圖尺寸輸出視頻，清晰度更高；
2、AI高清放大，實測6G顯存1920×1080的圖用x4模型放大4倍也不會超顯存了，因為可以設置tile_size（拼圖大?。?/strong>參數(shù)；
3、加入目前挺火的像素PIXEL DD繪畫模式，這個模型占用顯存不大，小顯存諸如6G能上1200×600，參數(shù)設置里提供兩種繪圖Diffusion模型引擎選擇，原版DD和像素版DD；
4、參數(shù)設置界面記憶上次拉伸界面，不同分辨率顯示器不用每次都拉伸界面了；
5、加入use_secondary_model這個選項，如果關閉此選項，DD將使用常規(guī)（大型）擴散模型，開啟此選項則使用二級模型更快且顯存占用小–一位用戶報告渲染速度提高了50%！然而，二次模型要小得多，可能會降低圖像質量和細節(jié)；
6、加入clamp_max參數(shù)設置，clamp_max設置clamp grad的上限，數(shù)值范圍0-0.3。默認0.05在圖像中提供更平滑、更柔和的著色，但設置更高的值（0.15-0.3）可以提供有趣的對比度和活力。
再來幾張我用離線版跑常規(guī)模式DD5跑的圖：
01?軟件概覽
軟件名字叫做：AI作畫(基于Disco Diffusion 5.2）離線版V3.4，基于GitHub上的開源項目Disco Diffusion，目前僅支持靜態(tài)圖生成。
如下，軟件主界面，還是以操作簡單為主。
如下參數(shù)設置界面，靜圖生成的相關參數(shù)都囊括在內了，而且支持批量隊列模式，多套參數(shù)批量跑，詳情看視頻：https://www.bilibili.com/video/BV1ZZ4y1t7wW。
02?軟件體驗
主目錄pic_disco文件夾的settings.json就是作圖配置文件，當然3.0版本通過界面進行設置了。
1、描述詞設定：描述詞之前手動修改json文件經常有小伙伴少輸入標點導致出錯，界面化可以避免這個問題，如下默認的描述，每段（回車換行算一段）都是同一描述的不同權重關鍵詞。
上面的描述對應的手動修改json如下，也就是界面化無需引號、逗號來分割同一描述的不同權重部分。
2、幫助相關：對于大多數(shù)參數(shù)，都加入了幫助按鈕，鼠標劃到對應幫助圖標，駐留即可顯示參數(shù)含義，如下所示，當然大多數(shù)都是翻譯的官方文檔，加入自己的一點注解。
如果想要加入自己對參數(shù)的注釋，可以修改軟件目錄下的tip.json，如下對應的描述修改即可，\n為換行。
3、參考圖：參考圖也人性化了，直接點擊按鈕選擇圖片即可，注意看參數(shù)旁邊的問號，一般加入?yún)⒖紙D時，skip_steps這個參數(shù)需要設置大一些。
4、AI作畫引擎選擇：參數(shù)設置里提供兩種繪圖Diffusion模型引擎選擇，原版DD和像素版DD，如下圖設置：
5、AI高清放大：設置不同的放大模型和圖片放大倍數(shù)，高清放大圖片輸出目錄為pic_disco\images_out\AI_ultra_HD，當輸入的圖片尺寸很大時，容易超顯存，這時我們修改拼圖大小這個參數(shù)即可，比如設置拼圖大小512時，6G顯存選擇realesrgan_x4plus模型對1920*1080圖片進行4倍放大測試不超顯存。
6、AI繪畫輸出圖片目錄：pic_disco\images_out；
7、AI圖片轉3D輸出視頻目錄：pic_disco\video；
8、過程圖片：pic_disco\progress.png，每幾個step（頻率display_rate可配置）更新一次圖片。
三、顯卡要求
需要至少5GB顯存，且必須是英偉達顯卡，AMD不支持。
各種顯存測試參數(shù)可參考：https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。
注：默認參數(shù)因為選了3個CLIP模型，如果想要尺寸更大，少選幾個模型即可，但效果肯定有所影響，諸如6G獨顯的2060或者1060顯卡，只選如下第一個模型，尺寸768×512都沒問題：
1、爆顯存
下面這些都是圖片設置過大導致的爆顯存，或者5GB以下的顯卡：
（1） Unable to find a valid cuDNN algorithm to run convolution
（2） CUDA out of memory
2、黑圖
很多小伙伴生成的圖一直是黑的，這種貌似是10代及以下顯卡，目前發(fā)現(xiàn)的1660、1660s、1660ti都有問題，原因是中途生成NAN數(shù)據(jù)，解決方案正在尋找，但1060沒有問題，看來問題都在16代顯卡上。
03
小結
這個項目確實很有意思，唯一的問題就是對顯卡要求高，最起碼得英偉達5G以上獨顯，另外還有一些坑要填，諸如很多網(wǎng)友感興趣的gobig、描述里添加藝術家、色彩等關鍵詞庫等，這個得慢慢來了，但后續(xù)版本肯定會有，感興趣的可以體驗一下3.4了，更詳細的作圖參數(shù)、教程多刷刷B站相關視頻即可。
