項(xiàng)目簡(jiǎn)介

在過(guò)去幾十年，風(fēng)景園林經(jīng)歷了從“刀耕火種”的完全手繪設(shè)計(jì)時(shí)代到當(dāng)下比較流行的參數(shù)化設(shè)計(jì)時(shí)代，過(guò)去的每一輪技術(shù)革新都讓風(fēng)景園林作品的表現(xiàn)形式產(chǎn)生了巨大的改變。隨著計(jì)算機(jī)圖像技術(shù)的發(fā)展，我們有更多的建模和渲染軟件輔助提升圖紙表現(xiàn)效果，但表現(xiàn)效果提升的背后伴隨的是越來(lái)越巨大的人力資源投入，一張美觀的效果圖需要經(jīng)過(guò)建模、渲染、圖像編輯等多個(gè)軟件繁雜反復(fù)操作才能生產(chǎn)出來(lái)，加班熬夜重復(fù)性地繪圖已成為行業(yè)常態(tài)。簡(jiǎn)而言之，過(guò)去計(jì)算機(jī)圖像技術(shù)的發(fā)展并沒(méi)有讓設(shè)計(jì)師的工作更加輕松，反而成為了一把沉重的“枷鎖”。

在人工智能生成內(nèi)容技術(shù)（Artificial Intelligence Generated Content，AIGC）井噴式發(fā)展的背景下，風(fēng)景園林行業(yè)正經(jīng)歷著智能化變革。如何借助人工智能技術(shù)進(jìn)一步提高設(shè)計(jì)效率、實(shí)現(xiàn)快速多樣化設(shè)計(jì)，對(duì)滿(mǎn)足用戶(hù)多樣和變化的需求、改變行業(yè)投入高和人效低現(xiàn)狀有重要意義。在飛槳 AI Studio 和 PPDiffusers 的支持下，華南農(nóng)業(yè)大學(xué) SCUrban Lab 團(tuán)隊(duì)嘗試在風(fēng)景園林的場(chǎng)景下對(duì) Stable Diffusion 模型進(jìn)行調(diào)教優(yōu)化。本文將分享當(dāng)前探索成果，除此之外，我們也公開(kāi)了一個(gè)“城市公園”場(chǎng)景下的 LoRA 模型權(quán)重，歡迎大家測(cè)試反饋。

環(huán)境安裝

01 PPDiffusers?

介紹?PPDiffusers 是一款支持多種模態(tài)（如文本圖像跨模態(tài)、圖像、語(yǔ)音）擴(kuò)散模型（Diffusion Model）訓(xùn)練和推理的國(guó)產(chǎn)化工具箱。依托于飛槳框架和 PaddleNLP 自然語(yǔ)言處理開(kāi)發(fā)庫(kù)，PPDiffusers 提供了超過(guò)50種 SOTA 擴(kuò)散模型 Pipelines 集合，支持文圖生成（Text-to-Image Generation）、文本引導(dǎo)的圖像編輯（Text-Guided Image Inpainting）、文本引導(dǎo)的圖像變換（Image-to-Image Text-Guided Generation）、超分（Super Resolution）在內(nèi)的10+任務(wù)，覆蓋文本圖像跨模態(tài)、圖像、音頻等多種模態(tài)。

02 PPDiffusers 安裝?

如果您是剛接觸 Python 編程的新用戶(hù)，我們推薦使用以下便捷的 pip 的安裝方式：

由于最近 AIGC 發(fā)展速度比較快，PPDiffusers 代碼倉(cāng)庫(kù)更新也比較頻繁，如果您有一定的 Python 基礎(chǔ)，我們推薦克隆 PaddleNLP 倉(cāng)庫(kù)源代碼進(jìn)行手動(dòng)安裝。

模型介紹

本項(xiàng)目主要用到的是模型是 Stable Diffusion V1.5 版本和 ControlNet。為了使生成圖像的表現(xiàn)效果更加接近現(xiàn)實(shí)場(chǎng)景，我們也使用了基于 Stable Diffusion 的 Realistic Vision V2.0 模型。針對(duì)風(fēng)景園林公共景觀設(shè)計(jì)領(lǐng)域，我們實(shí)驗(yàn)室利用自有的城市公園圖像數(shù)據(jù)庫(kù)訓(xùn)練了 CityParkLorAV1 權(quán)重模型并開(kāi)源，同時(shí)我們還使用了針對(duì)地產(chǎn)景觀的 Fair-faced-concrete-V1 微調(diào)權(quán)重，所有開(kāi)源地址的模型附在文章最后，在此也對(duì)所有開(kāi)源貢獻(xiàn)者表示衷心感謝。

效果圖生成應(yīng)用

01 基于文字生成?

與設(shè)計(jì)大類(lèi)專(zhuān)業(yè)類(lèi)似，在景觀設(shè)計(jì)院的工作過(guò)程中，我們也幾乎每天都會(huì)收到來(lái)自甲方各式各樣的文字需求，比如我們經(jīng)常調(diào)侃的“五彩斑斕的黑”“尊貴大氣而低調(diào)的風(fēng)格”等等。對(duì)于初出茅廬的設(shè)計(jì)師，表面上笑臉嘻嘻迎合甲方，但內(nèi)心早已萬(wàn)馬奔騰。所以我們第一個(gè)場(chǎng)景實(shí)驗(yàn)就是基于文字的景觀效果圖像生成，下面我們就演示一個(gè)濕地公園景觀生成場(chǎng)景。

推理代碼：

效果展示：

02 基于現(xiàn)實(shí)場(chǎng)景生成

對(duì)現(xiàn)有的景觀效果進(jìn)行升級(jí)改造也是風(fēng)景園林的主要工作之一。在景觀改造之前，我們會(huì)到現(xiàn)場(chǎng)進(jìn)行場(chǎng)地的勘察調(diào)研，拍攝記錄場(chǎng)地現(xiàn)狀的照片，然后經(jīng)過(guò)一系列設(shè)計(jì)工作后，將設(shè)計(jì)成果 P 圖到場(chǎng)地現(xiàn)狀圖上。一個(gè)經(jīng)驗(yàn)豐富的設(shè)計(jì)師，平均 P 一張普通設(shè)計(jì)效果圖的時(shí)間在1個(gè)小時(shí)左右。如果項(xiàng)目規(guī)模比較大，我們還需要在 3D 建模軟件中對(duì)場(chǎng)地進(jìn)行1:1還原，這樣一整個(gè)設(shè)計(jì)周期下來(lái)需要3-5天甚至更長(zhǎng)時(shí)間。因此我們第二個(gè)場(chǎng)景實(shí)驗(yàn)就是針對(duì)現(xiàn)實(shí)場(chǎng)景的圖像生成，利用 ControlNet 保留原圖像的特征，然后利用 Stable Diffusion 對(duì)圖像進(jìn)行重繪，以下是一個(gè)真實(shí)的“美麗鄉(xiāng)村”建設(shè)項(xiàng)目的實(shí)驗(yàn)效果：

推理代碼：

效果展示：

在這個(gè)場(chǎng)景的實(shí)驗(yàn)中，我們?cè)?V100 32G 的顯卡環(huán)境下測(cè)試每張圖的生成時(shí)間大約是10秒左右，與人工繪圖動(dòng)輒1個(gè)小時(shí)到1周不等的時(shí)間相比，這極大地提升了景觀設(shè)計(jì)的效率，真正解放了生產(chǎn)力！

03 基于手繪線稿生成

手繪是風(fēng)景園林設(shè)計(jì)師的日常表達(dá)方式之一。在景觀設(shè)計(jì)過(guò)程中，我們會(huì)將腦海里的設(shè)計(jì)靈感和推敲過(guò)程用手繪的方式快速表達(dá)出來(lái)，然后交給建模師和美術(shù)設(shè)計(jì)進(jìn)行計(jì)算機(jī)輔助繪圖。我們的第三個(gè)場(chǎng)景實(shí)驗(yàn)，就是充分利用 ControlNet Canny 邊緣檢測(cè)的特性，將手繪線稿渲染成真實(shí)場(chǎng)景的效果圖。

推理代碼：

效果展示：

在線體驗(yàn)

為了讓開(kāi)發(fā)者快速體驗(yàn)以上的內(nèi)容，目前我們已經(jīng)將基于現(xiàn)實(shí)場(chǎng)景和手繪線稿生成效果圖的能力上線到 AI Studio 應(yīng)用中心，開(kāi)發(fā)者可以打開(kāi)以下鏈接并嘗試上傳自己的景觀手繪或照片，感受快速高效輸出渲染效果圖的能力！

• AI Studio地址

https://aistudio.baidu.com/aistudio/projectdetail/6235423

結(jié)語(yǔ)

以上是我們實(shí)驗(yàn)室基于 Stable Diffusion 模型針對(duì)風(fēng)景園林場(chǎng)景下的一些實(shí)驗(yàn)探索和驗(yàn)證，展現(xiàn)了人工智能在風(fēng)景園林行業(yè)應(yīng)用的巨大潛力。經(jīng)過(guò)我們多輪反復(fù)的實(shí)驗(yàn)和工程設(shè)計(jì)調(diào)優(yōu)，驗(yàn)證了 Stable Diffusion 等生成模型可以被有效應(yīng)用于風(fēng)景園林景觀設(shè)計(jì)領(lǐng)域，并且能大幅節(jié)約設(shè)計(jì)師的工作時(shí)間，具備提高全行業(yè)領(lǐng)域生產(chǎn)力的能力。 歡迎更多有興趣的開(kāi)發(fā)者與我們一起攻克設(shè)計(jì)控制、設(shè)計(jì)結(jié)果有效性驗(yàn)證等難題，拓展 AIGC 相關(guān)技術(shù)的研究及應(yīng)用，構(gòu)建起真正的風(fēng)景園林循證設(shè)計(jì)框架。

• AI Studio 項(xiàng)目鏈接

https://aistudio.baidu.com/aistudio/projectdetail/6088322

• SCUrban Lab 地址

https://www.scurbanlab.com/

• 參考文獻(xiàn)

[1]?https://github.com/PaddlePaddle/PaddleNLP/tree/develop/ppdiffusers

[2]?https://huggingface.co/Xiejiehang/CityParkLorAV1/

[3]?https://huggingface.co/lllyasviel/sd-controlnet-canny

[4]?https://huggingface.co/SG161222/Realistic_Vision_V2.0

[5]?https://civitai.com/models/34597/fair-faced-concrete-architecture