OpenAI再出新作，AIGC時(shí)代，3D建模師的飯碗危險(xiǎn)了！
說起來，自從ChatGPT發(fā)布之后，我就開始焦慮，擔(dān)心自己程序員的飯碗會不會哪天就被AIGC取代了。
有人說我是過度焦慮了，但是我總覺有點(diǎn)危機(jī)感肯定沒有壞處。（結(jié)尾反轉(zhuǎn)，hhh，希望你看下去?。?/p>
不過好家伙，還沒等AIGC大模型完全替代程序員，我發(fā)現(xiàn)AIGC大模型又開始搶三維建模行業(yè)從業(yè)者的飯碗了...
OpenAI公司有整新活了，發(fā)布了模型應(yīng)用shape-E，這個(gè)模型能干什么呢？千尋先賣個(gè)關(guān)子！先給大家介紹一種職業(yè)，3D建模師。
3D建模師，這個(gè)職業(yè)的工作內(nèi)容是什么呢？
3D建模師，在工業(yè)界和游戲界里面的需求最多。通俗來說，就是將二維平面的人物形象進(jìn)行三維建模的轉(zhuǎn)換。啊這？說人話！我們直接用一個(gè)例子說明：
《哆啦A夢》人員合照2D版本
《哆啦A夢》人員合照3D版本
將平面的2D的動(dòng)漫形象，轉(zhuǎn)化為3D立體的手辦，用于制作3D動(dòng)漫大電影，這是在游戲與動(dòng)漫里面的3D建模應(yīng)用。
其實(shí)3D建模技術(shù)，更多的應(yīng)用在工業(yè)屆多一些，在前幾年3D打印技術(shù)十分火爆的時(shí)候，就類似現(xiàn)在的ChatGPT的風(fēng)口，在三維建模軟件里面畫好三維模型，直接通過3D打印機(jī)打印出來零件。3D建模技術(shù)的最佳應(yīng)用之處就是3D打印。
3D的齒輪模型建模
通過以上的三維建模仿真，然后再接入3D打印機(jī)就可以實(shí)現(xiàn)齒輪零件的實(shí)際打印需求。而且現(xiàn)在3D打印技術(shù)已經(jīng)飛入尋常百姓家了，所以有條件的，真的可以嘗試一下，很有意思。
講解完了2D轉(zhuǎn)換為3D建模的實(shí)際效果，下面我們進(jìn)入本文章的正題，OpenAI發(fā)布的這個(gè)shape-E算法模型。
這個(gè)模型的話，它能實(shí)現(xiàn)的功能的話包括兩種。
一、輸入文字描述來輸出指定的三維模型圖
我們先來看一下官方的生成例子
1. 一個(gè)生日蛋糕
2.一個(gè)像樹一樣的椅子
3. 一個(gè)正在跑步中的人
以下是官方提供生成的三維模型的合集圖片?？梢钥吹焦俜缴傻哪Ｐ托Ч€是很不錯(cuò)的。
千尋自己也測試了一些，給大家看看效果
1. a red apple with green leaves
（一個(gè)帶綠葉的蘋果）
2. a desk
（一張桌子）
3. a silver gear
（一個(gè)銀色的齒輪）
千尋測試的這幾個(gè)“文字轉(zhuǎn)3D模型”的測試用例都是相對簡單一些的。
而且千尋發(fā)現(xiàn)，還是輸入的text文字描述，最好還是英文句子，借助一下谷歌翻譯，可以保證3D模型生成的效果更加漂亮、準(zhǔn)確。
二、輸入二維平面圖輸出指定的三維模型圖
除了實(shí)現(xiàn)輸出文字描述可以生成三維模型的圖片，我們也可以通過輸入3D模型的平面視角圖片，生成3D模型，以下是一些簡單的生成效果，供大家參考。
1. 二維齒輪圖片轉(zhuǎn)三維模型
2. 二維小狗圖片轉(zhuǎn)三維模型
3. 二維建筑平面圖片轉(zhuǎn)三維模型
不僅如此，除了在Hugging Face社區(qū)可以進(jìn)行直接的三維模型。
生成的三維模型的圖片也是支持本地查看的，將三維模型的圖片進(jìn)行下載。
使用windows系統(tǒng)自帶的3D畫圖就可以查看了，效果更好！
以上是shape-E的模型實(shí)現(xiàn)的最終效果，我們下面分析一下shape-E模型的工作原理。
三、模型工作原理
Shap-E 還是用到了潛空間擴(kuò)散模型（Latent Diffusion）。
熟悉 Stable Diffusion 的小伙伴應(yīng)該對于這個(gè)概念并不陌生，其實(shí)就是將一些高維信息，降維表示到一個(gè)特定的特征空間，然后再根據(jù)這些特征，做生成。
Shap-E 整體結(jié)構(gòu)也是類似的 Encoder - Decoder 結(jié)構(gòu)。
不過輸入和輸出變了，比如 Shap-E 的 Encoder 結(jié)構(gòu)是這樣的：
輸入是點(diǎn)云模型，經(jīng)過降維、交叉注意力層、Transformer等結(jié)構(gòu)，最終獲得一個(gè) implicit MLP。
至于 Decoder 則采用 STF Rendering 進(jìn)行渲染，同時(shí)加入了 CLIP 的 text embedding。
Shap-E 支持多模態(tài)，輸入既可以是文字，也可以圖片。
四、模型算法應(yīng)用
項(xiàng)目地址：
https://github.com/openai/shap-e
算法部署并不復(fù)雜，Shap-E 只依賴于 CLIP。
（1）可以單獨(dú)創(chuàng)建一個(gè)名為 shape 的虛擬環(huán)境
conda create -n shape python=3
（2）激活conda環(huán)境
conda activate shape
（3）然后安裝好 CLIP 的一些依賴
conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0
pip install ftfy regex tqdm
（4）進(jìn)入 Shap-E 項(xiàng)目的根目錄，pip 安裝剩余依賴包
pip install -e .
項(xiàng)目地址：
https://github.com/openai/shap-e
在 Huggingface 官方demo社區(qū)地址：
https://huggingface.co/spaces/hysts/Shap-E
shap_e/examples/sample_text_to_3d.ipynb?是文本描述生成三維模型的腳本代碼。
shap_e/examples/sample_image_to_3d.ipynb?是二維平面圖片生成三維模型的腳本代碼。
五、總結(jié)
寫完這篇技術(shù)文，第一個(gè)想法就是，害，文章剛剛開始時(shí)候，有點(diǎn)販賣焦慮了，就這！
就這生成效果，想要完全取代人家3D建模師，我覺得還是有很長的路要走的。
目前的生成算法存在的問題：
1.模型的推理時(shí)間較長，平均生成一次三維模型圖片，耗時(shí)大約30S左右。
2.生成的三維模型，細(xì)節(jié)度不夠，只能算是有一個(gè)大體的外部輪廓，動(dòng)物的面部細(xì)節(jié)特征幾乎是全部沒有。
所以根本不用焦慮，但是還是要繼續(xù)努力??！
