OpenAI 3D 模型生成器Point-E極速體驗(yàn)

3090顯卡，極速體驗(yàn)三維模型生成，體驗(yàn)地址：http://3d.aiartwork.online/

文本生成圖像的 AI 最近已經(jīng)火到了圈外，不論是 DALL-E 2、DeepAI 還是 Stable Diffusion，人人都在調(diào)用 AI 算法搞繪畫藝術(shù)，研究對 AI 講的「咒語」。不斷進(jìn)化的技術(shù)推動了文生圖生態(tài)的蓬勃發(fā)展，甚至還催生出了獨(dú)角獸創(chuàng)業(yè)公司 Stability AI。

本周，OpenAI 開源的 3D 模型生成器 Point-E 引發(fā)了 AI 圈的新一輪熱潮，Point-E 可以在單塊 Nvidia V100 GPU 上在一到兩分鐘內(nèi)生成 3D 模型。相比之下，現(xiàn)有系統(tǒng)（如谷歌的 DreamFusion）通常需要數(shù)小時(shí)和多塊 GPU。

論文《Point-E: A System for Generating 3D Point Clouds from Complex Prompts》：

• 論文鏈接：https://arxiv.org/abs/2212.08751

• 項(xiàng)目鏈接：https://github.com/openai/point-e

Point-E 不輸出傳統(tǒng)意義上的 3D 圖像，它會生成點(diǎn)云，或空間中代表 3D 形狀的離散數(shù)據(jù)點(diǎn)集。Point-E 中的 E 是「效率」的縮寫，表示其比以前的 3D 對象生成方法更快。不過從計(jì)算的角度來看，點(diǎn)云更容易合成，但它們無法捕獲對象的細(xì)粒度形狀或紋理 ------ 這是目前 Point-E 的一個(gè)關(guān)鍵限制。

為了解決這一問題，OpenAI 團(tuán)隊(duì)訓(xùn)練了一個(gè)額外的人工智能系統(tǒng)來將 Point-E 的點(diǎn)云轉(zhuǎn)換為網(wǎng)格。

Point-E 架構(gòu)及運(yùn)行原理

在獨(dú)立的網(wǎng)格生成模型之外，Point-E 主要由兩個(gè)模型組成：文本到圖像模型和圖像到 3D 模型。文本到圖像模型類似于 OpenAI 自家的 DALL-E 2 和 Stable Diffusion 等生成模型系統(tǒng)，在標(biāo)記圖像上進(jìn)行訓(xùn)練以理解單詞和視覺概念之間的關(guān)聯(lián)。在圖像生成之后，圖像到 3D 模型被輸入一組與 3D 對象配對的圖像，訓(xùn)練出在兩者之間有效轉(zhuǎn)換的能力。

Point-E 通過 30 億參數(shù)的 GLIDE 模型生成綜合視圖渲染，內(nèi)容被饋送到圖像到 3D 模型，通過一系列擴(kuò)散模型運(yùn)行生成的圖像，以創(chuàng)建初始圖像的 3D RGB 點(diǎn)云 ------ 先生成粗略的 1024 點(diǎn)云模型，然后生成更精細(xì)的 4096 點(diǎn)云模型。

OpenAI 研究人員表示，在經(jīng)過「數(shù)百萬 3D 對象和相關(guān)元數(shù)據(jù)的數(shù)據(jù)集上訓(xùn)練模型后，Point-E 擁有了生成匹配文本提示的彩色點(diǎn)云的能力。Point-E 的問題和目前的生成模型一樣，圖像到 3D 轉(zhuǎn)換過程中有時(shí)無法理解文本敘述的內(nèi)容，導(dǎo)致生成的形狀與文本提示不匹配。盡管如此，根據(jù) OpenAI 團(tuán)隊(duì)的說法，它仍然比以前的最先進(jìn)技術(shù)快幾個(gè)數(shù)量級。

OpenAI 在論文中表示，「雖然 Point-E 在評估中表現(xiàn)得比 SOTA 方法差，但它只用了后者一小部分的時(shí)間就可以生成樣本。這使得 Point-E 對某些應(yīng)用程序更實(shí)用，或者可以利用效率獲得更高質(zhì)量的 3D 對象?！?/p>

AI繪圖在線體驗(yàn)

除了Point-E，還可以體驗(yàn)最新Stable diffusion-v2繪畫模型，免注冊，免安裝，不用顯卡，在線體驗(yàn)，有網(wǎng)就行！

二次元繪圖

在線體驗(yàn)地址:http://acg.aiartwork.online/
模型包括：

• NovelAI，NovelAI的模型訓(xùn)練使用了數(shù)千個(gè)網(wǎng)站的數(shù)十億張圖片，包括 Pixiv、Twitter、DeviantArt、Tumblr等網(wǎng)站的作品。

• Waifu，waifu的模型可用于生成二次元的卡通形象，可以生成獨(dú)有的二次元動漫小姐姐和主人公

• Stable diffusion-v2，以英文為輸入的通用圖像生成模型

中文輸入繪圖

在線體驗(yàn)地址:http://taiyi.aiartwork.online/

• 太乙模型，首個(gè)開源的中文Stable Diffusion模型，基于0.2億篩選過的中文圖文對訓(xùn)練。