摘要：生成式AI并不僅僅適用于沉浸式產(chǎn)品供應(yīng)商，這項(xiàng)技術(shù)在XR軟硬件開(kāi)發(fā)領(lǐng)域已經(jīng)非常普遍。

生成式人工智能（Generative AI）已經(jīng)成為了XR領(lǐng)域強(qiáng)大的技術(shù)伙伴。而MR混合現(xiàn)實(shí)更是被微軟稱為人工智能的“眼睛和耳朵”。

XR和AI這兩種新興技術(shù)和諧共生，將最終實(shí)現(xiàn)共同用戶的工作效率。如此看來(lái)，兩者之間似乎不存在直接的競(jìng)爭(zhēng)關(guān)系。

然而，雖然這兩種技術(shù)之間的競(jìng)爭(zhēng)可能并不像我們想象中的那么激烈，但是隨著大部分人從元宇宙轉(zhuǎn)向生成式人工智能之后，AI可能已成為了目前最受關(guān)注的技術(shù)。對(duì)此，擁有OpenAI等頂級(jí)人工智能公司的微軟，也早已制定好了戰(zhàn)略規(guī)劃路線——要在2024年之前實(shí)現(xiàn)工業(yè)元宇宙。

生成式AI并不僅僅適用于沉浸式產(chǎn)品供應(yīng)商，這項(xiàng)技術(shù)在XR軟硬件開(kāi)發(fā)領(lǐng)域已經(jīng)非常普遍。

隨著各種AR/VR/MR新硬件的層出不窮，但如果沒(méi)有適合的應(yīng)用支持，用戶為什么要購(gòu)買昂貴的XR設(shè)備？所以，讓內(nèi)容創(chuàng)作者設(shè)計(jì)面向企業(yè)和消費(fèi)者的應(yīng)用及系統(tǒng)的需求越發(fā)增多。但是，從事XR開(kāi)發(fā)的人才卻太少了。

生成式AI可以簡(jiǎn)化XR內(nèi)容的創(chuàng)建，幫助更多人設(shè)計(jì)AR/VR/MR服務(wù)。諸如Unreal, Unity和Omniverse等RT3D開(kāi)發(fā)引擎也在利用生成式AI來(lái)優(yōu)化開(kāi)發(fā)工作流程。尤其是那些剛剛嶄露頭角的XR內(nèi)容創(chuàng)作者，對(duì)他們來(lái)說(shuō)，AI是最重要的開(kāi)發(fā)助手之一。

英偉達(dá)生成式AI的核心升級(jí)

NVIDIA公司Omniverse和仿真技術(shù)的副總裁Rev Lebaredian表示，最新的Omniverse產(chǎn)品允許XR開(kāi)發(fā)人員使用基于生成式AI的工作流程。

此次生成式AI升級(jí)是NVIDIA在其服務(wù)中引入OpenUSD的一部分，OpenUSD是一個(gè)可互操作的圖形框架。

通過(guò)增加OpenUSD在Omniverse上的使用，NVIDIA可以添加生成式AI服務(wù)，包括Cesium、Convai、Move AI、SideFX Houdini和Wonder Dynamics等，協(xié)助工業(yè)數(shù)字化運(yùn)營(yíng)。

根據(jù)Lebaredian的說(shuō)法，這套OpenUSD生成式AI工作流程優(yōu)化了Omniverse開(kāi)發(fā)人員工具，讓企業(yè)“構(gòu)建更大、更復(fù)雜的世界規(guī)模模擬，作為其工業(yè)應(yīng)用程序的數(shù)字測(cè)試場(chǎng)地”。

此外，Lebaredian還補(bǔ)充道:“工業(yè)企業(yè)正在競(jìng)相將其工作流程數(shù)字化，這增加了對(duì)支持OpenUSD、可連接、可互操作的3D軟件生態(tài)系統(tǒng)的需求?！?/p>

更新后的Omniverse引入了USD Composer，允許RT3D開(kāi)發(fā)人員可以使用OpenUSD框架設(shè)計(jì)大規(guī)模場(chǎng)景。

此外，Omniverse還將新增Audio2Face——這是一個(gè)基于生成式AI的編程接口插件，允許XR開(kāi)發(fā)人員從音頻文件中創(chuàng)建逼真的面部動(dòng)畫(huà)和手勢(shì)。Audio2Face功能支持多語(yǔ)言，包括默認(rèn)基于女性的一個(gè)模型。

英偉達(dá)同時(shí)添加了新的開(kāi)發(fā)人員模板和資源，旨在降低使OpenUSD工具的使用門檻。這些模板能夠支持更多人使用無(wú)代碼的方式進(jìn)行開(kāi)發(fā)。

OpenUSD不僅僅為Omniverse引入了新的生成式AI服務(wù)。Pixar制作的圖像格式為Omniverse產(chǎn)品打開(kāi)了行業(yè)用例范圍，讓RT3D引擎進(jìn)一步成為開(kāi)發(fā)定制解決方案的重要工具。

Omniverse的關(guān)鍵改進(jìn)

Omniverse在集成生成式AI和OpenUSD的同時(shí)還推出一系列更新。

英偉達(dá)擴(kuò)展其Omniverse套件擴(kuò)展注冊(cè)表，包含模塊化應(yīng)用程序構(gòu)建功能，以優(yōu)化制作自定義應(yīng)用程序的過(guò)程，并開(kāi)放600多個(gè)核心第一方擴(kuò)展的額外訪問(wèn)。

同時(shí)，英偉達(dá)還通過(guò)引入基于Ada Lovelace的優(yōu)化渲染來(lái)提高Omniverse的效率和用戶體驗(yàn)。并推出了支持“大規(guī)模工業(yè)場(chǎng)景實(shí)時(shí)4K路徑追蹤”的AI去噪器等功能。

正如蘋(píng)果Vision Pro所展示的那樣，英偉達(dá)也在整合XR開(kāi)發(fā)工具，用于在Omniverse生態(tài)系統(tǒng)中設(shè)計(jì)空間環(huán)境（這里的空間環(huán)境指的是頭顯用戶看到的3D計(jì)算空間）。

英偉達(dá)希望在為開(kāi)發(fā)人員和企業(yè)最終用戶提供設(shè)計(jì)沉浸式應(yīng)用程序的工具方面處于領(lǐng)先地位，在提高企業(yè)用戶工作效率的同事開(kāi)發(fā)更多面向消費(fèi)者的用例。

對(duì)XR開(kāi)發(fā)的支持

今年8月，NVIDIA與Varjo合作，將光線追蹤工具引入其Omniverse平臺(tái)，為工業(yè)XR企業(yè)客戶提供高質(zhì)量的云渲染服務(wù)。

Varjo軟件合作總監(jiān)Marcus Olssen表示:“到目前為止，圖形和計(jì)算需求使得我們無(wú)法在高分辨率VR環(huán)境中對(duì)這些逼真的場(chǎng)景進(jìn)行光線追蹤。在NVIDIA Omniverse的支持下，MR開(kāi)發(fā)者和用戶就可以在Varjo XR-3中渲染逼真的場(chǎng)景，并在MR中解鎖光線追蹤?！?/p>

英偉達(dá)在2023 GPU技術(shù)大會(huì)(GTC)上推出了CloudXR 4.0平臺(tái)，用于擴(kuò)展XR在云計(jì)算框架內(nèi)的部署，并為開(kāi)發(fā)應(yīng)用程序提供了額外的優(yōu)化服務(wù)器和客戶端靈活性。

通過(guò)這些升級(jí)，XR開(kāi)發(fā)人員可以在云端、5G移動(dòng)計(jì)算邊緣(MEC)以及BTOB網(wǎng)絡(luò)中使用該平臺(tái)。

本文編譯自：

https://www.xrtoday.com/virtual-reality/how-is-nvidia-using-generative-ai/

編譯/R星人（文中圖片均來(lái)源于網(wǎng)絡(luò)）

點(diǎn)個(gè)贊再走吧~