查看引用/信息源請點擊：映維網(wǎng)Nweon

用畢加索或莫內等藝術家的美術風格視圖來渲染3D世界，并允許穿戴VR頭顯的我們在其中漫步探索。

（映維網(wǎng)Nweon?2022年08月15日）從游戲到電影，再到虛擬現(xiàn)實和混合現(xiàn)實，市場對新的視覺3D內容需求正不斷增長。在名為《SNeRF: Stylized Neural Implicit Representations for 3D Scenes》的論文中，Meta提出了一種有趣的方案：用畢加索或莫內等藝術家的美術風格視圖來渲染3D世界，并允許穿戴VR頭顯的我們在其中漫步探索。

直接將基于圖像的樣式化技術應用于3D場景會導致不同視圖之間出現(xiàn)閃爍偽影，因為每個視圖都是獨立樣式化，沒考慮底層3D結構。盡管社區(qū)已經探索了各種3D表示方法來解決這個問題，但大多不能很好地捕捉目標樣式，因為它們只對場景的外觀進行樣式化，而幾何同樣是樣式的重要組成部分。

最近，神經輻射場（NeRF）提供了一種可以產生高質量新視圖合成結果的緊湊3D場景表示。緊湊性、表現(xiàn)力和靈活性令NeRF成為一種極具吸引力的選擇。然而，采用NeRF進行神經風格轉換會帶來巨大的內存約束。要從NeRF渲染像素，必須沿camera光線進行密集采樣。這需要大量內存用于渲染和執(zhí)行反向傳播。

針對這個問題，Meta提出結合神經負反饋和基于圖像的神經風格轉換來執(zhí)行三維場景樣式化。神經風格轉換實現(xiàn)了一種靈活的樣式化方法，不需要專業(yè)美術的示例輸入。另外，研究人員通過將3D場景樣式轉換過程分為兩個交替運行的步驟來解決NeRF的內存限制。這允許他們能夠充分利用硬件的內存容量，在高分辨率圖像渲染NeRF或執(zhí)行神經風格的傳輸。

在在《SNeRF: Stylized Neural Implicit Representations for 3D Scenes》這項研究中，他們重點研究了樣式化三維場景以匹配參考樣式圖像的問題，并提出了一種三維場景神經樣式化框架SNeRF。據(jù)介紹，它可以生成樣式化三維場景的新視圖，同時保持交叉視圖的一致性。

具體來說，給定一個三維場景，團隊的目標是對其進行操作，并令所述場景的渲染圖像與參考圖像的樣式相匹配。另外，來自不同視圖的同一場景渲染圖像應保持一致。所以，由于緊湊性和靈活性優(yōu)勢，研究人員使用NeRF作為場景表示的選擇。他們提出了一種內存高效的訓練方法，可以在樣式化和NeRF訓練之間交替進行，從而獲得高分辨率的結果。

Meta使用以下函數(shù)對表示為NeRF的3D場景進行樣式化，從而匹配參考樣式圖像：

之前社區(qū)的研究是同時優(yōu)化了兩種損失，以進行場景樣式化。這需要從NeRF渲染完整圖像，從而在每個訓練步驟計算??tran??fer。這非常耗時。另外，這種方法需要在三個內存密集型組件之間共享內存，大大限制了樣式化結果的分辨率以及樣式化方法的選擇。

為了解決上述方法的內存負擔，團隊提出了一種受坐標下降啟發(fā)的交替訓練機制。他們的見解是，可以解耦??tran??fer和??nerf , 一次最小化一個。計算??tran??fer，只需要特征提取器、目標樣式圖像和場景的渲染圖像。同時，要計算??nerf，只需要體三維渲染器和目標圖像。

所提出的交替訓練機制允許將全部硬件容量用于圖像樣式化或NeRF訓練。對于圖像樣式化，這使他們能夠對整個圖像執(zhí)行樣式化，并實現(xiàn)更全局一致的樣式化結果。對于NeRF訓練，可以訓練NeRF以生成更高分辨率的結果，并將所屬方法應用于動態(tài)場景。使用相同的硬件，所述訓練機制現(xiàn)在可以將NeRF樣式化，并合成1008×756大小的圖像。這比以前同時進行訓練和樣式化時所能合成的圖像大4倍。

為了展示樣式化方法的靈活性，團隊在3種不同的場景類型訓練SNeRF：室內場景、室外場景和動態(tài)Avatar。對于室內場景，他們使用LLFF數(shù)據(jù)集中的場景Fern和TRex訓練NeRF。對于室外場景，使用來自坦克和寺廟數(shù)據(jù)集的場景卡車、火車、M60和操場來訓練NeRF++。他們同時使用所述方法來樣式化4D Avatar。

對于NeRF場景，使用大小為1008×756的圖像對3D場景進行樣式化。對于NeRF++，使用卡車980×546、火車982×546、M60 1077×546和操場1008×548的圖像。對于動態(tài)4D Avatar，使用大小為512×512的圖像進行訓練。

如上圖所示，與圖像和視頻風格傳輸方法相比，他們定性和定量地展示了SNeRF在生成多視圖一致性結果方面的優(yōu)勢。實驗同時表明，與其他基于3D的方法相比，Meta的方法產生了更好的樣式化結果，這主要歸因于相關方法在樣式化3D場景幾何體和外觀方面的靈活性。

與專注于靜態(tài)場景的現(xiàn)有方法不同，團隊的方法同時可以將動態(tài)內容樣式化，例如4D Avatar。研究人員觀察到，樣式化結果的質量部分取決于使用RGB圖像訓練的場景函數(shù)的質量。例如，在圖8中，與ground truth RGB圖像相比，底層NeRF模型無法捕捉背景中植被的清晰細節(jié)。這最終會導致模糊的樣式化結果。

請注意，即使使用Meta方法訓練樣式化NeRF需要一定的時間，但一旦訓練完成，它們就可以“烘焙”用于AR、VR和MR應用中的實時渲染。除了RGB圖像，未來的研究可以探索使用額外的分割或深度圖進行樣式化。

當然，團隊坦承當前的方法存在不足的地方。例如，他們目前獨立地對每個場景進行樣式化，在不重新啟動優(yōu)化過程的情況下，無法對每個場景應用任意樣式。因此，將框架與最近關于任意風格轉換的研究相結合將是一個有趣的方向。

相關論文：SNeRF: Stylized Neural Implicit Representations for 3D Scenes

總的來說，Meta提出了一種使用隱式申請表示的三維場景樣式化方法。它能夠產生樣式化的多視圖一致性結果，并且很好地匹配目標樣式圖像。另外，交替樣式化方法能夠充分利用硬件內存能力對靜態(tài)和動態(tài)3D場景進行樣式化，從而以更高的分辨率生成圖像，并采用更具表現(xiàn)力的圖像樣式傳輸方法。隨著NeRF在提高訓練和測試時間的通用性、質量和速度方面吸引了越來越多的研究，團隊認為使用隱式場景表示進行3D場景樣式化將為AR、VR和MR開辟一系列激動人心的應用。

---
原文鏈接：https://news.nweon.com/99812