了解如何將物理世界和虛擬圖形與 Reality Engine 的直觀 AR 管道無縫匹配。

如果您對增強現(xiàn)實感興趣，Zero Density 的免費軟件 Reality Engine 是一個很好的起點。虛幻引擎原生平臺包括實時合成系統(tǒng)及其專有鍵控技術(shù) Reality Keyer。不用說，如果您想在素材上實時合成 3D 視覺效果，它是一個非常方便的工具。

在本教程中，我們將帶您完成 Reality Engine 中的快速 AR 合成設置，并揭示如何通過將物理世界與虛擬圖形無縫匹配來創(chuàng)建逼真的實時合成。陰影和燈光對于令人信服的合成至關(guān)重要，我們將幫助您完全控制這些，而無需使用任何額外的攝像機或渲染開銷。對于這個特定的場景，我正在合成一架 CG 鋼琴和來自工作室攝像機的視頻。在繼續(xù)進行投影設置之前，我將從場景和節(jié)點圖的基本設置開始。然后，我將教你如何添加虛擬燈光和陰影，為你的合成增加更多的真實感。

免費下載 REALITY ENGINE

讓我們從您的 AR 場景的基本場景設置開始。首先，前往 Zero Density 的網(wǎng)站 zerodensity.tv 并下載 Reality Engine 的免費社區(qū)版。

設置您的場景

下載軟件后，打開 Reality Editor 并導入 3D 模型。在這種情況下，我使用的鋼琴模型已經(jīng)應用了反光材料。如果您愿意，也可以使用 Place Actors>Lights 菜單在此處添加燈光，但為了獲得最大控制，我稍后將直接從 RealityHub 中的節(jié)點圖中添加這些燈光。

獲得環(huán)境反射

接下來，我們需要添加背景以確保 3D 對象上的反射看起來逼真。我決定使用從我的工作室環(huán)境中捕獲的 HDRI 背景。這意味著我會得到一些很好的環(huán)境反射，可以完美地模仿我物理工作室中的反射。為此，請單擊 Place Actors>Lights>HDRI 背景選項。

添加您的實時攝像機源和跟蹤數(shù)據(jù)節(jié)點

現(xiàn)在轉(zhuǎn)到 Nodegraph/Actions 選項卡并創(chuàng)建一個基本的 AR 合成設置，如右側(cè)的屏幕截圖所示。如您所見，我的 Camera 節(jié)點正在從預先配置的跟蹤節(jié)點接收跟蹤數(shù)據(jù)。此外，Camera 節(jié)點的輸出連接到 Mixer 節(jié)點的 Channel1 輸入，這讓我可以預覽我的虛擬場景輸出。讓我們監(jiān)控通道 A 上的 SDI 輸出，以及 Advance Preview Monitor 通道 B 上的虛擬攝像機輸出，以確保虛擬世界和物理世界對齊。如果您需要調(diào)整轉(zhuǎn)換，只需選擇您的 Piano 節(jié)點并使用 Transform 屬性將其正確對齊到物理工作室環(huán)境。

投影設置

現(xiàn)在，讓我們通過右鍵單擊任何空白區(qū)域，然后打開 System Nodes 菜單并輸入“ProjectionCube”，將 ProjectionCube 節(jié)點添加到我們的節(jié)點圖中。接下來，再次打開 System Nodes 菜單并將 Projection 節(jié)點添加到場景中。ProjectionCube 將從物理攝像機接收未失真的 SDI 信號?，F(xiàn)在，確保將 ProjectionCube 輸出連接到 Projection 節(jié)點的 Actor 輸入。最后，將 Projection 節(jié)點的 Projection 輸出連接到 Camera 節(jié)點的 Projection 輸入。完成后，您的節(jié)點圖應該看起來像我在屏幕截圖 5c 和 5d 中所做的那樣。

添加跟蹤數(shù)據(jù)

到您的投影節(jié)點投影節(jié)點還需要來自跟蹤節(jié)點的跟蹤數(shù)據(jù)。為此，請將跟蹤節(jié)點的輸出連接到投影節(jié)點的跟蹤輸入。

將您的 SDI 輸出添加到投影設置

現(xiàn)在，投影設置已準備好接收來自物理演播室攝像機的不失真視頻輸入。要添加它，打開系統(tǒng)節(jié)點菜單并搜索“Undistort”，然后將節(jié)點添加到您的 Rgraph 中。確保將 Undistort 節(jié)點輸出連接到 Projection Video 輸入，如我上面的屏幕截圖所示。

將您的 SDI 饋送連接到 UNDISTORT 節(jié)點

請記住，Undistort 節(jié)點需要兩個輸入。確保將 Undistort 節(jié)點輸入連接到物理相機的輸出和跟蹤節(jié)點的輸出。

從另一個角度檢查您的設置

現(xiàn)在我們需要從不同的角度檢查我們的投影設置。這讓我們可以將 ProjectionCube 與物理環(huán)境盡可能地對齊，因此所有反射材料都能捕捉到正確的反射，物理環(huán)境可以接收到正確的虛擬陰影。為此，請調(diào)出 System Nodes 菜單并將 Camera 節(jié)點添加到您的節(jié)點圖中。再次執(zhí)行相同操作，但這次添加一個 UserTrack 節(jié)點。將 UserTrack 節(jié)點的 Track 輸出連接到 Camera 節(jié)點的 Track 輸入，如我上面的屏幕截圖所示。

預覽您的相機輸出

現(xiàn)在通過右鍵單擊 Camera 節(jié)點的輸出預覽相機輸出，然后選擇 Channel B。單擊 UserTrack 節(jié)點的游戲手柄圖標（圖 10a）以在場景中移動，然后單擊 Tracked Camera 上的調(diào)試圖標 節(jié)點以查看場景內(nèi)的跟蹤攝像機。

設置虛擬燈光和陰影

此時，我們可以開始處理燈光和陰影。首先右鍵單擊節(jié)點圖的背景以調(diào)出 System Nodes 菜單，然后添加一個 Spotlight。打開調(diào)試模式，這將幫助您在場景中正確定位燈光。使用左側(cè)的“屬性”面板調(diào)整一些燈光參數(shù)，并在此階段選擇一個可用的 ZD 陰影通道來測試場景的外觀。

掌握陰影

為了查看和控制陰影，我們接下來必須將投影材質(zhì)預設從 Masked 更改為 LitMasked。為此，請選擇您的 Projection 節(jié)點并使用左側(cè)“屬性”面板中的“材質(zhì)”下拉菜單將材質(zhì)從 Masked 切換到 LitMasked。接下來，將輸入添加到自定義后期處理材料的后期處理節(jié)點，并將其連接到新的后期處理材料。為此，請使用 System Nodes 菜單將新的 PostProcessMaterial 添加到場景中。現(xiàn)在，選擇新添加的 PostProcessMaterial 節(jié)點，并從左側(cè)的 Properties 菜單中選擇 RealityShadowsAO 材質(zhì)預設，為您的場景添加陰影。

把它放在一起

現(xiàn)在是時候在 CompositePasses 節(jié)點的幫助下開始將所有內(nèi)容合成到您的場景中了。右鍵單擊節(jié)點圖的背景以調(diào)出 System Nodes 菜單，然后搜索 CompositePasses 節(jié)點。

該節(jié)點需要來自跟蹤節(jié)點的跟蹤數(shù)據(jù)和來自物理相機的視頻輸入，以及來自虛擬相機的虛擬場景渲染、陰影、光暈和反射。將 CompositePasses 輸出連接到 Mixer 節(jié)點的 Channel1，然后將 CompositePasses Track 輸入連接到 TrackModifier 節(jié)點的輸出。

現(xiàn)在，將 CompositePasses Video 輸入連接到 Delay 節(jié)點的輸出，并將 CompositePasses Render 輸入連接到 Camera 節(jié)點的輸出。最后，將 Camera Shadow 輸出連接到 CompositePasses 節(jié)點的 Lighting 輸入，并將 Camera 的 Reflection 輸出連接到 CompositePasses 節(jié)點的 Reflection 輸入。您甚至可以在將所有引腳連接在一起時觀察場景中發(fā)生的變化。

匹配您的燈光以實現(xiàn)

可信的結(jié)果，我們現(xiàn)在必須盡可能地使虛擬世界與物理世界相匹配。為此，請選擇您的 SpotLight 節(jié)點，然后在“屬性”面板中更改“變換”值。您的目標是移動虛擬聚光燈，使其與現(xiàn)場的物理燈光非常匹配。將新的 SpotLight 節(jié)點添加到您的場景中，以使您的物理燈光與虛擬燈光保持匹配；不要忘記為每個燈光選擇單獨的陰影通道。

現(xiàn)在選擇您的 PostProcessMaterial 節(jié)點并在“屬性”面板中更改 ShadowOpacity 以匹配場景中的其他真實陰影。

使它成為現(xiàn)實

為了使這種合成更加逼真，我們需要控制環(huán)境光遮蔽。這為最終合成添加了更豐富、更逼真的結(jié)果，為原本平坦的圖像增加了更多深度。這對于 AR 來說非常重要，尤其是當您希望將 3D 圖形彼此靠近或靠近地板等物理表面時。在 PostProcessMaterial 節(jié)點上打開調(diào)試模式，并將 PostProcessMaterial 屬性中 DebugColor 的 Alpha 更改為 1,000。它現(xiàn)在應該變成粉紅色。

接下來，更改屬性菜單下 AOMASK 選項的參數(shù)，如屏幕截圖所示。這添加了一個額外的控件，有助于為環(huán)境光遮蔽遮罩用戶定義的區(qū)域。您還可以在沒有任何額外步驟的情況下看到鋼琴能夠從物理工作室接收逼真的反射。您現(xiàn)在應該有一個很棒的逼真的合成來開始您的增強現(xiàn)實項目！根據(jù)您的場景，您現(xiàn)在可以處理反射或進一步的燈光和陰影：選擇權(quán)在您手中。