Pontus Ryman 向我們介紹了他的攝影測量工作流程，談到了適合掃描的天氣條件，并解釋了為什么在為 3D 模型運(yùn)行圖像時，RealityCapture 是他的首選軟件。

介紹

你好！我是龐圖斯·賴曼。我已經(jīng)在 AAA 游戲開發(fā)行業(yè)擔(dān)任環(huán)境美術(shù)師近 12 年了。

我從小就對視頻游戲和 3D 圖形感興趣，自從迷上了 3D 藝術(shù)作品一直是我的目標(biāo)。我很早就開始在舊的錘子編輯器中制作半條命 1 地圖，然后繼續(xù)為《戰(zhàn)場 1942》制作紋理和模組，并最終在 Black Mesa 游戲中工作，當(dāng)時它還是 Source 引擎中的模組。

最終，我學(xué)習(xí)了數(shù)字圖形學(xué)，畢業(yè)后不久，我設(shè)法在 DICE 找到了一個 3D 藝術(shù)家的職位。

在 DICE 度過了我的前 8 年，并參與了戰(zhàn)地 3,4 和 5 以及星球大戰(zhàn)前線 1 和 2 等游戲。我很幸運(yùn)多年來積累了很多經(jīng)驗(yàn)，并且由于游戲嚴(yán)重依賴攝影測量，我有機(jī)會參與開發(fā)該領(lǐng)域的尖端技術(shù)和工作流程。

隨著在前線 1 上建立完全基于攝影測量的環(huán)境，核心工作流程和原則從那時起并沒有真正改變，只有工具和特定裝備真正被改變以改進(jìn)特定步驟。游戲中的攝影測量環(huán)境仍然受益于策劃一組小型但精心構(gòu)建的攝影測量內(nèi)容的規(guī)則，這些內(nèi)容可以覆蓋多個地圖上的整個生物群系核心視覺外觀。在每張地圖中混合一些特定元素，您可以為相同的內(nèi)容添加趣味，以創(chuàng)建相同環(huán)境的子變體。

瓦倫西亞森林項(xiàng)目

瓦倫西亞森林項(xiàng)目是我上一個項(xiàng)目 Summer Archipelago 的后續(xù)項(xiàng)目。當(dāng)時，我只是在休育兒假期間需要做點(diǎn)事情。與我們的寶寶共度時光令人難以置信，但是當(dāng)我女兒睡著的時候，我必須在晚上做一些富有成效的事情。我父親剛在西班牙買了房子，我們正要去那里度假。我想為什么不將假期旅行與攝影測量項(xiàng)目結(jié)合起來，其主題與上一個項(xiàng)目不同但遵循相同的框架？

在這個項(xiàng)目中，我想在瓦倫西亞地區(qū)重新創(chuàng)建我捕獲內(nèi)容的天然森林，因?yàn)槲艺谕饷孢M(jìn)行實(shí)際掃描。我還參考了很多關(guān)于植被的參考資料，還參考了照明、構(gòu)圖、資產(chǎn)放置甚至聲音。

我以后會大量使用這些參考資料，將內(nèi)容準(zhǔn)確地組合成一個可信的世界。我的一些鏡頭甚至接近參考圖像的 1:1，如果構(gòu)圖和照明足夠醒目，這些圖像幾乎可以充當(dāng)概念藝術(shù)。

與上一個在 Unreal Engine 4 中渲染的項(xiàng)目相比，我想切換到 5 來測試新功能，尤其是 Lumen，它產(chǎn)生了一些驚人的結(jié)果。

設(shè)備

我使用的設(shè)備是一套非?；镜南鄼C(jī)和配套設(shè)備，并且基于我們在為我從事的 AAA 游戲進(jìn)行攝影測量旅行時使用的套件。

主要套件包括：

• 佳能 6D MKII；

• X-rite Color Checker 護(hù)照；

• 帶圖像穩(wěn)定器的 24mm 鏡頭，適用于大部分掃描；

• 70-200mm鏡頭，帶圖像穩(wěn)定器，用于參考和遠(yuǎn)距離掃描；

• 三腳架

我還有一塊不反光的大白布，堅(jiān)固且易于清潔，還有一塊藍(lán)色的小布，堅(jiān)固且易于清潔。

這一次，我還帶了一些額外的裝備，這些裝備我并不總是帶，但有時可以派上用場：

• 佳能750D；

• 18-55 毫米鏡頭，帶圖像穩(wěn)定器；

• 偏光鏡蓋；

• 大猩猩三腳架。

這是我使用的套件，但如今攝影測量可以使用任何類型的相機(jī)完成，并且使用該技術(shù)的成本明顯低于幾年前。

如果有任何一件我推薦的裝備，那就是顏色圖表，一旦您開始建立類似資產(chǎn)的庫，為您的掃描資產(chǎn)提供正確的顏色參考是非常有價值的。

照明條件

掃描時的經(jīng)驗(yàn)法則是始終避免在陽光下或雨天/潮濕天氣下掃描。雖然在陽光下掃描是可能的，但它會在內(nèi)容創(chuàng)建階段引入大量清理工作，有時根本無法以良好的方式進(jìn)行清理，并且會留下偽影。因此，如果可能，請完全避開陽光并堅(jiān)持陰影！

潮濕的天氣會引起不同角度的反射，應(yīng)該避免，因?yàn)樗鼤绊憯z影測量軟件的校準(zhǔn)。在反射率中，潮濕的表面也比干燥的表面更暗，因?yàn)楸砻嬉呀?jīng)吸收了水，這并不能準(zhǔn)確地代表平衡場景所需的正確值。

最好的情況是陰天，這將提供均勻的照明條件，而不會從任何附近的表面反射任何顏色。雖然您可以在陰涼處或臨時云層覆蓋期間進(jìn)行掃描，但在陽光明媚的日子里，通過間接照明，物體上的偏色可能會發(fā)生變化。一般來說，這不是一個大問題，彩色圖表圖像可以幫助正確校準(zhǔn)，但請記住這一點(diǎn)。

捕獲內(nèi)容

捕獲攝影測量內(nèi)容是一個相當(dāng)簡單的過程，基礎(chǔ)知識也很容易理解：從現(xiàn)實(shí)生活對象的每個可能角度拍攝大量圖像，以便攝影測量軟件可以匹配圖像以創(chuàng)建 3D 點(diǎn)云并生成網(wǎng)格 和它的紋理。

在我的過程中，我使用了我之前談到的設(shè)備，而 RealityCapture 始終是我為 3D 模型運(yùn)行圖像時的首選軟件。

在捕捉內(nèi)容時，有一些關(guān)鍵的事情需要注意，雖然它們在概念上很容易，但各種情況的混合可能會使維護(hù)其中一些變得具有挑戰(zhàn)性。

這些關(guān)鍵是：

• 保持您的圖像盡可能清晰，具有高快門速度和高光圈值，最好是低 ISO；

• 用盡可能多的圖像和角度覆蓋資產(chǎn)；

• 確保捕獲的資產(chǎn)不會在圖像之間以任何方式移動；

• 檢查直方圖，以免達(dá)到絕對黑色或絕對白色，如果出現(xiàn)這種情況，圖像的這些部分將不會收集任何信息，并且在運(yùn)行之前校準(zhǔn)圖像時無法進(jìn)行補(bǔ)償；

• 始終使用您的資產(chǎn)拍攝顏色圖表的圖像。

清晰度對于圖像的對齊非常重要，并且還會影響生成的高多邊形網(wǎng)格的細(xì)節(jié)質(zhì)量。一般來說，這意味著在掃描時擁有正確的焦點(diǎn)，并且讓您的 F-stop 遠(yuǎn)離較低的數(shù)字。我通常嘗試在佳能 6D 上保持在 9-11 之間。但是，很難將 F-stop 保持在較高水平，因?yàn)檩^低的數(shù)字可以讓您在光線不足的情況下獲得更亮的圖像，而將其與較高的 ISO 平衡可能會引入噪點(diǎn)，這對您的圖像不利。

較低的快門速度也可以為您提供更明亮的圖像，因?yàn)樗梢宰尭嗟墓饩€進(jìn)入鏡頭，但這會帶來清晰度損失的風(fēng)險(xiǎn)，因?yàn)槟谂臄z圖像時可能會出現(xiàn)手部的微動。如果在光線非常暗的情況下，建議使用可以幫助穩(wěn)定低快門速度的三腳架。掃描物體可能需要更長的時間，但盡可能遵守銳度規(guī)則很重要。

對于手持掃描，我會避免低于 200 的快門速度，并且如果我需要將相機(jī)從可以通過鏡頭看到的位置移開（當(dāng)我需要拍攝難以到達(dá)的地方時，例如高處頭或低到地面）我盡量保持更高，因?yàn)楸３窒鄼C(jī)穩(wěn)定變得更加困難。

至少在對齊方面，可以通過大量圖像覆蓋/重疊來彌補(bǔ)較低清晰度的圖像，但是如果其中許多圖像仍然不清晰，那么較小的細(xì)節(jié)仍然不會正確顯示。

請記住，如果正在掃描的資產(chǎn)的特征或形狀不存在于任何照片中，則它永遠(yuǎn)不會存在于生成的 3D 網(wǎng)格中，這是一件好事，每個特征必須至少有幾個圖像為它被創(chuàng)建。RealityCapture 或其他攝影測量軟件中的外推或程序解決方案不會“生成”任何獨(dú)特的東西，只有拉伸的紋理和平坦的地理最多可以彌補(bǔ)缺失信息的空白。

掃描植被本身就是野獸，需要不同的方法。我將植被放在一塊大白布上，因?yàn)樗鼈儗⒃谝嬷杏米?alpha 卡，以便直接掃描它們或?qū)⑺鼈冇米鲃?chuàng)建 alpha 卡的參考。

有時使用藍(lán)色布片可能會很有效，因?yàn)樗菀自?Photoshop 中遮蓋，但藍(lán)色也會導(dǎo)致有問題的藍(lán)光在放置在板上的植被上反彈。我經(jīng)歷了反復(fù)試驗(yàn)，選擇了白色而不是藍(lán)色或黑色床單，但這真的取決于這里的口味。黑色的紙張更容易被遮蓋，并且不會將藍(lán)色反射到主體上，但它會變得非常暗，反而使拍攝更加困難。

較大的葉子和較粗的棍子更容易直接掃描，因?yàn)閿z影測量軟件有更清晰的細(xì)節(jié)要對齊，所以我嘗試直接從這些中獲取 3D 網(wǎng)格掃描，這將節(jié)省大量時間并且質(zhì)量總是更好但是當(dāng)植被具有較薄的細(xì)節(jié)時，例如松樹狀的樹木和灌木或草，掃描時它們在風(fēng)中移動的風(fēng)險(xiǎn)或它們太薄會在最終的 3D 模型中產(chǎn)生很多問題。在這些情況下，我只使用自上而下的圖像作為參考，然后在 Blender 中對分支進(jìn)行高模建模。有時可以掃描分支，但分支的較細(xì)端效果不佳，在這些情況下，可以創(chuàng)建手動制作的高模，然后烘烤并與分支的掃描部分組合。

在現(xiàn)實(shí)捕獲和清理中運(yùn)行您的資產(chǎn)

從攝影測量掃描創(chuàng)建內(nèi)容時，有幾個步驟可以清理資產(chǎn)并準(zhǔn)備好在引擎中使用。

清潔和準(zhǔn)備的數(shù)量取決于掃描的好壞以及掃描的條件。在最好的情況下，幾乎不需要進(jìn)行任何清理。

第一步是根據(jù)您的顏色圖表校準(zhǔn)圖像。最直接的方法是簡單地對顏色圖表上的白點(diǎn)進(jìn)行白平衡，這是一種快速簡便的方法，可以讓您的資產(chǎn)處于良好的狀態(tài)。但是，如果您想獲得非常精確的校準(zhǔn)，則首選針對整個顏色圖表色板進(jìn)行校準(zhǔn)。

如果您的掃描中有復(fù)雜的顏色跨越多個資產(chǎn)，例如具有強(qiáng)烈顏色漸變的巖石，并且如果它們是在不同的照明條件下捕獲的（即使在陰影中，周圍的照明條件可以投射彩色反射光），精確校準(zhǔn)可能很有價值。

校準(zhǔn)圖像后，就可以在攝影測量工具中運(yùn)行資產(chǎn)了，在本例中為 RealityCapture。

在大多數(shù)情況下，我只是在對齊設(shè)置中運(yùn)行中等圖像重疊，如果資產(chǎn)由于某種原因沒有對齊所有圖像，測試不同的對齊選項(xiàng)可能很有用，并且還嘗試使用 down-res 選項(xiàng)對于圖像——它可以幫助對齊找到其他圖像，有時可以解決問題并連接分離的組件。

如果這仍然不起作用，并且您在掃描附近的另一個資產(chǎn)時通過一些幸運(yùn)的鏡頭設(shè)法在背景中獲得了相同資產(chǎn)的額外圖像，請嘗試將這些額外的圖像添加到混合中，這可能正是 RealityCapture 查找所需要的并對齊組件。

我在從點(diǎn)云到 3D 網(wǎng)格的高細(xì)節(jié)上運(yùn)行我的模型，以充分利用資產(chǎn)，而正常和高之間的質(zhì)量差異取決于您的掃描。為了安全起見，我通常在高處跑步。

高模型完成后，是時候修剪和過濾掉多余的不需要的地理了。這樣做有兩個原因：

• 導(dǎo)出網(wǎng)格時不需要幾何成本，這可以減少數(shù)百萬個三角形，也可以更輕松地在 RealityCapture 之外使用；

• 如果模型將進(jìn)行 UV 貼圖和紋理處理，則烘焙區(qū)域的 UV 空間越多越好。但是，如果您從頂點(diǎn)顏色烘焙，這一點(diǎn)并不重要。

過濾完成后，我將紋理烘焙到高多邊形，或者作為 UVed 高多邊形到實(shí)際圖像紋理（以可能的最高分辨率）或頂點(diǎn)顏色，視情況而定，但我經(jīng)常使用頂點(diǎn)顏色。如果頂點(diǎn)顏色是首選方法，有時在過濾之前烘焙可能會很有用，并且我不確定要過濾掉的位置和內(nèi)容，如果需要，這會提供一些后退靈活性。

之后，我將其導(dǎo)出為 .PLY 并將其命名為 _HIGH，然后將模型抽取到 200-500k tris（對于需要表示的更復(fù)雜地理形狀的資產(chǎn)，數(shù)字更高）并將其導(dǎo)出為 _MID.ply。如果我確切地知道我的低多邊形會是什么樣子，并且稍后將添加裙子擴(kuò)展，可以在這里進(jìn)行進(jìn)一步的過濾。

這個 _MID 模型用作低多邊形創(chuàng)建的參考，因?yàn)楦叨噙呅尉W(wǎng)格對于其他軟件來說可能太大而無法處理。

在這個階段，是時候制作一個低多邊形來烘烤了。如何在 MID 上制作低多邊形作為參考取決于用戶——您可以選擇 Houdini 中的程序解決方案，使用來自 RealityCapture 的細(xì)分網(wǎng)格，然后對其進(jìn)行清理和 UV 映射，在其中進(jìn)行低多邊形首選的 3D 應(yīng)用程序，或者在 TopGun 中使用更手動但更準(zhǔn)確的方法。在方法的選擇上沒有對錯之分。代表我們將烘烤到的形狀的常規(guī)低多邊形就是我們所追求的。我傾向于混合使用我在 Blender 中清理的 RealityCapture 抽取，具體取決于網(wǎng)格的復(fù)雜性。

我通常堅(jiān)持“游戲友好”預(yù)算，而不是電影/VFX 預(yù)算，因?yàn)槿切斡?jì)數(shù)成本相對于對象大小，雖然這個項(xiàng)目中的內(nèi)容并不適用于任何特定的游戲或游戲類型，但我仍然保持在預(yù)算范圍內(nèi)從 AAA 經(jīng)驗(yàn)中學(xué)習(xí)并查看資產(chǎn)的形狀，并在幾何更復(fù)雜的地方給出更多三角形。

創(chuàng)建低多邊形后，值得查看資產(chǎn)，看看它是否需要蓋帽（如果接近實(shí)心形狀，則填充下方的空白點(diǎn)），或者在窗臺或壁架的情況下是否需要裙邊延伸巖壁。

這些裙邊擴(kuò)展旨在幫助將資產(chǎn)更好地合并到地形和其他資產(chǎn)中。裙子延伸的地方隨后將通過平鋪紋理在表面中進(jìn)行人工紋理化。如果使用這種方法，這條裙子還可以用作虛擬紋理混合的橋接區(qū)域。我通常只是將裙子直接向后拉伸，或者嘗試跟隨地面在現(xiàn)實(shí)世界資產(chǎn)上延伸的角度。該區(qū)域不需要完美的幾何圖形，因?yàn)樗ǔ１黄渌Y產(chǎn)的其他幾何圖形覆蓋，但也不應(yīng)該有任何明顯的網(wǎng)格問題。

如前所述，我經(jīng)常將 .ply 用于模型，因?yàn)槲視㈨旤c(diǎn)顏色烘焙到漫反射低多邊形，而您可以獲得的最高紋理質(zhì)量是將紋理烘焙到高多邊形模型上的 UV。據(jù)我所知，我仍然會選擇帶有 Vertex Color 的 .ply，接下來我將操縱紋理并將其調(diào)整到適合游戲的標(biāo)準(zhǔn)以及分層的細(xì)節(jié)紋理，從高多邊形烘焙中獲得的最高分辨率紋理因此，反照率將不會太明顯。

但是，如果您追求單個資產(chǎn)的最高分辨率，則從 UV 高模烘焙是可行的方法。

我烘焙顏色、AO、高度、腔體和法線（切線，有時是對象空間法線，如果需要進(jìn)行任何清理或特定于發(fā)動機(jī)外殼）。使用烘焙的低多邊形，資產(chǎn)可以準(zhǔn)備好導(dǎo)入引擎，也可以需要一些紋理清理。

清理時主要有兩點(diǎn)需要注意。

第一個是網(wǎng)格上缺少信息的破碎/模糊點(diǎn)。這些區(qū)域通常很容易通過在 Substance 3D Painter 中設(shè)置克隆沖壓層并簡單地從網(wǎng)格上的另一個來源獲取所有通道（反照率、高度、AO、法線等）并將其克隆沖壓到破碎的和缺失的區(qū)域。

二是照明信息去除。如果空腔中有嚴(yán)重的 AO 黑暗，可以使用烘焙的 AO 作為遮罩來照亮最暗的點(diǎn)，或者如果資產(chǎn)具有均勻的顏色，您可以反轉(zhuǎn)顏色并對其進(jìn)行灰度化，并將其用作增亮遮罩，雖然這通常不是最好的方法，但如果 AO 與 Albedo 上的黑暗區(qū)域不匹配，則可以提供幫助。

對于紋理中的強(qiáng)光照（如果資產(chǎn)是在強(qiáng)烈的陽光下掃描的）——這是最難擺脫的光照偽影，并且可能需要相當(dāng)多的工作——我推薦 Agisoft De-Lighter。它在尋找和取悅過強(qiáng)的陽光方面做得很好。然而，解決這個問題的最佳方法是根本沒有在強(qiáng)烈的陽光下掃描。

使用游戲內(nèi)的內(nèi)容

清理完成后只需導(dǎo)出到虛幻引擎即可。在我項(xiàng)目的這個階段，我從上一個項(xiàng)目中建立了主著色器和導(dǎo)入管道，并添加了一些小的更新和優(yōu)化。

總的來說，這里的重要部分是達(dá)到主著色器滿足您對集合中資產(chǎn)的需求的程度。例如，在自然環(huán)境中，所有巖石都將使用相同的一組詳細(xì)紋理，如果存在，則使用裙邊擴(kuò)展材料。我的自然著色器還包括解包紋理和接觸陰影調(diào)整選項(xiàng)。

有了主著色器，通過整個“掃描 - 實(shí)景捕捉 - 清理 - 導(dǎo)入”管道生成內(nèi)容變得非常高效，您可以快速生成大量內(nèi)容。

法線貼圖和漫反射紋理通常會進(jìn)行輕微的細(xì)節(jié)模糊處理，我會平滑最小的細(xì)節(jié)，因?yàn)榧?xì)節(jié)紋理會替換這些細(xì)節(jié)，將它們留在里面會導(dǎo)致質(zhì)量沖突，而模糊紋理實(shí)際上可以使它在與細(xì)節(jié)結(jié)合時看起來更好紋理。這里的勝利是紋理也可以縮小以節(jié)省紋理空間。

我在這個階段進(jìn)行紋理打包和細(xì)節(jié)紋理“切片”蒙版，我將顏色和蒙版打包到 RGB + A 中，將法線粗糙度和高度打包到 RG+B+A 設(shè)置中。

“切片”蒙版基本上只是一個黑白圖像，其中灰度值會將紋理陣列中的細(xì)節(jié)紋理映射到特定表面。在我的窗臺資產(chǎn)的情況下，白色將掩蓋自上而下的松樹表面層將掩蓋的地方，這是在著色器中驅(qū)動的，它將夾住最高的白色并將白色以下的任何東西視為黑色，然后在松樹中進(jìn)行掩蓋 表面。明亮的白色（不是全白，但接近它）、灰色和黑色將掩蓋資產(chǎn)上的平滑、粗糙和非常粗糙的巖石細(xì)節(jié)紋理。

導(dǎo)入資產(chǎn)后，只需使用它！當(dāng)資產(chǎn)進(jìn)入時，我通常會嘗試稍微測試一下形狀，看看是否需要稍微彎曲資產(chǎn)以使其更有用，或者調(diào)整任何紋理以更好地與其他資產(chǎn)對齊。開始時的校準(zhǔn)通常會使紋理非常接近正確的值，因此并不總是需要這樣做，但是現(xiàn)實(shí)生活中的巖石可能仍然與為該組掃描的大多數(shù)其他巖石看起來有些不同，因此使它們更接近 彼此值得做，即使它可能會稍微偏離“實(shí)際”顏色。

結(jié)尾

在 RealityCapture 和 Unreal 中使用攝影測量和自然生物群落集時，總體而言最重要的方面是確保一切都適合。

從同一位置掃描所有內(nèi)容，確保在相似的照明條件下掃描資產(chǎn)（首選陰天），始終使用顏色圖表掃描每個資產(chǎn)以供參考，并捕獲一組中不同大小的資產(chǎn)。

當(dāng)在現(xiàn)場捕獲一組好的資產(chǎn)時，建立一條生產(chǎn)線非常簡單，該生產(chǎn)線通過校準(zhǔn)、對齊、3D 網(wǎng)格和 RealityCapture 中的紋理移動資產(chǎn)，然后低多邊形烘焙到引擎結(jié)果。如果已經(jīng)為一項(xiàng)資產(chǎn)建立了每個步驟的基本設(shè)置和流程，那么您可以有效地為自然生物群系獲取大量內(nèi)容，從而使整個環(huán)境高效生產(chǎn)。