查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

關(guān)于AR增強(qiáng)現(xiàn)實(shí)的基礎(chǔ)

（映維網(wǎng)Nweon?2022年07月11日）據(jù)百科，AR增強(qiáng)現(xiàn)實(shí)是一種將虛擬信息與真實(shí)世界融合的技術(shù)。通過廣泛采用多媒體、三維建模、實(shí)時(shí)跟蹤及注冊(cè)、智能交互、傳感等多種技術(shù)手段，它能夠?qū)⒂?jì)算機(jī)生成的文字、圖像、三維模型、音樂、視頻等虛擬信息應(yīng)用到真實(shí)世界中。虛擬和真實(shí)兩種信息互為補(bǔ)充，從而實(shí)現(xiàn)虛擬數(shù)字對(duì)真實(shí)世界的“增強(qiáng)”。

日前，高通XR業(yè)務(wù)的戰(zhàn)略和合作伙伴負(fù)責(zé)人布萊恩·福格爾桑（Brian Vogelsang）撰文介紹了關(guān)于AR增強(qiáng)現(xiàn)實(shí)的基礎(chǔ)。下面是映維網(wǎng)的具體整理：

1. Anchor錨定和Scene場(chǎng)景

大多數(shù)AR應(yīng)用的一個(gè)常見功能是允許用戶移動(dòng)和放置虛擬對(duì)象。這涉及到錨定，元數(shù)據(jù)存儲(chǔ)虛擬對(duì)象的真實(shí)世界位置與方向，以及跨會(huì)話持久化。例如，即便從不同的位置或方向查看，在一個(gè)會(huì)話中放置的虛擬對(duì)應(yīng)在后續(xù)會(huì)話中依然可見。

類似地，“Trackable可追蹤”是指可以附著錨定的點(diǎn)或面。例如，與動(dòng)態(tài)環(huán)境中的移動(dòng)曲面相關(guān)聯(lián)的“可追蹤”會(huì)令所有定位對(duì)象相應(yīng)地重定位/重定向。

場(chǎng)景理解（又名Enviroment環(huán)境）是AR的另一個(gè)基本模塊。它涉及分析用戶的物理環(huán)境，創(chuàng)建一個(gè)將虛擬世界映射到物理世界的數(shù)字孿生。它可以將對(duì)象定位在空間中，并允許用戶可以在對(duì)象周圍移動(dòng)。它同時(shí)定義了設(shè)備（智能手機(jī)或頭顯）相對(duì)于環(huán)境的位置或方向。應(yīng)用程序可以分析一次周圍環(huán)境（例如在啟動(dòng)過程中定義有限區(qū)域時(shí)），或者在用戶導(dǎo)航時(shí)隨時(shí)間推移不斷建立和保存場(chǎng)景信息。

行業(yè)有兩種主要的場(chǎng)景理解方法：

• Marker-based：這種基于標(biāo)記的方法識(shí)別攝像頭可以捕獲的視覺特征或標(biāo)記。圖像處理算法和計(jì)算機(jī)視覺技術(shù)通常用于檢測(cè)對(duì)象的角點(diǎn)或邊緣等特征。

• Markerless-based：無標(biāo)記方法則利用諸如羅盤、加速計(jì)、陀螺儀或GPS等IMU，而所述傳感器數(shù)據(jù)一般會(huì)通過higl-level API提供給應(yīng)用開發(fā)者。

開發(fā)人員通常會(huì)混合使用這兩種方法。它們一起可以提供更豐富的信息，或者提供缺失的信息。例如，當(dāng)GPS不可用時(shí)，傳感器和視覺數(shù)據(jù)可以從上次已知的GPS位置近似計(jì)算設(shè)備的位置。

與場(chǎng)景理解相關(guān)的是深度理解（又稱深度估計(jì)）。這可以導(dǎo)出到場(chǎng)景中要素或?qū)ο蟮木嚯x。有了所述信息，虛擬對(duì)象可以與環(huán)境交互，例如防止出現(xiàn)穿墻現(xiàn)象。它同時(shí)為遮擋計(jì)算提供了幫助，亦即物理對(duì)象可以遮擋虛擬對(duì)象。

2. 關(guān)鍵AR開發(fā)技能

AR涉及渲染知識(shí)、美術(shù)asset創(chuàng)建和UI/UX設(shè)計(jì)。

2.1 渲染知識(shí)

在渲染方面，AR需要的知識(shí)包括：

• 熟悉3D空間，包括諸如向量和矩陣之類的3D數(shù)學(xué)。

• 圖形管道，用于將美術(shù)軟件包中的asset轉(zhuǎn)換為針對(duì)給定平臺(tái)優(yōu)化的格式。開發(fā)所述工具通常需要對(duì)目標(biāo)平臺(tái)的第一手知識(shí)，而這一般可以通過平臺(tái)文檔獲取。

• 實(shí)現(xiàn)特殊效果的著色器。

• 場(chǎng)景管理，僅加載/渲染當(dāng)前視口所需的內(nèi)容（即用戶的2D屏幕或沉浸式頭戴設(shè)備提供的視場(chǎng)）。

你應(yīng)該掌握實(shí)時(shí)的、基于幀的軟件架構(gòu)。例如，典型的游戲循環(huán)獲取用戶輸入，根據(jù)輸入更新游戲邏輯，然后相應(yīng)地進(jìn)行渲染。AR循環(huán)添加傳感器輸入集合，并在更新和渲染階段考慮物理世界。

實(shí)時(shí)架構(gòu)需要實(shí)時(shí)調(diào)試技術(shù)。遠(yuǎn)程調(diào)試允許AR視口在設(shè)備保持可見，將開發(fā)機(jī)器保留為代碼、斷點(diǎn)等。臨時(shí)debug overlay同時(shí)可用于顯示當(dāng)前幀中從幀速率到對(duì)象名稱的所有內(nèi)容。

2.2 美術(shù)asset注意事項(xiàng)

美術(shù)asset提供AR中的視覺效果，所以請(qǐng)?jiān)趫F(tuán)隊(duì)中納入經(jīng)驗(yàn)豐富的2D和3D圖形美術(shù)。他們可以包括角色建模師和動(dòng)畫師、對(duì)象建模師、UI設(shè)計(jì)師和紋理美術(shù)。

2D美術(shù)asset可以包括標(biāo)牌、信息板、虛擬UI的圖像和紋理，以及在屏幕保持固定的平視顯示器（HUD）。紋理同時(shí)用于粒子系統(tǒng)等效果，例如煙霧。

3D美術(shù)asset包括對(duì)象、角色和增強(qiáng)環(huán)境的環(huán)境模型?？梢詣?chuàng)建模型rig，以按程序設(shè)置動(dòng)畫，或者使用動(dòng)畫數(shù)據(jù)流。

以下是創(chuàng)建美術(shù)asset的一般注意事項(xiàng)：

• 確定虛擬對(duì)象在AR中的效果。因?yàn)樗鰧?duì)象是在物理世界中渲染，所以它們的大小應(yīng)該契合周圍的環(huán)境。

• 使用LOD來平衡性能和真實(shí)感。如果需要額外的渲染負(fù)載來顯示特寫對(duì)象的詳細(xì)信息，請(qǐng)使用復(fù)雜模型和詳細(xì)紋理。當(dāng)用戶離開時(shí)，切換到不太詳細(xì)的模型以減少渲染負(fù)載。

-考慮添加基于物理的渲染（PBR）。PBR模擬光如何從不同材質(zhì)反射。這可以提高真實(shí)感，并幫助虛擬對(duì)象與物理世界融合。

2.3 UI和UX考量

當(dāng)今2D移動(dòng)應(yīng)用中使用的諸多手勢(shì)通?？梢院芎玫剞D(zhuǎn)換至AR交互，例如輕觸選擇對(duì)象，滑動(dòng)移動(dòng)對(duì)象，抓捏調(diào)整對(duì)象大小等。所以，移動(dòng)應(yīng)用開發(fā)者對(duì)于這一點(diǎn)應(yīng)該會(huì)感到非常熟悉。除了在觸控屏實(shí)現(xiàn)所述手勢(shì)之外，開發(fā)人員同時(shí)可以通過手部追蹤進(jìn)行實(shí)現(xiàn)，通過頭戴式設(shè)備中的攝像頭或傳感器來捕捉手部和手指的運(yùn)動(dòng)。

永遠(yuǎn)記住，安全第一。AR體驗(yàn)比傳統(tǒng)的移動(dòng)應(yīng)用更具沉浸感，所以不能讓用戶在交互過程中失去對(duì)周圍環(huán)境的追蹤，甚至體驗(yàn)到暈動(dòng)癥。為了防止這種情況的發(fā)生，請(qǐng)?zhí)嵝延脩糇⒁庵車h(huán)境，避免倒著走的情況。另外，限制AR會(huì)話時(shí)間，以便用戶可以輕松回歸現(xiàn)實(shí)世界。

3. 硬件

如今的智能手機(jī)、平板電腦和頭戴式設(shè)備都配備了高分辨率攝像頭和智能傳感器，甚至包括5G mmWave等低延遲云連技術(shù)，從而允許開發(fā)者決定在何處最好地執(zhí)行繁重的處理。

所述技術(shù)是驍龍移動(dòng)平臺(tái)的核心，并且正在賦能當(dāng)今一系列的移動(dòng)設(shè)備和AR體驗(yàn)。智能手機(jī)AR是一個(gè)簡(jiǎn)單的選擇，可以幫助你馬上開始AR開發(fā)之旅，比如說Motorola edge+?；蛘吣憧梢試L試聯(lián)想ThinkReality A3這樣的頭戴式顯示器，以實(shí)現(xiàn)更具沉浸感的AR開發(fā)。

4. 你將積累什么樣的經(jīng)驗(yàn)？

AR應(yīng)用程序可以跨越眾多垂直領(lǐng)域，包括游戲、醫(yī)療和制造業(yè)等等。盡管AR頭顯很快將提供更具沉浸感的體驗(yàn)，但我們認(rèn)為，目前理想的消費(fèi)類移動(dòng)AR應(yīng)用是用于增強(qiáng)日常生活體驗(yàn)的應(yīng)用。

對(duì)于這方面，你或許已經(jīng)相當(dāng)熟悉，例如在視場(chǎng)顯示直觀箭頭指示的尋路導(dǎo)航；又如可以允許專家為你提供指引幫助的遠(yuǎn)程支持等等。

我們?nèi)碌尿旪圫paces平臺(tái)提供了構(gòu)建沉浸式AR體驗(yàn)所需的工具。驍龍Spaces HDK包括Motorola edge+智能手機(jī)和聯(lián)想ThinkReality A3智能眼鏡。你可以參閱我們的快速入門指南，然后下載驍龍Spaces SDK。然后，你可以開始在Unity或Unreal中使用SDK，并實(shí)現(xiàn)你的奇思妙想。

你同時(shí)可以利用其他多種工具和框架來構(gòu)建AR體驗(yàn)，包括：

• 谷歌的ARCore是用于為Android設(shè)備開發(fā)AR應(yīng)用的API。

• Unity的XR Interaction Toolkit和MARS是用于可視化AR開發(fā)的工具。

• OpenXR是一種開放的AR API標(biāo)準(zhǔn)，針對(duì)不同的設(shè)備有多種實(shí)現(xiàn)。驍龍Spaces提供符合OpenXR的運(yùn)行時(shí)和各種OpenXR擴(kuò)展

• 對(duì)于功能強(qiáng)大的手持式AR應(yīng)用，你可以考慮Wikitude SDK。

• 我們的Qualcomm?Computer Vision SDK可用于AR中的手勢(shì)檢測(cè)和計(jì)算機(jī)視覺功能。

隨著移動(dòng)AR的快速增長，進(jìn)入AR開發(fā)領(lǐng)域的最佳時(shí)機(jī)前所未有。通過學(xué)習(xí)和掌握相關(guān)的技能，你將能隨著行業(yè)的發(fā)展而開發(fā)出更復(fù)雜，更引人入勝的AR體驗(yàn)。

---
原文鏈接：https://news.nweon.com/98873