查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

重建虛擬環(huán)境

（映維網(wǎng)Nweon?2023年08月11日）對(duì)于通過HoloLens與遠(yuǎn)程用戶通信，你可以捕獲對(duì)周圍環(huán)境的視圖，并將相關(guān)圖像或視頻傳輸給遠(yuǎn)程用戶。但對(duì)于遠(yuǎn)程用戶，你看到的視圖僅限于AR設(shè)備的視角，即攝像頭的位置和方向。這種有限的視角可能會(huì)導(dǎo)致用戶花費(fèi)更多時(shí)間來執(zhí)行會(huì)議的功能，例如診斷機(jī)械問題，評(píng)估原型，為一件藝術(shù)品定價(jià)等等。

所以在名為“Re-creation of virtual environment through a video call”的專利申請(qǐng)中，微軟提出可以重建一個(gè)虛擬環(huán)境，并允許遠(yuǎn)程用戶從多個(gè)角度查看。

如圖1所示，計(jì)算設(shè)備102與遠(yuǎn)程計(jì)算設(shè)備104交互。遠(yuǎn)程計(jì)算設(shè)備104可以是個(gè)人計(jì)算機(jī)或其他設(shè)備，而計(jì)算設(shè)備102可以是HoloLens。

遠(yuǎn)程計(jì)算設(shè)備104接收由計(jì)算設(shè)備102生成的網(wǎng)格數(shù)據(jù)106和圖像108，并在UI 118中呈現(xiàn)圖像108。通過這種方式，遠(yuǎn)程計(jì)算設(shè)備的用戶119B可以看到計(jì)算設(shè)備102的用戶119A所看到的真實(shí)世界環(huán)境109的視圖，以及用于增強(qiáng)所述視圖的任何虛擬對(duì)象。

圖2是示出用戶119B從第二視角203查看場(chǎng)景的3D表示218的計(jì)算系統(tǒng)圖200，第二視角203不同于捕獲場(chǎng)景的光學(xué)攝像頭的視角103。如在3D表示218中所示，桌面210、虛擬杯子212、窗戶214和墻壁216從第二個(gè)角度203描繪。

在一個(gè)實(shí)施例中，通過生成3D表示、以算法方式改變觀點(diǎn)并將更新的3D表示投影到遠(yuǎn)程計(jì)算設(shè)備104，并從網(wǎng)格數(shù)據(jù)106和圖像108重構(gòu)視圖。

用戶的設(shè)備包括2D顯示器。將3D表示投影到2D顯示器涉及從新視角生成深度圖等步驟。對(duì)于2D顯示器的每個(gè)像素，可以通過計(jì)算從新視角到與像素相關(guān)聯(lián)的3D表示的一部分的距離來生成深度圖。

例如，對(duì)于顯示桌子210的一部分的每個(gè)像素，計(jì)算從新透視圖到表相應(yīng)部分的距離。在一個(gè)實(shí)施例中，所述計(jì)算基于由網(wǎng)格數(shù)據(jù)106編碼的場(chǎng)景中對(duì)象的位置。

比方說，桌子210可能由一系列三角形、矩形或其他幾何形狀組成，而幾何形狀在大小、方向和位置進(jìn)行了定義。確定從新3D透視圖的距離可包括確定從新3D透視圖到網(wǎng)格數(shù)據(jù)106中包含的一個(gè)或多個(gè)幾何形狀的距離。

在一個(gè)實(shí)施例中，3D表示中的對(duì)象投射的陰影通過從場(chǎng)景中的光源投射光線，并計(jì)算光線在網(wǎng)格數(shù)據(jù)106中擊中對(duì)象的時(shí)間來確定。光線的方向及其照射的對(duì)象的位置可用于確定光線如何從第二視角投下陰影203。

例如，基于用于識(shí)別燈泡和其他光源的機(jī)器學(xué)習(xí)技術(shù)，從網(wǎng)格數(shù)據(jù)106和圖像108確定光源。

接下來，基于源自圖像108的像素的顏色、一個(gè)或多個(gè)照明值等計(jì)算每個(gè)像素的顏色值。

在一個(gè)實(shí)施例中，使用支持3D的設(shè)備（例如VR/AR/MR設(shè)備）呈現(xiàn)3D表示。在所述實(shí)施例中，3D表示以3D呈現(xiàn)，從而避免將三維表示投影到2D顯示器的過程。

在一個(gè)實(shí)施例中，諸如虛擬杯子212的虛擬對(duì)象包括在渲染過程中。如上所述，可以在場(chǎng)景中檢測(cè)到光源。照明效果和陰影可以應(yīng)用于虛擬對(duì)象，例如虛擬杯子212。例如，光源可用于計(jì)算虛擬對(duì)象投射的陰影。

在一個(gè)實(shí)施例中，放置在場(chǎng)景中的虛擬對(duì)象可以渲染為包括從周圍對(duì)象合并的反射、陰影或其他細(xì)節(jié)。例如，定義為具有反射表面并放置在桌面上的蠟燭旁邊的虛擬球體可以反射桌面和蠟燭的圖像。

這種反射可以使用著色器技術(shù)、光追或其他已知的算法來完成，以估計(jì)來自周圍對(duì)象的光對(duì)虛擬對(duì)象的影響。對(duì)虛擬對(duì)象的反射的處理可以通過計(jì)算設(shè)備102或遠(yuǎn)程計(jì)算設(shè)備104來執(zhí)行。

圖2中描述的實(shí)施例通過向用戶119B提供場(chǎng)景的附加視角，以計(jì)算效率的方式提供對(duì)現(xiàn)實(shí)世界環(huán)境的額外洞察。例如，如果用戶119A正在向場(chǎng)景內(nèi)定位桌子210的用戶119B尋求幫助，則用戶119B可以使用不同的視角來判斷桌子210與墻壁116的距離應(yīng)該有多近。

圖3是計(jì)算系統(tǒng)圖300，示出同時(shí)顯示場(chǎng)景的3D表示的兩個(gè)不同透視圖的兩個(gè)計(jì)算設(shè)備。在一個(gè)實(shí)施例中，用戶119B佩戴具有3D功能的設(shè)備302，例如VR頭顯、AR頭顯、MR頭顯或類似設(shè)備。

支持3D的設(shè)備302可以顯示UI 318，其中包含從視角103的場(chǎng)景的3D表示。這樣，使用戶119B能夠通過計(jì)算設(shè)備302查看用戶119A所查看的場(chǎng)景。同時(shí)，遠(yuǎn)程計(jì)算設(shè)備104顯示UI 320，允許其從不同的角度查看場(chǎng)景，例如上述結(jié)合圖2所討論的角度。

在一個(gè)實(shí)施例中，UI 318中顯示的3D透視圖可以追蹤用戶119A的透視圖，例如，當(dāng)設(shè)備102移動(dòng)和/或旋轉(zhuǎn)時(shí)，UI 318中顯示的透視圖更新以反映新的透視圖。例如，當(dāng)用戶119A在場(chǎng)景中移動(dòng)、環(huán)顧四周或以其他方式改變計(jì)算設(shè)備102的位置和/或方向時(shí)，UI 318可以更新以顯示來自設(shè)備102的新位置/方向的視角。

在一個(gè)實(shí)施例中，設(shè)備102可以在真實(shí)世界環(huán)境中連續(xù)移動(dòng)，使得視場(chǎng)在幀與幀之間不會(huì)顯著改變。這樣，一幀的網(wǎng)格數(shù)據(jù)表示可以包含用于顯示后續(xù)幀的網(wǎng)格數(shù)據(jù)的重要部分。

在一個(gè)實(shí)施例中，為了給用戶119B提供更流暢的視覺體驗(yàn)，除了更新的網(wǎng)格數(shù)據(jù)外，設(shè)備102可以傳輸視角的變化，允許計(jì)算設(shè)備302使用現(xiàn)有的網(wǎng)格數(shù)據(jù)106顯示新的視角，同時(shí)捕獲和傳輸更新的網(wǎng)格數(shù)據(jù)。

這個(gè)現(xiàn)有的網(wǎng)格數(shù)據(jù)是舊的，因?yàn)樗鼪]有從新的角度包含額外的信息。然而，一旦接收到附加的網(wǎng)格數(shù)據(jù)信息，設(shè)備302可以相應(yīng)地更新UI 318的內(nèi)容。

在任何時(shí)候，用戶119B都可以將UI 318的透視圖與用戶119A的透視圖103解耦。如果用戶119B在場(chǎng)景中看到感興趣的內(nèi)容，或者找到一個(gè)對(duì)手頭任務(wù)有啟發(fā)的視角，這可能是有益的。

用戶119B可以選擇暫時(shí)暫停透視圖，例如，暫停一段時(shí)間，之后透視圖可以恢復(fù)到用戶119A的實(shí)時(shí)透視圖。類似地，用戶119B可以選擇無限期地與用戶119A的透視圖解耦，或者直到用戶119B就透視圖的選擇做出另一個(gè)決定。

在一個(gè)實(shí)施例中，用戶119B可以選擇從當(dāng)前視角創(chuàng)建虛擬camera。虛擬camera可以創(chuàng)建場(chǎng)景的永久或半永久視角。通過這種方式，用戶119B可以識(shí)別對(duì)完成手頭任務(wù)有價(jià)值的多個(gè)不同視角。

在一個(gè)實(shí)施例中，用戶119A可以改變UI 318顯示的透視圖，例如在暫停透視圖、實(shí)時(shí)透視圖、虛擬攝像機(jī)透視圖等之間旋轉(zhuǎn)。多個(gè)透視圖可以在設(shè)備302同時(shí)顯示，例如以網(wǎng)格模式顯示。

在一個(gè)實(shí)施例中，用戶119B可以選擇要顯示在不同設(shè)備上的透視圖之一，例如遠(yuǎn)程計(jì)算設(shè)備104的UI 320。在確定新的透視圖、從透視圖列表中選擇要顯示的透視圖以及選擇要在其上查看透視圖的顯示器/設(shè)備等方面的靈活性極大地增強(qiáng)了遠(yuǎn)程通話體驗(yàn)。

在一個(gè)實(shí)施例中，暫停、解耦或以其他方式改變一個(gè)或多個(gè)UI顯示的視角不會(huì)阻止場(chǎng)景的3D表示渲染。例如，如果用戶119A正在建造紙牌屋，用戶119B可以暫停UI 318中顯示的透視圖，同時(shí)繼續(xù)查看用戶119A建造紙牌屋。

暫停透視圖會(huì)導(dǎo)致用戶119B從固定的透視圖查看場(chǎng)景，即使用戶119A的透視圖繼續(xù)變化。如果用戶119A突然改變視角103，分散了對(duì)場(chǎng)景內(nèi)容的注意力，用戶119B可能希望暫停視角。

圖4示出虛擬camera404在場(chǎng)景的3D表示的地板圖402上的位置的計(jì)算系統(tǒng)圖400。如圖所示，虛擬camera404面向桌子410、虛擬杯子412和窗戶414。虛擬camera404可以固定在位置和/或方向上，或者虛擬camera404可以綁定到諸如設(shè)備102的設(shè)備的位置和/或方向上。

在一個(gè)實(shí)施例中，虛擬camera404可以分配來追蹤場(chǎng)景中的目標(biāo)對(duì)象，例如人、識(shí)別為需要關(guān)注的對(duì)象等。一旦目標(biāo)對(duì)象被用戶選擇，則可以從網(wǎng)格數(shù)據(jù)106中提取目標(biāo)對(duì)象的3D模型。

然后，如果目標(biāo)對(duì)象在真實(shí)世界場(chǎng)景中移動(dòng)，例如，如果用戶119A將其撿起并放置在新的位置，則計(jì)算設(shè)備102、104或302中的一個(gè)可以搜索場(chǎng)景以在新位置定位目標(biāo)對(duì)象的3D模型。一旦目標(biāo)對(duì)象的新位置被識(shí)別，虛擬camera404可以自動(dòng)改變視角以保持目標(biāo)對(duì)象在視圖中。

圖5是示出已與過去捕獲的數(shù)據(jù)集成的場(chǎng)景的3D表示的計(jì)算系統(tǒng)圖500。

在一個(gè)實(shí)施例中，沙發(fā)502和燈504過去被捕獲，產(chǎn)生過去的網(wǎng)格數(shù)據(jù)506和過去的圖像508。過去的捕獲可以由設(shè)備102執(zhí)行，或可以由另一個(gè)設(shè)備(未如圖所示)執(zhí)行。

過去的捕獲可以在會(huì)議過程中執(zhí)行，例如，當(dāng)用戶119A將計(jì)算設(shè)備102指向沙發(fā)502和燈504時(shí)。通過保存捕獲的關(guān)于這些對(duì)象的信息，并將數(shù)據(jù)與網(wǎng)格數(shù)據(jù)和圖像的實(shí)時(shí)流相結(jié)合，用戶119B可以獲得比單獨(dú)的實(shí)時(shí)數(shù)據(jù)所能提供的更完整的場(chǎng)景。

過去捕獲的數(shù)據(jù)也可用于提供當(dāng)前實(shí)時(shí)流中對(duì)象的額外細(xì)節(jié)。例如，可以從計(jì)算設(shè)備102的角度捕獲桌子410，但桌子410中被遮擋的部分無法獲得實(shí)時(shí)數(shù)據(jù)。因此，如果不集成過去捕獲的數(shù)據(jù)，用戶119B將無法查看桌子410中被遮擋的部分。

計(jì)算設(shè)備102可以基于網(wǎng)格數(shù)據(jù)識(shí)別其所處的房間或其他環(huán)境。例如，計(jì)算設(shè)備102可以根據(jù)墻壁的位置和大小、窗戶的位置和大小以及不傾向于移動(dòng)的其他物體的位置和大小來推斷房間的大小。

一旦房間被識(shí)別，網(wǎng)格數(shù)據(jù)和先前從房間內(nèi)捕獲的圖像可能會(huì)被整合到實(shí)時(shí)3D表示中。除了房間，室內(nèi)和室外的其他環(huán)境同樣會(huì)納入考慮。

圖6是示出已與由第二攝像頭610捕獲的數(shù)據(jù)集成的場(chǎng)景的3D表示的計(jì)算系統(tǒng)圖600。

在一個(gè)實(shí)施例中，第二攝像頭610添加到計(jì)算環(huán)境中。UI 618描述了場(chǎng)景的平面圖視圖，集成了來自計(jì)算設(shè)備102和第二攝像頭610的數(shù)據(jù)。因此，沙發(fā)602和燈604是基于實(shí)時(shí)數(shù)據(jù)繪制。

在一個(gè)實(shí)施例中，虛擬camera404描述與計(jì)算設(shè)備302相關(guān)聯(lián)的虛擬camera的位置和方向。虛擬camera404的透視圖在UI 620中呈現(xiàn)。類似地，虛擬camera612的透視圖在UI 622中呈現(xiàn)。在一個(gè)實(shí)施例中，允許用戶119B在UI 620和UI 622的透視圖之間切換。

在一個(gè)實(shí)施例中，第二攝像頭610包含在UI 620和622中，因?yàn)榈诙z像頭610是包含在場(chǎng)景中的現(xiàn)實(shí)世界對(duì)象。但在其他實(shí)施例中，計(jì)算設(shè)備102可以不渲染場(chǎng)景中的其他攝像頭。

圖7是示出用于呈現(xiàn)3D環(huán)境的不同透視圖的例程。

從操作702開始，遠(yuǎn)程計(jì)算設(shè)備104從計(jì)算設(shè)備102接收定義真實(shí)世界環(huán)境109的3D表示的網(wǎng)格數(shù)據(jù)106。

操作706中，遠(yuǎn)程計(jì)算設(shè)備104在一個(gè)實(shí)施例中基于虛擬攝像機(jī)的位置和方向確定第二視角。

操作708，遠(yuǎn)程計(jì)算設(shè)備104接收先前捕獲的真實(shí)世界環(huán)境的網(wǎng)格數(shù)據(jù)和圖像。

操作710，其中先前捕獲的網(wǎng)格數(shù)據(jù)和圖像被集成到真實(shí)世界環(huán)境的實(shí)時(shí)3D表示中。

相關(guān)專利：Microsoft Patent | Re-creation of virtual environment through a video call

https://patent.nweon.com/29683

名為“Re-creation of virtual environment through a video call”的微軟專利申請(qǐng)最初在2023年4月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/111388