查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

支持遠(yuǎn)程混合現(xiàn)實(shí)設(shè)備用戶結(jié)合3D表面重建（SR）網(wǎng)格數(shù)據(jù)和實(shí)時(shí)視頻數(shù)據(jù)來(lái)查看本地MR設(shè)備環(huán)境

（映維網(wǎng)Nweon?2023年09月12日）諸如微軟HoloLens?2這樣的混合現(xiàn)實(shí)可以為遠(yuǎn)程用戶提供沉浸式第一視角，并通過(guò)語(yǔ)音和圖像疊加等方式來(lái)提供協(xié)作支持。這種系統(tǒng)可用于醫(yī)療，教學(xué)和維修維護(hù)等場(chǎng)景。隨著技術(shù)的發(fā)展，有必要進(jìn)一步提高遠(yuǎn)程用戶的沉浸感，營(yíng)造一種允許遠(yuǎn)程用戶仿佛置身于本地環(huán)境中的氛圍，從而進(jìn)一步提高協(xié)作體驗(yàn)。

在名為”Mixed reality environment display using surface reconstruction mesh and live video overlay“的專(zhuān)利申請(qǐng)中，微軟介紹了一種用于支持遠(yuǎn)程混合現(xiàn)實(shí)設(shè)備用戶結(jié)合3D表面重建（SR）網(wǎng)格數(shù)據(jù)和實(shí)時(shí)視頻數(shù)據(jù)來(lái)查看本地MR設(shè)備環(huán)境的方法。遠(yuǎn)程用戶同時(shí)能夠向本地MR設(shè)備的用戶提供反饋，包括基于音頻的反饋。

在一個(gè)實(shí)施例中，可以結(jié)合使用SR網(wǎng)格數(shù)據(jù)和攝影測(cè)量技術(shù)來(lái)生成與本地環(huán)境密切匹配的3D空間，然后將本地環(huán)境的實(shí)時(shí)視頻饋電疊加在生成的3D空間。這種混合虛擬現(xiàn)實(shí)體驗(yàn)可以允許遠(yuǎn)程用戶完全沉浸在相同的環(huán)境之中。

另外，實(shí)時(shí)視頻饋送提供3D數(shù)據(jù)，使得實(shí)時(shí)視頻饋送能夠緊密貼合虛擬環(huán)境的3D SR網(wǎng)格，而不僅僅是顯示二維視頻。

圖1示出了配置為向遠(yuǎn)程設(shè)備106提供實(shí)時(shí)視頻數(shù)據(jù)流118，以支持遠(yuǎn)程位置的用戶能夠查看環(huán)境108的系統(tǒng)100。其中，本地MR設(shè)備102捕獲環(huán)境108的光學(xué)數(shù)據(jù)，并通過(guò)網(wǎng)絡(luò)104將所獲得的數(shù)據(jù)流式傳輸給遠(yuǎn)程MR設(shè)備106，遠(yuǎn)程MR設(shè)備106使用所述流式數(shù)據(jù)向遠(yuǎn)程用戶顯示表面重建（SR）網(wǎng)格環(huán)境顯示120。

MR設(shè)備102包括攝像頭或其他光學(xué)捕獲接口或設(shè)備，并用于捕獲代表用戶正在查看的環(huán)境108中的區(qū)域的光學(xué)數(shù)據(jù)。MR設(shè)備102進(jìn)一步包括深度傳感器，從而捕獲與光學(xué)數(shù)據(jù)相關(guān)聯(lián)的景深信息。在這樣的示例中，MR設(shè)備102使用景深信息來(lái)識(shí)別表面的相對(duì)位置并生成SR網(wǎng)格數(shù)據(jù)。

遠(yuǎn)程MR設(shè)備106包括以與上述本地MR設(shè)備102相同的方式配置的硬件、固件和/或軟件。MR設(shè)備106包括用于檢測(cè)位置、方向和/或移動(dòng)的組件，例如一個(gè)或多個(gè)加速度計(jì)。

在一個(gè)實(shí)施例中，環(huán)境108包括多個(gè)不同的表面。例如，環(huán)境108可以包括手術(shù)室。

可以通過(guò)本地MR設(shè)備102捕獲環(huán)境108中表面的位置，捕獲與環(huán)境108相關(guān)的光學(xué)數(shù)據(jù)包括捕獲表面的位置、表面的位置、表面的紋理、表面的顏色、表面的攝影測(cè)量數(shù)據(jù)等。

患者110和窗口區(qū)域112位于環(huán)境108中，并且患者110在整個(gè)手術(shù)或過(guò)程中趨向于保持靜止。當(dāng)患者110在環(huán)境108中就位時(shí)，與患者110的表面相關(guān)聯(lián)的光學(xué)數(shù)據(jù)由本地MR設(shè)備102和/或其他光學(xué)捕獲組件捕獲。

環(huán)境中的窗口區(qū)域112定義為捕獲實(shí)時(shí)視頻數(shù)據(jù)118并將其提供給遠(yuǎn)程MR設(shè)備106的區(qū)域。窗口區(qū)域112可以是相對(duì)于患者110區(qū)域定義的靜態(tài)區(qū)域?；蛘撸翱趨^(qū)域112可以是動(dòng)態(tài)的，并且區(qū)域112位置可以由本地MR設(shè)備102的用戶、遠(yuǎn)程MR設(shè)備106的用戶和/或另一方或?qū)嶓w來(lái)調(diào)整。

窗口區(qū)域112包括多個(gè)光學(xué)捕獲組件的視場(chǎng)，從而允許遠(yuǎn)程MR設(shè)備106的用戶查看患者110的區(qū)域。在這樣的示例中，多個(gè)光學(xué)捕獲組件的捕獲視場(chǎng)可以組合，使得遠(yuǎn)程MR設(shè)備106的用戶在查看虛擬SR網(wǎng)格環(huán)境顯示時(shí)可以在視場(chǎng)之間基本無(wú)縫切換。

例如，如果窗口區(qū)域112包括懸掛在患者110上方的兩個(gè)靜態(tài)攝像頭的視場(chǎng)，這時(shí)可以根據(jù)他們正在查看患者的具體位置，向遠(yuǎn)程MR設(shè)備106的用戶提供兩個(gè)靜態(tài)攝像頭之一的實(shí)時(shí)視頻饋送。

當(dāng)用戶轉(zhuǎn)動(dòng)其頭部或以其他方式調(diào)整其視場(chǎng)以查看患者的其他位置時(shí)，可以提供另一個(gè)攝像頭的實(shí)時(shí)視頻饋送。

可選地，環(huán)境108包括一個(gè)或多個(gè)攝像頭，并可由遠(yuǎn)程MR設(shè)備106的用戶控制，使得用戶能夠改變攝像頭的視場(chǎng)，從而在其實(shí)時(shí)視頻饋送中看到所需的患者部分。

數(shù)據(jù)流114由本地MR設(shè)備102通過(guò)網(wǎng)絡(luò)104提供給遠(yuǎn)程MR設(shè)備106。數(shù)據(jù)流114包括SR網(wǎng)格數(shù)據(jù)116和視頻數(shù)據(jù)118。

SR網(wǎng)格數(shù)據(jù)116包括環(huán)境108的光學(xué)數(shù)據(jù)，以及基于所述光學(xué)數(shù)據(jù)指示環(huán)境中表面位置的數(shù)據(jù)。在一個(gè)實(shí)施例中，可以利用攝影測(cè)量技術(shù)從光學(xué)數(shù)據(jù)中提取環(huán)境的三維表面數(shù)據(jù)并生成SR網(wǎng)格數(shù)據(jù)116。

SR網(wǎng)格數(shù)據(jù)116包括表示環(huán)境三維空間中點(diǎn)的網(wǎng)格的數(shù)據(jù)，其中點(diǎn)和點(diǎn)之間的連接表示環(huán)境中表面的位置。另外，所述點(diǎn)在三維空間中的位置是根據(jù)捕獲的光學(xué)數(shù)據(jù)確定。

在一個(gè)實(shí)施例中，SR網(wǎng)格數(shù)據(jù)116是基于由本地MR設(shè)備102或其他光學(xué)捕獲組件從環(huán)境捕獲的光學(xué)數(shù)據(jù)生成。另外，SR網(wǎng)格數(shù)據(jù)116包括疊加在SR網(wǎng)格的圖像數(shù)據(jù)。在這樣的例子中，從環(huán)境中捕獲的光學(xué)數(shù)據(jù)轉(zhuǎn)換成圖像，并排列在SR網(wǎng)格的位置，使得SR網(wǎng)格以一定程度的精度提供環(huán)境中每個(gè)表面的攝影外觀。

SR網(wǎng)格數(shù)據(jù)116由遠(yuǎn)程MR設(shè)備106用于向設(shè)備106的用戶顯示SR網(wǎng)格環(huán)境顯示120。所顯示的SR網(wǎng)格環(huán)境顯示器120是具有多個(gè)定位表面的3D虛擬環(huán)境，從而使得虛擬環(huán)境看起來(lái)與本地MR設(shè)備102的環(huán)境108基本相同。

在初始時(shí)間間隔內(nèi)捕獲用于生成SR網(wǎng)格數(shù)據(jù)116的光學(xué)數(shù)據(jù)，生成SR網(wǎng)格數(shù)據(jù)116并提供給遠(yuǎn)程MR設(shè)備106。SR網(wǎng)格數(shù)據(jù)116生成后，開(kāi)始捕獲視頻直播饋送的視頻數(shù)據(jù)118并提供給遠(yuǎn)程MR設(shè)備106。

在這樣的例子中，SR網(wǎng)格數(shù)據(jù)116保持靜態(tài)?；蛘?，在使用實(shí)時(shí)視頻饋送期間偶爾更新SR網(wǎng)格數(shù)據(jù)116以反映環(huán)境108中的任何實(shí)質(zhì)性變化。

數(shù)據(jù)流114的視頻數(shù)據(jù)118包括與本文所述的窗口區(qū)域112相關(guān)聯(lián)的實(shí)時(shí)視頻饋送或流的視頻數(shù)據(jù)。視頻數(shù)據(jù)118由本地MR設(shè)備102的光學(xué)捕獲組件捕獲和/或視頻數(shù)據(jù)118包括本地MR設(shè)備102用戶視場(chǎng)的視頻數(shù)據(jù)。

另外，對(duì)于視頻數(shù)據(jù)118和/或數(shù)據(jù)流114包括3D位置數(shù)據(jù)和/或其他3D元數(shù)據(jù)，其可由遠(yuǎn)程MR設(shè)備106用于向設(shè)備106的用戶提供相對(duì)于SR網(wǎng)格環(huán)境顯示120的適當(dāng)視場(chǎng)。

所述位置數(shù)據(jù)和其他元數(shù)據(jù)用于將視頻數(shù)據(jù)118與SR網(wǎng)格數(shù)據(jù)116同步，從而在與所述環(huán)境108中的區(qū)域窗口112的位置相匹配的環(huán)境顯示器120的位置向設(shè)備106用戶顯示所述實(shí)時(shí)視頻饋送。

因此，設(shè)備106顯示環(huán)境顯示120，并將實(shí)時(shí)視頻饋送的視頻數(shù)據(jù)118疊加在環(huán)境顯示器120的窗口區(qū)域124。所以，實(shí)時(shí)視頻饋送參照環(huán)境顯示120的表面發(fā)生。例如，在環(huán)境顯示器120的窗口區(qū)域124中的患者網(wǎng)格122的虛擬表示之上，可以顯示發(fā)生在患者110腹部的手術(shù)的實(shí)時(shí)視頻饋送。

另外，反饋數(shù)據(jù)126通過(guò)網(wǎng)絡(luò)104從遠(yuǎn)程MR設(shè)備106提供給本地MR設(shè)備102。反饋數(shù)據(jù)126包括音頻數(shù)據(jù)128或其他相關(guān)數(shù)據(jù)。音頻數(shù)據(jù)128包括遠(yuǎn)程MR設(shè)備106的用戶的口頭陳述，以播放給本地MR設(shè)備102的用戶。

同時(shí)，本地MR設(shè)備102允許用戶將音頻數(shù)據(jù)從設(shè)備102發(fā)送到遠(yuǎn)程MR設(shè)備106，以便向設(shè)備106的用戶播放。這樣，設(shè)備102和106的用戶能夠相互交談。

除了SR網(wǎng)格數(shù)據(jù)和視頻數(shù)據(jù)外，其他類(lèi)型的可視數(shù)據(jù)可以發(fā)送到遠(yuǎn)程設(shè)備106和/或顯示給本地MR設(shè)備102的用戶。

例如，對(duì)患者身體部分的其他醫(yī)學(xué)掃描顯示為疊加在患者的SR網(wǎng)格表示之上，比如說(shuō)患者手臂的x射線掃描顯示骨折。通過(guò)疊加在患者手臂的SR網(wǎng)格表示上，這樣就可以很容易地在SR網(wǎng)格表示定位骨折的位置。

圖2示出包括本地MR設(shè)備202的系統(tǒng)200的框圖。

光學(xué)捕獲接口234包括用于捕獲環(huán)境的光學(xué)數(shù)據(jù)的硬件、固件和/或軟件。光學(xué)數(shù)據(jù)232包括用于生成SR網(wǎng)格的SR網(wǎng)格數(shù)據(jù)240。

實(shí)時(shí)視頻窗口位置管理器244配置為存儲(chǔ)和維護(hù)環(huán)境中的實(shí)時(shí)視頻窗口的位置、邊界和/或其他特征。

現(xiàn)場(chǎng)視頻窗口位置管理器244過(guò)濾來(lái)自現(xiàn)場(chǎng)視頻數(shù)據(jù)242的光學(xué)數(shù)據(jù)，以確保通過(guò)網(wǎng)絡(luò)204發(fā)送到遠(yuǎn)程MR設(shè)備的實(shí)時(shí)視頻數(shù)據(jù)242在其視角看來(lái)具有意義。

視點(diǎn)檢測(cè)器246配置為檢測(cè)設(shè)備202和相關(guān)光學(xué)捕獲接口234的當(dāng)前位置和/或方向，特別是相對(duì)于諸如圖1的環(huán)境108的環(huán)境。

本地MR設(shè)備202通過(guò)網(wǎng)絡(luò)接口236接收來(lái)自網(wǎng)絡(luò)204的反饋數(shù)據(jù)226。

圖3示出遠(yuǎn)程MR設(shè)備306的系統(tǒng)300。

在一個(gè)實(shí)施例中，數(shù)據(jù)流314包括從本地MR設(shè)備提供的SR網(wǎng)格數(shù)據(jù)340和/或?qū)崟r(shí)視頻數(shù)據(jù)344。例如，在過(guò)程的初始階段提供SR網(wǎng)格數(shù)據(jù)340，然后在接收SR網(wǎng)格數(shù)據(jù)340之后提供實(shí)時(shí)視頻數(shù)據(jù)342，并使遠(yuǎn)程MR設(shè)備306能夠生成虛擬SR網(wǎng)格環(huán)境。

另外，將SR網(wǎng)格數(shù)據(jù)340和實(shí)時(shí)視頻數(shù)據(jù)342組合成組合環(huán)境視圖數(shù)據(jù)352，然后通過(guò)MR顯示接口350將其顯示給設(shè)備306的用戶。

視點(diǎn)檢測(cè)器354相當(dāng)于圖2中的視點(diǎn)檢測(cè)器246，其配置為檢測(cè)遠(yuǎn)程MR設(shè)備306的位置和方向，包括其相對(duì)于所生成的虛擬SR網(wǎng)格環(huán)境的位置和方向。所述視點(diǎn)探測(cè)器354提供的位置和方向信息與所述組合環(huán)境視圖數(shù)據(jù)352一起使用，以顯示基于所述設(shè)備306的位置和方向的虛擬SR網(wǎng)格環(huán)境的視場(chǎng)。

隨著設(shè)備306的位置和方向的變化，顯示的視圖可以改變，從而對(duì)應(yīng)于位置和方向的變化。

遠(yuǎn)程MR設(shè)備306包括用戶輸入接口356。所述用戶輸入接口356使得所述設(shè)備306的用戶能夠生成用戶輸入數(shù)據(jù)，并將所述用戶輸入數(shù)據(jù)作為反饋數(shù)據(jù)326通過(guò)所述網(wǎng)絡(luò)接口348發(fā)送到所述網(wǎng)絡(luò)304的本地MR設(shè)備。

可選地，用戶輸入接口356包括麥克風(fēng)或其他音頻捕獲接口，使得設(shè)備306的用戶能夠捕獲語(yǔ)音或其他音頻數(shù)據(jù)以作為反饋數(shù)據(jù)326發(fā)送到本地MR設(shè)備。

圖4示出用于向遠(yuǎn)程設(shè)備提供組合的SR網(wǎng)格數(shù)據(jù)和實(shí)時(shí)視頻數(shù)據(jù)，以使遠(yuǎn)程設(shè)備能夠顯示MR環(huán)境。

在402，獲得環(huán)境表面的3D SR網(wǎng)格。3D SR網(wǎng)格包括一系列位于3D空間中的點(diǎn)，而點(diǎn)相互連接，以表示環(huán)境的3D表面。

在404，所獲得的3D SR網(wǎng)格提供給遠(yuǎn)程設(shè)備顯示。

在406，由本地MR設(shè)備獲得環(huán)境窗口區(qū)域的實(shí)時(shí)視頻饋送。實(shí)時(shí)視頻饋送包括與本文所述環(huán)境的特定窗口區(qū)域相關(guān)聯(lián)的視頻數(shù)據(jù)。

在408，窗口區(qū)域的實(shí)時(shí)視頻饋送由遠(yuǎn)程設(shè)備提供在3D SR網(wǎng)格上顯示。

圖5示出的計(jì)算機(jī)化方法500的用于向遠(yuǎn)程設(shè)備提供組合的SR網(wǎng)格數(shù)據(jù)和實(shí)時(shí)視頻數(shù)據(jù)，以使遠(yuǎn)程設(shè)備能夠顯示MR環(huán)境，并根據(jù)所提供的SR網(wǎng)格數(shù)據(jù)和實(shí)時(shí)視頻數(shù)據(jù)從遠(yuǎn)程設(shè)備接收反饋數(shù)據(jù)。

在502，由本地MR設(shè)備獲得環(huán)境表面的光學(xué)數(shù)據(jù)。

在504，使用攝影測(cè)量從獲得的光學(xué)數(shù)據(jù)生成表面的3D SR網(wǎng)格。

在506，生成的3D SR網(wǎng)格由遠(yuǎn)程設(shè)備提供顯示。

在508，獲得所述環(huán)境的窗口區(qū)域的實(shí)時(shí)視頻饋送。

在510，提供所述窗口區(qū)域的實(shí)時(shí)視頻饋送以供遠(yuǎn)程設(shè)備在3D SR網(wǎng)格上顯示。

在512，從遠(yuǎn)程設(shè)備接收反饋數(shù)據(jù)。

在514，將接收到的反饋數(shù)據(jù)提供給本地MR設(shè)備的用戶。

方法500進(jìn)一步包括通過(guò)本地MR設(shè)備的可視界面向本地MR設(shè)備的用戶顯示與實(shí)時(shí)視頻饋送相關(guān)聯(lián)的窗口區(qū)域的位置。

另外，獲取窗口區(qū)域的實(shí)時(shí)視頻饋送包括從至少一個(gè)與本地MR設(shè)備分離的本地光捕獲設(shè)備獲取實(shí)時(shí)視頻饋送。實(shí)時(shí)視頻饋送包括來(lái)自多個(gè)本地光捕獲設(shè)備的多個(gè)實(shí)時(shí)視頻饋送。

相關(guān)專(zhuān)利：Microsoft Patent | Mixed reality environment display using surface reconstruction mesh and live video overlay

https://patent.nweon.com/29912

名為”Mixed reality environment display using surface reconstruction mesh and live video overlay“的微軟專(zhuān)利申請(qǐng)最初在2022年2月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/112532