查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

使用IMU數(shù)據(jù)來(lái)最小化延遲影響

（映維網(wǎng)Nweon?2022年06月13日）如果大家有關(guān)注微軟的專(zhuān)利探索，這家公司曾提出一種集成式攝像頭/系統(tǒng)攝像頭+分離式攝像頭/外部攝像頭的系統(tǒng)理念。其中，集成式攝像頭/系統(tǒng)攝像頭是指物理集成到頭顯的攝像；分離式攝像頭/外部攝像頭則是指與頭顯分離的攝像頭。

例如在一個(gè)的場(chǎng)景中，可以將分離式攝像頭捆綁或以其他方式放置在用戶的胸部。在另一個(gè)場(chǎng)景中，分離式攝像頭可以不放置在用戶的身體上，而是由用戶握持或者安裝在自拍桿或另一種類(lèi)型的延長(zhǎng)桿上。

集成式攝像頭+分離式攝像頭的設(shè)置可以提升頭顯的掃描范圍和質(zhì)量，優(yōu)化全息圖的放置和生成。但顯然，對(duì)于這種圖像合并和疊加，系統(tǒng)需要對(duì)齊兩個(gè)攝像頭的內(nèi)容，并實(shí)現(xiàn)快速目標(biāo)捕獲。

在名為“Low motion to photon latency rapid target acquisition”的專(zhuān)利申請(qǐng)中，微軟介紹了一種使用IMU數(shù)據(jù)更新疊加圖像內(nèi)容的位置，以反映攝像頭位置的后續(xù)變化，從而最小化延遲影響。

概括來(lái)說(shuō)，集成式攝像頭/系統(tǒng)攝像頭和分離式攝像頭/外部攝像頭生成的圖像可以相互重疊并對(duì)齊，以形成重疊圖像。系統(tǒng)攝像頭圖像中的內(nèi)容由疊加圖像中的邊界元素包圍。然后，可以獲取與系統(tǒng)攝像頭和外部攝像頭相關(guān)的IMU數(shù)據(jù)。

基于所述IMU數(shù)據(jù)，確定自最初生成圖像以來(lái)系統(tǒng)攝像頭和/或外部攝像頭已經(jīng)移動(dòng)的移動(dòng)量?；谒鲆苿?dòng)，邊界元素將移動(dòng)到疊加圖像中的新位置。

圖8示出了結(jié)果疊加圖像800，其包括系統(tǒng)攝像頭圖像805和外部攝像頭圖像810?？蛇x地，附加圖像可以包括在疊加圖像800之中，例如用于幫助用戶對(duì)準(zhǔn)的十字線815。通過(guò)對(duì)齊圖像內(nèi)容，用戶只需查看頭顯中顯示的內(nèi)容，就可以識(shí)別目標(biāo)位置。

如圖9中的目標(biāo)采集900所示，通過(guò)提供增強(qiáng)疊加圖像800，這可以幫助用戶實(shí)現(xiàn)快速目標(biāo)采集。換句話，用戶不再需要花時(shí)間查看工具的瞄準(zhǔn)鏡。

在顯示疊加圖像和生成用于生成疊加圖像的圖像之間，通常存在延遲或時(shí)間延遲。這種時(shí)間延遲導(dǎo)致用戶查看延遲數(shù)據(jù)的場(chǎng)景，這意味著圖8中顯示的十字線815可能無(wú)法真實(shí)反映工具的實(shí)際瞄準(zhǔn)位置。所以，需要一種改進(jìn)的技術(shù)來(lái)補(bǔ)償圖像生成和圖像顯示之間發(fā)生的延遲。

圖10是微軟方案的抽象版本。圖10示出了系統(tǒng)攝像頭圖像1000和外部攝像頭圖像1005。如所討論，我們希望通過(guò)組合系統(tǒng)攝像頭圖像1000和外部攝像頭圖像1005來(lái)獲取疊加圖像1010。

注意，疊加圖像1010包括包圍從外部攝像頭圖像1005和/或從系統(tǒng)攝像頭圖像1000獲得的像素的邊界元素1015?？蛇x地，邊界元素1015可以是圓形氣泡可視化1020的形式。

圖11示出了表示疊加圖像1010的疊加圖像1100和表示邊界元素1015的邊界元素1105。這里同時(shí)示出了移動(dòng)1110。移動(dòng)1110可對(duì)應(yīng)于系統(tǒng)攝像頭移動(dòng)1115所示的系統(tǒng)攝像頭移動(dòng)和/或外部攝像頭移動(dòng)1120所示的外部攝像頭移動(dòng)。

如前所述，在生成和顯示疊加圖像1100之間可能存在時(shí)間延遲。在這個(gè)時(shí)間段內(nèi)，如果發(fā)生移動(dòng)1110，則結(jié)果疊加圖像1100將不再是最新的，而是滯后的，因?yàn)樗沁^(guò)去場(chǎng)景的反應(yīng)，即邊界元素1105的位置將處于錯(cuò)誤的位置。

圖12示出了另一個(gè)滯后示例，其中邊界元素顯示在滯后位置1205，而位置1205不反映圖11的移動(dòng)1110。相比之下，期望的解決方案（最新）1210顯示了位于正確位置1215的邊界元素。

圖13示出了將邊界元素從最初的滯后位置（錯(cuò)誤位置）1300移位（如移位1305所示）到正確位置1310。為了執(zhí)行所述移位，實(shí)施例可以利用IMU數(shù)據(jù)1315，包括來(lái)自與系統(tǒng)攝像頭和外部攝像頭相關(guān)聯(lián)的IMU數(shù)據(jù)。

通常，與基于IMU數(shù)據(jù)處理數(shù)據(jù)相比，獲取圖像數(shù)據(jù)并處理所述圖像數(shù)據(jù)需要相對(duì)較長(zhǎng)的時(shí)間?；谶@一理解，在生成原始系統(tǒng)攝像頭圖像和外部攝像頭圖像之后，實(shí)施例可以獲取更新的IMU數(shù)據(jù)，并選擇性地將邊界元素移動(dòng)到新位置。

移動(dòng)邊界元素使得實(shí)施例能夠顯示系統(tǒng)攝像頭和外部攝像頭之間的更新位置關(guān)系，而無(wú)需獲取新的圖像內(nèi)容來(lái)確定更新的位置。因此，實(shí)施例能夠動(dòng)態(tài)地移動(dòng)邊界元素，以反映自最初生成系統(tǒng)攝像頭圖像和外部攝像頭圖像以來(lái)發(fā)生的任何移動(dòng)。

圖14A和14B示出了上述方法。

方法1400包括使用系統(tǒng)攝像頭來(lái)生成周遭環(huán)境的系統(tǒng)攝像頭圖像的動(dòng)作1405。與動(dòng)作1405并行，方法1400包括使外部攝像頭來(lái)生成環(huán)境的外部攝像頭圖像的動(dòng)作1410。值得注意的是，系統(tǒng)攝像頭的視場(chǎng)與外部攝像頭的視場(chǎng)重疊。結(jié)果，包括在外部攝像頭圖像中的內(nèi)容同樣包括在系統(tǒng)攝像頭圖像之中。

然后，動(dòng)作1415將外部攝像頭圖像的至少一部分內(nèi)容疊加并對(duì)齊在系統(tǒng)攝像頭圖像的相應(yīng)內(nèi)容之上，從而生成疊加圖像（例如圖10的疊加圖像1010）。

方法1400同時(shí)包括從系統(tǒng)IMU獲取系統(tǒng)攝像頭IMU數(shù)據(jù)的動(dòng)作1420。與動(dòng)作1420并行，方法1400包括從外部攝像頭IMU獲取外部攝像頭IMU數(shù)據(jù)的動(dòng)作1425。

基于系統(tǒng)IMU數(shù)據(jù)和外部IMU數(shù)據(jù)，方法1400包括確定自系統(tǒng)攝像頭和外部攝像頭相對(duì)于彼此移動(dòng)的移動(dòng)量的動(dòng)作1430。

在1435，基于確定的移動(dòng)量，將邊界元素移動(dòng)到疊加圖像中新位置。因此，移動(dòng)的邊界元素反映了自系統(tǒng)攝像頭圖像和外部攝像頭圖像生成以來(lái)，系統(tǒng)攝像頭視場(chǎng)和外部攝像頭視場(chǎng)之間的更新位置關(guān)系。

圖15示出了代表方法動(dòng)作1435中描述的疊加圖像修改圖像1515。這里，邊界元素已移動(dòng)到移動(dòng)位置1520。注意，修改后的圖像1515包括從外部攝像頭圖像獲得的像素（如外部攝像頭圖像像素1525），以及從系統(tǒng)攝像頭圖像獲得的像素（如系統(tǒng)攝像頭圖像像素1530）。

值得注意的是，由邊界元素包圍的像素通常屬于或從外部攝像頭圖像獲得。在移動(dòng)邊界元素之前，由邊界元素限定的像素包括僅從外部攝像頭圖像獲得的像素。圖15示出了疊加圖像1500如何包括邊界元素，以及邊界元素中包括的像素如何僅從外部圖像獲得。

如果僅允許將從外部攝像頭圖像獲得的像素包括在邊界元素中，則生成的修改圖像1515將丟失像素1535。換句話說(shuō)，由于最初僅有外部攝像頭圖像像素1510可用，并且由于移位導(dǎo)致邊界元素移位到新位置，因此像素將丟失，如丟失的像素1535所示。

這種情況不可取。因此，實(shí)施例使用從系統(tǒng)攝像頭圖像獲得的像素“填充”由邊界元素包圍的特定區(qū)域，以確保由邊界元素包圍的區(qū)域被完全表示而不丟失內(nèi)容。圖16示出了這一操作。

圖16示出了邊界元素1600現(xiàn)在如何包含從系統(tǒng)攝像頭圖像和外部攝像頭圖像兩者獲得的像素。為了說(shuō)明，請(qǐng)注意邊界元素1600如何邊界或包含外部攝像頭圖像像素1605、系統(tǒng)攝像頭圖像像素1610和系統(tǒng)攝像頭圖像像素1615。

當(dāng)邊界元素被移動(dòng)到新位置時(shí)，外部攝像頭圖像像素1605是來(lái)自外部攝像頭圖像唯一留在邊界元素1600內(nèi)的像素。假設(shè)施加了約束，其中允許邊界元素1600僅包含從外部攝像頭圖像獲得的像素。如果是這種情況，則僅顯示圖15中所示的星形部分（即外部攝像頭圖像像素1525），并且加號(hào)的右側(cè)部分將丟失，如丟失的像素1535所示。

為了避免這種情況，實(shí)施例避免實(shí)現(xiàn)上述約束，而是允許邊界元素從外部攝像頭圖像以外的圖像源獲得像素。本質(zhì)上，可以使用系統(tǒng)攝像頭圖像“填充”像素，以提供邊界元素1600內(nèi)的完整視圖。

圖20示出了矩形外部攝像頭圖像2000和邊界元素的原始位置2005。圖20同時(shí)示出了發(fā)生水平移動(dòng)2010的場(chǎng)景。

作為水平移動(dòng)2010的結(jié)果，實(shí)施例將邊界元素移動(dòng)到新位置，如移動(dòng)的邊界元素2015所示。由于外部攝像頭圖像2000的矩形尺寸，與發(fā)生垂直移動(dòng)的場(chǎng)景相比，邊界元素可以移動(dòng)更大的量，并且依然包含源自外部攝像頭圖像2000的像素。

舉例來(lái)說(shuō)，只有一小部分像素（如系統(tǒng)攝像頭圖像像素2020所示）將用于填充超出移動(dòng)邊界元素2015的區(qū)域。在這方面，在系統(tǒng)攝像頭圖像像素開(kāi)始被邊界元素限定之前，可以在水平方向上進(jìn)行進(jìn)一步的移動(dòng)。

圖21示出了用于概述操作的定時(shí)的示例時(shí)間線。在時(shí)間T.sub.0，實(shí)施例觸發(fā)系統(tǒng)攝像頭圖像和外部攝像頭圖像的生成，如生成圖像2100所示。在時(shí)間T.sub.1，實(shí)施例生成初始疊加圖像，如生成疊加圖像2105所示。在時(shí)間T.sub.2，實(shí)施例從與系統(tǒng)攝像頭和外部攝像頭相關(guān)聯(lián)的IMU獲取IMU數(shù)據(jù)2110。注意，是在生成覆蓋圖像之后接收或獲取IMU數(shù)據(jù)。

在時(shí)間T.sub.3，實(shí)施例通過(guò)分析IMU數(shù)據(jù)確定系統(tǒng)攝像頭和外部攝像頭之間發(fā)生了移動(dòng)2115。在一個(gè)實(shí)施例中，生成系統(tǒng)攝像頭圖像和外部攝像頭圖像的時(shí)間（即時(shí)間T.sub.0）到通過(guò)IMU數(shù)據(jù)確定移動(dòng)量的時(shí)間（即時(shí)間T.sub.3）至少為5毫秒（ms）。有時(shí)，時(shí)間至少為10 ms、15 ms、20 ms或20 ms以上。

在時(shí)間T.sub.4，實(shí)施例基于IMU數(shù)據(jù)移動(dòng)邊界元素2120?？蛇x地，實(shí)施例可以將邊界元素移動(dòng)到當(dāng)前未由IMU數(shù)據(jù)表示，但為預(yù)測(cè)位置的未來(lái)時(shí)間點(diǎn)2125。換句話說(shuō)，可以根據(jù)IMU數(shù)據(jù)推斷或預(yù)測(cè)系統(tǒng)攝像頭和外部攝像頭將在何處、何時(shí)以及如何繼續(xù)移動(dòng)。

在時(shí)間T.sub.5，實(shí)施例顯示2130具有移位邊界元素的疊加圖像。應(yīng)注意，在時(shí)間T.sub.0和T.sub.5之間的任何時(shí)間，可能會(huì)發(fā)生系統(tǒng)攝像機(jī)和/或外部攝像機(jī)的移動(dòng)2135。正是由于所述移動(dòng)2135，實(shí)施例移動(dòng)邊界元素，并提供關(guān)于系統(tǒng)攝像頭相對(duì)于外部攝像頭的位置的準(zhǔn)確圖示。

因此，專(zhuān)利描述的實(shí)施例能夠動(dòng)態(tài)地移動(dòng)邊界元素，以反映系統(tǒng)攝像頭和外部攝像頭之間的精確空間關(guān)系，從而幫助實(shí)現(xiàn)低運(yùn)動(dòng)到光子延遲的快速目標(biāo)獲取。

相關(guān)專(zhuān)利：Microsoft Patent | Low motion to photon latency rapid target acquisition

名為“Low motion to photon latency rapid target acquisition”的微軟專(zhuān)利最初在2020年12月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/98013