查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

更新兩個攝像頭的對齊圖像

（映維網(wǎng)Nweon?2023年08月14日）如果大家有關(guān)注微軟的專利探索，這家公司曾提出一種集成式攝像頭/系統(tǒng)攝像頭+分離式攝像頭/外部攝像頭的系統(tǒng)理念。其中，集成式攝像頭/系統(tǒng)攝像頭是指物理集成到頭顯的攝像；分離式攝像頭/外部攝像頭則是指與頭顯分離式攝像頭。

例如在一個的場景中，可以將分離式攝像頭捆綁或以其他方式放置在用戶的胸部。在另一個場景中，分離式攝像頭可以不放置在用戶的身體上，而是由用戶握持或者安裝在自拍桿或另一種類型的延長桿上。

集成式攝像頭+分離式攝像頭的設(shè)置可以提升頭顯的掃描范圍和質(zhì)量，優(yōu)化全息圖的放置和生成。但顯然，對于這種圖像合并和疊加，系統(tǒng)需要對齊兩個攝像頭的內(nèi)容。

當(dāng)然，微軟同樣有把集成式攝像頭和分離式攝像頭分別稱為匹配攝像頭和參考攝像頭，而在名為“Systems and methods for updating continuous image alignment of separate cameras”的專利申請中，這家公司繼續(xù)介紹匹配攝像頭和參考攝像頭的對齊。這一次是關(guān)于圖像對齊的更新。

對于頭顯，它可以識別與由參考攝像頭和匹配攝像頭在一個或多個先前時(shí)間點(diǎn)捕獲的先前幀對相關(guān)聯(lián)的先前對齊矩陣的動作。前面的對齊矩陣是基于圖像之間的視覺對應(yīng)的前一幀對。

計(jì)算系統(tǒng)同時(shí)執(zhí)行識別與由參考攝像頭和匹配攝像頭在一個或多個當(dāng)前時(shí)間點(diǎn)捕獲的當(dāng)前幀對相關(guān)聯(lián)的當(dāng)前矩陣的動作。當(dāng)前矩陣基于當(dāng)前幀對圖像之間的視覺對應(yīng)關(guān)系。

計(jì)算系統(tǒng)進(jìn)一步執(zhí)行識別相對于一個或多個先前時(shí)間點(diǎn)和一個或多個當(dāng)前時(shí)間點(diǎn)與參考攝像頭或匹配攝像頭相關(guān)聯(lián)的差值的動作，并通過使用先前的對齊矩陣、當(dāng)前矩陣和差值作為生成更新的對齊矩陣的輸入來執(zhí)行生成更新的對齊矩陣的行為。

圖2示出了一個頭顯200和一個用戶儀器250。頭顯200可以包括匹配攝像頭，而用戶儀器可以包括參考攝像頭。頭顯200和用戶儀表250配置為通過無線鏈路290共享數(shù)據(jù)。

如上所述，提升頭顯的掃描范圍和質(zhì)量，優(yōu)化全息圖的放置和生成，不同攝像頭需要進(jìn)行持續(xù)的圖像對齊。

在一個實(shí)施例中，系統(tǒng)可以生成運(yùn)動模型，運(yùn)動模型配置為便于從參考幀的像素集連續(xù)映射到匹配幀的相應(yīng)像素集。運(yùn)動模型包括一個對齊矩陣，它可以認(rèn)為是一個運(yùn)行平均值，并使用先前的對齊矩陣和對齊的電流矩陣來生成一個更新的對齊矩陣。計(jì)算機(jī)系統(tǒng)將先前的對齊矩陣與對齊的電流矩陣融合以生成更新的對齊矩陣。

圖27描述了用戶儀器250的參考攝像頭260和頭顯200的匹配攝像頭215的示例。具體地，圖27示出參考攝像頭260在前一個參考攝像頭姿態(tài)2705和前一個參考攝像頭時(shí)間點(diǎn)2710處捕獲物理對象305的圖像。

類似地，圖27示出匹配攝像頭215在前一匹配攝像頭姿態(tài)2715和前一匹配攝像頭時(shí)間點(diǎn)2720處捕獲物理對象305的圖像。

參考圖28，參考攝像頭260和匹配攝像頭215在各自的前一個時(shí)間點(diǎn)捕獲的圖像形成前一個幀對2820。系統(tǒng)識別前一幀對2820的圖像之間的視覺對應(yīng)2815。

然后，系統(tǒng)可以使用視覺對應(yīng)2815確定先前的對齊矩陣2810。先前對齊矩陣2810作為運(yùn)動模型的一部分操作，將先前參考幀的像素映射到先前匹配幀的相應(yīng)像素。

回到圖27所示的示例，在使用參考攝像頭260在前一個參考攝像頭時(shí)間點(diǎn)2710和使用匹配攝像頭215在前一個匹配攝像頭時(shí)間點(diǎn)2720捕獲物理對象305的圖像后，參考攝像頭260的位姿改變以對應(yīng)于中間參考攝像頭時(shí)間點(diǎn)2740處的中間參考攝像頭位姿2735。

同樣，匹配攝像頭215的姿態(tài)變化對應(yīng)于中間匹配攝像頭時(shí)間點(diǎn)2750處的中間匹配攝像頭姿態(tài)2745。參考攝像頭260和匹配攝像頭215均根據(jù)其各自的中間位姿定向捕獲圖像，以形成中間幀對。

如圖27所示，參考攝像頭260在按照中間參考攝像頭姿態(tài)2735取向時(shí)，匹配攝像頭215在按照中間匹配攝像頭姿態(tài)2745取向時(shí)，其都遠(yuǎn)離物理對象305，使得兩個攝像頭都沒有捕獲物理對象305。

因此，計(jì)算機(jī)系統(tǒng)可能無法識別中間幀對圖像之間的視覺對應(yīng)關(guān)系。圖28表明，用于將中間參考幀的像素映射到中間匹配幀的相應(yīng)像素的中間對齊矩陣2830可以合并前面的對齊矩陣2810，而無需基于中間幀對生成更新的對齊矩陣。

再次回到圖27所示的示例，在使用參考攝像頭260在中間參考攝像頭時(shí)間點(diǎn)2740和使用匹配攝像頭215在中間匹配攝像頭時(shí)間點(diǎn)2750捕獲中間幀對之后，參考攝像頭260的位姿改變以對應(yīng)于當(dāng)前參考攝像頭時(shí)間點(diǎn)2770處的當(dāng)前參考攝像頭位姿2765。

類似地，匹配攝像頭215的姿態(tài)改變，以對應(yīng)于當(dāng)前匹配攝像頭在當(dāng)前匹配攝像頭時(shí)間點(diǎn)2780處的當(dāng)前匹配攝像頭姿態(tài)2775。

參考攝像頭260和匹配攝像頭215均根據(jù)各自的當(dāng)前位姿定向捕獲圖像，以形成當(dāng)前幀對2850(簡要參見圖28。如圖27所示，當(dāng)參考攝像頭260根據(jù)當(dāng)前參考攝像頭姿態(tài)2765取向時(shí)，匹配攝像頭215根據(jù)當(dāng)前匹配攝像頭姿態(tài)2775取向時(shí)，其都指向物理對象305，使得兩個攝像頭都捕獲物理對象305。

再次參考圖28，系統(tǒng)識別當(dāng)前幀對2850的圖像之間的視覺對應(yīng)2845。然后，系統(tǒng)可以使用視覺對應(yīng)2845確定電流矩陣2840。

圖28進(jìn)一步示出，系統(tǒng)生成已對齊電流矩陣2865，并將已對齊電流矩陣2865與先前的對齊矩陣2810融合，以生成更新的對齊矩陣2860。

更新的對齊矩陣2860作為運(yùn)動模型的一部分操作，將當(dāng)前參考幀的像素映射到當(dāng)前匹配幀的相應(yīng)像素。

在一個實(shí)施例中，插值函數(shù)使用平滑項(xiàng)。平滑項(xiàng)決定如何對先前的對齊矩陣2810和已對齊的當(dāng)前矩陣2865進(jìn)行加權(quán)，以生成更新的對齊矩陣2860。

例如，當(dāng)平滑項(xiàng)的值接近最大值時(shí)，插補(bǔ)函數(shù)會逐漸忽略對齊的當(dāng)前矩陣2865，將更多的權(quán)重賦予先前的對齊矩陣2810以生成更新的對齊矩陣2860，這在先前對齊矩陣2810的期望精度較高時(shí)可能是有益的。

另外，當(dāng)平滑項(xiàng)的值接近最小值時(shí)，插補(bǔ)函數(shù)會逐漸忽略先前的對齊矩陣2810，將更多的權(quán)重賦予對齊后的當(dāng)前矩陣2865，以生成更新后的對齊矩陣2860，這在先前對齊矩陣2810的期望精度較低時(shí)可能是有益的。

不同的平滑值可能適用于不同的情況。例如，選擇一個給予先前對齊矩陣2810更多權(quán)重的平滑值可以改善可能存在于已對齊的當(dāng)前矩陣2865中的噪點(diǎn)的影響。然而，選擇一個賦予已對準(zhǔn)電流矩陣2865更多權(quán)重的平滑值，可能會改善先前的對準(zhǔn)矩陣2810相對于當(dāng)前幀的潛在不準(zhǔn)確性。

當(dāng)先前的對齊矩陣2810不準(zhǔn)確時(shí)，選擇給予先前對齊矩陣2810更多權(quán)重的平滑值可能會導(dǎo)致合成幀的不準(zhǔn)確。盡管這種不準(zhǔn)確性可能會隨著時(shí)間的推移而糾正，但提供準(zhǔn)確合成幀的延遲可能會使運(yùn)動模型不適合特定應(yīng)用。

所以，基于先前對齊矩陣2810的預(yù)期精度智能地確定/更新平滑值可能是有益的。

先前對準(zhǔn)矩陣2810的預(yù)期精度可能取決于具體情況。例如，參考攝像頭260和/或匹配攝像頭215從捕獲先前幀對2820以生成先前對齊矩陣2810的時(shí)間開始經(jīng)歷大量的運(yùn)動，這可能會降低先前對齊矩陣2810相對于在當(dāng)前時(shí)間點(diǎn)捕獲的幀對的準(zhǔn)確性/適用性。

因此，計(jì)算機(jī)系統(tǒng)基于一個或多個先前對齊矩陣的預(yù)期精度智能地確定/更新平滑項(xiàng)。

圖29表明，系統(tǒng)在當(dāng)前參考攝像頭時(shí)間點(diǎn)2770和先前參考攝像頭時(shí)間點(diǎn)2710之間識別與參考攝像頭260關(guān)聯(lián)的差值2910。另外，系統(tǒng)可以在當(dāng)前匹配攝像頭時(shí)間點(diǎn)2780和先前匹配攝像頭時(shí)間點(diǎn)2720之間識別與匹配攝像頭215相關(guān)聯(lián)的差值2920。

高差值2910和/或2920可能表明先前對準(zhǔn)矩陣2810的預(yù)期精度應(yīng)該被認(rèn)為是低的，而低差值2910和/或2920可能表明先前對準(zhǔn)矩陣2810的預(yù)期精度應(yīng)該被認(rèn)為是高的。

圖30示出使用已對齊的電流矩陣2865、先前的對齊矩陣2810和差值2910和/或2920生成更新的對齊矩陣3015的示例。

在一個實(shí)施例中，系統(tǒng)使用已對齊的電流矩陣2865、先前的對齊矩陣2810以及差值2910和/或2920作為用于生成更新的對齊矩陣3015的融合器3000的輸入。

平滑項(xiàng)3010是基于差值2910和/或2920智能地確定的。如上所述，平滑項(xiàng)3010可以確定用于將先前的對齊矩陣2810與已對齊的當(dāng)前矩陣2865混合以生成更新的對齊矩陣3015的權(quán)重。

圖31示出系統(tǒng)可在不同時(shí)間點(diǎn)與參考攝像頭260和/或匹配攝像頭215聯(lián)合識別的差值2910和/或2920的示例實(shí)現(xiàn)。

差值2910和/或2920被識別為運(yùn)動值3105。例如，運(yùn)動值3105可以指示參考攝像頭260和/或匹配攝像頭215在前一個時(shí)間點(diǎn)和當(dāng)前時(shí)間點(diǎn)之間已經(jīng)/已經(jīng)經(jīng)歷的運(yùn)動量3110。大量的運(yùn)動可能表明IMU漂移誤差已經(jīng)能夠隨著時(shí)間的推移而積累，這表明先前對準(zhǔn)矩陣2810的預(yù)期精度很低，這可能導(dǎo)致系統(tǒng)選擇低平滑項(xiàng)3010。

圖31同時(shí)表明，運(yùn)動值3105可以指示參考攝像頭260和/或匹配攝像頭215在前一個時(shí)間點(diǎn)和當(dāng)前時(shí)間點(diǎn)之間經(jīng)歷的一個或多個加速度值3115。高加速度值可能導(dǎo)致IMU漂移誤差高于低加速度值，這可能表明先前對準(zhǔn)矩陣2810的預(yù)期精度較低，并可能導(dǎo)致系統(tǒng)選擇低平滑項(xiàng)3010。

如圖31所示，差值2910和/或2920識別為時(shí)間值3120，例如自成功識別視覺對應(yīng)的最近前一個時(shí)間點(diǎn)以來已經(jīng)/已經(jīng)過去的幀數(shù)或時(shí)間量。成功的視覺對應(yīng)之間的高幀數(shù)或時(shí)間量可能表明先前的對齊矩陣2810可能變得不準(zhǔn)確，這可能導(dǎo)致系統(tǒng)選擇較低的平滑項(xiàng)3010。

圖32示出平滑函數(shù)的示例實(shí)現(xiàn)的。從圖32中可以明顯看出，對于較小的差值，平滑項(xiàng)的值較大，對于較大的差值，平滑項(xiàng)的值較小。

圖33示出描述與更新參考攝像頭和匹配攝像頭的連續(xù)圖像對準(zhǔn)相關(guān)的動作的示例流程圖3300。

在3302，識別先前的對齊矩陣。

在3304，識別電流矩陣。

在3306，識別差值。

在3308，使用先前的對齊矩陣、當(dāng)前矩陣和差值生成更新的對齊矩陣。

在3310，使用更新的對齊矩陣作為先前的對準(zhǔn)矩陣，以生成后續(xù)更新的對齊矩陣。

相關(guān)專利：Microsoft Patent | Systems and methods for updating continuous image alignment of separate cameras

https://patent.nweon.com/29685

名為“Systems and methods for updating continuous image alignment of separate cameras”的微軟專利申請最初在2023年4月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/111515