查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

校正快門偽影

（映維網(wǎng)?2021年12月22日）混合現(xiàn)實(shí)系統(tǒng)可以包括深度檢測(cè)系統(tǒng)，例如飛行時(shí)間攝像頭、測(cè)距儀、立體深度攝像頭等等。深度檢測(cè)系統(tǒng)提供關(guān)于混合現(xiàn)實(shí)系統(tǒng)周圍真實(shí)世界環(huán)境的深度信息，以使系統(tǒng)能夠準(zhǔn)確呈現(xiàn)基于真實(shí)世界對(duì)象的混合現(xiàn)實(shí)內(nèi)容。深度檢測(cè)可以作用于其他目的。例如，混合現(xiàn)實(shí)系統(tǒng)可以利用立體攝像頭獲得的圖像向用戶提供用戶環(huán)境的透視視圖。

盡管現(xiàn)有的混合現(xiàn)實(shí)系統(tǒng)可以配置不同類型的攝像頭，但通過(guò)混合現(xiàn)實(shí)設(shè)備呈現(xiàn)攝像頭捕獲的圖像依然存在眾多挑戰(zhàn)，比如說(shuō)滾動(dòng)快門偽影。

由于攝像頭的物理定位與用戶眼睛的物理定位屬于物理分離，所以不能簡(jiǎn)單地直接向用戶渲染捕獲的圖像。具體地說(shuō)，用戶眼睛定位和立體攝像頭定位之間的垂直偏移將導(dǎo)致視圖誤差，所以用戶將會(huì)感知到具有不正確深度的真實(shí)世界對(duì)象。

提供視差校正功能的系統(tǒng)可以利用滾動(dòng)快門攝像頭來(lái)獲得用于生成視差校正圖像的立體圖像。滾動(dòng)快門攝像頭包括滾動(dòng)快門傳感器，后者包括傳感器行（或列）陣列，傳感器行（或列）陣列按順序而不是同時(shí)集成和/或讀取傳感器數(shù)據(jù)。例如，滾動(dòng)快門傳感器可在初始行或列開(kāi)始積分，讀取初始行或列，然后繼續(xù)積分并讀取后續(xù)行或列。所以，當(dāng)使用滾動(dòng)快門傳感器拍攝圖像時(shí)，滾動(dòng)快門攝像頭的每個(gè)傳感器行（或列）可以具有不同的積分和/或讀出時(shí)間戳。

但在特定情況下，特別是在用戶移動(dòng)頭部的情況下，系統(tǒng)可能在與滾動(dòng)快門傳感器的不同傳感器行（或列）相關(guān)聯(lián)的不同積分和/或讀出時(shí)間戳處具有不同姿勢(shì)。這種情況尤其麻煩，因?yàn)榕c不同時(shí)間戳相關(guān)聯(lián)的每個(gè)不同姿勢(shì)將導(dǎo)致滾動(dòng)快門偽影出現(xiàn)在由滾動(dòng)快門傳感器捕獲的渲染圖像中。

在名為“Systems and methods for correcting rolling shutter artifacts”的專利申請(qǐng)中，微軟就介紹了一種用于校正滾動(dòng)快門偽影的方法和系統(tǒng)。

圖1示出了視差問(wèn)題的概念表示，其中立體攝像頭105A和105B對(duì)與用戶眼睛110A和1108物理分離。傳感器區(qū)域115A概念上描繪了攝像頭105A（和用戶眼睛110A的圖像感測(cè)區(qū)域。類似地，傳感器區(qū)域115B概念上描繪了攝像頭105B和用戶眼睛1108的圖像感測(cè)區(qū)域。

圖3示出了攝像頭305-325中沒(méi)有一個(gè)與瞳孔330和335直接對(duì)準(zhǔn)。偏移量340-345在攝像頭305-325和瞳孔330-335之間引入透視差異，亦即“視差”。

由于偏移量340-345產(chǎn)生的視差，攝像頭305-325產(chǎn)生的原始圖像不能立即用作透視圖像350。相反，系統(tǒng)需要對(duì)原始圖像執(zhí)行視差校正355。視差校正355包括執(zhí)行深度計(jì)算以確定環(huán)境的深度，然后將圖像重新投影到確定的位置或具有確定的透視圖。

重投影基于頭顯300相對(duì)于其周圍環(huán)境的當(dāng)前姿勢(shì)375（例，通過(guò)視覺(jué)慣性SLAM確定）?；谏傻淖藙?shì)375和深度映射，頭顯300和/或其他系統(tǒng)能夠通過(guò)重新投影由原始圖像體現(xiàn)的透視圖以與用戶的瞳孔330和335的透視圖一致來(lái)校正視差誤差。

但正如前面所述，對(duì)于利用滾動(dòng)快門攝像頭來(lái)獲得用于生成視差校正圖像的立體圖像的系統(tǒng)，其需要解決滾動(dòng)快門攝像頭產(chǎn)生的滾動(dòng)快門偽影。

現(xiàn)在注意圖8A，其示出了滾動(dòng)快門攝像頭805的示例。滾動(dòng)快門攝像頭805包括滾動(dòng)快門傳感器810，其包括一組傳感器行815。在一個(gè)實(shí)例中，滾動(dòng)快門傳感器810的不同傳感器行815配置成按順序而不是同時(shí)集成和/或讀出由不同傳感器行815捕獲的傳感器數(shù)據(jù)。例如，滾動(dòng)快門傳感器810可以在初始行（例如，傳感器行815的頂行或底行）處開(kāi)始積分，讀取初始行，然后繼續(xù)積分并讀取傳感器行815的后續(xù)行。因此，當(dāng)使用滾動(dòng)快門傳感器810拍攝圖像時(shí)，每個(gè)傳感器行815具有不同的積分和/或讀出時(shí)間戳，并且從不同的傳感器行815輸出的傳感器數(shù)據(jù)之間將存在時(shí)間偏移。

圖8B示出了包括第一滾動(dòng)快門攝像頭805A和第二滾動(dòng)快門攝像頭805B的立體對(duì)滾動(dòng)快門攝像頭820的示例。在一個(gè)實(shí)例中，第一和第二滾動(dòng)快門攝像頭805A和805B在曝光時(shí)間上同步，使得第一和第二滾動(dòng)快門攝像頭805A和805B的對(duì)應(yīng)傳感器行具有公共讀出/積分時(shí)間戳。

在一個(gè)實(shí)現(xiàn)中，系統(tǒng)利用一對(duì)立體滾動(dòng)快門攝像頭820來(lái)捕獲環(huán)境的圖像。例如，圖9A示出了頭顯900，其使用滾動(dòng)快門攝像頭820的立體對(duì)捕獲包括物理對(duì)象905的環(huán)境的立體對(duì)。頭顯900對(duì)使用滾動(dòng)快門攝像頭820的立體對(duì)捕獲的立體對(duì)圖像執(zhí)行深度計(jì)算，以生成深度映射910，深度映射910包括代表環(huán)境中的物理對(duì)象905的深度數(shù)據(jù)915。

但圖9A示出深度映射910包括滾動(dòng)快門偽影。如圖9A所示，滾動(dòng)快門攝像頭820在包括時(shí)間點(diǎn)1到N的時(shí)間間隔上捕獲立體圖像對(duì)。在某些情況下，在包括時(shí)間點(diǎn)1到N的整個(gè)時(shí)間間隔內(nèi)，操作頭顯900的用戶改變其頭部位置，對(duì)于不同的時(shí)間點(diǎn)1到N中的每一個(gè)，其產(chǎn)生頭顯900的單獨(dú)姿勢(shì)（即姿勢(shì)1到N）。當(dāng)每行在稍微不同的時(shí)間開(kāi)始和結(jié)束曝光時(shí)間時(shí)，不同的拍攝姿勢(shì)1到N可在由立體對(duì)滾動(dòng)快門攝像頭820拍攝的圖像中產(chǎn)生滾動(dòng)快門偽影。因此，基于捕獲的圖像生成的深度映射910可以包括滾動(dòng)快門偽影（如圖9A所示）。

圖10A-12C說(shuō)明了用于補(bǔ)償可能存在的滾動(dòng)快門偽影的示例技術(shù)。

如上所述，滾動(dòng)快門傳感器810的傳感器行815具有不同的積分和讀出時(shí)間點(diǎn)（例如時(shí)間點(diǎn)1到N），并且與滾動(dòng)快門傳感器810相關(guān)聯(lián)的頭顯可以在不同的時(shí)間點(diǎn)（例如姿勢(shì)1到N）具有單獨(dú)的姿勢(shì)。圖10A-10C示出了在不同積分/讀出時(shí)間點(diǎn)識(shí)別與頭顯1000相關(guān)聯(lián)的姿勢(shì)的示例，同時(shí)使用包括30個(gè)傳感器行的滾動(dòng)快門傳感器拍攝圖像1010。

例如，圖10A示出了在滾動(dòng)快門傳感器的行1積分/讀出以生成圖像1010的時(shí)間點(diǎn)1期間處于姿勢(shì)1的頭顯1000。如所述，頭顯1000可以使用慣性追蹤和/或視覺(jué)追蹤系統(tǒng)來(lái)識(shí)別姿勢(shì)1。在一個(gè)實(shí)現(xiàn)中，頭顯1000將所識(shí)別的姿勢(shì)1與時(shí)間點(diǎn)1相關(guān)聯(lián)，時(shí)間點(diǎn)1是拍攝圖像1010時(shí)的行1的讀出/積分時(shí)間點(diǎn)。

類似地，圖10B示出了在滾動(dòng)快門傳感器的行15積分/讀出以生成圖像1010的時(shí)間點(diǎn)15期間姿勢(shì)15處的頭顯1000。圖10B示出了姿勢(shì)15與姿勢(shì)1分離，并且姿勢(shì)15不同于姿勢(shì)1。在一個(gè)實(shí)現(xiàn)中，頭顯1000將所識(shí)別的姿勢(shì)15與時(shí)間點(diǎn)15相關(guān)聯(lián)，時(shí)間點(diǎn)15是拍攝圖像1010時(shí)第15行的讀出/積分時(shí)間點(diǎn)。

另外，圖10C示出了在滾動(dòng)快門傳感器的行30積分/讀出以生成圖像1010的時(shí)間點(diǎn)30期間姿勢(shì)30處的頭顯1000。圖10C示出了姿勢(shì)30與姿勢(shì)1和15分開(kāi)，并且姿勢(shì)30不同于姿勢(shì)1和15。在一個(gè)實(shí)現(xiàn)中，頭顯1000將所識(shí)別的姿勢(shì)30與時(shí)間點(diǎn)30相關(guān)聯(lián)，時(shí)間點(diǎn)30是拍攝圖像1010時(shí)第30行的讀出/積分時(shí)間點(diǎn)。

當(dāng)滾動(dòng)快門傳感器捕獲環(huán)境的圖像時(shí)，頭顯1000可以將姿勢(shì)與滾動(dòng)快門傳感器的任意數(shù)量的行和/或讀出/積分時(shí)間點(diǎn)相關(guān)聯(lián)。比如在一個(gè)情況下,，當(dāng)滾動(dòng)快門傳感器捕獲環(huán)境的圖像時(shí)，頭顯1000將單獨(dú)的姿勢(shì)與滾動(dòng)快門傳感器的每一行和/或讀出/積分時(shí)間點(diǎn)相關(guān)聯(lián)。圖10C進(jìn)一步示出，在一個(gè)實(shí)現(xiàn)中，使用滾動(dòng)快門傳感器捕獲的圖像1010包括圖像1010中表示的對(duì)象的紋理信息1020。另外，圖10C示出了由滾動(dòng)快門傳感器捕獲的圖像1010可以描述為具有多行圖像數(shù)據(jù)1015，其中每行圖像數(shù)據(jù)1015對(duì)應(yīng)于滾動(dòng)快門傳感器的傳感器行。

圖11示出了至少使用由滾動(dòng)快門傳感器捕獲的圖像1110生成深度映射1130的示例。圖11的圖像1110和圖像數(shù)據(jù)1115的行對(duì)應(yīng)于圖10C的圖像1010和圖像數(shù)據(jù)1015的行。在一個(gè)實(shí)例中，頭顯對(duì)圖像1110執(zhí)行深度處理1120（例如立體匹配），從而生成深度映射1130。另外，圖11示出深度映射1130可以描述為具有與圖像數(shù)據(jù)1115的行相對(duì)應(yīng)的深度數(shù)據(jù)1135的行。因此，每行深度數(shù)據(jù)1135可對(duì)應(yīng)于滾動(dòng)快門傳感器的傳感器行。

圖12A-12C示出了頭顯1200的示例，所述頭顯1200使用基于包括滾動(dòng)快門偽影的圖像生成的深度映射1230來(lái)執(zhí)行非投影操作1240，從而生成包括3D對(duì)象905的環(huán)境的3D表示1245。但與上面描述的圖9B相反，頭顯1200執(zhí)行取消投影操作1240來(lái)生成3D表示1245。

在一個(gè)實(shí)例中，頭顯1200按順序（例如，而不是并行地）對(duì)深度映射1230的每一行深度數(shù)據(jù)執(zhí)行非投影操作1240。例如，圖12A描繪頭顯1200對(duì)位于深度映射1230的深度數(shù)據(jù)的行6上的點(diǎn)執(zhí)行非投影操作1240-6。在某些情況下，頭顯在對(duì)第6行之前的深度數(shù)據(jù)行執(zhí)行非投影操作之后，對(duì)深度數(shù)據(jù)的第6行執(zhí)行非投影操作1240-6。

在一個(gè)實(shí)現(xiàn)中，頭顯1200使用與頭顯1200相關(guān)聯(lián)的姿勢(shì)執(zhí)行非投影操作1240-6，同時(shí)集成/讀出頭顯1200的滾動(dòng)快門傳感器的傳感器行6，以形成用于生成深度映射1230的圖像（例如，圖11中的圖像1110）。例如，在一個(gè)實(shí)施例中，頭顯1200使用在時(shí)間點(diǎn)6處針對(duì)行6存在的姿勢(shì)6執(zhí)行非投影操作1240-6。

圖12B描繪了頭顯1200對(duì)位于深度映射1230的深度數(shù)據(jù)的第15行上的點(diǎn)執(zhí)行非投影操作1240-15。在一個(gè)實(shí)現(xiàn)中，頭顯1200使用與頭顯1200相關(guān)聯(lián)的姿勢(shì)執(zhí)行非投影操作1240-15，同時(shí)集成/讀出頭顯1200的滾動(dòng)快門傳感器的傳感器行15，以形成用于生成深度映射1230的圖像。

圖12C示出，通過(guò)每行執(zhí)行非投影操作1240，每行深度數(shù)據(jù)使用在滾動(dòng)快門傳感器捕獲對(duì)應(yīng)行圖像數(shù)據(jù)的時(shí)間點(diǎn)存在的姿勢(shì)進(jìn)行非投影，頭顯1200可以補(bǔ)償可能已經(jīng)存在于深度映射1230和/或用于生成深度圖1230的圖像中的滾動(dòng)快門偽影，并生成3D表示1245。例如，3D表示1245包括模擬物理對(duì)象905的真實(shí)世界形狀的物理對(duì)象905的表示。

系統(tǒng)可將環(huán)境的3D表示用于各種目的。例如，圖13示出了頭顯1300生成包括物理對(duì)象905的環(huán)境的校正圖像1330的示例。在一個(gè)實(shí)現(xiàn)中，頭顯1300通過(guò)使用單個(gè)姿勢(shì)對(duì)3D表示1345的各個(gè)3D點(diǎn)執(zhí)行投影操作1350來(lái)生成校正圖像1330。

由于三維表示1345補(bǔ)償用于生成三維表示1345的深度映射中可能存在的滾動(dòng)快門偽影（例如來(lái)自圖12A-12C的深度映射1230），因此基于三維表示1345生成的校正圖像1330同時(shí)將補(bǔ)償此類滾動(dòng)快門偽影。

圖13同時(shí)示出，在一些情況下，校正圖像1330包括紋理信息1310，紋理信息1310可以基于包括物理對(duì)象905的環(huán)境的一個(gè)或多個(gè)圖像。例如，在一個(gè)實(shí)現(xiàn)中，紋理信息1310基于用于形成三維表示1345的深度映射的環(huán)境的一個(gè)或多個(gè)圖像的紋理信息。例如，用于生成用于形成三維表示1345的深度映射的環(huán)境的一個(gè)或多個(gè)圖像同時(shí)可用于對(duì)三維表示進(jìn)行紋理化。例如，對(duì)于每個(gè)像素，頭顯1300可以從對(duì)應(yīng)像素識(shí)別紋理信息。

在取消投影深度數(shù)據(jù)的像素以獲得三維表示1345的三維點(diǎn)之后，頭顯1300可以基于對(duì)三維表示1345的三維點(diǎn)的投影操作1350將識(shí)別出的紋理信息應(yīng)用于校正圖像1330的像素。值得注意的是，校正圖像1330的紋理信息1310可以補(bǔ)償用于生成深度映射的圖像中可能存在的任何滾動(dòng)快門偽影。

相關(guān)專利：Microsoft Patent | Systems and methods for correcting rolling shutter artifacts

名為“ Systems and methods for correcting rolling shutter artifacts”的微軟專利申請(qǐng)最初在2021年5月提交，并在日期由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/92781