查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)Nweon

時(shí)間濾波

（映維網(wǎng)Nweon?2023年07月27日）在MR場(chǎng)景中，系統(tǒng)組合連續(xù)捕獲的圖像的圖像數(shù)據(jù)，以便生成改進(jìn)的輸出。舉個(gè)例子，考慮一個(gè)光線較暗的場(chǎng)景。由于光線較低，每個(gè)單獨(dú)的圖像只能提供有限數(shù)量的圖像數(shù)據(jù)。但通過組合來自多個(gè)連續(xù)捕獲的圖像的數(shù)據(jù)，系統(tǒng)可以產(chǎn)生合適的輸出圖像。其中，這涉及執(zhí)行時(shí)間濾波。

然而，在執(zhí)行時(shí)間濾波時(shí)會(huì)出現(xiàn)各種挑戰(zhàn)。例如，如果系統(tǒng)捕捉多個(gè)連續(xù)圖像時(shí)場(chǎng)景或環(huán)境中的對(duì)象正在移動(dòng)，則可能會(huì)產(chǎn)生所謂的“重影效果”。另一個(gè)挑戰(zhàn)發(fā)生在攝像頭本身在生成圖像時(shí)發(fā)生移動(dòng)時(shí)。攝像頭的移動(dòng)會(huì)令時(shí)間濾波過程發(fā)生偏斜。

在名為“Temporal filtering weight computation”的專利申請(qǐng)中，微軟就介紹了一種改進(jìn)的時(shí)間濾波技術(shù)。

在一個(gè)實(shí)施例，獲取具有第一時(shí)間戳的第一圖像和具有第二時(shí)間戳的第二圖像。所述圖像是由攝像頭生成，并且第一時(shí)間戳在第二時(shí)間戳之前。對(duì)第一圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償（MC）操作以產(chǎn)生MC圖像。使用MC圖像和第二圖像來生成差異圖像。差異圖像反映了兩個(gè)圖像之間存在的強(qiáng)度差異。基于差異生成局部權(quán)重圖。

然而，基于在第一和第二時(shí)間戳之間生成的IMU數(shù)據(jù)來生成全局權(quán)重圖。IMU數(shù)據(jù)反映了攝像頭的角位置和攝像頭在對(duì)應(yīng)于第二時(shí)間戳的時(shí)間的加速度。然后基于局部權(quán)重圖和全局權(quán)重圖的組合生成最終權(quán)重圖。最終權(quán)重圖用于生成濾波圖像，而濾波圖像在濾波權(quán)重計(jì)算的后續(xù)迭代期間作為反饋提供。

圖2示出了頭顯200。頭顯200已經(jīng)在低光環(huán)境210中生成了圖像205。圖像205包括各種不同的圖像數(shù)據(jù)215。然而，因?yàn)閳D像205是在弱光場(chǎng)景中生成的，所以存在大量的噪點(diǎn)220。如果由其自身使用，則圖像205將提供用于呈現(xiàn)給用戶的質(zhì)量通常較差的圖像。

圖3示出了時(shí)間線300。在時(shí)間T0，頭顯305生成包括圖像數(shù)據(jù)315的圖像310。類似于圖2中所呈現(xiàn)的場(chǎng)景，圖像310是在弱光環(huán)境中生成的。在時(shí)間T0之后，頭顯經(jīng)歷一定量的運(yùn)動(dòng)320或移動(dòng)。

在時(shí)間T1，頭顯305然后生成第二圖像325，第二圖像包括圖像數(shù)據(jù)330。所以，可以使用圖像310和圖像325來執(zhí)行時(shí)間濾波335操作。實(shí)施例同時(shí)可以使用由IMU生成的運(yùn)動(dòng)數(shù)據(jù)340來補(bǔ)償在時(shí)間T0和T1之間發(fā)生的運(yùn)動(dòng)320。

換句話說，實(shí)施例可以獲取IMU數(shù)據(jù)345，其詳細(xì)描述了生成圖像310和325的攝像頭的角位置350和加速度355。角位置350使用三自由度（DOF）基礎(chǔ)詳細(xì)說明攝像頭的方位，而加速度355詳細(xì)說明攝像頭是平移還是移動(dòng)。

如前所述，運(yùn)動(dòng)補(bǔ)償操作通常包括修改一個(gè)姿態(tài)以匹配不同的姿態(tài)。不同的姿態(tài)可以是基于運(yùn)動(dòng)數(shù)據(jù)340的預(yù)測(cè)姿態(tài)。例如，圖像310反映或體現(xiàn)了頭顯305在時(shí)間T0的第一姿態(tài)。頭顯305然后移動(dòng)到新的位置或姿態(tài)，如運(yùn)動(dòng)320所示。

IMU捕捉到頭顯305在時(shí)間T0和T1之間的移動(dòng)。頭顯305可以使用IMU數(shù)據(jù)來預(yù)測(cè)頭顯305在時(shí)間T1的新姿態(tài)?；陬A(yù)測(cè)，頭顯305然后可以執(zhí)行運(yùn)動(dòng)補(bǔ)償操作，以變換圖像310中包含的姿態(tài)，從而反映頭顯305的預(yù)測(cè)姿態(tài)。

在時(shí)間T1，頭顯305生成圖像325。實(shí)施例能夠?qū)⑦\(yùn)動(dòng)補(bǔ)償姿態(tài)（其被設(shè)計(jì)為試圖反映頭顯305在時(shí)間T1的姿態(tài)）與頭顯305的在時(shí)間T1處的實(shí)際姿態(tài)進(jìn)行比較。這兩個(gè)姿態(tài)之間的差異水平或差異量反映了運(yùn)動(dòng)補(bǔ)償?shù)臏?zhǔn)確性。

如果沒有差異，那么運(yùn)動(dòng)補(bǔ)償操作是100%成功的。另一方面，差值越大，執(zhí)行的運(yùn)動(dòng)補(bǔ)償就越差。測(cè)量或比較差異主要是通過將每個(gè)像素的強(qiáng)度水平相互比較來執(zhí)行的。也就是說，識(shí)別運(yùn)動(dòng)補(bǔ)償圖像中的第一像素，并且識(shí)別圖像325中的對(duì)應(yīng)像素。將這兩個(gè)像素的強(qiáng)度水平彼此進(jìn)行比較。這兩個(gè)值之間的差值反映了運(yùn)動(dòng)補(bǔ)償操作的準(zhǔn)確性。

由于時(shí)間濾波過程，執(zhí)行運(yùn)動(dòng)補(bǔ)償合乎需要。時(shí)間濾波過程本質(zhì)上是將多個(gè)圖像疊加在一起，并將來自圖像的數(shù)據(jù)組合以生成增強(qiáng)圖像。為了令堆疊正常工作，不同圖像中的每個(gè)圖像中的姿態(tài)都應(yīng)該彼此對(duì)齊。因此，執(zhí)行運(yùn)動(dòng)補(bǔ)償操作以對(duì)準(zhǔn)各種不同圖像的各種不同姿態(tài)。

作為執(zhí)行時(shí)間濾波335操作的結(jié)果，實(shí)施例能夠生成與先前圖像的圖像數(shù)據(jù)315和330相比具有改進(jìn)或增強(qiáng)的圖像數(shù)據(jù)365的時(shí)間濾波圖像360。另外，實(shí)施例不僅有益地補(bǔ)償了攝像頭的運(yùn)動(dòng)，而且有益地減少了重影效果370對(duì)在場(chǎng)景中移動(dòng)的對(duì)象的影響。

圖4示出了用于通過執(zhí)行濾波權(quán)重計(jì)算來執(zhí)行時(shí)間濾波的示例方法400的流程圖。

方法400包括獲取具有第一時(shí)間戳的第一圖像的動(dòng)作（動(dòng)作405）。參考圖5的濾波權(quán)重計(jì)算500，圖5示出了如何獲取第一圖像505，其中第一圖像505具有時(shí)間戳505A?？蛇x地，第一圖像505可以是來自圖3的圖像310，并且可以由頭顯305生成。

動(dòng)作410涉及獲取具有第二時(shí)間戳的第二圖像。圖5示出了具有時(shí)間戳510A的第二圖像510。第二圖像510可以可選地是來自圖3的圖像325。圖像325是在時(shí)間T1生成的，而圖像310是在時(shí)間T0生成的。

因此，圖像310在時(shí)間上先于圖像325生成。攝像頭可以以不同的速率操作以獲取圖像。

動(dòng)作415包括對(duì)第一圖像執(zhí)行運(yùn)動(dòng)補(bǔ)償（MC）操作，以考慮可能在第一時(shí)間戳和第二時(shí)間戳之間的時(shí)間期間發(fā)生的運(yùn)動(dòng)。MC操作基于IMU數(shù)據(jù)。作為執(zhí)行動(dòng)作415的結(jié)果，生成MC圖像。圖5示出了對(duì)第一圖像505執(zhí)行的MC 520操作，從而產(chǎn)生MC圖像520A。

執(zhí)行MC 520操作是為了補(bǔ)償攝像頭的移動(dòng)。實(shí)施例執(zhí)行運(yùn)動(dòng)補(bǔ)償以校正該運(yùn)動(dòng)并變換在第一圖像505中呈現(xiàn)或體現(xiàn)的姿態(tài)以匹配預(yù)測(cè)將在稍后時(shí)間出現(xiàn)的預(yù)測(cè)姿態(tài)。使用前面提到的IMU數(shù)據(jù)來執(zhí)行變換。這樣的轉(zhuǎn)換可以通過各種重投影技術(shù)來執(zhí)行。

因此，作為執(zhí)行圖4的動(dòng)作415的結(jié)果，第一圖像中呈現(xiàn)的姿態(tài)現(xiàn)在假定對(duì)應(yīng)于第二圖像中呈現(xiàn)出的姿態(tài)。值得注意的是，如果運(yùn)動(dòng)補(bǔ)償操作是100%準(zhǔn)確，應(yīng)該是MC圖像與第二圖像的MC圖像完全匹配。然而，情況并非總是如此。例如，當(dāng)檢測(cè)到相對(duì)較大量的攝像頭移動(dòng)時(shí)，運(yùn)動(dòng)補(bǔ)償操作的精度經(jīng)常降低。相比之下，當(dāng)檢測(cè)到相對(duì)較小量的攝像頭移動(dòng)時(shí)，運(yùn)動(dòng)補(bǔ)償操作的精度經(jīng)常增加。

在執(zhí)行MC操作之后，存在下采樣操作。具體地，將MC圖像下采樣到選定分辨率，并且將第二圖像下采樣至相同的選定分辨率水平。通過對(duì)圖像進(jìn)行下采樣，能夠減少或減輕可能發(fā)生的重影效應(yīng)。另外，下采樣過程顯著減少了執(zhí)行所公開的操作所需的計(jì)算量。

返回圖4，方法400同時(shí)包括使用MC圖像和第二圖像生成差分圖像的動(dòng)作（動(dòng)作420）。差異圖像反映了MC圖像和第二圖像中的對(duì)應(yīng)像素之間存在的強(qiáng)度差異。

注意，圖5示出了下采樣圖像525和下采樣圖像530。如前所述，在執(zhí)行MC操作之后并且在生成差分圖像之前，濾波權(quán)重計(jì)算500可以進(jìn)一步包括將第一圖像或者更確切地說是MC圖像下采樣到所選擇的分辨率水平，并且將第二圖像下采樣至所選擇的分析率水平。

然后，使用下采樣的MC圖像和下采樣的第二圖像來執(zhí)行生成差圖像的過程，如差圖像535所示。對(duì)MC圖像和第二圖像進(jìn)行下采樣的處理操作以減少M(fèi)C圖像和第一圖像中的噪點(diǎn)，并且進(jìn)一步操作以減少重影效應(yīng)的可能性。

差異圖像535列出或提供存在于MC圖像（下采樣）和第二圖像（下取樣）之間的像素強(qiáng)度水平的差異。強(qiáng)度535A反映了差異圖像535中的強(qiáng)度差異。

通常情況下，運(yùn)動(dòng)補(bǔ)償操作不是真正準(zhǔn)確，從而導(dǎo)致兩個(gè)圖像之間的差異，造成差異圖像被填充有值。作為生成差圖像的結(jié)果，濾波權(quán)重計(jì)算在時(shí)間上將多個(gè)圖像平均在一起。

所以，作為生成差圖像的結(jié)果，在一段時(shí)間內(nèi)生成的多個(gè)圖像基本上一起平均。在這樣做的過程中，可以產(chǎn)生更高質(zhì)量的輸出圖像。

圖4中的動(dòng)作425然后包括基于差異圖像中的強(qiáng)度差異來生成局部權(quán)重圖。過程可以包括通過將負(fù)指數(shù)函數(shù)應(yīng)用于差異來將差異轉(zhuǎn)換為各種所謂的“權(quán)重參數(shù)”。如果差值為零，則函數(shù)輸出該像素的權(quán)重為1（即最大權(quán)重）。隨著差值越來越大，函數(shù)輸出的權(quán)重更接近或收斂于該像素的零（即最小權(quán)重）。

因此，對(duì)于下采樣圖像中的每個(gè)像素，權(quán)重在局部權(quán)重圖中的值0和1之間。在這個(gè)意義上，由差圖像反映的強(qiáng)度的相對(duì)較大的差異在局部權(quán)重圖中被提供相對(duì)較低的權(quán)重，而由差圖像反射的強(qiáng)度的比較較小的差異在本地權(quán)重圖中得到相對(duì)較高的權(quán)重。

局部權(quán)重圖生成過程同時(shí)可以包括將局部權(quán)重圖中的多個(gè)權(quán)重參數(shù)放大到與第一圖像和第二圖像的原始分辨率相匹配的數(shù)字。

放大過程可以包括執(zhí)行線性放大或雙線性放大操作中的一個(gè)或多個(gè)，以平滑包括在局部權(quán)重圖中的權(quán)重參數(shù)之間的轉(zhuǎn)換。在該階段，如圖5中的放大操作545所示，實(shí)施例將局部權(quán)重圖540放大以匹配第一圖像505的原始分辨率。

局部權(quán)重圖同時(shí)可以包括或接收生成圖像的攝像頭的模擬增益設(shè)置和/或數(shù)字增益設(shè)置，以作為生成權(quán)重的參數(shù)。換句話說，局部權(quán)重圖可以包括攝像頭的模擬增益設(shè)置或攝像頭的數(shù)字增益設(shè)置中的一個(gè)或多個(gè)。較高的增益值表示較高的噪聲水平。因此，為了補(bǔ)償噪點(diǎn)，可以考慮增益設(shè)置。

返回圖4，方法400包括基于由IMU生成的慣性測(cè)量單元（IMU）數(shù)據(jù)生成全局權(quán)重圖的動(dòng)作（動(dòng)作430）。IMU數(shù)據(jù)跟蹤攝像頭在跨越第一時(shí)間戳和第二時(shí)間戳的時(shí)間段之間的移動(dòng)。

換句話說，IMU數(shù)據(jù)反映了在第一時(shí)間戳和第二時(shí)間戳之間的時(shí)間段期間攝像頭的角運(yùn)動(dòng)和攝像頭的加速度。注意，動(dòng)作430在時(shí)間上在動(dòng)作410之后執(zhí)行?？梢耘c動(dòng)作415到425中的任何一個(gè)動(dòng)作并行地執(zhí)行動(dòng)作430。

如前所述，IMU數(shù)據(jù)反映了在第一時(shí)間戳和第二時(shí)間戳之間的時(shí)間段期間攝像頭的角位置和攝像頭的加速度。IMU數(shù)據(jù)指示攝像頭的姿態(tài)或方向，并進(jìn)一步指示攝像頭是否正在平移。

攝像頭的相對(duì)較高的角移動(dòng)量和加速度導(dǎo)致相對(duì)較低的權(quán)重值包括在全局權(quán)重圖中。值得注意的是，權(quán)重值反映了第一圖像在生成最終時(shí)間濾波圖像時(shí)將具有的影響量。類似地，攝像頭的相對(duì)較低的角運(yùn)動(dòng)量和加速度導(dǎo)致相對(duì)較高的權(quán)重值包括在全局權(quán)重圖中。

例如，假設(shè)攝像頭在第一和第二時(shí)間戳之間的時(shí)間段內(nèi)僅移動(dòng)了少量。在這種情況下，實(shí)施例將相對(duì)較高地加權(quán)第一圖像或更確切地說是MC圖像的值或影響，因?yàn)樗鰣D像可能是可靠的，并且因此可以與第二圖像適當(dāng)?shù)丿B加。

另一方面，假設(shè)攝像頭在第一和第二時(shí)間戳之間的時(shí)間內(nèi)移動(dòng)了大量。這里，實(shí)施例將MC圖像的值或影響加權(quán)得相對(duì)較低，因?yàn)樗鰣D像可能不可靠，因此不應(yīng)在堆棧中提供顯著影響。權(quán)重記錄在全局權(quán)重圖中。

因此，較高的移動(dòng)量（包括角度或平移移動(dòng)）導(dǎo)致MC圖像在生成最終時(shí)間濾波圖像時(shí)具有較小的影響。較小的移動(dòng)量導(dǎo)致MC圖像對(duì)最終時(shí)間濾波圖像的生成具有更大的影響。

因?yàn)槿謾?quán)重圖是基于IMU數(shù)據(jù)的，所以全局權(quán)重圖中包括的值可以在整個(gè)全局權(quán)重圖上都是一致的。類似地，全局權(quán)重圖可以包括全局權(quán)重圖的整體的單個(gè)權(quán)重或單個(gè)權(quán)重值。從這個(gè)意義上說，移動(dòng)量轉(zhuǎn)換或映射為加權(quán)度量。

圖5示出了如何基于IMU數(shù)據(jù)515來生成全局權(quán)重圖550。全局權(quán)重圖550的分辨率可以設(shè)計(jì)為與局部權(quán)重圖540的放大分辨率相匹配。分辨率545A反映了圖像和局部權(quán)重圖的不同分辨率。

接下來，在圖4中，方法400包括僅基于局部權(quán)重圖、僅基于全局權(quán)重圖或僅基于局部加權(quán)圖和全局權(quán)重圖的組合來生成最終權(quán)重圖的動(dòng)作（動(dòng)作435）。

圖5示出了最終權(quán)重圖555如何基于局部權(quán)重圖540（在放大之后）和全局權(quán)重圖550。在一個(gè)實(shí)施例中，通過將全局權(quán)重圖與局部權(quán)重圖相組合來生成最終權(quán)重圖，所述全局權(quán)重圖通過將包括在全局權(quán)重圖中的權(quán)重與包括在局部權(quán)重圖中所述權(quán)重相乘來生成。

有益的是，最終權(quán)重圖提供了基于像素的權(quán)重，其調(diào)節(jié)所得到的時(shí)間濾波圖像的生成。

如圖4的動(dòng)作440所示，然后使用最終權(quán)重圖來生成濾波圖像。在濾波權(quán)重計(jì)算的后續(xù)迭代期間，動(dòng)作445涉及使濾波后的圖像用作先前獲取的圖像。換句話說，濾波后的圖像被提供作為反饋回到濾波權(quán)重計(jì)算中。

在圖5中，生成最終權(quán)重圖555，并且基于最終權(quán)重圖555-生成濾波圖像560。濾波后的圖像560然后可以被提供作為反饋，并且可以提供為用于濾波權(quán)重計(jì)算500的后續(xù)迭代的第一圖像505。

圖6示出了局部權(quán)重圖600，其代表圖5的局部權(quán)重圖540。這里，使用負(fù)指數(shù)函數(shù)605來生成局部權(quán)重圖600。記錄在差異圖像中的強(qiáng)度差異饋送作為負(fù)指數(shù)函數(shù)605的輸入。函數(shù)將差異映射或轉(zhuǎn)換為權(quán)重值。較大的差異導(dǎo)致權(quán)重值收斂到0，而較小的差異導(dǎo)致權(quán)值收斂到1。

最終權(quán)重映射610代表圖5的最終權(quán)重映射555。通過將全局權(quán)重圖615與局部權(quán)重圖600相乘來計(jì)算最終權(quán)重圖610。這兩個(gè)不同映射的分辨率可以相同，因此矩陣或映射可以彼此相乘。通過乘以映射，實(shí)施例確定MC圖像與第二圖像疊加時(shí)將具有的影響水平。另外，通過執(zhí)行乘法運(yùn)算，最終權(quán)重圖555最小化攝像頭的移動(dòng)并且最小化重影效果。

經(jīng)濾波的圖像620代表了來自圖5的經(jīng)濾波圖像560。使用最終權(quán)重圖610來生成經(jīng)濾波的圖像620。

微軟指出，通過執(zhí)行所公開的操作，實(shí)施例顯著地改進(jìn)了如何執(zhí)行時(shí)間濾波，生成更高質(zhì)量的圖像，以及生成具有較少重影效果甚至沒有重影效果的圖像。作為直接結(jié)果，用戶對(duì)MR系統(tǒng)的體驗(yàn)得到了顯著改善。另外，通過執(zhí)行發(fā)明描述的技術(shù)，圖像的質(zhì)量永遠(yuǎn)不會(huì)比當(dāng)前圖像的質(zhì)量差。在大多數(shù)情況下，質(zhì)量會(huì)明顯更好。

相關(guān)專利：

Microsoft Patent | Temporal filtering weight computation

https://patent.nweon.com/28265

名為“Temporal filtering weight computation”的微軟專利申請(qǐng)最初在2021年11月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/110844