查看引用/信息源請點擊：映維網(wǎng)Nweon

超級分辨率圖像

（映維網(wǎng)Nweon?2023年08月04日）為了提高顯示給用戶的圖像質(zhì)量，特定的MR系統(tǒng)會執(zhí)行所謂的“時間濾波”，亦即將在多個時間點捕獲的數(shù)據(jù)組合起來以生成特定輸出。換句話說，系統(tǒng)本質(zhì)上是將多個圖像堆疊在一起，并以某種方式組合它們，從而產(chǎn)生具有改進質(zhì)量的聚合圖像。

但在執(zhí)行時間濾波時會遇到各種挑戰(zhàn)。例如當系統(tǒng)捕捉多個連續(xù)圖像時，場景或環(huán)境中的對象正在移動，就會產(chǎn)生所謂的拖影重影。另一個挑戰(zhàn)是，當攝像頭本身在生成圖像時發(fā)生運動。攝像頭的運動同樣會造成時間濾波過程產(chǎn)生偏差。

在名為“Generate super-resolution images from sparse color information”和“Use motion data to generate higher resolution images”的專利申請中，微軟就介紹了通過改進的時間濾波方法來產(chǎn)生超級分辨率圖像。

時間濾波

如上所述，為了提供更高質(zhì)量的圖像，MR頭顯可以配置為執(zhí)行時間濾波。圖3顯示了一個時間軸300。在時間T0，頭顯30生成包含圖像數(shù)據(jù)315的圖像310。圖像310是在弱光環(huán)境下生成。在時間T0之后，頭顯經(jīng)歷了一定數(shù)量的運動320。

在時間T1，頭顯305然后產(chǎn)生第二圖像325，其中包括圖像數(shù)據(jù)330。根據(jù)微軟介紹的方法，系統(tǒng)能夠使用圖像310和圖像325來執(zhí)行時間濾波335操作。所述實施例同時可以使用由IMU生成的運動數(shù)據(jù)340來補償在時間T0和T1之間發(fā)生的運動320。

即，所述實施例可以獲取IMU數(shù)據(jù)345。其中，數(shù)據(jù)345詳細說明產(chǎn)生所述圖像310和所述圖像325的所述攝像頭的角度位置350和加速度355。

運動補償操作通常涉及修改一個姿態(tài)以匹配不同的姿態(tài)。所述不同的姿態(tài)可以是基于所述運動數(shù)據(jù)340的預(yù)測姿態(tài)。作為示例，圖像310反映或體現(xiàn)頭顯305在時間T0的第一姿態(tài)。頭顯305然后移動到一個新的位置或姿態(tài)，如運動320所示。

IMU捕捉到了頭顯305在時間T0和T1之間的運動。所以，頭顯305可以使用IMU數(shù)據(jù)來預(yù)測頭顯305在時間T1（或者更晚）的新姿態(tài)。基于預(yù)測，頭顯305隨后可以執(zhí)行運動補償操作，將圖像310中包含的姿態(tài)變換為反映頭顯305的預(yù)測姿態(tài)。

在T1時刻，頭顯305生成圖像325。所述實施例能夠?qū)⑦\動補償姿態(tài)與頭顯305在T1時刻的實際姿態(tài)進行比較。這兩個姿態(tài)之間的差異程度或數(shù)量反映了運動補償?shù)臏蚀_性。如果沒有差異，則運動補償操作100%成功。

另一方面，差值越大，運動補償效果越差。測量或比較差異主要是通過比較每個像素的強度水平來完成。即，識別所述運動補償圖像中的第一像素，并識別所述圖像325中的相應(yīng)像素。這兩個像素的強度級別相互比較。這兩個值之間的差值反映了運動補償操作的準確性。

由于時間濾波過程，需要進行運動補償?；叵胍幌?，時間濾波過程本質(zhì)上是將多個圖像堆疊在一起，并將來自圖像的數(shù)據(jù)組合在一起以生成增強圖像。為了確保堆疊正常工作，每個不同圖像中的姿態(tài)應(yīng)該彼此對齊。所以，執(zhí)行運動補償操作以對齊各種不同圖像的各種不同姿態(tài)。

作為執(zhí)行時間濾波335操作的結(jié)果，實施例能夠生成時間濾波圖像360。然后，實施例不僅有益地補償攝像頭的運動，而且有益地減少了對在場景移動對象的重影效果370的影響。值得注意的是，攝像頭的曝光設(shè)置370在生成圖像時保持不變。

圖7示出了圖像700的匯編，例如圖像705和圖像710。每個圖像都是使用拜耳模式生成。所述實施例能夠在所述傳感器生成圖像時追蹤所述傳感器的各種位置。在一個實施例中，可以使用慣性測量單元IMU數(shù)據(jù)720執(zhí)行追蹤過程。

如果多個像素隨時間“覆蓋”環(huán)境的相同區(qū)域，則實施例可以執(zhí)行多個操作。例如，實施例可以選擇使用像素數(shù)據(jù)的最新版本，并且丟棄像素數(shù)據(jù)的舊版本。又如，實施例可以在較舊像素和較新像素之間執(zhí)行強度比較。如果兩個像素之間存在差異，則可能是環(huán)境中的對象發(fā)生移動，從而可能導(dǎo)致重影效果。

然后，實施例可以分析整個圖像以確定對象是否已經(jīng)移動。如果其中一個像素反映沒有對象的場景，而另一個像素反映有對象存在的場景，則實施例可以選擇使用前一個像素，從而消除可能的重影效果。

在一個實施例中，，表示或覆蓋環(huán)境中相同區(qū)域的像素可以賦予不同的權(quán)重。例如，可以計算像素之間的強度差異。然后可以定義一個函數(shù)，將差值轉(zhuǎn)換為權(quán)。較大的差異導(dǎo)致較小的權(quán)重，較小的差異導(dǎo)致較高的權(quán)重。權(quán)重可用于確定每個像素在合并像素數(shù)據(jù)以創(chuàng)建后續(xù)圖像時的影響。

所述實施例能夠彼此隔離不同的顏色數(shù)據(jù)。換句話說，紅色像素顏色數(shù)據(jù)可以與綠色、藍色和單色數(shù)據(jù)隔離開來。這種隔離是使用不同像素的不同顏色通道以及使用運動模型來解釋數(shù)據(jù)來執(zhí)行。

圖8顯示了漸進式累積800過程，其中圖像數(shù)據(jù)隨時間收集。通過在一段時間內(nèi)逐步收集顏色數(shù)據(jù)，實施例然后可以堆疊該顏色數(shù)據(jù)（即執(zhí)行時間濾波），并基于單獨收集的像素數(shù)據(jù)有效地“構(gòu)建”結(jié)果圖像。

具體來說，獲取IMU是為了確定從一張圖像到另一張圖像的姿態(tài)差異。姿態(tài)可以使用運動補償操作對齊。有了對齊的數(shù)據(jù)，顏色信息就可以被“填充”，從而生成圖像。

在時間A，攝像頭使用具有稀疏拜耳圖案的傳感器生成圖像。

在時間B，生成另一個圖像。在這個示例場景中，攝像頭稍微移動了位置，紅色像素的位置現(xiàn)在稍微向右移了一點。利用IMU數(shù)據(jù)，可以進行運動補償以確定兩個像素之間的相對位置。現(xiàn)在，實施例具有兩個紅色像素815的數(shù)據(jù)。換句話說，相同的傳感器像素在兩次都生成數(shù)據(jù)，但實施例能夠隨著時間的推移追蹤數(shù)據(jù)，從而實現(xiàn)現(xiàn)在有多個數(shù)據(jù)單元的場景。

在時間C，攝像頭再次移動位置，再次生成另一幅圖像，并再次確定像素的相對位置?，F(xiàn)在，實施例具有三種不同紅色像素820的數(shù)據(jù)。

在時間D，攝像頭移動了多次，產(chǎn)生了眾多不同的圖像。從圖8中，可以觀察到整個圖像是如何在一段時間內(nèi)被紅色像素數(shù)據(jù)“填充”。紅色像素825說明了顏色數(shù)據(jù)的逐步積累。

在時間“E”，攝像頭已經(jīng)移動了很多次，產(chǎn)生了許多不同的圖像?，F(xiàn)在的情況是，可以使用前面描述的運動補償時間濾波過程，隨時間收集的像素數(shù)據(jù)填充整個圖像。紅色像素830說明了隨著時間的推移顏色數(shù)據(jù)的逐步積累。

通過追蹤用于每個圖像的攝像頭的姿態(tài)810信息，實施例可以生成結(jié)果圖像，并且可以用所獲取的像素信息填充該結(jié)果圖像中的特定像素。

使用運動模型生成圖像

圖9示出可用于從低分辨率稀疏色輸入圖像生成高分辨率全彩色輸出圖像的示例架構(gòu)900。最初，使用前面概述的過程獲取一組像素數(shù)據(jù)905。

其中，像素數(shù)據(jù)905包括像素的強度910信息，并且生成像素數(shù)據(jù)905的圖像具有稀疏分辨率915。顏色數(shù)據(jù)或分辨率的稀疏可能是由于次優(yōu)光照條件，例如可能是低光照條件。

將像素數(shù)據(jù)905作為輸入饋送到運動模型920。除了像素數(shù)據(jù)905之外，同時將補充信息925作為輸入饋送到運動模型920。其中，所述補充信息925可以包括特征匹配930數(shù)據(jù)或IMU數(shù)據(jù)935。

特征匹配930數(shù)據(jù)使用特征點之間的匹配來對齊所生成的各種圖像(例如，像素數(shù)據(jù)905。換句話說，所述實施例可以識別各種不同圖像之間的圖像對應(yīng)關(guān)系。然后可以使用圖像對應(yīng)來確定如何使用運動模型920使各種圖像彼此對齊。

當使用匹配930的特征時，所述運動模型920可能是單應(yīng)性運動模型、相似變換運動模型或者可能是仿射運動模型。

另一方面，IMU數(shù)據(jù)935還可用于確定如何對齊各種圖像，或者更確切地說，用于確定像素數(shù)據(jù)彼此的相對定位。當使用IMU數(shù)據(jù)935時，運動模型920可以是任何類型的三維旋轉(zhuǎn)運動模型。

在任何情況下，運動模型920使用補充信息925來識別產(chǎn)生像素數(shù)據(jù)905的各種圖像之間的相對對齊。使用用于不同像素類型的不同通道將像素數(shù)據(jù)905饋送到運動模型920中，并且運動模型920能夠分析傳入的信息，以便將像素數(shù)據(jù)彼此隔離。

使用傳入的信息，運動模型920能夠?qū)⑺屑t色像素與所有非紅色像素隔離并存儲。運動模型920能夠從所有非綠色像素中分離并存儲所有綠色像素。運動模型920能夠從所有非藍色像素中分離并存儲所有藍色像素。類似地，運動模型920能夠從所有的非單色像素中分離并存儲所有的單色像素。

圖9示出上述分離過程的一個示例。例如，所述運動模型920能夠分析所述像素數(shù)據(jù)905和所述補充信息925以識別所述紅色像素940?；诩t色像素940，運動模型920可以生成純紅色圖像945。

執(zhí)行類似的操作來生成純綠色圖像950、純藍色圖像955和單色圖像960。各自的圖像表示已收集的像素數(shù)據(jù)的運動補償（即對齊）堆疊版本。換句話說，各自的圖像是已收集的所有各自的顏色信息的復(fù)合，并且顏色信息使用補充信息925通過運動模型920相對于彼此對齊。

純紅、純綠和純藍圖像的分辨率可以高于生成像素數(shù)據(jù)905的原始圖像。通常，由于時間濾波過程的疊加效應(yīng)，僅紅、僅綠和僅藍圖像的分辨率將高于原始攝像頭圖像的分辨率。

所述實施例能夠使用純紅色圖像945、純綠色圖像950、純藍色圖像955和任選的單色圖像960，然后生成高分辨率輸出全彩圖像965。即，可以將來自這些各自圖像的顏色和紋理信息合并在一起，生成高分辨率輸出彩色圖像965。

在缺少顏色數(shù)據(jù)的場景中，所述實施例可以執(zhí)行雙邊插值970以用顏色數(shù)據(jù)填充缺失區(qū)域。雙邊插值970可以在純紅色圖像945、純綠色圖像950、純藍色圖像955、單色圖像960甚至高分辨率輸出彩色圖像965中的任何一個或多個圖像上執(zhí)行。

在一種場景中，在組合彩色圖像時，可以將單色圖像960用作索引或可能用作參考框架，以幫助澄清紋理點或邊界信息。通過使用用于合并過程的單色圖像960來創(chuàng)建高分辨率輸出彩色圖像965，所述單色圖像960還可用于增強所述高分辨率輸出彩色圖像965中所產(chǎn)生的紋理或強度。

圖10示出一個示例超分辨率處理1000，其中可以從較低分辨率輸入圖像（例如640×480分辨率或1280×960分辨率）生成具有超分辨率(例如2560×2048及以上)的輸出圖像。

最初，超分辨率處理1000包括獲取圖像1005。這個圖像具有特定的分辨率。分辨率1010是稀疏的。值得注意的是，1010的分辨率低于單色圖像的分辨率。

另外，超分辨率處理1000包括獲取單色圖像1015。由于增加了單色像素的數(shù)量，所得到的單色圖像1015將具有相對較高的分辨率1020。這個相對較高的分辨率1020（與分辨率1010相比）是超分辨率，例如2560×2048分辨率。

根據(jù)微軟介紹的方法，將圖像1005和單色圖像1015作為輸入饋送到運動模型1025中。然后對圖像1005進行上采樣或內(nèi)插，以使圖像1005的分辨率1010與單色圖像1015的分辨率1020相匹配。這個過程可以在所有的純紅、純綠和純藍映像上執(zhí)行。

隨著圖像1005現(xiàn)在具有更高的分辨率，實施例隨后可以將該圖像與其他上采樣圖像，即組合所有純紅色、純綠色和純藍色圖像以生成超分辨率RGB圖像1035。換句話說，所有的純紅、純綠和純藍圖像都可以上采樣，然后可以相互組合或合并以生成超分辨率RGB圖像1035。

圖11和12示出用于使用運動數(shù)據(jù)從具有稀疏顏色信息的多個圖像生成高分辨率輸出彩色圖像的示例流程圖。

最初，方法1100包括使攝像頭生成圖像的行為。在這里，攝像頭的傳感器配置為具有稀疏的拜耳圖案，包括一個或多個紅色像素、一個或多個綠色像素、一個或多個藍色像素和多個單色像素。值得注意的是，每張圖像都包含稀疏的顏色數(shù)據(jù)和稀疏的強度數(shù)據(jù)。另外，攝像頭的曝光設(shè)置在攝像頭生成圖像時保持不變。

當攝像頭生成圖像時，1110包括為每個圖像獲取相應(yīng)的慣性測量單元IMU數(shù)據(jù)。因此，生成多個IMU數(shù)據(jù)。每張圖像的IMU數(shù)據(jù)表示攝像頭在生成每張圖像時所處的相應(yīng)姿態(tài)。

在1115中，實施例將圖像和IMU數(shù)據(jù)饋送到運動模型中。運動模型對圖像執(zhí)行時間濾波，并使用IMU數(shù)據(jù)生成純紅色圖像、純綠色圖像和純藍色圖像。

1115將圖像和IMU數(shù)據(jù)輸入到運動模型中。

1200包括通過將圖像中包含的紅色像素與非紅色像素隔離來生成僅紅色的圖像。1200進一步涉及用紅色像素填充紅色圖像，方法是將每個各自的紅色像素放置在紅色圖像內(nèi)相應(yīng)的紅色圖像坐標上。值得注意的是，對應(yīng)的紅色圖像坐標是使用IMU數(shù)據(jù)確定。

1205包括通過將圖像中包含的綠色像素與非綠色像素分離來生成僅綠色的圖像。1205進一步涉及用綠色像素填充純綠色圖像，方法是將每個各自的綠色像素放置在純綠色圖像內(nèi)相應(yīng)的純綠色圖像坐標處。可以使用IMU數(shù)據(jù)確定相應(yīng)的綠色圖像坐標。

1210包括通過將圖像中包含的藍色像素與非藍色像素隔離來生成純藍色圖像。行為1210進一步包括用藍色像素填充純藍色圖像，方法是將每個各自的藍色像素放置在純藍色圖像內(nèi)相應(yīng)的純藍色圖像坐標處?？梢允褂肐MU數(shù)據(jù)確定相應(yīng)的純藍色圖像坐標。

1215包括通過將圖像中包含的單色像素與非單色像素分離來生成單色圖像。行為1215進一步包括通過將每個各自的單色像素放置在單色圖像內(nèi)相應(yīng)的單色圖像坐標處，用單色像素填充單色圖像?？梢允褂肐MU數(shù)據(jù)確定相應(yīng)的單色圖像坐標。

純紅色、純綠色、純藍色和單色圖像的分辨率可以選擇性地高于生成像素數(shù)據(jù)的原始圖像的分辨率。單色圖像的分辨率高于任何其他圖像。

1130涉及到通過組合純紅色圖像、純綠色圖像和純藍色圖像來生成高分辨率輸出彩色圖像。

圖13示出用于從低分辨率稀疏色輸入圖像生成高分辨率全彩色輸出圖像的示例方法1300的流程圖。

類似于方法1100，攝像頭生成多個圖像。在這里，攝像頭的傳感器被配置為具有稀疏的拜耳圖案。

當攝像頭生成圖像時，1310包括為每個圖像獲取相應(yīng)的慣性測量單元IMU數(shù)據(jù)。

1315，實施例將圖像和IMU數(shù)據(jù)饋送到運動模型中。運動模型對圖像執(zhí)行時間濾波，并使用IMU數(shù)據(jù)生成純紅色圖像、純綠色圖像、純藍色圖像和單色圖像。

1325涉及到將圖像和補充數(shù)據(jù)輸入到一個運動模型中。運動模型對圖像執(zhí)行時間濾波，并使用補充數(shù)據(jù)生成純紅色圖像、純綠色圖像、純藍色圖像和單色圖像。

1330包括對純紅色圖像、純綠色圖像和純藍色圖像進行上采樣，以產(chǎn)生純紅色圖像的第一分辨率、純綠色圖像的第二分辨率和純藍色圖像的第三分辨率。在一個實施例中，在對純紅色、純綠色和純藍色圖像進行上采樣之前，可以對單色圖像進行上采樣或內(nèi)插，以提高單色圖像的分辨率。上采樣可以是雙邊上采樣。

1335，實施例通過組合上采樣的純紅色圖像、上采樣的純綠色圖像、上采樣的純藍色圖像和單色圖像來生成高分辨率輸出彩色圖像。所述高分辨率輸出彩色圖像的結(jié)果分辨率高于所述第一、第二或第三分辨率中的任何一個。

生成純紅色圖像、純綠色圖像和純藍色圖像的過程可以使用時間濾波來執(zhí)行。即隨著時間的推移獲取多幅圖像，然后有選擇地將數(shù)據(jù)相互合并以生成新圖像，即運動補償時間濾波的過程。在生成不同的圖像之后，實施例隨后可以生成高分辨率輸出彩色圖像。通過將單色圖像提供的強度與純紅色圖像、純綠色圖像和純藍色圖像提供的顏色合并，可以生成高分辨圖像。

微軟指出，在執(zhí)行描述的操作時，實施例向用戶提供改進的圖像質(zhì)量。因此，用戶與計算機系統(tǒng)交互的體驗將得到加強。

相關(guān)專利：Microsoft Patent | Generate super-resolution images from sparse color information

https://patent.nweon.com/29220

相關(guān)專利：Microsoft Patent | Use motion data to generate higher resolution images

https://patent.nweon.com/29218

名為“Generate super-resolution images from sparse color information”和“Use motion data to generate higher resolution images”的微軟專利申請最初在2023年2月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/111114