查看引用/信息源請點擊：映維網(wǎng)Nweon

呈現(xiàn)透視合成圖像

（映維網(wǎng)Nweon?2022年05月31日）對于當前VR頭顯支持的MR透視功能，其性能大多存在限制，用戶體驗不佳。另外，今天的技術(shù)需要多個攝像頭，但這會導(dǎo)致額外的重量、成本和能耗。針對這個問題，行業(yè)正在積極探索各種解決方案。例如在名為“Using machine learning to selectively overlay image content”的專利申請中，微軟就提出了一種利用機器學(xué)習(xí)來選擇性疊加圖像內(nèi)容的方式。

概括來說，系統(tǒng)可以訪問具有第一樣式的第一圖像，并訪問具有第二樣式的第二圖像。在對樣式進行深度神經(jīng)網(wǎng)絡(luò)（DNN）學(xué)習(xí)之后，將第一圖像的副本作為輸入饋送給DNN。DNN通過將第一圖像副本從第一樣式轉(zhuǎn)換為隨后的第二樣式來修改第一圖像副本。

結(jié)果，轉(zhuǎn)換后的第一圖像副本的修改樣式雙邊匹配第二樣式。通過這種方式，頭顯可以從一個圖像中選擇性地提取一個或多個部分，進行匹配的翹曲，并將所述部分疊加到另一個圖像，從而呈現(xiàn)質(zhì)量提升的透視合成圖像。

圖6A示出了示例方法的流程圖。方法600包括訪問由第一攝像頭生成的第一圖像的動作（動作605），第一攝像頭生成具有第一樣式的圖像。所述方法進一步包括訪問由第二攝像頭生成的第二圖像的動作（動作610），第二攝像頭生成具有第二樣式的圖像。

在DNN學(xué)習(xí)第一樣式和第二樣式之后，可以將第一圖像的副本作為輸入饋送給DNN的動作（動作615）。圖7A是這種過程的示例。

圖7A示出了樣式轉(zhuǎn)換過程700。DNN 705接受過識別和應(yīng)用不同樣式的訓(xùn)練。例如，DNN 705包括包含用于訓(xùn)練DNN 705的訓(xùn)練數(shù)據(jù)715的存儲器710或與之相關(guān)聯(lián)的存儲器710。根據(jù)訓(xùn)練數(shù)據(jù)715，DNN 705學(xué)習(xí)了樣式720，可見光樣式、微光樣式和熱數(shù)據(jù)樣式。

圖7A同時示出了圖像副本725，其代表動作615中提到的第一圖像的副本。圖像的副本可用于保留原始圖像而不修改原始圖像。

返回圖6A，動作620將第一圖像副本從第一樣式轉(zhuǎn)換為隨后的第二樣式，從而允許DNN修改第一圖像副本。因此，經(jīng)過轉(zhuǎn)換的第一圖像副本的修改樣式雙邊匹配第二樣式。其中，雙邊匹配意味著一幅圖像的特征、特征和編輯操作與另一幅圖像的特征、特征和編輯操作相關(guān)聯(lián)。

盡管特征、特征和編輯操作可能不完全相同，但它們充分相關(guān)（或與閾值量相關(guān)），以確保兩個圖像的結(jié)果樣式彼此對應(yīng)。

當然，可以執(zhí)行相反的操作。例如，可以將第二圖像的副本作為輸入饋送到DNN。然后，可以通過將第二圖像副本從第二樣式轉(zhuǎn)換為隨后的第一樣式，從而允許DNN修改第二圖像副本，使得轉(zhuǎn)換后的第二圖像副本的修改樣式與第一樣式雙邊匹配。

如圖6B進一步描述，第一圖像和轉(zhuǎn)換后的第二圖像副本可以構(gòu)成第一樣式的第一立體圖像對。另外，第二圖像和轉(zhuǎn)換后的第一圖像副本可以構(gòu)成第二樣式的第二立體圖像對?？梢詫Φ谝粓D像和轉(zhuǎn)換后的第一圖像副本執(zhí)行視差校正，以令第一圖像和轉(zhuǎn)換后的第一圖像副本的透視圖彼此對齊，并且與用戶的瞳孔對齊。

同時，實施例可以對第二圖像和經(jīng)過轉(zhuǎn)換的第二圖像副本執(zhí)行視差校正，以令第二圖像和經(jīng)過轉(zhuǎn)換的第二圖像副本的透視圖彼此對齊，并與用戶的另一個瞳孔對齊。

圖7A示出DNN 705如何能夠接收圖像副本725作為輸入并對圖像副本725執(zhí)行樣式轉(zhuǎn)換。樣式轉(zhuǎn)換將圖像副本725的樣式轉(zhuǎn)換為新樣式，從而創(chuàng)建新圖像，如樣式轉(zhuǎn)換后的圖像730所示。樣式轉(zhuǎn)換后的圖像730具有與指示DNN 705將圖像副本725轉(zhuǎn)換為的樣式相對應(yīng)的樣式。

如圖7B所示，另一圖像的所選樣式同時饋入作為輸入到DNN 705。換句話說，除了圖像副本725之外，可以將另一個圖像或圖像副本735同時饋送到DNN 705中。圖像副本735的樣式是DNN 705將圖像副本725轉(zhuǎn)換為的樣式。

在接收到圖像副本735后，DNN 705能夠識別第二樣式（動作740），所述樣式對應(yīng)于圖像副本735的樣式。如上所述，DNN 705的任務(wù)是將圖像副本725的樣式轉(zhuǎn)換為第二樣式。另外，DNN 705能夠識別幾何信息（動作 740A）、識別紋理信息（動作 740B）、識別輪廓信息（動作 740C）、識別內(nèi)容信息（動作 740D）、識別特征點信息（動作 740E）和/或識別編輯信息（動作 740F）。

基于從圖像副本735提取或?qū)W習(xí)的上述信息，DNN 705能夠調(diào)整其初始學(xué)習(xí)數(shù)據(jù)，以便更充分地將圖像副本725的樣式轉(zhuǎn)換為圖像副本735中體現(xiàn)的樣式。

因此，第二圖像的副本可以作為輸入饋送到DNN 705。作為響應(yīng)，DNN 705隨后可以執(zhí)行一系列操作。例如，響應(yīng)于接收第二圖像副本和第一圖像副本作為輸入，DNN能夠通過分析第二圖像副本的屬性來識別體現(xiàn)在第二圖像副本中的第二樣式。

例如，DNN能夠基于第二圖像副本捕獲的透視識別幾何信息，基于第二圖像副本捕獲的透視識別輪廓信息，通過分析第二圖像捕獲的紋理識別紋理信息等等。

基于從第二圖像副本的屬性識別第二樣式的DNN，以及基于幾何信息、輪廓信息、紋理信息或任何其他識別信息，DNN通過將第一圖像副本從第一樣式轉(zhuǎn)換為隨后的第二樣式來修改第一圖像副本，使得轉(zhuǎn)換后的第一圖像副本的修改樣式雙邊匹配第二樣式。

DNN能夠接收兩個不同樣式的圖像作為輸入（例如第一樣式的第一輸入圖像和第二樣式的第二輸入圖像）。為了響應(yīng)輸入，DNN能夠執(zhí)行修改和轉(zhuǎn)換以生成兩個輸出圖像。例如，第一樣式的第一輸入圖像轉(zhuǎn)換為第二樣式的第一輸出圖像，第二樣式的第二輸入圖像轉(zhuǎn)換為第一樣式的第二輸出圖像。

方法600進一步包括將轉(zhuǎn)換后的第一圖像副本的選定部分疊加到第一圖像，從而生成合成圖像的動作（動作630）?；蛘?，可以將第一圖像的部分疊加到轉(zhuǎn)換后的第一圖像副本。換句話說，專利描述的實施例能夠從一個圖像中選擇性地提取一個或多個部分，并將所述部分疊加到另一個圖像上。

例如，如果第一個樣式是可見光樣式，第二個樣式是熱數(shù)據(jù)樣式，則轉(zhuǎn)換后的第一個圖像副本包括熱數(shù)據(jù)，使得至少一定的熱數(shù)據(jù)疊加在第一個圖像，并且合成圖像包括可見光數(shù)據(jù)和至少一定的熱數(shù)據(jù)。

當轉(zhuǎn)換為另一種樣式時，圖像隨后將包括另一種樣式類型的數(shù)據(jù)。作為另一示例，可以將熱數(shù)據(jù)疊加到可見光圖像或弱光圖像。隨后，合成圖像可以顯示在頭顯顯示器（動作635）。

方法600中討論的第二圖像和轉(zhuǎn)換后的第一圖像副本構(gòu)成第二樣式的立體圖像對。由于這兩幅圖像是從不同的角度拍攝，并且這兩幅圖像將捕獲至少一定的重疊內(nèi)容，所以這兩幅圖像可用于執(zhí)行立體深度匹配。

翹曲圖像以準備疊加圖像內(nèi)容

如上所述，頭顯可以配置為將來自一個圖像的內(nèi)容覆蓋到另一個圖像，以形成所謂的合成圖像，然后可以將其顯示給用戶。圖8A和8B示出了一個流程圖，其中圖像使用不同的光譜數(shù)據(jù)，以便在兩個圖像之間精確對齊或疊加內(nèi)容。

方法800包括訪問包含代表第一光譜的圖像數(shù)據(jù)的第一圖像（動作805）。另外，方法800包括訪問包括代表第二光譜的圖像數(shù)據(jù)的第二圖像（動作810）。動作805和810可以彼此串行或并行地執(zhí)行。

圖9示出了可代表動作805中的第一圖像的翹曲LL圖像900和可代表動作810中的第二個圖像的熱圖像905。翹曲的LL圖像900標記為“翹曲”，因為已經(jīng)對其應(yīng)用了一個或多個變換。

例如，視差校正可以應(yīng)用于圖像，以確保翹曲LL圖像900的透視圖與用戶瞳孔的透視圖對齊，即翹曲LL圖像900可以是視差校正圖像。相反，變換尚未應(yīng)用于熱圖像905。

比較這兩幅圖，我們可以看到熱圖像905比翹曲的LL圖像900更小和更傾斜。由于所述的特征差異，如果直接將來自熱圖像905的內(nèi)容疊加到翹曲的LL圖像900，則內(nèi)容會錯位，并且產(chǎn)生的合成圖像看起來是低質(zhì)量圖像。

針對這個問題，圖8A的方法800包括將第一圖像和第二圖像作為輸入饋送到深度神經(jīng)網(wǎng)絡(luò)（DNN）（動作815）。例如，圖10示出了作為輸入饋入DNN 1010的第一圖像1000和第二圖像1005。

返回圖8A，然后DNN在第一圖像和第二圖像內(nèi)識別（動作820）第一圖像和第二圖像之間共同的特征點。例如，假設(shè)第一個圖像是弱光圖像，第二個圖像是熱圖像。在這種情況下，即使微光圖像表示使用微光數(shù)據(jù)的環(huán)境，而熱圖像表示使用熱數(shù)據(jù)的環(huán)境，DNN都能夠識別特征點。

圖11A提供了所述動作的有用說明。具體地，圖11A示出了代表方法800中的第一圖像的翹曲LL圖像1100和代表第二圖像的熱圖像1105。

圖11A同時示出了DNN如何識別兩個圖像之間的對應(yīng)特征點，例如特征點1110A和特征點1110B。即便翹曲的LL圖像1100和熱圖像1105包括不同類型的數(shù)據(jù)，DNN都能夠分析這兩個圖像的特征，并識別這兩個圖像中通常表示相同對象或特征的特征點。

返回圖8A，可以生成映射（動作825），其中映射列出了特征點，并且列出了來自第一圖像和第二圖像的特征點的坐標。圖10示出DNN 1010如何能夠生成對應(yīng)映射1015。另外如圖11A所示，DNN能夠識別兩個圖像之間的坐標差1115。即，特征點1110A位于翹曲LL圖像1100內(nèi)的特定像素坐標集處。

類似地，特征點1110B位于熱圖像1105內(nèi)的特定像素坐標集處。由于兩幅圖像的大小、幾何結(jié)構(gòu)或潛在的透視角度不同，坐標可能會不同，但DNN能夠識別差異，如坐標差異1115所示。

另外，DNN 1010能夠識別兩幅圖像特征之間的差異。所述差異至少反映了可能已經(jīng)對翹曲的LL圖像900執(zhí)行的任何不同翹曲1020，亦即為校正視差而執(zhí)行的任何翹曲或變換。如前所述，翹曲1020包括但不限于傾斜、旋轉(zhuǎn)、平移等。

然后，方法800可包括翹曲第二圖像的動作（動作835），以使第二圖像中特征點的坐標對應(yīng)于第一圖像中特征點的坐標。實施例能夠翹曲第二（或第一）圖像，使圖像中的特征點坐標與另一圖像中的特征點坐標相對應(yīng)。翹曲第二圖像可以包括對第二圖像執(zhí)行以下任何操作：拉伸操作、收縮操作、傾斜操作、旋轉(zhuǎn)操作、平移操作或縮放操作。

另外，所述實施例能夠顯示合成圖像，合成圖像包括第二圖像疊加在第一圖像相應(yīng)部分的的選定翹曲部分。舉例來說，第二圖像可以是微光圖像或熱圖像。實施例能夠分析第二圖像以識別明亮區(qū)域和/或“熱”區(qū)域（或冷區(qū)域）?？梢赃x擇、提取識別區(qū)域，然后將其疊加到第一圖像的相應(yīng)部分。在

在一個實施例中，為了改進翹曲過程，實施例可以另外向DNN饋送第三圖像。第三圖像可對應(yīng)于第一圖像，但第三圖像可能尚未進行任何視差校正。通過所述輸入，DNN能夠識別在視差校正操作期間對第一圖像的特征點所做的更改，然后可以將相關(guān)更改應(yīng)用于第二圖像中的特征點。

圖11B顯示了翹曲的LL圖像1100和熱圖像1105。在這兩幅圖像中，可以識別出任意數(shù)量的對應(yīng)特征點。然后，實施例翹曲特征點，使得特征點的定位在兩個圖像之間彼此對齊。

例如，特征點1120正在翹曲1125，以向左和向上推動。特征點1130正在翹曲1135，以向左和向下推動。特征點1140正在翹曲1145，以向右推動。特征點1150正在翹曲1155，以向上和向右推動。需要注意的是，所述翹曲是二維翹曲，而不是三維幾何翹曲（如依賴深度的視差校正）。

在任意數(shù)量的特征點執(zhí)行翹曲操作后，生成翹曲熱圖像1160，其中翹曲熱圖像1160與翹曲LL圖像1100相對應(yīng)或?qū)R。如對應(yīng)1165所示，翹曲熱圖像1160中的山的特征點位于與翹曲LL圖像1100中的山相同的像素坐標?，F(xiàn)在，翹曲的熱圖像1160與翹曲的LL圖像1100對齊（像素方向）。

相關(guān)專利：Microsoft Patent | Using machine learning to selectively overlay image content

名為“Using machine learning to selectively overlay image content”的微軟專利申請最初在2022年2月提交，并在日前由美國專利商標局公布。

---
原文鏈接：https://news.nweon.com/97595