查看引用/信息源請點擊：映維網(wǎng)Nweon

高對比度圖像

（映維網(wǎng)Nweon?2022年07月05日）環(huán)境中的相對物體溫度可以通過熱圖像來估計。熱圖像的像素可以對熱強度值進行編碼，以表示熱攝像頭從環(huán)境對象接收的熱能的相對量。基于接收到的熱輻射量的不同，可以將哺乳動物等暖對象與無生命的背景對象區(qū)分開來。然后，可以根據(jù)相對強度值對生成的熱圖像進行著色，以便于對象識別。

作為示例，圖1描繪了用戶100通過頭戴式顯示系統(tǒng)104查看示例環(huán)境102。用戶100基于由頭戴式顯示系統(tǒng)104的熱成像設(shè)備檢測到的熱圖像感知環(huán)境102。環(huán)境102包括墻112、114和116、地板118和門120等特征，同時包括書架122、沙發(fā)124、咖啡桌126、咖啡杯128、人130和門把手132等對象。

環(huán)境102中最熱的對象以白色顯示，包括人130和咖啡杯128。盡管頭顯顯示的熱圖像向用戶100清楚地指示相關(guān)對象，但其他無生命和寒冷的對象和特征（以灰色顯示）則不可識別（或不太可識別）。這可能令用戶100難以在環(huán)境102中導航，例如會被絆倒或撞到墻壁。

針對這個問題，微軟認為可以對熱成像進行對比度增強。但如果未執(zhí)行適當?shù)纳{(diào)映射，對比度增強圖像可能會丟失場景較冷部分中的精細細節(jié)，或者會使較熱對象飽和。

如果單純提供增強對比度，例如令深色背景中的對象變亮，則場景中對象的相對強度或溫度信息可能會丟失。如果基于感知的溫度對增強對比度圖像執(zhí)行著色，則特定背景對象可能被著色，而目標前景信息可能丟失。實際上，應(yīng)用局部對比度增強會破壞全局場景信息，所以用戶無法再分辨圖像中最熱的像素。

對于增強現(xiàn)實和虛擬現(xiàn)實應(yīng)用程序，重要的是生成支持用戶查看相關(guān)功能并在其環(huán)境中成功移動的圖像。高動態(tài)范圍圖像將包括相對低強度的區(qū)域和相對高強度的區(qū)域。用于提供對比度和著色的單一管道方法傾向于在環(huán)境的其余部分增強對比度時將高強度對象混合到背景中。

所以在名為“Contrast enhanced images composited with artificial colorization”專利申請中，微軟表示不在單個管道內(nèi)順序執(zhí)行對比度增強和人工著色，而是將基于強度的線性圖像數(shù)據(jù)的處理分成兩個管道。使用單個管道時，可能無法獲得所需的場景對比度，和/或場景中的某些對象可能被錯誤地著色。相反，可以在第一管道中對圖像進行對比度增強，并在第二管道中對圖像進行人工著色。然后，可以將兩個結(jié)果圖像和/或其至少部分合成為高對比度圖像，其中最高強度像素被著色。

以這種方式在非增強圖像上執(zhí)行人工著色。因此，結(jié)果保持具有高強度的圖像區(qū)域和對象，并且可以作為目標對象呈現(xiàn)。同時，整個場景可以具有增強的對比度，這不僅在視覺上對用戶而言更有用，而且不會對背景對象進行錯誤著色。

從場景圖像中有效地拉出高強度對象（例如熱圖像中的人）并進行精確的著色，然后再融合回場景圖像中。這將生成保留原始強度信息的高對比度圖像。這種方法支持多種對比度增強方法和彩色化方法，只要結(jié)果圖像可以重新組合。這兩條管道可以共享兩個子方法所需的計算，從而提高效率并允許近實時圖像處理。

圖3描繪了用于增強數(shù)字圖像的示例方法300。

在310，方法300包括接收環(huán)境的基于強度的線性圖像。例如，方法300可以包括經(jīng)由熱攝像頭接收真實世界環(huán)境的熱圖像，所屬熱圖像包括熱圖像的多個像素中的每個像素的熱強度值。可以從提供每像素強度值的任何成像設(shè)備接收基于強度的線性圖像，而不管頻率范圍。

如上所述，熱攝像頭可以集成到執(zhí)行方法300的一個或多個步驟的計算設(shè)備中，而不僅僅是圖像捕獲。或者，熱攝像頭可以是獨立的攝像頭，或者是單獨攝像頭系統(tǒng)的組件。因此，配置為實現(xiàn)方法300的步驟的一個或多個計算設(shè)備可以從遠程攝像頭接收熱圖像（和/或其他圖像）。

接收到的線性基強度圖像可以是直接從光學傳感器接收到的原始圖像、經(jīng)過一定程度后處理的原始圖像數(shù)據(jù)，例如應(yīng)用數(shù)字增益和/或固定模式噪點去除。然而，接收到的線性基強度圖像可能沒有經(jīng)歷對比度增強，或彩色化處理，或任何其他會改變數(shù)據(jù)線性性質(zhì)或圖像高動態(tài)范圍的處理。

有時候，相對較高的輻射強度值可能對應(yīng)于成像場景中發(fā)射相對較多熱能的區(qū)域。一般來說，“熱攝像頭”可以包括配置為接收和編碼來自環(huán)境對象的熱能（例如紅外光）的任何成像系統(tǒng)。在一個示例中，熱攝像頭可以包括布置在熱攝像頭的其他光學元件之前的輻射計透鏡。

類似地，當包括時，可見光和深度攝像頭可以采用任何合適的形式。例如，深度攝像頭可以是結(jié)構(gòu)光深度攝像頭或飛行時間深度攝像頭。

基于強度的線性圖像可以采用包括多個強度值的任何適當數(shù)據(jù)結(jié)構(gòu)形式，強度值反過來對成像設(shè)備從環(huán)境對象接收的輻射能量進行編碼。在某些情況下，強度值可以采用灰度計數(shù)的形式，灰度計數(shù)可以具有任何合適的值。

可選地，在320處，方法300包括接收環(huán)境的微光圖像。例如，圖像可以由微光攝像頭模塊捕獲。在一個示例中，可以從與環(huán)境的線性基強度圖像的位置偏移處獲取低水平光圖像，并且可以應(yīng)用適當?shù)男Ｕ齺韺R這兩個圖像。低水平光圖像可以與基于強度的線性圖像同時拍攝，或者在基于強度的線性圖像的閾值持續(xù)時間內(nèi)拍攝，以確保在拍攝圖像之間環(huán)境中發(fā)生了最小的變化。

繼續(xù)到330，方法300包括為基于強度的線性圖像內(nèi)的一組像素生成一個或多個強度值直方圖。例如，可以量化在每個像素處接收的輻射強度，并將其表示為在基于強度的線性圖像中表示該強度的頻率的函數(shù)。

任選地，在340，方法300包括將基于強度的線性圖像劃分為多個Tile；以及為所述多個Tile中的每一個中的每一組像素生成一個或多個強度值直方圖。通常，多個Tile的大小和形狀可以相等，并且可以不重疊。然而，大小或每個Tile可以基于線性基強度圖像的質(zhì)量、基于先前的線性基強度圖像（、成像設(shè)備的透視變化等。

每個Tile的直方圖可以顯示環(huán)境局部部分與整體環(huán)境的不同特征。這可以為每個Tile啟用更具體的圖像處理，而不是依賴于整個線性基強度圖像的直方圖。

作為示例，圖4示出了基強度線性圖像400的示例。圖像400包括前景對象405（例如高強度）和背景對象410（例如低強度）。圖像400被劃分為多個Tile415。每個Tile包括高強度和低強度像素的組合，為每個Tile提供單獨的直方圖簽名，直方圖簽名不一定與整個圖像400的直方圖簽名匹配。

例如，Tile415a僅包括低強度像素，產(chǎn)生直方圖420a。Tile415b包括大量高強度像素，產(chǎn)生直方圖420b。Tile415c包括一定的高強度像素和一定的低強度像素，產(chǎn)生直方圖420c。

回到圖3，在350處，方法300包括基于強度值的一個或多個直方圖，對基于強度的線性圖像應(yīng)用局部對比度增強，以生成基強度線性圖像的對比度增強版本。給定一幅具有較寬強度范圍的基于強度的線性圖像，最亮峰值的頂部可被視為前景，而環(huán)境中的其他一切可被視為背景。在原始圖像中，前景將顯得明亮，背景將顯得黑暗，細節(jié)難以察覺。

對比度增強可以消除這種差異。對比度增強可用于放大低強度像素和去放大高強度像素。換言之，較暗的對象（例如背景對象）變亮，較亮的對象（例如前景對象）用適當?shù)膶Ρ榷茸儼祷蛟鰪姟Ｍㄟ^這種方式，環(huán)境的細節(jié)被呈現(xiàn)出來，以便于用戶的視覺感知。

可以應(yīng)用任何合適的對比度增強方法，例如對比度受限的自適應(yīng)直方圖均衡化（CLAHE）、反銳化掩模等。在線性基強度圖像被劃分為Tile的示例中，可以逐Tile應(yīng)用對比度增強，以便通過直方圖均衡化增加每個Tile內(nèi)的對比度。

對比度增強可以作為局部操作來執(zhí)行。應(yīng)用的增強可能基于場景的區(qū)域、基于該特定區(qū)域的直方圖統(tǒng)計等而改變。

當視為強度與頻率直方圖時，熱圖像中熱對象的像素強度傾向于向一個或兩個主峰聚集。這通常是需要著色的主要區(qū)域，因為人體溫度或其他目標對象可能會比其周圍環(huán)境發(fā)出更高的熱能。

然而，通過直接對接收到的圖像執(zhí)行局部對比度增強，得到的增強圖像從接收到的圖像直方圖中丟失了許多顯著的峰值。

因此，在360，方法300包括基于強度值的一個或多個直方圖，對基于強度的線性圖像應(yīng)用人工著色，以生成基強度線性圖像的人工著色版本。通過在與對比度增強處理不同的管道中執(zhí)行人工著色處理，可以利用接收圖像的強度數(shù)據(jù)進行適當?shù)姆治?，從而實現(xiàn)更精確的著色。

換句話說，顏色通道可用于重新引入在對比度增強期間丟失的全局圖像信息。對于熱成像，這允許以彩色顯示通常與人相對應(yīng)的最熱像素。

在一個示例中，可以分析強度值的直方圖，并對強度高于閾值的像素應(yīng)用人工著色。閾值可以預先確定，或者基于接收圖像內(nèi)的強度分布。例如，強度的第90百分位中的像素（最熱像素的前10%）可以被著色。像素可以被賦予均勻的顏色，或者可以使用直方圖均衡化來沿光譜向每個像素分配顏色值

圖5A中示出了一個示例。直方圖500根據(jù)像素頻率繪制強度（0-100之間的任意單位）。閾值510應(yīng)用于直方圖500，使得強度大于閾值510的任何像素被著色。通過使用簡單的閾值，著色過程可能會快速發(fā)生，這在實時覆蓋應(yīng)用程序中可能特別重要。

在存在與熱對象相對應(yīng)的有限區(qū)域的環(huán)境中，目標對象可能不會形成圖像的預定百分比。因此，可以使用任意閾值對一些背景對象進行著色。相反，如果場景中有許多熱對象，則一些對象可能會基于簡單的閾值保持未著色。

通過使用決策樹，可以識別實質(zhì)上不同的圖像的切點或部分，從而允許基于圖像的強度直方圖的自然輪廓進行智能著色。這樣的決策樹可以由環(huán)境的其他信息通知，例如低水平光成像、對象檢測算法和/或用于引導圖像著色的其他例程。

繼續(xù)到370，方法300包括基于線性基強度圖像的對比度增強版本的至少一部分，以及線性基強度圖像的人工著色版本的至少一部分生成環(huán)境的合成圖像。在接收到微光圖像的示例中，同時可以將微光圖像的至少一部分合成到最終圖像中。

這樣，合成圖像可以包括僅從基強度線性圖像中可能無法獲得的額外細節(jié)。例如，如果環(huán)境包括墻，則熱像儀可能能夠識別墻中的螺柱，而微光攝像頭可能會拾取墻紙圖案的變化。這樣，最終的合成圖像包括多個輸入，每個輸入都有一組獨特的特征。

在一些示例中，對比度增強圖像、人工彩色圖像和低亮度圖像中的一個或多個的整體可以合成到最終圖像中。例如，通過僅對接收到人工著色的像素和/或Tile著色，可以將全對比度增強圖像與人工著色圖像的部分合成。

在一個示例中，可以從接收到的線性數(shù)據(jù)確定矩形或多邊形區(qū)域，并用于在對比度增強圖像中對這些區(qū)域進行著色。然而，子圖像的任何部分可用于例如遵守設(shè)備的存儲器和計算限制。

作為示例，圖6示出了用于增強數(shù)字圖像的處理流程。接收線性熱照攝像頭圖像605以及低水平光圖像。可以可選地為線性熱攝像頭圖像605生成平鋪直方圖610。線性熱攝像頭圖像605和平鋪直方圖610（如適用）可用于生成線性熱圖像615的局部對比度增強版本，以及生成線性熱圖像620的人工彩色版本。

然后，將線性、熱圖像615的局部對比度增強版本，線性熱圖像620的人工彩色版本和微光圖像625合成在一起以生成合成圖像630。因此，相對于線性熱攝像頭圖像605，合成圖像630具有人工著色的前景對象和以高對比度呈現(xiàn)的背景對象。

繼續(xù)到380，方法300可選擇性地包括實時疊加合成圖像，以便用戶通過顯示器觀看環(huán)境。

在某些使用情況下，可能需要僅查看合成圖像的彩色部分。在這種情況下，基強度線性圖像的人工彩色版本可用作遮罩，以從顯示器中移除非彩色圖像。生成合成圖像的過程可提供僅通過應(yīng)用如350或其他所述的人工著色而不可用的額外細節(jié)。例如，在白天佩戴AR頭顯的用戶不一定需要額外的對比度增強細節(jié)，但可能需要確定人形對象是否存在并產(chǎn)生熱能。

相關(guān)專利：Microsoft Patent | Contrast enhanced images composited with artificial colorization

名為“Contrast enhanced images composited with artificial colorization”的微軟專利申請最初在2020年12月提交，并在日前由美國專利商標局公布。需要注意的是，這只是一份專利申請，不確定微軟是否會或?qū)⒂诤螘r進行商業(yè)化。

---
原文鏈接：https://news.nweon.com/98690