查看引用/信息源請點(diǎn)擊：映維網(wǎng)Nweon

熱成像技術(shù)

（映維網(wǎng)Nweon?2022年04月06日）行業(yè)存在一系列在弱光條件下對場景進(jìn)行成像的技術(shù)，例如熱成像技術(shù)。熱成像攝像頭一般配置為在圖像傳感器的每個像素未知感測紅外輻射強(qiáng)度。然后，可以對獲得的強(qiáng)度進(jìn)行處理，以將強(qiáng)度轉(zhuǎn)換為可顯示的灰度值或顏色值。然而，灰度和彩色圖像可能會給對象識別帶來困難。例如，傳統(tǒng)的灰度/著色技術(shù)可能無法以有意義的方式突出顯示對象。全彩圖像則可能顯得雜亂或稀疏，沒有明顯的感興趣對象。所以，在識別感興趣的對象之前，可能需要相對較長的時間來檢查整個圖像。

另外，低對比度場景中的感興趣對象可能與其他對象具有類似的顏色（或類似的灰度），這使得用戶難以區(qū)分感興趣對象和背景。例如，在一個相對較熱的房間里，一個人的顏色可能與房間里的其他物體的顏色相似。類似地，標(biāo)準(zhǔn)灰度圖像可能以深灰色或黑色像素顯示感興趣的冷對象，這使得用戶難以識別該對象。

在名為“Selective colorization of thermal imaging”的專利申請中，微軟就介紹了一種用于熱成像的選擇性著色技術(shù)。

選擇性著色的圖像可以通過著色感興趣的潛在對象，同時不強(qiáng)調(diào)圖像的其余部分，從而以更有意義的方式向用戶呈現(xiàn)信息。在一個示例中，通過在熱圖像內(nèi)創(chuàng)建像素的直方圖，然后基于應(yīng)用于直方圖的一個或多個閾值像素強(qiáng)度等級對像素子集著色，以對圖像進(jìn)行選擇性著色。結(jié)果，場景中相對較熱和/或較冷的對象可以被選擇性地著色，或者任何其他合適的像素強(qiáng)度級別范圍可以被著色。由此產(chǎn)生的選擇性彩色圖像看起來將不那么雜亂，并且能夠強(qiáng)調(diào)潛在的感興趣對象。

在一個實(shí)施例中，頭顯包括熱成像攝像頭和微光攝像頭。頭顯同時包配置為處理來自前述攝像頭的圖像，并在近眼顯示器顯示處理后的圖像的處理電路。圖2顯示了包括熱成像子系統(tǒng)202和顯示器230的示例計(jì)算系統(tǒng)200框圖。熱成像子系統(tǒng)202可以包括任何合適的熱成像硬件，例如微測輻射熱計(jì)212、紅外攝像頭214和/或配置為感測紅外光的其他合適的熱成像組件。類似地，微光成像子系統(tǒng)204可以包括任何合適的微光成像硬件，例如光電倍增管218、CMOS檢測器220和/或具有增益222的CMOS檢測器。

如上所述，計(jì)算系統(tǒng)200可配置為選擇性地對圖像著色。在一個示例中，計(jì)算系統(tǒng)200可以至少基于對圖像的直方圖應(yīng)用閾值來執(zhí)行圖像的選擇性著色。圖3示出了一個示例直方圖300。在這里，直方圖300的每個單元對應(yīng)于強(qiáng)度范圍，每個單元的像素計(jì)數(shù)表示單元中有多少像素落在強(qiáng)度范圍內(nèi)。

由于像素的強(qiáng)度級別可以表示與像素位置對應(yīng)的場景中對象的表觀溫度，所以強(qiáng)度級別可以與溫度相關(guān)。在圖3中，像素“溫度”隨著直方圖300上從左到右的像素強(qiáng)度水平而增加。在感興趣對象是場景中最熱或最冷對象的示例中，可以通過對直方圖應(yīng)用適當(dāng)?shù)拈撝祦磉x擇要著色的像素子集。

在圖3的示例中，基于高于閾值強(qiáng)度水平306的像素來確定要著色的像素304的子集。不在子集304內(nèi)的像素可以不著色。在熱圖像中，像素強(qiáng)度對應(yīng)于溫度，所以較亮的像素代表相對較熱的對象，而較暗的像素代表相對較冷的對象。因此，圖3中要著色的像素304的子集對應(yīng)于圖像的相對“更熱”像素。在其他示例中，閾值強(qiáng)度水平可以指定上限，并且像素子集可以包括圖像中相對“冷”的像素。

應(yīng)用于直方圖的閾值可以以任何合適的方式確定。在一個示例中，可以選擇閾值強(qiáng)度水平，使得特定百分比的像素被著色，例如最亮的5%或10%的像素。另外，可基于像素計(jì)數(shù)選擇閾值強(qiáng)度等級306。例如，可以在直方圖中識別全局最大值308，并用于設(shè)置閾值強(qiáng)度等級306。在處理圖像序列的示例中，可以針對每個圖像自動調(diào)整閾值條件。

在所描述的示例中，閾值強(qiáng)度等級306是下限閾值條件，像素304的子集對應(yīng)于強(qiáng)度等級等于或大于閾值強(qiáng)度等級304的像素。在其他示例中，可以使用上限閾值條件，或兩個或多個閾值條件的組合。例如，可以選擇兩個或多個閾值強(qiáng)度級別來確定要著色的像素的兩個不同子集。像素的第一子集可以包括具有滿足第一閾值條件的強(qiáng)度水平的像素。類似地，要著色的像素的第二子集可以包括具有滿足第二閾值條件的強(qiáng)度級別的像素。作為更具體的示例，第一子集可以包括與場景中“最冷”的對象集相對應(yīng)的像素，而第二子集包括與場景中“最熱”的對象集相對應(yīng)的像素。

選擇性著色圖像320表示已基于直方圖300選擇性著色的示例圖像。區(qū)域322和324可對應(yīng)于像素304的子集內(nèi)的像素。區(qū)域322、324內(nèi)的像素被著色，而所述區(qū)域外的像素不被著色?？梢允褂萌魏魏线m的著色方案。例如，可以使用單一色調(diào)或不同色調(diào)的組合。

因此，每個像素的應(yīng)用色調(diào)可以相同，或者可以基于像素的強(qiáng)度級別。另外，像素飽和度和/或值可與強(qiáng)度等級相關(guān)聯(lián)。所以與區(qū)域324中的像素相比，著色區(qū)域322中的像素可以包括不同的色調(diào)、飽和度和/或值。

在應(yīng)用兩個或多個閾值來定義兩個或多個像素子集的示例中，可以使用相同或不同的色調(diào)、相同或不同的顏色映射或任何其他合適的著色方案對兩個或多個像素子集進(jìn)行著色。例如，區(qū)域326中的像素可以通過應(yīng)用第一顏色映射來著色，而區(qū)域322、324中的像素可以通過應(yīng)用第二顏色映射來著色。

在同時獲取熱圖像和微光圖像的示例中，在對熱圖像著色之后，可將選擇性著色的圖像與微光圖像融合以創(chuàng)建融合圖像。融合圖像可以包括選擇性彩色熱圖像和微光圖像的重整化合成。

在一個示例中，可以使用各種對比度增強(qiáng)算法來增加熱圖像的動態(tài)范圍、保留細(xì)節(jié)、銳化圖像或以其他方式增強(qiáng)對比度。在一個示例中，局部區(qū)域?qū)Ρ榷仍鰪?qiáng)（LACE）算法可以應(yīng)用于熱圖像。在一個示例中，直方圖均衡化算法可用作LACE算法，LACE算法可以增強(qiáng)局部對比度，同時保持全局對比度水平。這種算法可能有助于提高小尺度邊緣的可見性，并使圖像銳化。

在一個示例中，可以使用其他圖像處理技術(shù)來增加熱圖像的動態(tài)范圍、保留細(xì)節(jié)、銳化圖像或以其他方式增強(qiáng)對比度，包括圖像壓縮、數(shù)據(jù)壓縮、伽馬校正、平滑、低/高通濾波以及兩種或兩種以上技術(shù)的組合?？梢詫釄D像、微光圖像或兩個圖像執(zhí)行圖像處理?？梢栽趧?chuàng)建直方圖之前和/或之后處理熱圖像。

在一個示例中，可以通過對圖像應(yīng)用分類器功能來識別場景中的對象。這種分類器功能可應(yīng)用于場景的熱圖像、微光圖像、融合圖像和/或選擇性彩色圖像中的一個或多個。在這樣的示例中，可以基于分類器功能的輸出應(yīng)用圖像的選擇性著色。

例如，如果通過分類器功能識別的對象的至少一些像素被確定為彩色化，則可以對所述對象進(jìn)行彩色化。作為另一個例子，通過分類器識別的對象可以基于已經(jīng)分類而選擇性地著色，而不考慮直方圖。在其他示例中，如果所識別對象的足夠部分像素滿足閾值條件并將被著色，則對所識別對象進(jìn)行著色。

圖4示出的流程圖說明了至少基于熱圖像中像素的直方圖對圖像進(jìn)行選擇性著色的示例方法400。在402，方法400包括接收熱圖像，熱圖像的每個像素包括強(qiáng)度等級。例如，可以從熱成像子系統(tǒng)202接收熱圖像。在404，方法400包括通過按強(qiáng)度級別對像素進(jìn)行分塊來生成直方圖。在406，所述方法包括對熱圖像應(yīng)用局部對比度增強(qiáng)算法，從而修改像素的強(qiáng)度級別，以及通過按修改的強(qiáng)度級別對像素進(jìn)行組合來創(chuàng)建直方圖。

繼續(xù)到408，方法400包括至少基于直方圖確定要著色的像素子集。閾值條件可用于確定像素子集，由此對滿足閾值條件的任何像素進(jìn)行著色?？梢允褂脝蝹€閾值條件或多個閾值條件。在410，進(jìn)一步基于應(yīng)用于直方圖的用戶選擇的強(qiáng)度閾值來確定要著色的像素子集。

在412，方法400包括對像素子集著色以獲得選擇性著色的圖像。在414，所述方法包括通過將顏色映射應(yīng)用于像素子集來著色像素。在其他示例中，可以應(yīng)用單一色調(diào)。在其他示例中，可以應(yīng)用灰度增強(qiáng)。在另一些示例中，不同的著色技術(shù)可應(yīng)用于不同的閾值條件。

在416，方法400包括輸出選擇性彩色圖像。在一個示例中，所述方法包括將選擇性彩色圖像輸出到同一設(shè)備的顯示器，例如顯示子系統(tǒng)230。在其他示例中，所述方法可包括經(jīng)由通信系統(tǒng)232將選擇性著色圖像輸出到遠(yuǎn)程計(jì)算系統(tǒng)。在418，輸出選擇性彩色圖像包括接收微光圖像、融合微光圖像和選擇性彩色圖像以產(chǎn)生融合圖像，以及輸出融合圖像?？山?jīng)由微光成像系統(tǒng)204接收微光圖像。

在420，所述方法還可包括對熱圖像和選擇性著色圖像中的一個或多個應(yīng)用分類器功能，以識別感興趣的對象。如上所述，在各種示例中，可以在熱圖像的選擇性著色之前或之后應(yīng)用分類器功能。

如上所述，選擇性著色可以基于熱圖像和微光圖像的計(jì)算組合。計(jì)算組合可對應(yīng)于差、和、積、商、布爾比較或任何其他合適的計(jì)算組合。

圖5顯示了示例熱圖像和微光圖像的示意圖，并說明了基于兩幅圖像中邊緣之間的差異識別選擇性著色的特征。示例場景500是任意場景。圖像510是表示通過對熱圖像應(yīng)用邊緣查找算法生成的場景500的示例濾波熱圖像。圖像510包括區(qū)域512a、512b和512c，每個區(qū)域?qū)?yīng)于不同的溫度。在所示的示例中，已將邊緣查找算法應(yīng)用于圖像510，以定位與不同溫度區(qū)域之間的邊界相對應(yīng)的邊緣514a、514b。

圖像510和圖像520通過差分進(jìn)行計(jì)算組合，以產(chǎn)生差分圖像530。差分圖像530顯示過濾圖像之間的差異?；趫D像510中的邊緣514a和514b與圖像520中的邊緣524a、524b和524c之間的差異，差分圖像530可以與微光圖像和熱圖像中的一個或兩個合成，以突出圖像中的一個或兩個的差異，從而形成選擇性彩色圖像。

延伸閱讀：Microsoft Patent | Selective colorization of thermal imaging

名為“Selective colorization of thermal imaging”的微軟專利申請最初在2020年9月提交，并在日前由美國專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/95855