查看引用/信息源請(qǐng)點(diǎn)擊：映維網(wǎng)

與HoloLens監(jiān)測(cè)判斷體溫相關(guān)的三份專利申請(qǐng)

（映維網(wǎng)?2021年12月30日）作為生命體征的五大要素之一，監(jiān)測(cè)人體體溫具有重要的醫(yī)學(xué)意義。臨床監(jiān)測(cè)的實(shí)時(shí)體溫變化與每日平均體溫讀數(shù)，對(duì)于患者的病情診斷與后續(xù)的治療非常關(guān)鍵。另外，體溫同時(shí)是人類生命健康與否的最直接標(biāo)志之一。在一個(gè)簡(jiǎn)單的示例中，體溫升高或者對(duì)應(yīng)于人體發(fā)燒。

隨著沉浸式技術(shù)的興起，諸如HoloLens等頭顯越發(fā)普及，并正不斷應(yīng)用于醫(yī)療等領(lǐng)域。由于這種設(shè)備一般搭載熱成像攝像頭，深度攝像頭和可見光攝像頭等多種元器件，所以行業(yè)正在思考如何充分地利用這一點(diǎn)。比方說，將熱成像攝像頭用于體溫判斷。

日前，美國(guó)專利商標(biāo)局公布了與HoloLens監(jiān)測(cè)判斷體溫相關(guān)的三份專利申請(qǐng)。

1.通過熱強(qiáng)度分布的體溫估計(jì)

相關(guān)專利：Microsoft Patent | Body temperature estimation via thermal intensity distribution

體溫可通過任何合適的方式進(jìn)行估算。在一個(gè)示例中，可以通過熱成像攝像頭捕獲的熱圖像來估計(jì)判斷人體體溫。在一個(gè)示例中，真實(shí)世界環(huán)境的熱圖像可由熱攝像頭捕獲，熱圖像具有熱圖像的多個(gè)像素中的每個(gè)像素的熱強(qiáng)度值，其包括與人體對(duì)象相對(duì)應(yīng)的像素。在一個(gè)示例中，熱攝像頭可以集成到頭戴式顯示設(shè)備中，或者可以是獨(dú)立攝像頭或單獨(dú)攝像頭系統(tǒng)的組件。熱圖像的熱強(qiáng)度值對(duì)真實(shí)環(huán)境對(duì)象發(fā)射并由熱攝像頭接收的熱能量進(jìn)行編碼。以這種方式，可以基于熱圖像中的對(duì)象的對(duì)應(yīng)熱強(qiáng)度值來估計(jì)現(xiàn)實(shí)世界環(huán)境中對(duì)象的相對(duì)溫度。

但是，熱圖像的熱強(qiáng)度值是編碼環(huán)境對(duì)象的相對(duì)溫度，而不是絕對(duì)溫度。另外，熱攝像頭的性能通常受到諸多因素的影響，包括環(huán)境溫度。所以，在沒有獨(dú)立參考的情況下，很難或不可能將任何特定的熱強(qiáng)度值與溫度值關(guān)聯(lián)起來。

在名為“Body temperature estimation via thermal intensity distribution”的專利申請(qǐng)中，微軟希望通過熱強(qiáng)度分布來估計(jì)人體體溫。

圖2描述了具體的方法。在202，方法200包括經(jīng)由熱攝像頭接收真實(shí)環(huán)境的熱圖像，熱圖像包括熱圖像的多個(gè)像素中的每個(gè)像素的熱強(qiáng)度值。如上所述，熱攝像頭可以集成到執(zhí)行方法200的一個(gè)或多個(gè)步驟（除了圖像捕獲）的計(jì)算設(shè)備中?；蛘?，熱攝像頭可以是獨(dú)立的攝像頭，或者是單獨(dú)的攝像頭系統(tǒng)的組件。

圖3示意性地描繪了由用戶301穿戴的頭戴式顯示設(shè)備300。頭戴式顯示設(shè)備300包括近眼顯示器，其配置為向用戶的眼睛顯示虛擬圖像。近眼顯示器上顯示的虛擬圖像可以采用任何合適的形式。在圖3的示例中，頭戴式顯示設(shè)備300正在顯示人體對(duì)象的估計(jì)體溫的指示305。

頭戴式顯示設(shè)備300同時(shí)包括多個(gè)攝像頭308、310和312。在一個(gè)示例中，攝像頭308可以是熱攝像頭，而攝像頭310是可見光攝像頭，攝像頭312是深度攝像頭。

圖4示意性地示出了一個(gè)示例熱圖像400。熱圖像400描繪了示例人類對(duì)象402。具體地，熱圖像400包括多個(gè)熱強(qiáng)度值404，其對(duì)應(yīng)于熱圖像的四個(gè)單獨(dú)像素。應(yīng)當(dāng)理解，熱圖像可以包括任何適當(dāng)數(shù)量的像素，并且每個(gè)像素可以具有相應(yīng)的熱強(qiáng)度值。

相對(duì)較高的熱強(qiáng)度值可能對(duì)應(yīng)于成像場(chǎng)景中發(fā)射相對(duì)較多熱能的區(qū)域。在圖4中，具有相對(duì)較高熱強(qiáng)度值的熱圖像400的像素用相對(duì)較淺的陰影表示。因此，可以看出，人類主題402的面部沒有均勻地發(fā)射熱能。相反，人臉通常表現(xiàn)出一定程度的溫度變化。例如，人眼周圍的區(qū)域溫度通常高于對(duì)應(yīng)于人的鼻子、頭發(fā)、耳朵等的區(qū)域。這反映在圖4中，由于相對(duì)較高的溫度，人臉部分在熱圖像中具有相對(duì)較高的熱強(qiáng)度值。

熱圖像可以采取包括多個(gè)熱強(qiáng)度值的任何適當(dāng)數(shù)據(jù)結(jié)構(gòu)的形式，熱強(qiáng)度值反過來編碼攝像頭從環(huán)境中的對(duì)象接收的熱能。在一個(gè)示例中，熱強(qiáng)度值可以采用灰度計(jì)數(shù)的形式，灰度計(jì)數(shù)可以具有任何合適的值。例如，灰度計(jì)數(shù)可以表示為0到255之間的范圍，或者可以使用不同的合適量化。

回到圖2，在204，方法200包括識(shí)別人臉在熱圖像中的位置。在一個(gè)示例中，可在經(jīng)由第二攝像頭接收到真實(shí)世界環(huán)境的第二圖像之后識(shí)別人臉的位置。例如，第二攝像頭可以是可見光照相機(jī)，而第二圖像可以是可見光圖像。該設(shè)備隨后可確定第二圖像的像素與熱圖像的像素之間的對(duì)應(yīng)關(guān)系。例如，在識(shí)別人臉在第二圖像內(nèi)的位置之后，可以基于兩個(gè)圖像之間的像素到像素的對(duì)應(yīng)來識(shí)別人臉在熱圖像內(nèi)的位置。

這在圖5中進(jìn)行了示意性說明。具體地，圖5再次包括描繪人類對(duì)象402的熱圖像400。圖5同時(shí)包括第二圖像500，其同樣描繪了人類對(duì)象402。計(jì)算設(shè)備識(shí)別圖像500和圖像400之間的多個(gè)像素到像素對(duì)應(yīng)502。這類通信可采用任何合適的方式進(jìn)行識(shí)別。熱圖像和第二圖像可以由具有不同位置和透視圖的不同攝像頭捕獲。當(dāng)兩個(gè)攝像頭的相對(duì)位置和透視圖已知時(shí)，每個(gè)攝像頭捕獲的圖像像素可以投影到公共參考幀中。以這種方式，可以確定一個(gè)圖像（例如圖像500）的哪些像素對(duì)應(yīng)于與另一個(gè)圖像（例如圖像400）相同的真實(shí)世界特征。因此，當(dāng)識(shí)別出圖像500中人臉位置504A時(shí)，計(jì)算設(shè)備可以確定圖像400的哪些像素對(duì)應(yīng)于熱圖像中面部的相同位置504B。

在其他實(shí)施例中，可以任何合適的方式識(shí)別人臉。例如，可以使用任何合適的人臉識(shí)別算法或技術(shù)。例如，一種方法可以包括使用經(jīng)過機(jī)器學(xué)習(xí)訓(xùn)練的分類器來識(shí)別預(yù)測(cè)為對(duì)應(yīng)于人臉的圖像中的像素。

回到圖2，在206，方法200包括確定多個(gè)人臉的熱強(qiáng)度值的分布。這參照?qǐng)D6示意性地示出，圖6示出了另一示例熱圖像600。所述熱圖像包括多個(gè)不同的人類對(duì)象602A-602D。在本例中，為了舉例說明，他們似乎具有均勻的熱強(qiáng)度一樣。應(yīng)理解，這僅是為了解釋說明，在實(shí)際場(chǎng)景中，人體不同部分具有可變的熱強(qiáng)度值。

在圖6中，識(shí)別人臉位置，并使用與人臉相對(duì)應(yīng)的熱強(qiáng)度值來確定熱強(qiáng)度分布604。在一個(gè)示例中，包括在熱強(qiáng)度分布中的熱強(qiáng)度值可對(duì)應(yīng)于每個(gè)對(duì)象的最高強(qiáng)度像素。這通常對(duì)應(yīng)于每個(gè)人類的眼睛或眼睛周圍區(qū)域。

在圖6的示例中，多個(gè)人體對(duì)象中的每一個(gè)在同一熱圖像600中可見。在其他示例中，用于確定熱強(qiáng)度分布的多個(gè)人體對(duì)象中的每一個(gè)都可以在不同的熱圖像中識(shí)別。以這種方式使用熱強(qiáng)度分布作為參考是基于大多數(shù)（如果不是全部）人體具有正常體溫的假設(shè)。所以，如果任何人體被識(shí)別為具有顯著高于或低于其他人體的熱強(qiáng)度，則可將其作為異常值從熱強(qiáng)度分布中排除。一旦確定熱強(qiáng)度分布，可假定分布內(nèi)的平均熱強(qiáng)度對(duì)應(yīng)于平均體溫。因此，人體的任何未來熱強(qiáng)度值顯著高于平均值都可能表明發(fā)燒。

繼續(xù)圖2，在212，方法200包括基于一個(gè)或多個(gè)測(cè)試熱強(qiáng)度值的比較和多個(gè)人臉的熱強(qiáng)度值的分布來報(bào)告測(cè)試人體受試者的體溫指示，如圖7所示。

具體而言，圖7顯示了測(cè)試用戶702臉部的示例熱圖像700。計(jì)算設(shè)備識(shí)別對(duì)應(yīng)于測(cè)試人臉的一個(gè)或多個(gè)像素的一個(gè)或多個(gè)測(cè)試熱強(qiáng)度值704。可以將測(cè)試熱強(qiáng)度值704與熱強(qiáng)度分布706進(jìn)行比較，熱強(qiáng)度分布706可根據(jù)上文討論的多個(gè)人臉確定。基于這一比較，計(jì)算設(shè)備輸出測(cè)試人體的估計(jì)體溫708。這可以通過任何合適的方式實(shí)現(xiàn)。

一個(gè)示例中，如上所述，熱強(qiáng)度分布內(nèi)的平均熱強(qiáng)度可假定對(duì)應(yīng)于平均人體溫度。可通過比較人體的測(cè)試熱強(qiáng)度值與平均熱強(qiáng)度來確定人體體溫的指示。如果測(cè)試熱強(qiáng)度值在平均熱強(qiáng)度的閾值相似性范圍內(nèi)，則可假定試驗(yàn)人體的體溫大致正常。相反，如果測(cè)試熱強(qiáng)度值顯著高于平均熱強(qiáng)度，則可確定試驗(yàn)人體可能發(fā)燒，并可將其報(bào)告為人體體溫的指示。

或者，計(jì)算設(shè)備可以估計(jì)用戶的絕對(duì)、數(shù)字體溫。例如，熱攝像頭可能具有已知的靈敏度，其可以根據(jù)與已知溫度變化相對(duì)應(yīng)的已知熱強(qiáng)度變化來表示。

通過上述方式，系統(tǒng)可以根據(jù)熱強(qiáng)度分布來估計(jì)人體體溫。

但是，一系列的因素可能會(huì)影響系統(tǒng)估計(jì)人體體溫，例如人體與攝像頭的距離，以及人體膚色。在下面兩份專利中，微軟則分別針對(duì)人體與攝像頭距離，以及人體膚色這兩個(gè)問題提出了相應(yīng)的校正方案。

2.用于體溫估計(jì)的距離校正

相關(guān)專利：Microsoft Patent | Distance correction for body temperature estimation

計(jì)算設(shè)備可用于估計(jì)和報(bào)告人體體溫。圖1示出了包括兩名用戶102A和102B的真實(shí)環(huán)境100。在環(huán)境100中，穿戴頭戴式顯示設(shè)備106的用戶104具有視場(chǎng)108。通過近眼顯示器，頭戴式顯示設(shè)備顯示估計(jì)體溫的指示112A和112B。

人體體溫的指示可以采用任何合適的形式。在圖1的示例中，可以以數(shù)字形式來表示人體的估計(jì)體溫。人體體溫可通過任何合適的方式進(jìn)行估算?？梢岳斫獾氖牵梭w內(nèi)部的體溫在身體的不同部位有所不同。對(duì)于微軟專利，其描述的“體溫”主要是指通常用于醫(yī)療診斷目的的體溫。

在一個(gè)示例中，真實(shí)世界環(huán)境的熱圖像可由熱攝像頭捕獲，熱圖像具有熱圖像的多個(gè)像素中的每個(gè)像素的熱強(qiáng)度值，包括與可能在環(huán)境中的人體對(duì)象相對(duì)應(yīng)的像素。在一個(gè)示例中，熱攝像頭可以集成到頭戴式顯示設(shè)備中，或者可以是獨(dú)立攝像頭或單獨(dú)攝像頭系統(tǒng)的組件，例如攝像頭系統(tǒng)114。熱圖像的熱強(qiáng)度值對(duì)由真實(shí)環(huán)境對(duì)象發(fā)射并由熱攝像頭接收的熱能量進(jìn)行編碼。以這種方式，可以基于熱圖像中的對(duì)應(yīng)熱強(qiáng)度值來估計(jì)現(xiàn)實(shí)世界環(huán)境中對(duì)象的相對(duì)溫度。

然而，熱攝像頭在特定溫度下接收的熱能量可能取決于對(duì)象與熱攝像頭之間的距離，尤其是當(dāng)攝像頭缺少布置在其它光學(xué)元件之前的輻射計(jì)透鏡時(shí)。即使在使用輻射測(cè)量透鏡，人體和熱攝像頭之間的距離依然可能會(huì)影響被攝體在熱圖像中的表示方式。例如，隨著熱攝像頭和人體對(duì)象之間的距離增加，熱圖像的相對(duì)較少像素將用于表示人體對(duì)象的相對(duì)較大部分。因此，人類的高強(qiáng)度區(qū)域可與相對(duì)較低強(qiáng)度部分進(jìn)行平均或二次取樣，從而產(chǎn)生用戶具有整體較低熱強(qiáng)度的錯(cuò)覺。

在名為“Distance correction for body temperature estimation”的專利申請(qǐng)中，微軟介紹了一種用于人體體溫估計(jì)的距離校正技術(shù)。

在圖1中，用戶102A和102B與攝像頭的距離不同，因此將呈現(xiàn)一種依賴于距離的強(qiáng)度衰減。例如，這會(huì)使在體溫升高（例如與發(fā)燒一致）的熱圖像中識(shí)別判斷用戶變得困難。即使兩個(gè)用戶的核心體溫相同，因?yàn)閮蓚€(gè)不同的用戶與熱攝像頭的距離不同，在熱圖像中的記錄方式也不同。類似地，當(dāng)兩個(gè)距離熱攝像頭不同的用戶的體溫顯著不同時(shí)（例如一個(gè)發(fā)燒，一個(gè)正常），系統(tǒng)都可能很難辨別。

這份發(fā)明主要介紹了基于人類主體與熱攝像頭的識(shí)別距離來估計(jì)人體溫度的技術(shù)。具體地，在識(shí)別熱圖像內(nèi)的人臉位置之后，接收人類主體遠(yuǎn)離攝像頭的距離指示。然后基于距離，將距離校正因子應(yīng)用于對(duì)應(yīng)人臉的一個(gè)或多個(gè)熱強(qiáng)度值。接下來，根據(jù)距離校正的熱強(qiáng)度值，報(bào)告人體的體溫指示。以這種方式，系統(tǒng)可以更準(zhǔn)確地估計(jì)人體的體溫。

圖2示出了用于估計(jì)體溫的示例方法200。方法200可在具有任何適當(dāng)形狀因子和硬件配置的任何適當(dāng)計(jì)算系統(tǒng)實(shí)施。方法200的步驟可以分布在任意數(shù)量的不同計(jì)算設(shè)備之間。

另外，方法200主要針對(duì)單個(gè)人體進(jìn)行描述。但應(yīng)當(dāng)理解，方法200的步驟可以針對(duì)任意數(shù)量的人類主體執(zhí)行。換言之，方法200的每個(gè)步驟可針對(duì)兩個(gè)或多個(gè)人類受試者同時(shí)執(zhí)行或順序執(zhí)行。在方法200應(yīng)用于兩個(gè)或多個(gè)人體對(duì)象的情況下，每個(gè)人體對(duì)象與熱攝像頭的距離可能不同。

在202，方法200包括經(jīng)由熱攝像頭接收真實(shí)環(huán)境的熱圖像，熱圖像包括熱圖像的多個(gè)像素中的每個(gè)像素的熱強(qiáng)度值。如上所述，熱攝像頭可以集成到執(zhí)行方法200的一個(gè)或多個(gè)步驟（除了圖像捕獲）的計(jì)算設(shè)備中。或者，熱攝像頭可以是獨(dú)立的攝像頭，或者是單獨(dú)的攝像頭系統(tǒng)的組件。例如，圖1示意性地描繪了示例性相機(jī)系統(tǒng)114，其可以至少包括熱攝像頭。攝像頭系統(tǒng)114同時(shí)可以包括利用任何技術(shù)的其他類型攝像頭。作為示例，攝像頭系統(tǒng)114可以包括熱攝像頭、可見光攝像頭和/或深度攝像頭。

熱攝像頭捕捉真實(shí)環(huán)境的“熱圖像”。圖4示意性地示出了一個(gè)示例熱圖像400。熱圖像400描繪了示例人類對(duì)象402。具體地，熱圖像400包括多個(gè)熱強(qiáng)度值404，其對(duì)應(yīng)于熱圖像的四個(gè)單獨(dú)像素。應(yīng)當(dāng)理解，熱圖像可以包括任何適當(dāng)數(shù)量的像素，并且每個(gè)像素可以具有相應(yīng)的熱強(qiáng)度值。

相對(duì)較高的熱強(qiáng)度值可能對(duì)應(yīng)于成像場(chǎng)景中發(fā)射相對(duì)較多熱能的區(qū)域。在圖4中，具有相對(duì)較高熱強(qiáng)度值的熱圖像400的像素用相對(duì)較淺的陰影表示。因此，可以看出，人類主題402的面部沒有均勻地發(fā)射熱能。相反，人臉通常表現(xiàn)出一定程度的溫度變化。例如，人眼周圍的區(qū)域溫度通常高于對(duì)應(yīng)于人的鼻子、頭發(fā)、耳朵等的區(qū)域。這反映在圖4中，由于相對(duì)較高的溫度，人臉部分在熱圖像中具有相對(duì)較高的熱強(qiáng)度值。

熱圖像可以采取包括多個(gè)熱強(qiáng)度值的任何適當(dāng)數(shù)據(jù)結(jié)構(gòu)的形式，熱強(qiáng)度值反過來編碼攝像頭從環(huán)境中的對(duì)象接收的熱能。在一個(gè)示例中，熱強(qiáng)度值可以采用灰度計(jì)數(shù)的形式，灰度計(jì)數(shù)可以具有任何合適的值。例如，灰度計(jì)數(shù)可以表示為0到255之間的范圍，或者可以使用不同的合適量化。

回到圖2，在204，方法200包括識(shí)別人臉在熱圖像中的位置。在一個(gè)示例中，可在經(jīng)由第二攝像頭接收到真實(shí)世界環(huán)境的第二圖像之后識(shí)別人臉的位置。例如，第二攝像頭可以是可見光照相機(jī)，而第二圖像可以是可見光圖像。該設(shè)備隨后可確定第二圖像的像素與熱圖像的像素之間的對(duì)應(yīng)關(guān)系。例如，在識(shí)別人臉在第二圖像內(nèi)的位置之后，可以基于兩個(gè)圖像之間的像素到像素的對(duì)應(yīng)來識(shí)別人臉在熱圖像內(nèi)的位置。

這在圖5中進(jìn)行了示意性說明。具體地，圖5再次包括描繪人類對(duì)象402的熱圖像400。圖5同時(shí)包括第二圖像500，其同樣描繪了人類對(duì)象402。計(jì)算設(shè)備識(shí)別圖像500和圖像400之間的多個(gè)像素到像素對(duì)應(yīng)502。這類通信可采用任何合適的方式進(jìn)行識(shí)別。熱圖像和第二圖像可以由具有不同位置和透視圖的不同攝像頭捕獲。當(dāng)兩個(gè)攝像頭的相對(duì)位置和透視圖已知時(shí)，每個(gè)攝像頭捕獲的圖像像素可以投影到公共參考幀中。以這種方式，可以確定一個(gè)圖像（例如圖像500）的哪些像素對(duì)應(yīng)于與另一個(gè)圖像（例如圖像400）相同的真實(shí)世界特征。因此，當(dāng)識(shí)別出圖像500中人臉位置504A時(shí)，計(jì)算設(shè)備可以確定圖像400的哪些像素對(duì)應(yīng)于熱圖像中面部的相同位置504B。

在其他實(shí)施例中，可以任何合適的方式識(shí)別人臉。例如，可以使用任何合適的人臉識(shí)別算法或技術(shù)。例如，一種方法可以包括使用經(jīng)過機(jī)器學(xué)習(xí)訓(xùn)練的分類器來識(shí)別預(yù)測(cè)為對(duì)應(yīng)于人臉的圖像中的像素。

回到圖2，在206，方法200包括接收人類主體和熱攝像頭之間的距離的指示。如前所述，當(dāng)人類主體和熱攝像頭之間的距離增加時(shí)，人類主體在熱圖像中可能看起來具有較低的熱強(qiáng)度。這可能是由于熱攝像頭接收較少熱能的事實(shí)，或者是因?yàn)橄鄬?duì)較少的像素編碼人體的較大部分，因此高強(qiáng)度區(qū)域與低強(qiáng)度區(qū)域平均。例如，圖1中的人類主體102A和102B與攝像頭的距離不同。因此，即使兩人的核心體溫相同，對(duì)象102B在熱圖像中的熱強(qiáng)度可能比對(duì)象102A小。為了更準(zhǔn)確地估計(jì)人體對(duì)象的體溫，因此可以首先確定人體與熱攝像頭的距離。

可通過任何合適的方式確定人體與熱攝像頭之間的距離。在一個(gè)示例中，所述距離可基于深度攝像頭收集的深度信息來確定。深度攝像頭可以采取任何合適的形式，包括飛行時(shí)間深度攝像頭和結(jié)構(gòu)光深度攝像頭。在其他示例中，可以在沒有深度攝像頭的情況下確定熱攝像頭和人類對(duì)象之間的距離。例如，可以使用一對(duì)立體可見光攝像頭。當(dāng)存在兩個(gè)或多名用戶時(shí)，可以通過比較各個(gè)用戶頭部的相對(duì)大小來估計(jì)相對(duì)距離?；蛘?，可以使用單個(gè)可見光攝像頭，并與經(jīng)過機(jī)器學(xué)習(xí)訓(xùn)練的距離估計(jì)算法結(jié)合使用。作為另一示例，熱攝像頭和人類對(duì)象之間的距離可以由人類用戶手動(dòng)指定。

回到圖2，在208處，方法200包括基于距離，將距離校正因子應(yīng)用于對(duì)應(yīng)于人臉的一個(gè)或多個(gè)像素的一個(gè)或多個(gè)熱強(qiáng)度值，以給出一個(gè)或多個(gè)距離校正熱強(qiáng)度值，如6A和6B所示。

計(jì)算設(shè)備識(shí)別與人臉對(duì)應(yīng)的一個(gè)或多個(gè)像素的一個(gè)或多個(gè)熱強(qiáng)度值602A。在一個(gè)示例中，應(yīng)用距離校正因子的一個(gè)或多個(gè)熱強(qiáng)度值可對(duì)應(yīng)于描繪人臉的一個(gè)或多個(gè)最高強(qiáng)度像素。在大多數(shù)情況下，所述像素可對(duì)應(yīng)于人類對(duì)象眼睛周圍的皮膚和/或眼睛本身，如圖6A所示。但在其他示例中，距離校正系數(shù)可應(yīng)用于被識(shí)別為對(duì)應(yīng)于人類主體的任何部分的任何熱強(qiáng)度值。

繼續(xù)圖6A，將第一距離校正系數(shù)604A應(yīng)用于第一熱強(qiáng)度值602A，以給出距離校正熱強(qiáng)度值606A?！熬嚯x修正系數(shù)”可以采用任何合適的形式。通常，應(yīng)用距離校正因子將包括將熱強(qiáng)度值向上或向下縮放一定量，這取決于人體和熱攝像頭之間的距離。例如，當(dāng)人類主體相對(duì)遠(yuǎn)離熱攝像頭時(shí)，對(duì)應(yīng)于人臉的熱強(qiáng)度值可放大，使得其與相對(duì)靠近熱攝像頭的人類主體更一致?；蛘撸瑢?duì)應(yīng)于相對(duì)靠近熱攝像頭的人體的熱強(qiáng)度值可以縮小，使得它們與相對(duì)遠(yuǎn)離熱攝像頭的人類主體更一致。

圖6B示意性地示出了與第二人類601B的面部相對(duì)應(yīng)的不同熱圖像600B。值得注意的是，第二人類主體601B比第一人類主體601A距離熱攝像頭更遠(yuǎn)。因此，在將一個(gè)或多個(gè)第二熱強(qiáng)度值602B識(shí)別為對(duì)應(yīng)于人類對(duì)象601B的面部之后，應(yīng)用第二距離校正因子604B，以給出一個(gè)或多個(gè)第二距離校正熱強(qiáng)度值606B。由于第一和第二人類主體的距離不同，因此第一和距離校正系數(shù)不同。因此，對(duì)應(yīng)于第一和第二人類受試者的第一和第二熱強(qiáng)度值可以基于第一和第二距離校正因子以不同的量縮放。在一個(gè)示例中，可以縮放一個(gè)人的熱強(qiáng)度值，而不縮放另一個(gè)人的熱強(qiáng)度值。

通過上述方式，可以根據(jù)距離而來校正熱強(qiáng)度值，并更為準(zhǔn)確地報(bào)告人體的體溫指示。

3. 用于體溫估計(jì)的膚色校正

相關(guān)專利：Microsoft Patent | Skin tone correction for body temperature estimation

人體在特定溫度下發(fā)出的熱能量取決于對(duì)象的熱發(fā)射率值。對(duì)于人體，人體膚色通常會(huì)影響人體在特定體溫下發(fā)出的熱能量，因?yàn)椴煌哪w色對(duì)應(yīng)不同的熱發(fā)射率值。例如在圖1中，對(duì)象102A和102B具有不同的膚色，因此將具有不同的熱發(fā)射率值。據(jù)估計(jì)，皮膚相對(duì)較淺的受試者的熱發(fā)射率約為0.95，而皮膚相對(duì)較深的受試者的熱發(fā)射率約為0.98。例如，這可能使得難以在體溫升高的熱圖像中判斷人體情況，因?yàn)榧词咕哂邢嗤暮诵捏w溫，具有不同膚色的兩個(gè)不同的用戶在熱圖像中的記錄可能不同。同樣，當(dāng)兩個(gè)膚色不同的人體的體溫顯著不同時(shí)（例如一個(gè)發(fā)燒，一個(gè)正常），系統(tǒng)都可能很難辨別。例如，如果不考慮膚色，兩個(gè)在熱圖像中似乎具有相同熱強(qiáng)度的用戶可能具有顯著不同的體溫。例如，一個(gè)用戶可能有明顯的發(fā)燒，而另一個(gè)用戶則是正常。

名為“Skin tone correction for body temperature estimation”的專利申請(qǐng)主要描述了用于體溫估計(jì)的膚色校正系統(tǒng)和方法。簡(jiǎn)單來說，在識(shí)別熱圖像中的人臉位置之后，可以識(shí)別人臉膚色。然后，基于所識(shí)別的膚色，將膚色校正因子應(yīng)用于對(duì)應(yīng)于人臉的一個(gè)或多個(gè)熱強(qiáng)度值?；谀w色校正的熱強(qiáng)度值可以報(bào)告人體的體溫指示。以這種方式，可以更準(zhǔn)確地估計(jì)人體的體溫。

如圖2所示，在204，方法200包括識(shí)別人臉在熱圖像中的位置。在一個(gè)示例中，可在經(jīng)由第二攝像頭接收到真實(shí)世界環(huán)境的第二圖像之后識(shí)別人臉的位置。例如，第二攝像頭可以是可見光照相機(jī)，而第二圖像可以是可見光圖像。該設(shè)備隨后可確定第二圖像的像素與熱圖像的像素之間的對(duì)應(yīng)關(guān)系。例如，在識(shí)別人臉在第二圖像內(nèi)的位置之后，可以基于兩個(gè)圖像之間的像素到像素的對(duì)應(yīng)來識(shí)別人臉在熱圖像內(nèi)的位置。

這在圖5中進(jìn)行了示意性說明。具體地，圖5再次包括描繪人類對(duì)象402的熱圖像400。圖5同時(shí)包括第二圖像500，其同樣描繪了人類對(duì)象402。計(jì)算設(shè)備識(shí)別圖像500和圖像400之間的多個(gè)像素到像素對(duì)應(yīng)502。這類通信可采用任何合適的方式進(jìn)行識(shí)別。熱圖像和第二圖像可以由具有不同位置和透視圖的不同攝像頭捕獲。當(dāng)兩個(gè)攝像頭的相對(duì)位置和透視圖已知時(shí)，每個(gè)攝像頭捕獲的圖像像素可以投影到公共參考幀中。以這種方式，可以確定一個(gè)圖像（例如圖像500）的哪些像素對(duì)應(yīng)于與另一個(gè)圖像（例如圖像400）相同的真實(shí)世界特征。因此，當(dāng)識(shí)別出圖像500中人臉位置504A時(shí)，計(jì)算設(shè)備可以確定圖像400的哪些像素對(duì)應(yīng)于熱圖像中面部的相同位置504B。

在其他實(shí)施例中，可以任何合適的方式識(shí)別人臉。例如，可以使用任何合適的人臉識(shí)別算法或技術(shù)。例如，一種方法可以包括使用經(jīng)過機(jī)器學(xué)習(xí)訓(xùn)練的分類器來識(shí)別預(yù)測(cè)為對(duì)應(yīng)于人臉的圖像中的像素。

繼續(xù)圖2，在206，方法200包括識(shí)別第一人臉的膚色。如上所述，對(duì)象在任何給定溫度下發(fā)出的熱能量取決于對(duì)象的熱強(qiáng)度值。對(duì)于人類，不同的膚色對(duì)應(yīng)不同的熱發(fā)射率值。例如，圖1中的人類受試者102A和102B具有不同的膚色，因此即使兩人具有相同的核心體溫，其都將發(fā)射不同量的熱能。為了更準(zhǔn)確地估計(jì)人類的體溫，可以首先識(shí)別人類的膚色。

膚色可通過任何合適的方式識(shí)別。在一個(gè)示例中，可以基于如上所述的第二圖像（例如可見光圖像）中人臉的顏色來識(shí)別人類對(duì)象的膚色。例如，簡(jiǎn)單地返回到圖5，可以基于對(duì)應(yīng)于圖像500內(nèi)人臉的位置504A的像素顏色來識(shí)別人類402的臉部顏色。另外，或者可選地，可以從使用不可見波長(zhǎng)的圖像來識(shí)別人類膚色，例如由深度攝像頭捕獲的圖像。作為另一示例，人類對(duì)象的膚色可由人類用戶手動(dòng)指定。

回到圖2，在208處，方法200包括基于所識(shí)別的膚色，將膚色校正因子應(yīng)用于對(duì)應(yīng)于人臉的一個(gè)或多個(gè)像素的一個(gè)或多個(gè)熱強(qiáng)度值，以給出一個(gè)或多個(gè)經(jīng)色調(diào)校正的熱強(qiáng)度值，如圖6A和6B所示。

計(jì)算設(shè)備識(shí)別對(duì)應(yīng)于人臉的一個(gè)或多個(gè)像素的一個(gè)或多個(gè)熱強(qiáng)度值602A。在一個(gè)示例中，應(yīng)用膚色校正因子的一個(gè)或多個(gè)熱強(qiáng)度值可對(duì)應(yīng)于描繪人臉的一個(gè)或多個(gè)最高強(qiáng)度像素。在大多數(shù)情況下，所述像素可對(duì)應(yīng)于對(duì)象的眼睛和/或?qū)ο笱劬χ車钠つw，如圖6A所示。

繼續(xù)圖6A，將第一膚色校正因子604A應(yīng)用于第一熱強(qiáng)度值602A以給出色調(diào)校正的熱強(qiáng)度值606A?！澳w色校正系數(shù)”可以采用任何合適的形式。在一個(gè)示例中，可以通過將一個(gè)或多個(gè)熱強(qiáng)度值向上或向下縮放基于所識(shí)別的膚色確定的量來應(yīng)用膚色校正因子。

例如，已估計(jì)淺色人類皮膚的熱發(fā)射率值約為0.95，而深色皮膚的熱發(fā)射率約為0.98。因此，對(duì)于給定的體溫，膚色較深的人體在熱圖像中可能比膚色較淺的人體具有相對(duì)較高的熱強(qiáng)度值。因此，應(yīng)用膚色校正因子可能包括將膚色較淺的受試者的熱強(qiáng)度值向上縮放，使其與膚色較深的受試者更一致?；蛘撸钌つw的人體的熱強(qiáng)度值可以縮小，以便它們與淺色皮膚的人體受試者更一致。作為另一個(gè)例子，所有人類的熱強(qiáng)度值可按可變量放大，以給出與膚色中性熱發(fā)射率值一致的熱強(qiáng)度值。

在一個(gè)實(shí)施方案中，可針對(duì)不同的特定膚色預(yù)先確定膚色校正系數(shù)。例如，計(jì)算設(shè)備可以維護(hù)查找表或類似的數(shù)據(jù)結(jié)構(gòu)，其中查找表或類似數(shù)據(jù)結(jié)構(gòu)定義了用于多個(gè)不同膚色的多個(gè)膚色校正因子?；蛘撸梢曰谔囟ㄈ祟惖奶囟ㄗR(shí)別膚色動(dòng)態(tài)地計(jì)算膚色校正因子。

圖6B示意性地示出了與第二人類對(duì)象601B的面部相對(duì)應(yīng)的不同熱圖像600B。值得注意的是，盡管從熱圖像上看不明顯，但第一和第二用戶601A和601B具有不同的膚色。因此，在一個(gè)或多個(gè)第二熱強(qiáng)度值602B被識(shí)別為對(duì)應(yīng)于人類受試者601B的面部之后，應(yīng)用第二膚色校正因子604B，給出一個(gè)或多個(gè)第二色調(diào)校正熱強(qiáng)度值606B。因?yàn)榈谝缓偷诙脩舻哪w色不同，所以第一和第二膚色校正因子不同。因此，對(duì)應(yīng)于第一和第二用戶的第一和第二熱強(qiáng)度值可以基于第一和第二膚色校正因子以不同的量縮放。

如上所述，系統(tǒng)可以通過應(yīng)用膚色校正來更為準(zhǔn)確地判斷和報(bào)告人體體溫。

上述三份微軟專利申請(qǐng)最初都在2020年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。

---
原文鏈接：https://news.nweon.com/93015