論文題目：基于不確定因素感知的魯棒虹膜識別

Towards more discriminative and robust iris recognition by learning uncertainty factors

論文作者：衛(wèi)建澤（中國科學(xué)院大學(xué)，中科院自動化所），黃懷波（中科院自動化所），王云龍（中科院自動化所），赫然（中科院自動化所），孫哲南（中科院自動化所）

收錄期刊：IEEE Transactions on Information Forensics and Security

論文DOI:?10.1109/TIFS.2022.3154240

代碼鏈接：https://github.com/reborn20200813/uncertainty

01、研究動機(jī)

1.1 研究背景

在虹膜識別技術(shù)探究的過程中，研究人員已經(jīng)發(fā)現(xiàn)多種因素會顯著的影響識別性能，例如采集距離、圖像分辨率、光照、設(shè)備變更等；事實(shí)上，除了這些因素外還有其他的不確定因素在不經(jīng)意地改變成像效果，進(jìn)而影響算法的識別性能。具體來說，虹膜圖像獲取實(shí)質(zhì)上是對人眼、環(huán)境和采集設(shè)備三者交互過程的單次采樣，而交互中的這三大因素都會涉及大量的采集因素——人眼會涉及姿態(tài)、運(yùn)動和遮擋等，環(huán)境會涉及光照等，而采集設(shè)備會涉及光學(xué)鏡頭、傳感器等。即使是人為控制的受控場景，仍無法確保這些采集因素呈不會發(fā)生改變的確定態(tài)；換而言之，采集過程會無時(shí)不刻收到不確定采集因素的作用，而不確定采集因素對于最終成像的影響被稱為采集不確定性。

采集不確定性往往會導(dǎo)致每次成像結(jié)果都不盡相同，而這種成像的差異體現(xiàn)在特征空間上是導(dǎo)致不同圖像的特征點(diǎn)無法聚焦于同一位置而是圍繞某一點(diǎn)分布?，F(xiàn)有的特征提取器（不論是基于特征模板還是基于特征向量的算法）采用確定點(diǎn)來表示虹膜圖像，具體來說，特征空間中的任意一點(diǎn)都對于某一具體圖像。當(dāng)使用確定點(diǎn)表示方法時(shí)，采集不確定性會使得同一目標(biāo)不同圖像的虹膜特征呈現(xiàn)差異，影響最終的驗(yàn)證或識別結(jié)果。

1.2 方法動機(jī)

由于確定點(diǎn)表示方法無法規(guī)避采集不確定性帶來的影響，這讓我們不得不尋求一種新的表示方法來解決采集不確定性的影響。想要針對采集不確定性來設(shè)計(jì)算法，首先需要了解采集不確定性如何影響虹膜特征。雖然采集不確定性導(dǎo)致同一目標(biāo)不同圖像的虹膜特征在空間中彌散，但我們?nèi)匀豢梢园l(fā)現(xiàn)一個基本的規(guī)律——同一目標(biāo)的虹膜特征呈抱團(tuán)分布，越相似的虹膜圖像在空間的距離越近?；谠撘?guī)律，本文進(jìn)行了大膽但合理的假設(shè)：

(a)根據(jù)中心極限定律，同一目標(biāo)類別的虹膜圖像在特征空間中圍繞某一確定中心點(diǎn)呈高斯分布。

(b)該確定中心點(diǎn)是一個不受采集不確定性影響的具有判別力的身份特征。

基于該假設(shè)，采集不確定性對虹膜特征的影響便清晰了起來。每張虹膜圖像采集后包含有兩類信息——用于識別的身份信息，影響識別的采集不確定性信息；確定點(diǎn)表示方法無法有效區(qū)分這兩種信息，導(dǎo)致特征空間中的樣本點(diǎn)既包含有識別所需的身份信息也包含有視為噪聲的采集不確定性信息；此時(shí)，同一目標(biāo)不同圖像的對應(yīng)樣本點(diǎn)具有相同的身份信息，這使得他們呈抱團(tuán)狀，但各異的采集不確定性信息導(dǎo)致他們無法位于同一位置（即假設(shè)中的確定中心點(diǎn)）；而樣本點(diǎn)相對該確定中心點(diǎn)的偏移就是由采集不確定性造成的。

02、不確定因素感知的魯棒虹膜識別

算法的整體框架如圖二所示，在2.1-2.3將對各模塊進(jìn)行分別介紹。

2.1 概率隱表達(dá)

為了將身份信息和采集不確定性信息加以區(qū)分，本文提出了概率隱表達(dá)，該表達(dá)方法使用多元高斯分布來表示虹膜圖像。

具體來說，對于一張虹膜圖像，該表達(dá)方法使用如下圖所示的編碼器來獲得其對應(yīng)目標(biāo)類別的特征表達(dá)z_n。編碼器的主干網(wǎng)絡(luò)首先對圖像抽取虹膜特征，然后編碼器中的?-分支和??-分支從特征中預(yù)測z_n的均值和方差。

基于預(yù)測結(jié)果， z_n 可使用如下的高斯分布來進(jìn)行表示：

其中均值編碼了該目標(biāo)類別的身份信息，而方差單獨(dú)為每個特征維度編碼了其采集不確定性。此時(shí)，輸入圖像對應(yīng)的虹膜特征可視為對 z_n分布的一次特殊采樣。

基于該表示，我們可以通過從標(biāo)準(zhǔn)正態(tài)分布中隨機(jī)采樣一個噪聲來生成新的虛擬虹膜特征，獲得的虛擬特征本質(zhì)為數(shù)據(jù)在特征層的一次合理增廣，有助于確保數(shù)據(jù)的多元性。本文利用增廣來模擬采集不確定性對虹膜特征點(diǎn)的影響，利用這些增廣后的虛擬特征來進(jìn)行模型訓(xùn)練，可提升算法的魯棒性；但測試過程僅關(guān)注身份信息，可利用??-分支獲得的均值??來進(jìn)行身份識別。

2.2 不確定性引導(dǎo)的課程學(xué)習(xí)

在1.2中可知不同樣本點(diǎn)由于收到的采集不確定性影響不同，樣本點(diǎn)距離中心的距離也各有差異，而虛擬特征也是同理——距離均值點(diǎn)較近的特征受采集不確定性影響較小，對應(yīng)高質(zhì)量的成像結(jié)果，而距離均值點(diǎn)較遠(yuǎn)的特征受采集不確定性影響較大，對應(yīng)降質(zhì)圖像。

根據(jù)之前的工作可知，使用高質(zhì)量的圖像有助于提升模型精度卻無助于魯棒性提升，而使用降質(zhì)圖像有助于提升模型的魯棒性卻影響模型收斂和精度提升，本文提出了配套概率隱表達(dá)的學(xué)習(xí)策略。

該策略的核心想法是在訓(xùn)練早期優(yōu)先使用高質(zhì)量的虛擬特征（對應(yīng)論文中的容易樣本，easy samples）來快速收斂模型并確保模型精度，而且在后續(xù)引入降質(zhì)的虛擬特征（對應(yīng)論文中的困難樣本，hard sample）來提升模型魯棒性。具體做法是根據(jù)虛擬特征的生成過程來計(jì)算樣本的困難程度，在開始訓(xùn)練階段使用困難程度較低的特征來優(yōu)化模型，然后逐漸引入困難程度較高的特征來鞏固模型優(yōu)化，最終達(dá)到又準(zhǔn)確又魯棒的目的。

2.3 歸一化圖像增強(qiáng)

前面的內(nèi)容中大量的討論了采集不確定性，這些采集不確定性各種場景或識別設(shè)定中普遍存在，但仍有一種潛在的采集不確定性沒有討論，那就是跨庫場景中的采集不確定性。

在一個識別場景中，有些采集因素被預(yù)先設(shè)定（比如采集設(shè)備的型號等），而有些采集因素則是不確定的（比如采集距離、光照、瞳孔放縮情況等）；前者往往被視為確定因素，而后者被視為不確定因素。然而，確定因素并不總是確定的，在常規(guī)的庫內(nèi)識別設(shè)定下，由于訓(xùn)練數(shù)據(jù)的存在，測試數(shù)據(jù)中采集因素的確定與否是可被感知和學(xué)習(xí)的，其中采集因素的不確定性被??-分支所學(xué)習(xí)；而在跨庫識別設(shè)定下，訓(xùn)練數(shù)據(jù)是缺失的，這意味測試數(shù)據(jù)中采集因素的確定與否無法感知，因?yàn)?img type="latex" class="latex" src="http://api.bilibili.com/x/web-frontend/mathjax/tex?formula=%5Csigma" alt="%5Csigma">??-分支只能通過訓(xùn)練數(shù)據(jù)來建模的不確定性信息。這種不可學(xué)習(xí)的采集不確定性是概率隱表達(dá)無法建模的，因此本文提出了歸一化圖像增強(qiáng)來針對該問題來進(jìn)行解決。

該增強(qiáng)方法分為基于局部統(tǒng)計(jì)量和基于全局統(tǒng)計(jì)量的兩個增強(qiáng)步驟。基于局部統(tǒng)計(jì)量的增強(qiáng)步驟聚焦于圖像的 3x3 局部區(qū)域，利用局部區(qū)域內(nèi)的中值來平滑方法來消除圖像噪聲造成的采集不確定性。而基于全局統(tǒng)計(jì)量的增強(qiáng)步驟統(tǒng)計(jì)了圖像整體的一階和二階統(tǒng)計(jì)量，并以此為參考來調(diào)整圖像。這種基于局部和全局統(tǒng)計(jì)量的增強(qiáng)方法有效改善了歸一化圖像，解決了預(yù)訓(xùn)練設(shè)定中不可學(xué)習(xí)的數(shù)據(jù)不確定性的負(fù)面影響；事實(shí)上，實(shí)驗(yàn)表明這種增強(qiáng)方法對于其他階層設(shè)定同樣有效。

03、實(shí)驗(yàn)結(jié)果

3.1 同設(shè)備識別

本文所提方法在CASIA-irisV4-Lamp、CASIA-irisV4-Thousand、CASIA-irisV4-Distance 和 CASIA-iris-Mobile-V1四個同設(shè)備數(shù)據(jù)集上進(jìn)行了庫內(nèi)和跨庫兩種設(shè)定的測試。表一和表二分別展示了在庫內(nèi)和跨庫兩種設(shè)定下的性能對比

3.2 跨設(shè)備識別

跨設(shè)備識別是相較于同設(shè)備識別更具挑戰(zhàn)性的識別難題，該任務(wù)需要算法使用某一型號的設(shè)備來進(jìn)行用戶注冊，然后使用另外型號的設(shè)備來進(jìn)行用戶識別。本文在ND-CrossSensor-Iris-2013和CASIA Cross Sensor Iris Recognition兩個數(shù)據(jù)集上進(jìn)行了庫內(nèi)和跨庫兩種設(shè)定的識別。表三和表四分別展示了算法在庫內(nèi)和跨庫兩種設(shè)定下的識別結(jié)果。

04、相關(guān)擴(kuò)展

本文的工作也可以用于無監(jiān)督虹膜識別，相關(guān)的工作已在IJCB 2021進(jìn)行口頭匯報(bào)，

論文題目為：Contrastive Uncertainty Learning for Iris Recognition with Insufficient Labeled Samples，

相關(guān)代碼鏈接為：https://github.com/reborn20200813/CUL

致謝

本研究成果得到了中國人工智能學(xué)會-華為MindSpore學(xué)術(shù)獎勵基金的資助。

MindSpore官網(wǎng)：https://www.mindspore.cn/