步態(tài)識別開始應(yīng)用在公共場域身份識別中。

步態(tài)識別，俗稱“走姿”識身份，不同人的“走姿”是不一樣的，走姿是人的“另一種身份”。

另外，人在不同場域的步態(tài)也是不一樣的，比如在超市里購物步伐偏慢，而在火車站趕車步伐急促，所以跨域步態(tài)識別為“走姿”識身份增加了難度。

而視覺步態(tài)識別的目的是利用多個攝像頭捕捉到的步態(tài)序列來識別一個人。這項(xiàng)任務(wù)已經(jīng)研究了十多年，因?yàn)椴綉B(tài)是一種無需受試者合作即可遠(yuǎn)程獲取的鑒別生物特征。

由于深度學(xué)習(xí)在各種計(jì)算機(jī)視覺任務(wù)中取得了巨大成功，基于深度學(xué)習(xí)的步態(tài)識別方法在單個數(shù)據(jù)集上也取得了優(yōu)異的性能。然而，在實(shí)際應(yīng)用中，更實(shí)際的做法是在從一個場景（即源域）收集的數(shù)據(jù)集上學(xué)習(xí)模型，同時將其應(yīng)用于另一個場景（即目標(biāo)域）。

論文解讀TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition

論文鏈接: https://arxiv.org/pdf/2102.04621v1.pdf

什么是可遷移鄰域發(fā)現(xiàn)算法

作者說可遷移鄰域發(fā)現(xiàn)算法是：

“如果想讓一個小孩識別國內(nèi)的動物種類，你會給他一些動物圖片和對應(yīng)的動物名字。通過學(xué)習(xí)，小孩能認(rèn)出許多動物。你可能覺得還不夠，希望小孩能識別國外的動物，于是給小孩一些國外動物的圖片，讓他把屬于同一物種的圖片都放到一起進(jìn)行分類。”由于小孩之前學(xué)習(xí)了很多國內(nèi)的動物，一開始會比較順利，能夠挑選出一張或者幾張長得最像老虎的放一組、像獅子的放一組，等等。接著，小孩可能會繼續(xù)尋找那些還長得比較像老虎、獅子等的圖片，直到他再也找不到自己學(xué)過的圖片之后，他發(fā)現(xiàn)剩余那些之前沒見過的圖片里，有好幾張長得很類似，于是猜測它們屬于一個新物種。小孩可能同時發(fā)現(xiàn)好幾個新物種，把它們分別放一組，接著繼續(xù)尋找和這些新物種長得很像的圖片。

可遷移鄰域發(fā)現(xiàn)算法模擬了上述一過程，直到所有圖片都被找完為止?？蛇w移鄰域發(fā)現(xiàn)算法與傳統(tǒng)聚類賦偽標(biāo)簽識別不一樣。

---摘抄至第一作者的官方報道。

網(wǎng)絡(luò)結(jié)構(gòu)

具有兩個主要階段的Transferable Neighborhood Discovery方法。

在第一階段，我們采用GaitSet作為主干網(wǎng)絡(luò)，從輪廓序列中學(xué)習(xí)步態(tài)特征。我們在標(biāo)記的源數(shù)據(jù)集上訓(xùn)練GaitSet網(wǎng)絡(luò)來學(xué)習(xí)gaits的先驗(yàn)知識。

在第二階段，我們首先用訓(xùn)練好的主干將未標(biāo)記的目標(biāo)樣本映射到特征空間。然后，利用從源數(shù)據(jù)中學(xué)習(xí)到的先驗(yàn)知識，將目標(biāo)樣本分布在流形中。采用樣本熵度量的類一致性指標(biāo)，以漸進(jìn)的方式選擇樣本的置信鄰域。探索了一種高熵優(yōu)先策略來選擇可信的鄰居點(diǎn)，最終用于更新網(wǎng)絡(luò)。

2.1? GaitSet as the Backbone

為了從步態(tài)序列中學(xué)習(xí)區(qū)分性表示，我們采用最先進(jìn)的基于CNN的模型，即Gait- Set [1]，作為TraND框架中的主干網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)結(jié)構(gòu)圖可見。GaitSet網(wǎng)絡(luò)直接將輪廓序列作為輸入，將該序列視為一個集合，但基于輪廓的外觀包含其位置信息的假設(shè)，忽略幀的順序。

通過這種方法，首先可以保留所有幀的空間特征，從而對步態(tài)表示進(jìn)行綜合建模。然后，我們使用Set Pooling （SP）操作將幀級特征聚合為序列級特征，最后，為了發(fā)現(xiàn)多尺度特征，采用水平金字塔映射（HPM）生成步態(tài)序列的判別表示，將SP提取的特征映射分解。給定步態(tài)輪廓序列。Xk是一個silhouette image, K是一個序列的長度，GaitSet網(wǎng)絡(luò)的整體過程可以公式化如下：

f（·）是提取幀級特征的CNN，g（·）是生成序列級特征的SP函數(shù)，h（·）是GaitSet中的HPM操作。

2.2 對先前知識的監(jiān)督學(xué)習(xí)

由于我們只有源數(shù)據(jù)的標(biāo)簽，但沒有關(guān)于目標(biāo)域的知識，因此有必要有效地利用源數(shù)據(jù)集中步態(tài)表示的先驗(yàn)知識。

受無監(jiān)督人員重新識別方法的啟發(fā)，我們在源數(shù)據(jù)集上訓(xùn)練主干，由于源數(shù)據(jù)和目標(biāo)數(shù)據(jù)中的ID不重疊，因此最好讓模型學(xué)習(xí)樣本之間的相似性或差異，而不是對它們進(jìn)行分類。因此，我們采用Triplet Loss 代替交叉熵?fù)p失進(jìn)行先驗(yàn)知識學(xué)習(xí)。

實(shí)驗(yàn)結(jié)果

3.1 定性結(jié)果

下圖a是 CASIA-B數(shù)據(jù)集中一個人在不同條件和視角下的步態(tài)序列。圖b是 從OU-LP數(shù)據(jù)集中的四個視點(diǎn)捕獲一個人的步態(tài)序列。

3.2 定量結(jié)果

實(shí)驗(yàn)結(jié)果如表1所示，我們首先可以發(fā)現(xiàn)，與在目標(biāo)數(shù)據(jù)上訓(xùn)練的模型相比，直接將在源數(shù)據(jù)上訓(xùn)練的模型應(yīng)用于目標(biāo)數(shù)據(jù)會獲得非常差的結(jié)果。結(jié)果表明，不同數(shù)據(jù)集之間的領(lǐng)域差異會極大地影響模型的適應(yīng)能力。

此外，基于聚類的方法，即GaitSet+DBSCAN和Gait-Get+k均值，不能很好地完成這項(xiàng)任務(wù)。這是因?yàn)榫垲愃惴ㄉ傻膫螛?biāo)簽可能會產(chǎn)生誤導(dǎo)，這會在微調(diào)模型時帶來大量噪聲。通過比較不同的鄰域選擇策略，我們的方法獲得了最好的性能。這反映了我們的方法可以通過類一致性指標(biāo)和高熵優(yōu)先策略有效地發(fā)現(xiàn)自信鄰域。

在OU-LP上訓(xùn)練的模型轉(zhuǎn)移到CASIA-B上的BG和CL條件下時，所有方法的結(jié)果都很差。這是因?yàn)镺U-LP沒有有標(biāo)志的圖片，這使得模型們對這些知識一無所知。因此，應(yīng)進(jìn)一步研究交叉條件設(shè)置，以提高性能。

參考文獻(xiàn)：

[1] Weijian Deng, Liang Zheng, Qixiang Ye, Guoliang Kang, Yi Yang, and Jianbin Jiao. Image-image domain adaptation with preserved self- similarity and domain-dissimilarity for person re-identification. In IEEE CVPR, pages 994–1003, 2018.