狗狗求職記:AI 面試、人類輔助,美研究所利用 628 只拉布拉多數(shù)據(jù),提升嗅覺檢測犬選

內(nèi)容一覽:犬類嗅覺靈敏,是執(zhí)行困難任務(wù)的得力助手。然而,工作犬選拔需要經(jīng)過嚴格的篩選和訓(xùn)練,淘汰率極高。利用監(jiān)督式機器學(xué)習(xí)和任務(wù)數(shù)據(jù),可以用來預(yù)測人類工作表現(xiàn),然而,目前尚未發(fā)現(xiàn)類似的犬類研究。
關(guān)鍵詞:工作犬 監(jiān)督式機器學(xué)習(xí) 隨機森林
作者|daserney
編輯|三羊
本文首發(fā)于 HyperAI 超神經(jīng)微信公眾平臺~
在公園的綠地上、街頭巷尾的角落里、常??梢钥吹焦饭返纳碛?。除了作為人類的陪伴,帶來歡樂與安慰外,還有許多特殊的狗狗正默默從事著重要的工作,服務(wù)于人類社會,他們被稱為工作犬。
工作犬種類多樣,包括軍警犬、搜救犬和服務(wù)犬等,每一種類別下又分為許多不同的專業(yè)領(lǐng)域。其中,嗅覺偵測犬的主要任務(wù)是利用自身超強的嗅覺來檢測各種特定的物質(zhì),例如爆炸物、毒品等。其嗅覺能力對于保護人類社會的安全,起著不可替代的作用。
大多數(shù)未經(jīng)訓(xùn)練的工作犬售價在 4-8 萬美元,如果將訓(xùn)練成本納入考慮,價格可能翻倍。然而,工作犬的整體訓(xùn)練成功率低于 50%,亟需開發(fā)更有效的選拔和訓(xùn)練方法。
近期,來自美國全國兒童醫(yī)院阿比蓋爾·韋克斯納研究所 (The Abigail Wexner Research Institute) 的 Alexander W. Eyre,以及洛基維斯塔大學(xué) (Rocky Vista University) 的 Isain Zapata 等研究人員,利用美國運輸安全管理局嗅覺檢測隊 628 只拉布拉多獵犬的數(shù)據(jù),對比 3 種模型,預(yù)測獵犬能否通過預(yù)訓(xùn)練進入正式訓(xùn)練階段,并發(fā)現(xiàn)了影響嗅覺檢測犬表現(xiàn)的行為特性。
目前該研究已發(fā)布在《Scientific Reports》期刊上,標題為「Machine learning prediction and classification of behavioral selection in a canine olfactory detection program」。

論文地址:
https://www.nature.com/articles/s41598-023-39112-7#Sec8
實驗方法
數(shù)據(jù)介紹:AT + Env 預(yù)測獵犬表現(xiàn)
該研究數(shù)據(jù)來自美國運輸安全管理局 (TSA) ,在 2002 – 2013 年期間進行的一項嗅覺檢測犬飼養(yǎng)和訓(xùn)練計劃。該數(shù)據(jù)集包含 628 只拉布拉多獵犬的評分,這些獵犬在連續(xù) 15 個月的寄養(yǎng)期間內(nèi),每 3 個月接受兩項測試。
測試 1:機場航站樓 (Airport Terminal,簡稱 AT) 測試。AT 測試在一個空的模擬機場航站樓內(nèi)進行,工作人員帶領(lǐng)獵犬穿過模擬機場航站樓,在隨機散布的容器中尋找?guī)в袣馕兜拿?,以及與玩具進行互動。這項測試通過測量識別帶有氣味毛巾時的表現(xiàn)、與工作人員、毛巾和玩具的互動程度,展示獵犬的訓(xùn)練潛力。
測試 2:環(huán)境 (Environmental,簡稱 Env) 測試,在基地周圍的不同地點進行。測試內(nèi)容包括讓獵犬在工作人員的引導(dǎo)下走動、嘗試進行搜索、并在嘈雜和擁擠的環(huán)境中與玩具和工作人員互動。測試地點包括繁忙的禮品兌換店 (BX)、噪聲大且黑暗封閉的木工店 (Woodshop)、有移動交通和噪音的貨運區(qū) (Airport Cargo) 以及各種機場航站樓 (Airport Terminal)。這項測試與 AT 測試相輔相成,因為在 AT 測試中,沒有其他人員分散獵犬的注意力。

AT=機場航站樓測試,E=環(huán)境測試,B=兩者都有。
采用 3 種預(yù)測模型,兩種特性篩選方法
該研究使用了 3 種不同的監(jiān)督式機器學(xué)習(xí)算法,根據(jù)獵犬在行為測試中的表現(xiàn),預(yù)測其通過預(yù)訓(xùn)練選拔的成功率。使用的算法包括隨機森林、支持向量機和邏輯回歸。
該研究還使用主成分分析?(PCA) 和交叉驗證的遞歸特性消除 (RFECV),來確定影響嗅覺檢測犬表現(xiàn)的重要行為特性。
其中,PCA 是一種統(tǒng)計技術(shù),通過識別最重要的變量來降低數(shù)據(jù)維度;RFECV 是一種機器學(xué)習(xí)算法,它通過遞歸消除不重要的特性,從而篩選出最重要的特性。
實驗結(jié)果
預(yù)測獵犬通過率:AT 測試結(jié)果較好
如下圖 A 所示,在 AT 測試中,模型的預(yù)測能力總體上隨著時間推移而有所提高。在第 12 個月的測試數(shù)據(jù)中,隨機森林模型的表現(xiàn)最為突出,準確率 (Accuracy) 達到了 87%,AUC (曲線下面積) 為 0.68。邏輯回歸模型的表現(xiàn)稍遜一籌,但整體上仍表現(xiàn)良好。然而,支持向量機模型的結(jié)果相對不太穩(wěn)定,這主要是因為其在預(yù)測未通過獵犬的召回率 (recall) 上表現(xiàn)不佳。

如下圖 B 所示,在 Env 測試中,預(yù)測結(jié)果并不理想。這可能是因為,與 AT 測試相比,參與 Env 測試的獵犬平均數(shù)量相對較少 (56% vs. 73%)??偟膩碚f,邏輯回歸模型表現(xiàn)較好。支持向量機在 4 個時間點,預(yù)測未通過獵犬的 F1 都極低。
所有 3 種模型在第 3 個月時準確率最高 (0.82-0.84) ,且預(yù)測通過獵犬的 F1 分數(shù)較高 (0.90-0.91)。然而,它們在第 3 個月時預(yù)測未通過獵犬的表現(xiàn)都不佳(F1≤0.10)。

Logistic Regression: 邏輯回歸
Support Vector Machine: 支持向量機
Random Forest: 隨機森林
A: 機場航站樓測試,AT 測試
B: 環(huán)境測試, Env 測試
M03、M06、M09、M12 分別表示測試時間為第 3、第 6、第 9、和第 12 個月。
圖中 / 前數(shù)據(jù)表示通過預(yù)訓(xùn)練選拔獵犬的結(jié)果,/ 后則為未通過預(yù)訓(xùn)練選拔獵犬的結(jié)果。
影響特性:占有特性、信心、H2 影響較大
研究人員使用主成分分析 (PCA) 和交叉驗證的遞歸特征消除 (RFECV) 來確定哪些特性對不同時間點的預(yù)測最為重要。下圖顯示了 PCA 在 AT 測試以及 Env 測試中的結(jié)果。

a:?機場航站樓測試,AT 測試
b:?環(huán)境測試,Env 測試
橫軸特征縮寫與表 1 對應(yīng)。
如上圖 a 所示, 在 AT 測試中,第 3 個月和第 6 個月的測試數(shù)據(jù)顯示,影響最大的特性是 H1/2 (Hidden 1/2),而在第 9 個月和第 12 個月的測試數(shù)據(jù)中,物理占有 (Physical Posession, PP) 影響最大。上圖 b 顯示,在 Env 測試中,玩具獨立占有 (Independent Possession, IP) 在所有時間點的影響最大。
遞歸特征消除 (RFECV) 是一種特征選擇技術(shù),它通過增加或移除特定特征變量,獲得能夠最大化模型性能的最優(yōu)組合變量。在該研究中,RFECV 與隨機森林結(jié)合使用。

a:?機場航站樓測試
b:?環(huán)境測試
數(shù)值表示各個特征出現(xiàn)的百分比,范圍從 0 到 100。
特征縮寫與表 1 對應(yīng)。
如上圖 A 所示,在機場航站樓測試中,所有的占有特性 (MP, PP, IP) 及 H2 最為重要。
上圖 B 顯示,在環(huán)境測試中,在第 3 個月和 6 個月時,信心 (Conf) 最重要 (100% 和 88.7%);在第 9 個月時,獨立占有 (Independent Possession, IP) 最重要 (93.3%);在第 12 個月時,物理占有 (Physical Posession, PP) 最重要 (80.7%)。
綜上,研究結(jié)果表明,某些特性如 H2、IP、Conf 可能具有較大的影響力。然而,由于數(shù)據(jù)集規(guī)模較小,并且特性種類有限,該研究在識別成功通過預(yù)訓(xùn)練選拔,和因行為問題未通過的獵犬方面還存在一些問題。盡管如此,通過引入更多的行為特性、醫(yī)療信息以及其他類型的縱向數(shù)據(jù),有望進一步提升和拓展該預(yù)測程序。
專注工作犬研究的科研機構(gòu)
該研究作者 Elizabeth Hare 所屬機構(gòu)賓夕法尼亞州獸醫(yī)工作犬中心 (Penn Vet Working Dog Center) 是工作犬領(lǐng)域的先驅(qū),旨在推進最新科學(xué)發(fā)現(xiàn)和獸醫(yī)專業(yè)知識的研究和應(yīng)用,以優(yōu)化氣味探測犬的表現(xiàn)。該機構(gòu)受 9·11 襲擊事件時搜救犬的出色表現(xiàn)所啟發(fā),于 2012 年 9 月 11 日創(chuàng)立,成為國家搜救犬研究和開發(fā)中心。

機構(gòu)地址:
https://www.vet.upenn.edu/research/centers-laboratories/center/penn-vet-working-dog-center
Penn Vet Working Dog Center 致力于與犬類合作,保護人類、動物以及環(huán)境的健康和安全,通過收集和分析遺傳、行為和身體健康數(shù)據(jù),結(jié)合最新的科學(xué)研究,提升工作犬的工作效率和生活福祉。其工作不僅包括制定和實施工作犬的培養(yǎng)和訓(xùn)練計劃,還包括測試和傳播研究成果,以便更好地應(yīng)對未來的挑戰(zhàn)。
參考鏈接:
[1]https://zhuanlan.zhihu.com/p/384069169
[2]https://blog.csdn.net/qq_35218635/article/details/110001554
[3]https://zhuanlan.zhihu.com/p/626862784
[4]https://zhuanlan.zhihu.com/p/35