本文提出了針對單階段半監(jiān)督目標檢測任務的Ambiguity-Resistant Semi-supervised Learning（ARSL）算法，創(chuàng)新地提出了兩個通用的單階段半監(jiān)督檢測模塊：Joint-Confidence Estimation（JCE）和Task-Separation Assignment（TSA）。JCE通過聯(lián)合分類和定位任務的置信度評估偽標簽質(zhì)量。TSA基于教師模型預測的聯(lián)合置信度將樣本劃分為正樣本、負樣本和模棱兩可的候選樣本，并進一步在候選樣本中分別為分類、定位任務挑選潛在正樣本。

背景及動機

基于深度學習的目標檢測算法通常依賴大規(guī)模標注數(shù)據(jù)才能發(fā)揮出最大的威力。為了節(jié)省標注人力，降低數(shù)據(jù)標注成本，半監(jiān)督目標檢測（SSOD）應運而生。半監(jiān)督目標檢測旨在利用少量的標注數(shù)據(jù)和大量的無標注數(shù)據(jù)進行模型訓練，在最新進展中，其主要依賴于Mean-Teacher框架以及Pseudo-labeling技術(shù)，即用教師模型在無標注數(shù)據(jù)上生成的偽標簽（Pseudo labels）訓練學生模型，再基于學生模型在時序上的權(quán)重均值來更新教師模型。

然而基于該流程，我們發(fā)現(xiàn)相比于兩階段檢測器（如Faster RCNN），單階段檢測算法（如 FCOS）僅能取得相對有限的提升。是什么限制了單階段檢測器的半監(jiān)督訓練？通過定量分析，我們發(fā)現(xiàn)單階段檢測器的偽標簽中存在嚴重的篩選歧義性（Selection Ambiguity）及樣本分配歧義性（Assignment Ambiguity）。

篩選歧義性是指，由于檢測結(jié)果的分類置信度和定位質(zhì)量并不匹配，使得基于分類得分篩選的偽標簽不夠準確。這一點在單階段檢測器中更加嚴重。表1中可以看到，相比于Faster RCNN，F(xiàn)COS預測的檢測結(jié)果中，分類得分和定位質(zhì)量的相關(guān)性更低。換句話說，F(xiàn)COS篩選高質(zhì)量偽標簽的能力更弱。

分配歧義性是指，基于偽標簽的樣本分配中，大量樣本被分配了錯誤的標簽。問題的根源在于，F(xiàn)COS的分配策略直接將邊界框內(nèi)部（或中心區(qū)域）的樣本劃分為正樣本，而忽略了偽標簽的邊界框并不準確。這使得大量的背景區(qū)域被當成了正樣本（False Positive），同時被閾值過濾掉的物體也被劃分為了負樣本（False Negative）。如圖2所示，不管偽標簽的篩選閾值如何設置，分配結(jié)果中均存在大量的false positive和false negative?？梢钥闯?，基于邊界框的樣本分配策略（如 FCOS 的 center sampling）在偽標簽分配上存在著天然的劣勢。另外，相比于Faster RCNN，F(xiàn)COS等單階段檢測器需要像素級的樣本標簽，因此對分配歧義性更加敏感。

算法簡介

為了解決上述問題，我們提出了Ambiguity-Resistant Semi-supervised Learning（ARSL），包括Joint-Confidence Estimation（JCE）和Task-Separation Assignment（TSA），通用于單階段半監(jiān)督目標檢測任務。

針對偽標簽的篩選歧義性，JCE基于分類任務和定位任務的聯(lián)合置信度來評估偽標簽的質(zhì)量。更為具體地，JCE通過雙分支結(jié)構(gòu)，同時預測分類得分和定位質(zhì)量，并將兩者的乘積作為聯(lián)合置信度。為了避免兩個分支單獨訓練所導致的次優(yōu)狀態(tài)，對于標注數(shù)據(jù)，兩者使用IoU-based soft label進行聯(lián)合訓練；對于無標注數(shù)據(jù)，直接使用教師模型聯(lián)合置信度的最大響應值進行訓練。

針對偽標簽的分配歧義性，TSA摒棄了box-based assignment，基于教師模型在每個樣本點上預測的聯(lián)合置信度，直接對其進行正負樣本劃分。然而如上圖5所示，處于置信度中間區(qū)域的樣本依然是難以抉擇的。為此，TSA首先使用基于統(tǒng)計信息的雙閾值將樣本分為負樣本、正樣本和模棱兩可的候選樣本，然后在候選樣本中分別為分類任務和定位任務進一步篩選潛在正樣本。候選樣本主要由低置信度的正樣本和困難負樣本組成，并不是單純的背景區(qū)域（平均IoU為0.369）。對于分類任務，這些樣本都值得學習，因此所有候選樣本都參與教師模型的一致性學習，直接模仿教師模型預測的概率分布。而定位任務對樣本的選擇更加苛刻，差異性過大會導致定位任務不收斂。因此，TSA通過評估候選樣本于正樣本的相似性來篩選潛在正樣本（類別相似性、定位相似性、幾何位置相似性），并使用正樣本邊界框的加權(quán)值作為潛在正樣本的學習目標。

實驗效果

• 與半監(jiān)督檢測SOTA 的對比

在COCO-Standard 1%，2%，5%，10% split中（使用1%,2%, 5%,10% 的COCO_train2017標注數(shù)據(jù)進行監(jiān)督訓練，剩余作為無標注數(shù)據(jù)進行半監(jiān)督訓練，每個split均采樣5組數(shù)據(jù)），ARSL均高于當前的SOTA算法，增加大尺度抖動（large-scale jittering）后進一步拉大了差距。

在COCO-Full中（使用全部的COCO_train2017標注數(shù)據(jù)進行監(jiān)督訓練，COCO_unlabel2017作為無標注數(shù)據(jù)），ARSL在較短的訓練周期下取得了更加顯著的提升。

• 消融性分析

表5.可以看到，F(xiàn)COS在基礎(chǔ)的半監(jiān)督框架下僅取得了4.7%AP的提升（26.0%->30.7%），而基于ARSL則進一步提升了6.2%AP達到了36.9%AP。其中，JCE和TSA分別漲點4.0%AP，2.2%AP。表6為JCE中各個策略的提升效果。

• 歧義性消除的驗證分析

表8.通過定量分析驗證了JCE可以篩選出更高質(zhì)量的偽標簽，從而提升半監(jiān)督學習的效果。圖6.分析驗證了TSA中樣本標簽分配的正確性。具體來說，TSA w/o mining將True Positive的數(shù)量提升了111.4%，還額外減少23.4%的False Positive。進一步挑選潛在正樣本（Mining）可以將True Positive的數(shù)量提升至169.8%。

相關(guān)鏈接

論文地址

https://arxiv.org/abs/2303.14960

代碼地址

https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/semi_det