1. 摘要

傳統(tǒng)方法中是將異常分割方法視為每個像素的分類問題，這種方法會導致物體邊界存在高度不確定性和大量誤報（假陽）。

Mask2Anomaly中有三個技術創(chuàng)新：

1.全局掩碼注意力模塊：分別關注前景和背景

2.掩碼對比學習：最大化異常和已知類之間的間隔

3.掩碼細化解決方案：減少假陽率

以往獲得異常分數(shù)有兩種辦法，一是判斷每個像素的不確定性，二是對比預測圖與原圖的像素差異。在像素上單獨推理會產生噪聲異常分數(shù)，從而導致大量誤報和定位不良的異常。如下圖1所示：

因為mask-transformer架構中的mask更注重于物體一致性（將交叉注意力機制限制在掩碼區(qū)域內從而提取局部特征），所以可以將異常（比如圖中的動物）作為整個實體捕捉，從而產生更加一致的異常分數(shù)和減少假陽性。

1. 方法

為了能夠在掩碼級別進行分割任務，該文章重新審視了Maximum Softmax Probablity（MSP），一個之前用于像素AS中的經典方法，將其運用于mask-transformer生成的mask上。

將MSP簡單地運用在最好的mask-transfromer之后，發(fā)現(xiàn)并不能產生良好結果，于是提出了幾項技術貢獻，以提高mask-transformer捕獲異常并拒絕誤報的能力：

• 結構角度：提出全局掩碼注意力機制，使模型能夠同時關注前景對象和背景，同時保留原始掩碼注意力的效率。

• 訓練角度：開發(fā)了一個掩碼對比學習框架，利用來自額外的分布數(shù)據(jù)的異常掩碼來最大化異常和已知類別之間的分離

• 推理角度：基于掩碼的細化解決方案，通過分辨"things"與"stuff"的全局分割的過濾掩碼，來減少假陽性（誤判）。

將以上方法集成到了mask架構之上，將此解決方案稱為Mask2Anomaly。是第一個在掩碼級別檢測異常的AS方法。Road Anomaly, Fishyscapes, Segment Me If You Can 在這幾個異常分割數(shù)據(jù)集上都獲得了最佳。

三個方面細節(jié)過多，簡而言之：

1.結構上增加了mask-transformer，從mask角度分類，類別得分乘以mask。

2.因為只關注前景會丟失背景中的異常信息（圖3），所以輸入輸出又多添加了背景部分，與前景結果直接相加。

3.加強異常類與正常類差距，使用外部數(shù)據(jù)集，學習到異常類。

4.對于邊緣細線等方面不重要的信息，使用Mask Contrastive Learning，讓預測圖與細化mask進行哈達瑪積，得到細化后的預測圖。（圖4）

細節(jié)待考究。

https://doi.org/10.48550/arXiv.2307.13316