來源：投稿 作者：王同學(xué)

編輯：學(xué)姐

IoU出現(xiàn)背景

目標(biāo)檢測任務(wù)的損失函數(shù)一般由「Classificition Loss（分類損失函數(shù)）」和「Bounding Box Regeression Loss（回歸損失函數(shù)）」兩部分構(gòu)成。因此，更好的定位有利于模型精度的提高。在IOU Loss提出來之前，檢測上有關(guān)候選框的回歸主要是通過坐標(biāo)的回歸損失來優(yōu)化。但L1和L2 Loss存在比較大的問題：

1. L1 Loss的問題：損失函數(shù)對(duì)x的導(dǎo)數(shù)為常數(shù)，在訓(xùn)練后期，x很小時(shí)，如果learning rate 不變，「損失函數(shù)會(huì)在穩(wěn)定值附近波動(dòng)，很難收斂到更高的精度」。

2. L2 Loss的問題：損失函數(shù)對(duì)x的導(dǎo)數(shù)在x值很大時(shí)，其導(dǎo)數(shù)也非常大，在「訓(xùn)練初期不穩(wěn)定」。

而且，基于L1/L2 Loss的坐標(biāo)回歸不具有尺度不變性，且并沒有將四個(gè)坐標(biāo)之間的相關(guān)性考慮進(jìn)去。因此，像L1/L2 Loss直接的坐標(biāo)回歸實(shí)際上很難描述兩框之間的相對(duì)位置關(guān)系。

因此，在ACM2016的論文中提出了IOU loss，它將四個(gè)坐標(biāo)點(diǎn)看成一個(gè)整體進(jìn)行計(jì)算，具有尺度不變性（也就是對(duì)尺度不敏感）。IOU Loss的定義是先求出預(yù)測框和真實(shí)框之間的交集和并集之比，再求負(fù)對(duì)數(shù)，但是在實(shí)際使用中我們常常將IOU Loss寫成1-IOU。如果兩個(gè)框重合則交并比等于1，Loss為0說明重合度非常高。因此，IOU的取值范圍為[0,1]。

什么是IoU？

IOU的全稱為交并比（Intersection over Union），是目標(biāo)檢測中使用的一個(gè)概念，IoU計(jì)算的是“預(yù)測的邊框”和“真實(shí)的邊框”的交疊率，即它們的交集和并集的比值。最理想情況是完全重疊，即比值為1。

IoU發(fā)展歷程

雖然IOU Loss雖然解決了Smooth L1系列變量相互獨(dú)立和不具有尺度不變性的兩大問題，但是它也存在兩個(gè)問題：

1. 當(dāng)預(yù)測框和目標(biāo)框不相交時(shí)，即IOU(A,B)=0時(shí)，不能反映A,B距離的遠(yuǎn)近，此時(shí)損失函數(shù)不可導(dǎo)，IOU Loss 無法優(yōu)化兩個(gè)框不相交的情況。

2. 如上圖三個(gè)框，假設(shè)預(yù)測框和目標(biāo)框的大小都確定，只要兩個(gè)框的相交值是確定的，即其IoU值相同時(shí)，IOU值不能反映兩個(gè)框是如何相交的。

GIoU（CVPR2019）

針對(duì)IOU無法反映兩個(gè)框是如何相交的問題，GIOU通過「引入預(yù)測框和真實(shí)框的最小外接矩形（類似于圖像處理中的閉包區(qū)域）」 來獲取預(yù)測框、真實(shí)框在閉包區(qū)域中的比重。這樣子，GIOU不僅可以關(guān)注重疊區(qū)域，還可以關(guān)注其他非重合區(qū)域，能比較好的反映兩個(gè)框在閉包區(qū)域中的相交情況。

從公式上來看，GIOU是一種IOU的下界，取值范圍[-1,1]。在兩者重合的時(shí)候取最大值1，在兩者無交集且無限遠(yuǎn)的時(shí)候取最小值-1。因此，與IOU相比，GIoU是一個(gè)比較好的距離度量指標(biāo)。

DIoU（AAAI2020）

雖然GIOU通過引入閉包區(qū)域緩解了預(yù)測框與真實(shí)框相交位置的衡量問題，但其實(shí)際上仍存在兩個(gè)問題：

1. 對(duì)每個(gè)預(yù)測框與真實(shí)框均要去計(jì)算最小外接矩形，計(jì)算及收斂速度受到限制

2. 當(dāng)預(yù)測框在真實(shí)框內(nèi)部時(shí)，GIOU退化為IOU，也無法區(qū)分相對(duì)位置關(guān)系

因此，考慮到GIOU的缺點(diǎn)，「DIOU在IOU的基礎(chǔ)上」直接回歸兩個(gè)框中心點(diǎn)的歐式距離，加速了收斂速度。DIOU的懲罰項(xiàng)是基于中心點(diǎn)的距離和對(duì)角線距離的比值。這樣就避免了GIOU在兩框距離較遠(yuǎn)時(shí)產(chǎn)生較大閉包時(shí)所造成的Loss值較大而難以優(yōu)化的情況。

CIoU（AAAI2020）

雖然DIoU Loss通過中心點(diǎn)回歸緩解了兩框距離較遠(yuǎn)時(shí)難優(yōu)化的問題，但DIoU Loss仍存在兩框中心點(diǎn)重合，但寬高比不同時(shí)，DIoU Loss退化為IoU Loss的問題。因此，為了得到更加精準(zhǔn)的預(yù)測框，CIoU在DIOU的基礎(chǔ)上增加了一個(gè)影響因子，即增加了預(yù)測框與真實(shí)框之間長寬比的一致性的考量。

比如上面三種情況，目標(biāo)框包裹預(yù)測框，本來DIoU可以起作用。

但預(yù)測框的中心點(diǎn)的位置都是一樣的，因此按照DIoU的計(jì)算公式，三者的值都是相同的。

CIOU Loss雖然考慮了邊界框回歸的重疊面積、中心點(diǎn)距離及長寬比。但是其公式中的v反映的時(shí)長寬比的差異，而不是寬高分別與其置信度的真實(shí)差異，所以有時(shí)會(huì)阻礙模型有效的優(yōu)化。

EIoU（arXiv2021）

EIoU在CIoU的基礎(chǔ)上將長寬比拆開，明確地衡量了三個(gè)幾何因素的差異，即重疊區(qū)域、中心點(diǎn)和邊長，同時(shí)引入Fcoal loss解決了難易樣本不平衡的問題。

αIoU（NeurlPS2021）

αIoU將現(xiàn)有的基于 IoU 的損失進(jìn)行了一個(gè)推廣

使得αIoU可以顯著超越現(xiàn)有的基于 IoU 的損失，通過調(diào)節(jié)α，使探測器更靈活地實(shí)現(xiàn)不同水平的bbox回歸精度，并且αIoU 對(duì)小數(shù)據(jù)集和噪聲的魯棒性更強(qiáng)

SIoU（arXiv2022）

傳統(tǒng)的目標(biāo)檢測損失函數(shù)依賴于邊界框回歸指標(biāo)的聚合，例如預(yù)測框和真實(shí)框（即 GIoU、CIoU、ICIoU 等）的距離、重疊區(qū)域和縱橫比。然而，迄今為止提出和使用的方法都沒有考慮期望的真實(shí)框和預(yù)測框之間不匹配的方向。這種不足導(dǎo)致收斂速度較慢且效率較低，因?yàn)轭A(yù)測框在訓(xùn)練過程中可能會(huì)“四處游蕩”，最終會(huì)產(chǎn)生一個(gè)更差的模型。

SIoU提出了一種新的損失函數(shù)，重新定義了懲罰度量，考慮了期望回歸之間的向量夾角。

「SIoU損失函數(shù)由4個(gè)成本函數(shù)組成」

• Angle cost

• Distance cost

• Shape cost

• IoU cost

將 SIoU 應(yīng)用于 COCO-train/COCO-val 與其他損失函數(shù)相比，提高了 +2.4% (mAP@0.5:0.95) 和 +3.6%(mAP@0.5)

參考文獻(xiàn)

IoU：《UnitBox: An Advanced Object Detection Network》

GIoU：《Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression》

D/C IoU：《Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression》

EIoU：《Focal and Efficient IOU Loss for Accurate Bounding Box Regression》

αIoU：《Alpha-IoU: A Family of Power Intersection over Union Losses for Bounding Box Regression》

SIoU：《SIoU Loss: More Powerful Learning for Bounding Box Regression》

需要目標(biāo)檢測相關(guān)論文的同學(xué)

可以關(guān)注【學(xué)姐帶你玩AI】公眾號(hào)回復(fù)“CVPR”

領(lǐng)取學(xué)姐整理的500多篇論文（包含CV各個(gè)方向）