目標(biāo)檢測(cè)的各種評(píng)價(jià)指標(biāo)
查準(zhǔn)率(精確率):P
查全率(召回率):R
P=1或者R=1不代表模型好,不能單看P或者R,所以引入PR,PR曲線中的P代表的是precision(精準(zhǔn)率),R代表的是recall(召回率),其代表的是精準(zhǔn)率與召回率的關(guān)系,一般情況下,將recall設(shè)置為橫坐標(biāo),precision設(shè)置為縱坐標(biāo)。
AP:AP就是得出每個(gè)類的檢測(cè)好壞的結(jié)果
map:mAP就是得出多個(gè)類的檢測(cè)好壞的結(jié)果
假設(shè)分為兩個(gè)類:正類和負(fù)類,計(jì)算得到這兩個(gè)類AP之和然后除以2就等于mAP
TP?(True Positive):一個(gè)正確的檢測(cè),檢測(cè)的IOU ≥?threshold。即預(yù)測(cè)的邊界框(bounding box)中分類正確且邊界框坐標(biāo)正確的數(shù)量。在實(shí)際預(yù)測(cè)中,經(jīng)常會(huì)出現(xiàn)多個(gè)預(yù)測(cè)框與同一個(gè)gt的IOU都大于閾值,這時(shí)通常只將這些預(yù)測(cè)框中score最大的算作TP,其它算作FP。
FP?(False Positive):一個(gè)錯(cuò)誤的檢測(cè),檢測(cè)的IOU <?threshold。即預(yù)測(cè)的邊界框中分類錯(cuò)誤或者邊界框坐標(biāo)不達(dá)標(biāo)的數(shù)量,即預(yù)測(cè)出的所有邊界框中除去預(yù)測(cè)正確的邊界框,剩下的邊界框的數(shù)量。
FN?(False Negative):一個(gè)沒(méi)有被檢測(cè)出來(lái)的ground truth。所有沒(méi)有預(yù)測(cè)到的邊界框的數(shù)量,即正確的邊界框(ground truth)中除去被預(yù)測(cè)正確的邊界框,剩下的邊界框的數(shù)量。
Precision?(準(zhǔn)確率 / 精確率):「Precision is the ability of a model to identify?only?the relevant objects」,準(zhǔn)確率是模型只找到相關(guān)目標(biāo)的能力,等于TP/(TP+FP)。即模型給出的所有預(yù)測(cè)結(jié)果中命中真實(shí)目標(biāo)的比例。對(duì)于某個(gè)類別A,我們先計(jì)算每張圖片中A類別TP和FP的數(shù)量并進(jìn)行累加,即可得到類別A在整個(gè)數(shù)據(jù)集中TP和FP的數(shù)量,計(jì)算TP/(TP+FP)即可得到類別A的Precision (計(jì)算Precision的時(shí)候只需要用到TP和FP),但是會(huì)發(fā)現(xiàn)Precision的數(shù)值是受模型預(yù)測(cè)出的邊界框的數(shù)量(上述計(jì)算式的分母部分)影響的,如果我們控制模型輸出預(yù)測(cè)框的數(shù)量,就可以得到不同的Precision,所以我們可以設(shè)置不同的score閾值,最終得到不同數(shù)量的TP和FP。
Recall?(召回率):「Recall is the ability of a model to find all the relevant cases (all ground truth bounding boxes)」,召回率是模型找到所有相關(guān)目標(biāo)的能力,等于TP/(TP+FN)。即模型給出的預(yù)測(cè)結(jié)果最多能覆蓋多少真實(shí)目標(biāo)。對(duì)于某個(gè)類別A,按上述方法進(jìn)行累加TP的數(shù)量,計(jì)算TP/(n_gt)即可得到Recall,其中n_gt表示類別A在所有圖片中g(shù)t的數(shù)量之和。同理,如果控制模型輸出的預(yù)測(cè)框的數(shù)量,就會(huì)改變TP的數(shù)量,也就會(huì)改變Recall的值。
score、confidence:每個(gè)預(yù)測(cè)邊界框的分?jǐn)?shù)/置信度,不同論文中的表達(dá)方式不同。即你的模型除了需要給出每個(gè)預(yù)測(cè)邊界框的分類結(jié)果和邊界坐標(biāo),還要給出這個(gè)邊界框包含目標(biāo)的可能性,score/confidence高代表模型認(rèn)為其包含目標(biāo)的可能性大,或者說(shuō)模型優(yōu)先選擇score/confidence高的邊界框。
Precision x Recall curve?(PR曲線):所有precision-recall點(diǎn)相連形成的曲線(一般會(huì)為每個(gè)類別的預(yù)測(cè)框建立各自的PR曲線)。至于為什么同一個(gè)recall值下會(huì)有多個(gè)precision值,可以看之后部分的解釋。想要得到PR曲線,可以通過(guò)改變score的閾值來(lái)控制模型輸出的預(yù)測(cè)框數(shù)量,從而得到不同的TP、FP、FN。不過(guò)在實(shí)際操作中,并不需要手動(dòng)來(lái)設(shè)置score的閾值,因?yàn)槊總€(gè)預(yù)測(cè)框都有一個(gè)score,我們只需要將其按從小到大進(jìn)行排序,然后每次選擇最后一個(gè)score作為閾值即可,這樣如果類別A在所有圖片中的預(yù)測(cè)框數(shù)量之和有100個(gè),就可以計(jì)算100組類別A的Precision-Recall值。
AP (average Precision):平均精度,在不同recall下的最高precision的均值(一般會(huì)對(duì)各類別分別計(jì)算各自的AP)。
mAP (mean AP):平均精度的均值,各類別的AP的均值。
mmAp:給定一組IOU閾值,在每個(gè)IOU閾值下面,求所有類別的AP,并將其平均起來(lái),作為這個(gè)IOU閾值下的檢測(cè)性能,稱為mAP(比如mAP@0.5就表示IOU閾值為0.5時(shí)的mAP);最后,將所有IOU閾值下的mAP進(jìn)行平均,就得到了最終的性能評(píng)價(jià)指標(biāo):mmAP。