目標檢測發(fā)展至今，涌現(xiàn)出了許多非常實用的方法，但在小目標檢測領(lǐng)域， 由于小目標經(jīng)常存在圖片模糊、信息少、分辨率低等問題，性能水平仍然難以提升。

不過在近幾年間，已經(jīng)有許多有效的解決方法被提出，學姐今天就整理了一部分經(jīng)典方案，從特征金字塔、感受野、GAN、Context、訓(xùn)練策略等方向和大家做個分析與總結(jié)。

需要論文及源代碼的同學看這里??????

掃碼添加小享，回復(fù)“小目標”

免費獲取全部論文+源代碼合集

基于特征金字塔

1、FPN：Feature Pyramid Networks for Object Detection

標題：目標檢測的特征金字塔網(wǎng)絡(luò)

方法介紹：Feature pyramids(特征金字塔)是檢測不同尺度目標的識別系統(tǒng)中的基本組件。但是近年的基于深度學習的目標檢測器避免了使用金字塔表示，部分原因是其計算和內(nèi)存密集。本文利用深度卷積網(wǎng)絡(luò)固有的多尺度金字塔層次結(jié)構(gòu)，以邊緣額外成本構(gòu)建特征金字塔。作者開發(fā)了一個頂端下采樣帶側(cè)向連接的架構(gòu)來構(gòu)建所有尺度的高級語義特征圖。該架構(gòu)稱為特征金字塔網(wǎng)絡(luò)(FPN)，作為通用特征提取器在多個應(yīng)用中顯示顯著改進。

2、RetinaFace: Single-stage Dense Face Localisation in the Wild

標題：RetinaFace：野外環(huán)境下的單階段密集人臉定位

方法介紹：本文提出了一種穩(wěn)健的單階段人臉檢測器RetinaFace，采用輕量級網(wǎng)絡(luò)，在單CPU核上對VGA分辨率圖像進行實時處理，它通過聯(lián)合額外的監(jiān)督和自監(jiān)督的多任務(wù)學習，在不同尺度的人臉上進行像素級人臉定位。在WIDER FACE困難測試集上，RetinaFace的平均精度比最先進的方法提高了1.1%。在IJB-C測試集上，RetinaFace使最先進的ArcFace方法在人臉驗證中進一步提高了性能。

3、SSH: Single Stage Headless Face Detector

標題：單階段無頭人臉檢測器

方法介紹：作者提出了單階段無頭人臉檢測器(SSH)。與兩階段的提議-分類檢測器不同，SSH直接從分類網(wǎng)絡(luò)的早期卷積層單階段檢測人臉。SSH是無頭的，也就是說在移除基礎(chǔ)分類網(wǎng)絡(luò)的“頭部”(即VGG-16中的全連接層，包含大量參數(shù))的情況下，仍能達到最先進的結(jié)果。此外，SSH通過設(shè)計是尺度不變的，而非依賴圖像金字塔來檢測不同尺度的人臉。

FPN魔改版：

1、Path aggregation network for instance segmentation ?CVPR 2018

標題：實例分割的路徑聚合網(wǎng)絡(luò)

方法介紹：本文提出了路徑匯聚網(wǎng)絡(luò)(PANet)，旨在增強基于提議的實例分割框架中的信息流動。具體來說，通過自底向上的路徑增強，使用下層的精確定位信號增強整個特征層次。作者提出自適應(yīng)特征池化，將特征網(wǎng)格與所有特征級別連接，使每個特征級別中的有用信息直接傳播到后續(xù)提議子網(wǎng)絡(luò)，還為每個提議創(chuàng)建了一個補充分支，以捕獲不同視角，進一步改善蒙版預(yù)測。這些改進很容易實現(xiàn)，計算開銷很小。

2、Augfpn: Improving multi-scale feature learning for object detection ?CVPR 2020

標題：增強多尺度特征學習以改進目標檢測的AugFPN

方法介紹：本文首先分析了FPN中特征金字塔的設(shè)計缺陷，然后提出了一種新的特征金字塔架構(gòu)AugFPN來解決這些問題。具體而言，AugFPN由三個組件組成：一致的監(jiān)督、殘差特征增強和軟RoI選擇。在特征融合之前，一致的監(jiān)督通過縮小不同尺度特征之間的語義鴻溝。在特征融合中，殘差特征增強提取比例不變的上下文信息，以減少最高金字塔層特征圖的信息損失。最后，軟RoI選擇用于在特征融合之后自適應(yīng)地學習更好的RoI特征。

3、Effective fusion factor in fpn for tiny object detection ?WACV 2021

標題：FPN中有效的融合因子用于小目標檢測

方法介紹：本文認為，F(xiàn)PN中相鄰層之間的自頂向下連接對小目標檢測有兩面影響，不僅是正面。作者提出了一個新概念“融合因子”，來控制深層向淺層傳遞的信息量，以使FPN適應(yīng)小目標檢測。經(jīng)過一系列實驗和分析，作者通過統(tǒng)計方法為特定數(shù)據(jù)集探索如何估計有效的融合因子值。該估計取決于每個層中目標分布的數(shù)量。作者在小目標檢測數(shù)據(jù)集(如TinyPerson和Tiny CityPersons)上進行了全面的實驗。結(jié)果表明，當用適當?shù)娜诤弦蜃优渲肍PN時，網(wǎng)絡(luò)能在小目標檢測數(shù)據(jù)集上獲得顯著的性能提升。

基于感受野

1、Scale-Aware Trident Networks for Object Detection ICCV 2019

標題：面向尺度的三叉網(wǎng)絡(luò)用于目標檢測

方法介紹：在這項工作中，作者首先進行了一個受控實驗，以研究感受野對目標檢測中尺度變化的影響。基于探索性實驗的發(fā)現(xiàn)，作者提出了一個新穎的三叉網(wǎng)絡(luò)(TridentNet)，旨在生成具有統(tǒng)一表示能力的尺度特定特征圖。作者構(gòu)建了一個并行的多分支架構(gòu)，其中每個分支共享相同的轉(zhuǎn)換參數(shù)，但具有不同的感受野。然后，作者采用尺度感知的訓(xùn)練方案，通過對適當尺度的目標實例進行采樣，使每個分支專門化。作為獎勵，三叉網(wǎng)絡(luò)的快速逼近版本與傳統(tǒng)檢測器相比，在沒有任何額外參數(shù)和計算成本的情況下，可以取得顯著的改進。

基于GAN

1、SOD-MTGAN: Small Object Detection via Multi-Task Generative Adversarial Network ?ECCV 2018

標題：SOD-MTGAN：基于多任務(wù)生成對抗網(wǎng)絡(luò)的小目標檢測

方法介紹：為了解決小目標檢測問題，作者提出了一個端到端的多任務(wù)生成對抗網(wǎng)絡(luò)(MTGAN)。在MTGAN中，生成器是一個超分辨網(wǎng)絡(luò)，可以將小的模糊圖像上采樣為細節(jié)豐富的圖像，并恢復(fù)詳細信息以進行更準確的檢測。判別器是一個多任務(wù)網(wǎng)絡(luò)，它用真/假分數(shù)、目標類別分數(shù)和邊界框回歸偏移描述每個超分辨圖像塊。此外，為了使生成器恢復(fù)更多細節(jié)以便于檢測，訓(xùn)練過程中判別器中的分類和回歸損失會反向傳播到生成器。

2、Perceptual Generative Adversarial Networks for Small Object Detection ?CVPR 2017

標題：小目標檢測的感知生成對抗網(wǎng)絡(luò)

方法介紹：本文提出了一種內(nèi)部將小目標表征“超分辨”提升的單一架構(gòu)，使小目標達到類似大目標的特征，更有利于檢測。為此，作者提出了感知對抗生成網(wǎng)絡(luò)(Perceptual GAN)模型，通過縮小小目標與大目標的表征差異來提高小目標檢測性能。其生成器學習將小目標較差的表征轉(zhuǎn)化為類似真實大目標的超分辨表征，以迷惑對抗判別器。判別器則識別生成的表征，并要求生成的小目標表征對檢測有利。

3、Better to Follow, Follow to Be Better: Towards Precise Supervision of Feature Super-Resolution for Small Object Detection ?ICCV 2019

標題：更好的跟隨，跟隨才能更好：為小目標檢測實現(xiàn)特征超分辨的精確監(jiān)督

方法介紹：作者研究如何專門為小目標檢測改進特征級超分辨率，并發(fā)現(xiàn)通過以下兩點可以顯著改進其性能：(i)利用適當?shù)母叻直媛誓繕颂卣髯鳛镾R模型訓(xùn)練的監(jiān)督信號，(ii)匹配輸入低分辨率特征和目標高分辨率特征的相對感受野。作者提出了一種新穎的特征級超分辨率方法，不僅正確地解決了這兩個要求，而且可與任何基于proposal的檢測器的特征池化相結(jié)合。在實驗中，該方法顯著提高了Faster R-CNN在清華大學-騰訊100K、PASCAL VOC和MS COCO三個基準測試上的性能。

基于Context信息

1、PyramidBox: A Context-assisted Single Shot Face Detector

標題：基于上下文的單次人臉檢測器 PyramidBox

方法介紹：本文提出了一種新穎的利用上下文信息的單次檢測面部檢測器PyramidBox來處理這一棘手問題。觀察到上下文信息的重要性，作者從以下三個方面改進了上下文信息的利用。首先，作者設(shè)計了一種新穎的上下文錨框，通過半監(jiān)督方法監(jiān)督高層上下文特征學習，稱為PyramidAnchors。其次，作者提出了低層特征金字塔網(wǎng)絡(luò)，將充分的高層上下文語義特征和低層面部特征組合起來，這也使PyramidBox可以在單次檢測中預(yù)測所有尺度的人臉。第三，作者引入了一個上下文敏感結(jié)構(gòu)來增加預(yù)測網(wǎng)絡(luò)的容量，以提高最終輸出的準確性。此外，作者使用Data-anchor-sampling方法在不同尺度上增強訓(xùn)練樣本，這增加了較小人臉的訓(xùn)練數(shù)據(jù)多樣性。

2、Relation Networks for Object Detection

標題：用于目標檢測的關(guān)系網(wǎng)絡(luò)

方法介紹：本工作提出了一個對象關(guān)系模塊。它通過對象外觀特征和幾何結(jié)構(gòu)之間的交互同時處理一組對象，從而允許建模它們之間的關(guān)系。該模塊輕量級且內(nèi)置。它不需要額外的監(jiān)督，并且很容易嵌入到現(xiàn)有網(wǎng)絡(luò)中。結(jié)果表明，它可以有效改進現(xiàn)代目標檢測流水線中的對象識別和重復(fù)刪除步驟。它驗證了在基于CNN的檢測中建模對象關(guān)系的有效性，產(chǎn)生了第一個完全端到端的目標檢測器。

掃碼添加小享，回復(fù)“小目標”

免費獲取全部論文+源代碼合集

3、Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks ?CVPR 2016

標題：內(nèi)外網(wǎng)：使用跳過池化和遞歸神經(jīng)網(wǎng)絡(luò)檢測上下文中的對象

方法介紹：眾所周知，上下文和多尺度表示對精確的視覺識別非常重要。在本文中，作者提出了內(nèi)外網(wǎng)(ION)，這是一種利用感興趣區(qū)域內(nèi)外信息的目標檢測器。使用空間遞歸神經(jīng)網(wǎng)絡(luò)集成感興趣區(qū)域外的上下文信息。在內(nèi)部，作者使用跳過池化在多個尺度和抽象級別上提取信息。通過大量的實驗，作者評估了設(shè)計空間，并為讀者提供了對重要技巧的概述，ION將PASCAL VOC 2012目標檢測的最先進技術(shù)從73.9%提高到76.4% mAP。

基于Data

1、Stitcher: Feedback-driven Data Provider for Object Detection ?CVPR 2020

標題：Stitcher：面向?qū)ο髾z測的反饋驅(qū)動數(shù)據(jù)提供者

方法介紹：目標檢測器的質(zhì)量通常會根據(jù)尺度變化，其中對小目標的性能最不滿意。在本文中,，作者研究了這一現(xiàn)象，并發(fā)現(xiàn)：在大多數(shù)訓(xùn)練迭代中，小目標對總損失的貢獻幾乎可以忽略不計，導(dǎo)致不平衡優(yōu)化的糟糕性能。受此發(fā)現(xiàn)的啟發(fā)，作者提出了Stitcher，這是一個反饋驅(qū)動的數(shù)據(jù)提供者，其目的是以平衡的方式訓(xùn)練目標檢測器。在Stitcher中，圖像被調(diào)整為較小的組件，然后被拼接成與常規(guī)圖像大小相同。拼接圖像包含不可避免的較小目標，這將有利于我們的核心思想，利用損失統(tǒng)計作為反饋來指導(dǎo)下一迭代的更新。

2、Augmentation for small object detection ?CVPR 2019

標題：小目標檢測的數(shù)據(jù)增強

方法介紹：作者在一個具有挑戰(zhàn)性的數(shù)據(jù)集MS COCO上分析了當前最先進的模型Mask R-CNN。作者發(fā)現(xiàn)小真值目標與預(yù)測錨框之間的重疊遠低于期望的IoU閾值，推測這是由于兩個因素造成：(1)只有少數(shù)圖像包含小目標，(2)即使在包含小目標的圖像中，小目標的出現(xiàn)也不夠多。因此，論文提出過采樣那些包含小目標的圖像，并通過多次復(fù)制粘貼小目標來增強每張圖像。這使我們可以在大目標檢測質(zhì)量與小目標檢測質(zhì)量之間進行權(quán)衡。作者評估了不同的粘貼增強策略，最終相對于MS COCO上當前最先進的方法，該方法在小目標的實例分割上取得了9.7%的相對改進，目標檢測上取得了7.1%的改進。

特殊訓(xùn)練策略

1、An Analysis of Scale Invariance in Object Detection – SNIP ?CVPR 2018

標題：尺度不變性在目標檢測中的分析 - SNIP

方法介紹：本文分析了不同的技術(shù)用于識別和檢測存在極端尺度變化的對象。通過使用不同的輸入數(shù)據(jù)配置訓(xùn)練檢測器，比較了尺度特定和尺度不變的檢測器設(shè)計。通過評估不同網(wǎng)絡(luò)架構(gòu)在ImageNet上分類小對象的性能，作者表明CNN對尺度變化并不穩(wěn)健。基于這一分析，作者提出在圖像金字塔的同一尺度上訓(xùn)練和測試檢測器。由于小對象和大對象在較小和較大的尺度難以識別，作者提出了一種新穎的訓(xùn)練方案，稱為圖像金字塔的尺度歸一化(SNIP)，它根據(jù)圖像尺度選擇性地反向傳播不同大小的對象實例的梯度。

2、SNIPER: Efficient Multi-Scale Training ?NIPS 2018

標題：SNIPER：高效的多尺度訓(xùn)練

方法介紹：作者提出了基于區(qū)域的全卷積網(wǎng)絡(luò)，用于準確高效的目標檢測。與以往的基于區(qū)域的檢測器如Fast/Faster R-CNN不同，它們對每個區(qū)域都應(yīng)用一個代價高昂的子網(wǎng)絡(luò)數(shù)百次，基于區(qū)域的檢測器是全卷積的,幾乎全部計算在整個圖像上共享。為達到這個目標，作者提出了位置敏感的分數(shù)圖，以解決圖像分類中平移不變性與目標檢測中平移變異性之間的困境。因此該方法可以自然地采用最新的殘差網(wǎng)絡(luò)(ResNet)等全卷積圖像分類器作為目標檢測的backbone。

3、R-FCN: Object Detection via Region-based Fully Convolutional Networks

標題：R-FCN：基于區(qū)域的全卷積網(wǎng)絡(luò)用于目標檢測

方法介紹：作者提出了SNIPER算法，用于在實例級視覺識別任務(wù)中進行高效的多尺度訓(xùn)練。SNIPER不是處理圖像金字塔中的每個像素，而是在適當?shù)某叨壬咸幚碚嬷祵嵗車纳舷挛膮^(qū)域(稱為chips)。對于背景采樣，這些上下文區(qū)域是使用經(jīng)過短學習計劃訓(xùn)練的區(qū)域建議網(wǎng)絡(luò)提取的建議生成的。因此，在訓(xùn)練期間每個圖像生成的chips數(shù)量會根據(jù)場景復(fù)雜性自適應(yīng)變化。

由于SNIPER在重采樣的低分辨率chips(512x512像素)上運行，即使采用ResNet-101 backbone，它在單GPU上的batch size也可以大到20。因此，它可以在訓(xùn)練期間從batch normalization中受益，而不需要跨GPU同步batch normalization統(tǒng)計數(shù)據(jù)。

4、SAN: Learning Relationship between Convolutional Features for Multi-Scale Object Detection

標題：SAN：學習卷積特征之間的關(guān)系進行多尺度目標檢測

方法介紹：最近在準確目標檢測中取得成功的大多數(shù)方法都是基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)。然而，由于CNN檢測方法中缺乏尺度標準化，不同尺度下激活的特征通道可能完全不同，這使分類器難以學習樣本。作者提出了感知尺度網(wǎng)絡(luò)(SAN)，它將不同尺度的卷積特征映射到尺度不變的子空間，使基于CNN的檢測方法對尺度變化更具魯棒性。作者還構(gòu)建了一種獨特的學習方法，純粹考慮通道之間的關(guān)系而不包含空間信息，用于有效學習SAN。

掃碼添加小享，回復(fù)“小目標”

免費獲取全部論文+源代碼合集