文章：

Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network

注1：文末附【CV】交流群

注2：整理不易，請(qǐng)點(diǎn)贊支持！

作者：夏初 | 來源：3D視覺工坊微信公眾號(hào)
原文：遙感圖像中的小物體檢測(cè)(內(nèi)有新數(shù)據(jù)集)

摘要：

與大物體相比，遙感圖像中的小物體檢測(cè)性能并不理想，尤其是在低分辨率和嘈雜的圖像中。一種基于生成對(duì)抗網(wǎng)絡(luò)(GAN)的模型，稱為增強(qiáng)超分辨率GAN(ESRGAN)，具有出色的圖像增強(qiáng)性能，但是重建的圖像通常會(huì)丟失高頻邊緣信息。因此，物體檢測(cè)性能在恢復(fù)的噪點(diǎn)和低分辨率遙感影像上顯示出小目標(biāo)物體的退化。受邊緣增強(qiáng)GAN(EEGAN)和ESRGAN成功的啟發(fā)，本研究使用了一種新型的邊緣增強(qiáng)超分辨率GAN(EESRGAN）來改善遙感圖像的質(zhì)量，并以端到端的方式使用了不同的探測(cè)器網(wǎng)絡(luò)，將檢測(cè)器損耗反向傳播到EESRGAN中，以提高檢測(cè)性能。研究人員提出了一種包含三個(gè)組件的體系結(jié)構(gòu)：ESRGAN，EEN (邊緣增強(qiáng)網(wǎng)絡(luò))和檢測(cè)網(wǎng)絡(luò)。對(duì)于ESRGAN和EEN，使用了RRDB(殘差密集塊)，對(duì)于檢測(cè)器網(wǎng)絡(luò)，我們使用了更快的基于區(qū)域的FRCNN(兩階段檢測(cè)器）和SSD(一級(jí)檢測(cè)器)。在相關(guān)數(shù)據(jù)集上進(jìn)行的大量實(shí)驗(yàn)表明，該方法具有出色的性能。

研究背景及問題：

遙感圖像目標(biāo)檢測(cè)在環(huán)境監(jiān)管、監(jiān)視、軍事、國(guó)家安全、交通、林業(yè)、油氣活動(dòng)監(jiān)測(cè)等領(lǐng)域具有廣泛的應(yīng)用前景，然而，目前的目標(biāo)檢測(cè)技術(shù)對(duì)于包含噪聲和低分辨率的遙感圖像而言，尤其是對(duì)于圖像中的小目標(biāo)，其檢測(cè)效果并不理想，即使在高分辨率圖像上，對(duì)小目標(biāo)的檢測(cè)性能也遠(yuǎn)低于對(duì)大目標(biāo)的檢測(cè)性能。其次，大面積高分辨率影像的成本較大，許多組織正在使用高分辨率的衛(wèi)星圖像來實(shí)現(xiàn)其目的，例如當(dāng)出于監(jiān)管或交通目的連續(xù)監(jiān)視大區(qū)域時(shí)，頻繁購(gòu)買高分辨率圖像的成本很高，這對(duì)于一個(gè)經(jīng)常更新的大區(qū)域來說是非常昂貴的。因此，需要一種解決方案來提高低分辨率圖像中較小目標(biāo)的檢測(cè)精度。

研究貢獻(xiàn)：

研究人員提出的體系結(jié)構(gòu)由兩部分組成:EESRGAN網(wǎng)絡(luò)和檢測(cè)器網(wǎng)絡(luò)。該方法受到EEGAN和ESRGAN網(wǎng)絡(luò)的啟發(fā)，研究人員采用了一個(gè)生成子網(wǎng)絡(luò)、一個(gè)鑒別子網(wǎng)絡(luò)和一個(gè)邊緣增強(qiáng)子網(wǎng)絡(luò)作為SR(超分辨率)網(wǎng)絡(luò)。對(duì)于生成器和邊緣增強(qiáng)網(wǎng)絡(luò)，研究人員使用RRDB。這些塊包含多層的、連接密集的殘差網(wǎng)絡(luò)，具有良好的圖像增強(qiáng)性能。研究中使用相對(duì)論鑒別器而不是普通鑒別器。除了GAN損失和鑒別器的損失外，還將Charbonnier損失用于邊緣增強(qiáng)網(wǎng)絡(luò)。最后，使用了不同的檢測(cè)器從SR圖像中檢測(cè)出小的物體。當(dāng)將檢測(cè)損失反向傳播到SR網(wǎng)絡(luò)中時(shí)，檢測(cè)器的作用就像鑒別器，因此提高了SR圖像的質(zhì)量。數(shù)據(jù)集：研究人員根據(jù)衛(wèi)星圖像(Bing地圖)創(chuàng)建了OGST(油氣儲(chǔ)罐)數(shù)據(jù)集，該數(shù)據(jù)集的GSD為30 cm和1.2 m。數(shù)據(jù)集包含來自加拿大阿爾伯塔省的帶標(biāo)簽的油氣儲(chǔ)罐，研究人員在SR圖像上檢測(cè)到了這些儲(chǔ)罐。儲(chǔ)罐的檢測(cè)和計(jì)數(shù)對(duì)于阿爾伯塔省能源監(jiān)管機(jī)構(gòu)至關(guān)重要，以確保安全，高效，有序和環(huán)保負(fù)責(zé)任地開發(fā)能源。除了OGST數(shù)據(jù)集外，研究人員還將方法應(yīng)用于COWC數(shù)據(jù)集(Cars Overhead with Context)，以比較不同用例的檢測(cè)性能。對(duì)于兩個(gè)數(shù)據(jù)集，該方法均優(yōu)于獨(dú)立的最新研究結(jié)果。

研究過程：

本文旨在提高遙感圖像上小目標(biāo)的檢測(cè)性能，作者提出了一種端到端網(wǎng)絡(luò)結(jié)構(gòu)，其由兩個(gè)模塊組成：基于GAN的SR網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)以端到端的方式進(jìn)行訓(xùn)練。其中，基于GAN的SR網(wǎng)絡(luò)有三個(gè)組成部分：生成器、鑒別器和EEN。該方法利用端到端訓(xùn)練，將檢測(cè)損失的梯度從檢測(cè)板反向傳播到生成器中，因此，檢測(cè)器也像鑒別器一樣工作，促使發(fā)生器產(chǎn)生與地面真實(shí)相似的真實(shí)圖像。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以分為兩部分：由EEN構(gòu)成的生成器，由DRa和檢測(cè)器網(wǎng)絡(luò)構(gòu)成的鑒別器。

生成器G生成中間超分辨率(ISR)圖像，然后在應(yīng)用EEN網(wǎng)絡(luò)之后生成最終SR圖像。鑒別器區(qū)分HR圖像和ISR。DRa的倒置梯度反向傳播到生成器中，以創(chuàng)建SR圖像，從而實(shí)現(xiàn)精確的對(duì)象檢測(cè)。邊緣信息是從ISR中提取的，而EEN網(wǎng)絡(luò)會(huì)增強(qiáng)這些邊緣。然后，將增強(qiáng)的邊緣再次添加到ISR減去拉普拉斯算子提取的原始邊緣，將得到具有增強(qiáng)邊緣的輸出SR圖像。最后，研究人員使用探測(cè)器網(wǎng)絡(luò)從SR圖像中探測(cè)物體。研究中對(duì)EEN使用兩個(gè)不同的損失函數(shù)：一個(gè)比較SR和地面真實(shí)圖像之間的差異，另一個(gè)比較從ISR和地面真實(shí)中提取的邊緣之間的差異。研究人員還使用VGG19網(wǎng)絡(luò)進(jìn)行特征提取，以用于感知損失。因此，可以生成具有更精確邊緣信息的更逼真的圖像。

研究結(jié)果：

本研究首先進(jìn)行模型單獨(dú)訓(xùn)練，通過訓(xùn)練SR網(wǎng)絡(luò)直到收斂，然后基于SR圖像訓(xùn)練檢測(cè)器網(wǎng)絡(luò)。再進(jìn)行端到端訓(xùn)練，也采用了單獨(dú)的訓(xùn)練作為訓(xùn)練前的初始化權(quán)重步驟，然后聯(lián)合訓(xùn)練SR和目標(biāo)檢測(cè)網(wǎng)絡(luò)，將來自目標(biāo)檢測(cè)器的梯度值傳遞到生成器網(wǎng)絡(luò)中。在訓(xùn)練過程中，學(xué)習(xí)率被設(shè)置為0.0001，每50 K迭代減半，批次大小設(shè)置為5，使用Adam[1]作為優(yōu)化器，β1 = 0.9，β2 = 0.999，并更新整個(gè)架構(gòu)的權(quán)值直到收斂，然后為生成器創(chuàng)建23個(gè)殘差密集塊，為EEN網(wǎng)絡(luò)創(chuàng)建5個(gè)RRDB塊。在COWC 數(shù)據(jù)集的訓(xùn)練過程中，端到端模型訓(xùn)練歷時(shí)96小時(shí)，共200個(gè)批次，在測(cè)試過程中，使用快速基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的平均推理耗時(shí)大約是0.25秒，SSD (Single-Shot MultiBox Detector) 是0.14秒。通過該模型進(jìn)行小目標(biāo)檢測(cè)過程如下圖所示。

總結(jié)：

本文提出了一種以低分辨率 (Low-Resolution, LR) 衛(wèi)星圖像為輸入，以目標(biāo)檢測(cè)結(jié)果為輸出的端到端檢測(cè)模型。該模型包含SR網(wǎng)絡(luò)和檢測(cè)器網(wǎng)絡(luò)，使用SR系統(tǒng)和檢測(cè)器的不同組合來比較使用兩個(gè)不同數(shù)據(jù)集進(jìn)行檢測(cè)的平均精確度 (Average Precision, AP), 實(shí)驗(yàn)結(jié)果表明，本文所提出的基于快速R-CNN模型的SR網(wǎng)絡(luò)對(duì)衛(wèi)星圖像上的小目標(biāo)識(shí)別具有較好的檢測(cè)效果。然而，本文還需要在OGST (Oil and Gas Storage Tank) 數(shù)據(jù)集中添加更多樣化的訓(xùn)練數(shù)據(jù)，以使分類模型在檢測(cè)油氣儲(chǔ)罐方面具有更好的魯棒性。同時(shí)還需要探索不同的數(shù)據(jù)集和技術(shù)，以創(chuàng)造更真實(shí)的LR圖像?？傊疚奶岢龅姆椒ńY(jié)合了不同的策略，為L(zhǎng)R圖像上的小目標(biāo)檢測(cè)任務(wù)提供了更好的解決方案。

備注：作者也是我們「3D視覺從入門到精通」特邀嘉賓：一個(gè)超干貨的3D視覺學(xué)習(xí)社區(qū)本文僅做學(xué)術(shù)分享，如有侵權(quán)，請(qǐng)聯(lián)系刪文。

3D視覺工坊-CV交流群

已建立3D視覺工坊-CV微信交流群！想要進(jìn)CV學(xué)習(xí)交流群的同學(xué)，可以直接加微信號(hào)：CV_LAB。加的時(shí)候備注一下：CV+學(xué)校+昵稱，即可。然后就可以拉你進(jìn)群了。

強(qiáng)烈推薦大家關(guān)注3D視覺工坊知乎賬號(hào)和3D視覺工坊微信公眾號(hào)，可以快速了解到最新優(yōu)質(zhì)的3D視覺與SLAM論文。