親愛的小伙伴們，好久不見，我又來了。在上一期我介紹了關(guān)于無人機(jī)探測與反制的背景和現(xiàn)狀（微小型無人機(jī)，一把雙刃劍？）。

這一次我們來聚焦其中的一個關(guān)鍵問題，即如何使用視覺信息來探測無人機(jī)？

隨著深度學(xué)習(xí)算法在近些年得到了快速的發(fā)展，使用深度學(xué)習(xí)來探測無人機(jī)應(yīng)該是蹦到我們腦子里的第一個想法。那是不是我們采集一些數(shù)據(jù)，然后訓(xùn)練一下就解決問題了呢？用深度學(xué)習(xí)來探測無人機(jī)究竟靠譜嗎？有哪些困難和挑戰(zhàn)呢？這次我結(jié)合我們最新在IEEE Robotics and Automation Letters上發(fā)表的一篇論文[1]談一談我的看法，拋磚引玉。

一．現(xiàn)有的無人機(jī)數(shù)據(jù)集和檢測算法有哪些？

實際上現(xiàn)在已經(jīng)有一些公開的數(shù)據(jù)集了，但是，這些數(shù)據(jù)都或多或少的存在一些問題，沒有辦法直接用來做研究。如圖1所示，F(xiàn)L-Drones中的無人機(jī)圖片都是灰度圖，缺少顏色信息；USCdrone中的圖片都是通過人站在地面上手持相機(jī)拍攝的，圖片中無人機(jī)的視角太過單一，另外，這個數(shù)據(jù)集中還存在著大量沒有標(biāo)注的圖片，沒辦法直接使用；MIDGARD中的無人機(jī)尺寸都比較大，無人機(jī)的外觀、輪廓都很清晰，顯然拍攝的相機(jī)和無人機(jī)離得非常近，但是這樣就沒辦法研究遠(yuǎn)距離時的探測問題了。

由于這些公開的數(shù)據(jù)集都存在一些問題，于是我們決定自己制作一個無人機(jī)數(shù)據(jù)集。我們先購買了兩架無人機(jī)（DJI M210和DJI Mavic2，見圖2）和一個相機(jī)（禪思XT2），然后將禪思XT2安裝到DJI M210上，在多種環(huán)境、姿態(tài)和光照強(qiáng)度下拍攝DJI Mavic2來制作無人機(jī)數(shù)據(jù)集，拍攝的方式見圖3。這個數(shù)據(jù)集里面的圖片一部分是從視頻中截取出來的，一部分是手動拍攝而來的。我們把這個數(shù)據(jù)集命名為Det-Fly，它的數(shù)據(jù)總量超過13000張圖片，并且每張圖片都是4K分辨率。

與那些公開的無人機(jī)數(shù)據(jù)集相比，Det-Fly擁有更大的數(shù)據(jù)規(guī)模、更豐富的環(huán)境信息、更多的視角以及光照強(qiáng)度，見圖4。這些特征使Det-Fly更加貼近實際的無人機(jī)探測場景，如果用它來評估無人機(jī)檢測算法，那么可以更加真實的反映出算法的性能。

查閱了大量文獻(xiàn)后，我們發(fā)現(xiàn)目前專門針對無人機(jī)檢測的深度學(xué)習(xí)算法幾乎沒有，于是就選擇了通用的基于深度學(xué)習(xí)的目標(biāo)檢測算法來研究無人機(jī)檢測這個問題，并挑選了8種性能比較好的基于深度學(xué)習(xí)的目標(biāo)檢測算法。這些算法分別是Cascade R-CNN，F(xiàn)aster R-CNN，F(xiàn)PN，Grid R-CNN，RefineDet，RetinaNet，SSD512和YOLOv3。

二．深度學(xué)習(xí)算法檢測無人機(jī)的效果

有了數(shù)據(jù)和算法后，接下來就可以開展基于視覺信息的無人機(jī)檢測的研究了。首先，Det-Fly被分成了訓(xùn)練集和測試集，然后分別對這8種算法做了訓(xùn)練和測試。從測試的結(jié)果來看，基于視覺信息的無人機(jī)檢測確實是一個非常具有挑戰(zhàn)性的任務(wù)，目前這些主流算法的檢測成功率都在70%～80%之間。各算法在一些測試視頻上的表現(xiàn)見下面的視頻。

那么，影響無人機(jī)檢測的因素有哪些呢？其中的難點是什么呢？我們把目光聚焦在了觀測距離、觀測視角、背景環(huán)境以及挑戰(zhàn)性因素，并且在實驗中有了一些發(fā)現(xiàn): 1）隨著觀測距離的增大，無人機(jī)檢測的成功率呈現(xiàn)迅速下降的趨勢，見圖6; 2）在仰視、平視和俯視三個視角中，平視的檢測難度最大，仰視的檢測成功率最高，見圖7; 3）天空背景最容易檢測到無人機(jī)，而城市環(huán)境最困難，見圖8；4）在強(qiáng)/弱光、運(yùn)動模糊和部分遮擋這三個挑戰(zhàn)性因素的測試中，部分遮擋對無人機(jī)檢測的影響最大，運(yùn)動模糊的影響較小，見圖9。

三.小結(jié)

基于視覺信息的無人機(jī)檢測是一個富有挑戰(zhàn)性的問題，即便是目前性能最好的一些深度學(xué)習(xí)算法仍然無法有效解決這個問題。主要原因在于無人機(jī)的尺寸非常?。ㄓ绕涫沁h(yuǎn)距離時）缺乏足夠的判別特征，另外，復(fù)雜的背景也會對無人機(jī)檢測造成較大的干擾。

萬里長征只邁出了第一步，路漫漫其修遠(yuǎn)兮，我們的研究還將繼續(xù)。

參考資料

[1] Y. Zheng, Z. Chen, D. Lv, Z. Li, Z. Lan and S. Zhao, "Air-to-Air Visual Detection of Micro-UAVs: An Experimental Evaluation of Deep Learning," in?IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 1020-1027, April 2021.

本文由西湖大學(xué)智能無人系統(tǒng)實驗室博士生鄭業(yè)原創(chuàng)，

申請文章授權(quán)請聯(lián)系后臺相關(guān)運(yùn)營人員。?

▌微信公眾號：空中機(jī)器人前沿

▌知乎：空中機(jī)器人前沿（本文鏈接：https://zhuanlan.zhihu.com/p/445099183）

▌Youtube：Aerial robotics @ Westlake University

▌實驗室網(wǎng)站：https://shiyuzhao.westlake.edu.cn/?