在前面的幾期文章中，我們已經(jīng)介紹了有關(guān)無人機(jī)檢測的背景知識，以及一些常用的檢測技術(shù)和方法。相信大家已經(jīng)對無人機(jī)檢測這個(gè)主題有了一定的了解。

為了防御這些惡意的無人機(jī)，“成功檢測”往往是第一步。實(shí)際上，我們還需要進(jìn)一步確定目標(biāo)在空間中的位置，并實(shí)時(shí)跟蹤目標(biāo)，以便后續(xù)的拒止動作（如網(wǎng)槍捕獲）能夠準(zhǔn)確作用到惡意無人機(jī)上面，從而消除惡意無人機(jī)的威脅。那么，怎么樣才能實(shí)現(xiàn)對惡意無人機(jī)的準(zhǔn)確檢測、定位和跟蹤呢？

在最近的工作中，我們提出了一種能夠?qū)崟r(shí)檢測、定位、跟蹤未知無人機(jī)的全景視覺網(wǎng)絡(luò)系統(tǒng)（見圖1）。目前，相關(guān)的研究成果已經(jīng)被國際知名期刊IEEE Transactions on Automation Science and Engineering接收，并申請了發(fā)明專利（已授權(quán)）。下面，我來分享一下該系統(tǒng)是如何基于相機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)對未知無人機(jī)的實(shí)時(shí)檢測、定位及跟蹤的。

▌ 什么是全景視覺網(wǎng)絡(luò)系統(tǒng)？

全景視覺網(wǎng)絡(luò)系統(tǒng)由一個(gè)中心節(jié)點(diǎn)和大量感知節(jié)點(diǎn)組成，如圖1所示，黃色框表示感知節(jié)點(diǎn)，藍(lán)色框表示中心節(jié)點(diǎn)，紅色框表示目標(biāo)無人機(jī)。圖2展示了感知節(jié)點(diǎn)的組成，可以看到，每個(gè)感知節(jié)點(diǎn)由4個(gè)相機(jī)組成，每個(gè)相機(jī)由4個(gè)鏡頭組成，所以，每個(gè)感知節(jié)點(diǎn)共有16個(gè)鏡頭。除此之外，感知節(jié)點(diǎn)中還包含了一些其它裝置，如用于確定節(jié)點(diǎn)坐標(biāo)系的RTK-GPS和IMU，用于與中心節(jié)點(diǎn)通信的路由器、用于處理數(shù)據(jù)的兩臺計(jì)算機(jī)（每臺計(jì)算機(jī)處理4組雙目數(shù)據(jù)）等。中心節(jié)點(diǎn)由計(jì)算機(jī)和路由器組成，用于接收并融合各感知節(jié)點(diǎn)獲得的目標(biāo)無人機(jī)的空間位置，然后給出最終的目標(biāo)無人機(jī)數(shù)量以及它們各自的空間坐標(biāo)。

在感知節(jié)點(diǎn)中，我們使用雙目視覺定位技術(shù)估計(jì)節(jié)點(diǎn)與目標(biāo)無人機(jī)之間的距離。感知節(jié)點(diǎn)中的16個(gè)鏡頭兩兩為一組，組成了8組雙目，在圖3中用相同的顏色表示一組雙目。值得注意的是，由于雙目鏡頭的配置，各個(gè)感知節(jié)點(diǎn)存在部分視野盲區(qū)，見圖3中的紅色區(qū)域。當(dāng)目標(biāo)進(jìn)入視野盲區(qū)的時(shí)候，感知節(jié)點(diǎn)將無法準(zhǔn)確定位目標(biāo)無人機(jī)，但是由于系統(tǒng)中存在大量的感知節(jié)點(diǎn)，此時(shí)可以依靠周圍的感知節(jié)點(diǎn)實(shí)現(xiàn)對目標(biāo)無人機(jī)的準(zhǔn)確定位。因此，各個(gè)感知節(jié)點(diǎn)具備360°全景檢測和定位目標(biāo)無人機(jī)的能力。相比于商業(yè)版的雙目相機(jī)，我們的這套系統(tǒng)擁有更大的基線（1 m）,所以可以估計(jì)更遠(yuǎn)的目標(biāo)距離。

▌ 系統(tǒng)是怎么工作的？

系統(tǒng)的工作流程包括視覺無人機(jī)檢測、雙目定位和空間軌跡跟蹤，算法的流程見圖4。算法的執(zhí)行步驟如下：

1） 視覺無人機(jī)檢測算法會實(shí)時(shí)檢測相機(jī)視野中的惡意無人機(jī)；

2） 當(dāng)雙目鏡頭中的目標(biāo)無人機(jī)同時(shí)被檢測到后，利用特征匹配和立體幾何的方法計(jì)算出物體的在相機(jī)坐標(biāo)系下的坐標(biāo)。結(jié)合節(jié)點(diǎn)的IMU和RTK-GPS，通過坐標(biāo)轉(zhuǎn)換就能夠獲得目標(biāo)無人機(jī)的GPS坐標(biāo)；

3） 基于軌跡的目標(biāo)跟蹤算法會利用該坐標(biāo)進(jìn)行參數(shù)的初始化，并一直跟蹤目標(biāo)的空間位置，從而獲得一段時(shí)間內(nèi)的軌跡。在中心節(jié)點(diǎn)中，通過軌跡相似度方法將多個(gè)感知節(jié)點(diǎn)估計(jì)的無人機(jī)的軌跡融合到一起，輸出最終的無人機(jī)軌跡。

在整套算法中，視覺無人機(jī)檢測和雙目定位部署在感知節(jié)點(diǎn)上，空間軌跡跟蹤主要工作在中心節(jié)點(diǎn)上。整個(gè)系統(tǒng)的算法采用模塊化設(shè)計(jì)，這樣做的好處是便于替換同類性能更好的算法，以進(jìn)一步提升系統(tǒng)的性能。

▌ 實(shí)驗(yàn)

為了驗(yàn)證系統(tǒng)的性能，我們做了兩個(gè)實(shí)驗(yàn)：1個(gè)節(jié)點(diǎn)vs1架無人機(jī)和2個(gè)節(jié)點(diǎn)vs2架無人機(jī)。相關(guān)的實(shí)驗(yàn)視頻如下：

這項(xiàng)工作是第一個(gè)系統(tǒng)性實(shí)現(xiàn)360°全視角檢測、定位和跟蹤未知無人機(jī)的研究。在該工作中，無論是系統(tǒng)的硬件平臺，還是算法框架，都采用了模塊化設(shè)計(jì)，便于在實(shí)際應(yīng)用中部署以及算法和平臺的升級。

目前，我們團(tuán)隊(duì)還有許多有趣的研究正在進(jìn)行中，更多分享，敬請期待。

本文提及的算法細(xì)節(jié)和硬件平臺細(xì)節(jié)，請參見：Y. Zheng, C. Zheng, X. Zhang, F. Chen, Z. Chen, and S. Zhao*, "Detection, Localization, and Tracking of Multiple MAVs with Panoramic Stereo Camera Networks", IEEE Transactions on Automation Science and Engineering, accepted, May 2022.

本文共1560字

由西湖大學(xué)智能無人系統(tǒng)實(shí)驗(yàn)室博士生鄭業(yè)原創(chuàng)

申請文章授權(quán)請聯(lián)系后臺相關(guān)運(yùn)營人員

▌微信公眾號：空中機(jī)器人前沿

▌知乎：空中機(jī)器人前沿（本文鏈接：https://zhuanlan.zhihu.com/p/519047568）

▌Youtube：Aerial robotics @ Westlake University

▌實(shí)驗(yàn)室網(wǎng)站：https://shiyuzhao.westlake.edu.cn/?