為了實(shí)現(xiàn)農(nóng)業(yè)生產(chǎn)的智能化，響應(yīng)鄉(xiāng)村振興戰(zhàn)略，無數(shù)科研院所積極響應(yīng)號召，深入組織了跨學(xué)科、跨專業(yè)的研究，結(jié)合物聯(lián)網(wǎng)、遙感、紅外線、無人機(jī)等技術(shù)，在智慧農(nóng)業(yè)、設(shè)施農(nóng)業(yè)等方面都有了一定提升。

隨著水果種植種類與規(guī)模的不斷擴(kuò)大，出現(xiàn)了許多給水果套袋的技術(shù)，以降低病蟲害，這也造成了采摘問題。由于光照不均和嚴(yán)重遮擋，在果園中實(shí)現(xiàn)毛桃，尤其是套袋毛桃的檢測一直面臨著挑戰(zhàn)。毛桃等果實(shí)的準(zhǔn)確檢測是實(shí)現(xiàn)機(jī)械化、智能化農(nóng)藝管理的必要前提。

安徽農(nóng)業(yè)大學(xué)、農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)傳感器重點(diǎn)實(shí)驗(yàn)室、智慧農(nóng)業(yè)技術(shù)與裝備安徽省重點(diǎn)實(shí)驗(yàn)室等機(jī)構(gòu)，針對于套袋毛桃檢測基本問題，基于改進(jìn)YOLOv5s和多模態(tài)視覺數(shù)據(jù)提出了面向機(jī)械化采摘的毛桃多分類準(zhǔn)確檢測。

該研究構(gòu)建了一個(gè)多類標(biāo)簽的裸桃和套袋毛桃的RGB-D數(shù)據(jù)集，包括4127組由消費(fèi)級RGB-D相機(jī)獲取的像素對齊的彩色、深度和紅外圖像。通過引入方向感知和位置敏感的注意力機(jī)制，提出了改進(jìn)的輕量級YOLOv5s(小深度)模型，該模型可以沿一個(gè)空間方向捕捉長距離依賴，并沿另一個(gè)空間方向保留準(zhǔn)確的位置信息，提高毛桃檢測精度。

同時(shí)，通過將卷積操作分解為深度方向的卷積與寬度、高度方向的卷積，使用深度可分離卷積在保持模型檢測準(zhǔn)確性的同時(shí)減少模型的計(jì)算量、訓(xùn)練和推理時(shí)間。

實(shí)驗(yàn)結(jié)果表明，使用多模態(tài)視覺數(shù)據(jù)的改進(jìn)YOLOv5s模型在復(fù)雜光照和嚴(yán)重遮擋環(huán)境下，對裸桃和套袋毛桃的平均精度(Mean Average Precision，mAP)分別為98.6%和88.9%，比僅使用RGB圖像提高了5.3%和16.5%，比YOLOv5s提高了2.8%和6.2%。在套袋毛桃檢測方面，改進(jìn)YOLOv5s的mAP比YOLOX-Nano、PP-YOLO-Tiny和EfficientDet-D0分別提升了16.3%、8.1%和4.5%。

此外，多模態(tài)圖像、改進(jìn)YOLOv5s對提升自然果園中的裸桃和套袋毛桃的準(zhǔn)確檢測均有貢獻(xiàn)，所提出的改進(jìn)YOLOv5s模型在檢測公開數(shù)據(jù)集中的富士蘋果和獼猴桃時(shí)，也獲得了優(yōu)于傳統(tǒng)方法的結(jié)果，驗(yàn)證了所提出的模型具有良好的泛化能力。

最后，在主流移動式硬件平臺上，改進(jìn)后的YOLOv5s模型使用五通道多模態(tài)圖像時(shí)檢測速度可達(dá)每秒19幅，能夠?qū)崿F(xiàn)毛桃的實(shí)時(shí)檢測。

上述結(jié)果證明了改進(jìn)的YOLOv5s網(wǎng)絡(luò)，和含多類標(biāo)簽的多模態(tài)視覺數(shù)據(jù)，在實(shí)現(xiàn)果實(shí)自動采摘系統(tǒng)視覺智能方面的應(yīng)用潛力，有望實(shí)現(xiàn)果實(shí)自動采摘。