內(nèi)容一覽：對養(yǎng)豬業(yè)而言，母豬產(chǎn)仔是其中關(guān)鍵的一環(huán)。因此，提高豬仔成活率、確保母豬分娩過程安全，成為重要課題?，F(xiàn)有的 AI 監(jiān)測方式，存在著高設(shè)備成本與信息傳輸不穩(wěn)定的問題，南京農(nóng)業(yè)大學(xué)研究人員，利用一種輕量級深度學(xué)習(xí)方式，對母豬分娩這一過程進(jìn)行早期預(yù)警和有效監(jiān)測，降低成本的同時(shí)，提升了監(jiān)測準(zhǔn)確率。??
關(guān)鍵詞：嵌入式開發(fā)板 輕量級深度學(xué)習(xí)

本文首發(fā)于 HyperAI 超神經(jīng)微信公眾平臺～

作者｜alice

編輯｜三羊

我國生豬養(yǎng)殖業(yè)規(guī)模居全球首位，但產(chǎn)業(yè)整體依舊面臨著養(yǎng)殖水平較差的問題。對于很多大型養(yǎng)豬場，最關(guān)鍵的是在提高豬仔成活率的同時(shí)降低成本。傳統(tǒng)方法靠人力監(jiān)管難度大且主觀性強(qiáng)，面對母豬分娩過程中難產(chǎn)、豬仔窒息等一系列問題，難以及時(shí)有效地處理。

近幾年，AI 監(jiān)控已成為解決這一問題的重要方法。其原理大多是借助云計(jì)算為基礎(chǔ)的深度學(xué)習(xí)來進(jìn)行監(jiān)控，然而這一方法對設(shè)備與網(wǎng)絡(luò)寬帶要求高，具有很強(qiáng)的限制性與不穩(wěn)定性。

據(jù)中國養(yǎng)豬網(wǎng)介紹，母豬在分娩前 12-24 小時(shí)內(nèi)，由于催產(chǎn)素或催乳素的作用，往往會(huì)表現(xiàn)出筑巢行為，且姿勢變換頻率增加。基于此，實(shí)驗(yàn)團(tuán)隊(duì)通過 YOLOv5 算法設(shè)計(jì)出一個(gè)監(jiān)測母豬姿勢與豬仔出生的模型，并部署在英偉達(dá) Jetson Nano 開發(fā)板上，從而在復(fù)雜場景中對該過程進(jìn)行監(jiān)測和分析，具有低成本、低延遲、高效率、易實(shí)現(xiàn)的特點(diǎn)。

目前這一成果于 2023 年 1 月發(fā)表于《Sensors》期刊，標(biāo)題為：「Sow Farrowing Early Warning and Supervision for Embedded Board Implementations」。

論文地址：

https://www.mdpi.com/1424-8220/23/2/727

實(shí)驗(yàn)概述?

數(shù)據(jù)與處理?

視頻數(shù)據(jù)來自江蘇宿遷與靖江兩個(gè)養(yǎng)殖場，共收集了 35 頭圍產(chǎn)期母豬的視頻數(shù)據(jù)。其中靖江豬場的 11 頭母豬的數(shù)據(jù)記錄于 2017 年 4 月 27 日至 5 月 13 日，宿遷豬場的 24 頭母豬的數(shù)據(jù)記錄于 2020 年 6 月 9 日至 15日。母豬被隨機(jī)放置在特定尺寸 (2.2m x 1.8m) 的產(chǎn)床之中，視頻數(shù)據(jù)由攝像頭 24 小時(shí)連續(xù)記錄。

流程如下：

接下來，對數(shù)據(jù)進(jìn)行預(yù)處理。實(shí)驗(yàn)團(tuán)隊(duì)首先篩選出母豬分娩前后一天錄制的視頻，然后用 Python 和 OpenCV 將其處理成圖像數(shù)據(jù)。利用標(biāo)簽軟件對獲取的 12,450 張圖像中的母豬姿勢及新生仔豬數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)注和數(shù)據(jù)增強(qiáng)，得到 32,541 張圖像數(shù)據(jù)組成數(shù)據(jù)集。

數(shù)據(jù)增強(qiáng)?(Data Augmentation)：此處指裁剪、平移、旋轉(zhuǎn)、鏡像、改變亮度、添加噪音和剪切)

這個(gè)數(shù)據(jù)集被分為 5 個(gè)類別：4 種母豬姿勢（側(cè)臥、胸骨臥、站立和坐）和仔豬，訓(xùn)練集、驗(yàn)證集和測試集的比例為 7 : 1 : 2。

實(shí)驗(yàn)?zāi)Ｐ?

實(shí)驗(yàn)團(tuán)隊(duì)利用 YOLOv5s-6.0 建立了一個(gè)檢測母豬姿勢和仔豬的模型。此模型由 4 個(gè)部分組成：

Input：圖像輸入

BackBone：母豬和仔豬圖像特征的提取

Neck：圖像特征的融合

Prediction：預(yù)測（因母豬和仔豬的體型差異較大，這一部分使用了 3 種不同的特征圖 (feature map)，以進(jìn)行大、中、小目標(biāo)對象的檢測）

a：CBS 模塊細(xì)節(jié)

b：Res-unit 模塊細(xì)節(jié)

c：CSP1_X 和 CSP2_X 模塊細(xì)節(jié)結(jié)構(gòu)

d：SPPF 模塊細(xì)節(jié)結(jié)構(gòu)

實(shí)驗(yàn)團(tuán)隊(duì)將算法部署在英偉達(dá)推出的 Jetson Nano 系列嵌入式 AI 計(jì)算平臺，并利用 TensorRT 來優(yōu)化模型，使其后續(xù)在嵌入式開發(fā)板上的運(yùn)行具有更高的吞吐量和更低的延遲，同時(shí)避免了網(wǎng)絡(luò)傳輸過程中可能存在的數(shù)據(jù)泄漏。

具體參數(shù)如下：

模型訓(xùn)練環(huán)境：Ubuntu 18.04 操作系統(tǒng)，Intel(R) Xeon(R) Gold 5118 @ 2.30 GHz CPU，NVIDIA Quadro P4000 GPU，8 GB 顯存，64 GB 內(nèi)存，2-TB 硬盤，PyTorch 1.7.1 和 Torchvision 0.8.2 深度學(xué)習(xí)框架，CUDA 版本 10.1。

模型部署環(huán)境：適配 ARM 的 Ubuntu 16.04 操作系統(tǒng)，4 核 ARM A57 @ 1.43 GHz CPU，128 核 Maxwell 架構(gòu)GPU，4 GB memory，JetPack 4.5，Cuda10.2.89，Python 3.6，TensorRT 7.1，Opencv 4.1.1，CMake 3.21.2 深度學(xué)習(xí)環(huán)境。

模型參數(shù)：(1) 對于 YOLOv5 訓(xùn)練，設(shè)置 epoch 300，learning_rate 0 .0001，batch_size 16；(2) 對于 TensorRT 優(yōu)化網(wǎng)絡(luò)，batch_size 為 1，精度 fp16。

最后實(shí)驗(yàn)團(tuán)隊(duì)使用精度 (precision)、召回率 (recall rate) 和檢測速度 (detection speed) 等指標(biāo)對不同算法進(jìn)行了性能評估。

其中，精度及召回率可用于衡量算法檢測所有類別數(shù)據(jù)的能力，包括 4 種母豬姿勢（側(cè)臥、胸骨臥、站立和坐）及新生小豬；模型大小及檢測速度則用于衡量該算法是否適合部署在嵌入式設(shè)備上。

計(jì)算公式如下：

TP：正樣本 (positive sample) 的正確預(yù)測數(shù)

FP：正樣本的錯(cuò)誤預(yù)測數(shù)

FN：負(fù)樣本 (negative sample) 的錯(cuò)誤預(yù)測數(shù)

實(shí)驗(yàn)結(jié)果?

模型性能?

實(shí)驗(yàn)團(tuán)隊(duì)發(fā)現(xiàn)，在模型訓(xùn)練的 300 個(gè) epoch 中，隨著迭代周期增加，精度和召回率總體呈上升趨勢。同時(shí)可發(fā)現(xiàn)，進(jìn)行數(shù)據(jù)增強(qiáng)后的 YOLOv5s 模型的精度和召回率始終較高。

a：精度 (precision)

b：召回率 (recall)

橘線：經(jīng)過數(shù)據(jù)增強(qiáng)后的 YOLOv5s 模型的精度/召回率

藍(lán)線：未經(jīng)數(shù)據(jù)增強(qiáng)的 YOLOv5s 模型的精度/召回率

實(shí)驗(yàn)中，平均精度 (mAP) 被用來評估該算法檢測所有類別的能力。實(shí)驗(yàn)團(tuán)隊(duì)在評估 YOLOv5s 算法的同時(shí)，還橫向?qū)Ρ攘?YOLOX-nano 和 NanoDet-m 兩種算法的性能，結(jié)果發(fā)現(xiàn)，YOLOX-nano 和 NanoDet-m 的檢測速度略快于 YOLOv5s，但精度較低，存在對仔豬漏檢和誤檢的情況。而 YOLOv5s 算法對不同尺寸的目標(biāo)檢測效果良好，模型在圖像、本地視頻和攝像頭的平均檢測速度上與其他兩種相當(dāng)。并且，經(jīng)過數(shù)據(jù)增強(qiáng)的 YOLOv5s 模型具有最高的精度和召回率，分別為 0.982 和 0.937。

為了測試模型的的泛化能力 (generalization ability) 與抗干擾能力，實(shí)驗(yàn)團(tuán)隊(duì)在訓(xùn)練模型時(shí)候?qū)⑵渲幸活^母豬保留作「新樣本」，從中選擇了 410 張包含不同復(fù)雜場景的圖像對模型進(jìn)行測試。結(jié)果顯示，母豬姿勢的漏檢和誤檢主要受到光照變化影響；仔豬主要受到熱燈開啟的影響，即強(qiáng)光下的仔豬難以識別；第一只仔豬出生時(shí)間和不同顏色熱燈場景對模型的檢測能力影響較小。

左二欄：母豬姿勢的漏檢率在復(fù)雜光照下最高

左三欄：母豬姿勢的誤檢率在復(fù)雜光照下與夜間開啟熱燈的情況下較高

左四欄：仔豬誤檢數(shù)量在復(fù)雜光照下和夜間熱燈開啟的情況下較高

左五欄：仔豬漏檢數(shù)量在夜間熱燈開啟的情況下較高

a：復(fù)雜光照下?

b：第一只仔豬出生?

c：不同顏色的熱燈下?

d：夜間熱燈開啟

部署前后?

實(shí)驗(yàn)團(tuán)隊(duì)將模型部署在英偉達(dá) Jetson Nano 后，能夠準(zhǔn)確地對母豬姿勢以及豬仔進(jìn)行檢測。比較測試結(jié)果后發(fā)現(xiàn)，雖然該模型部署在英偉達(dá) Jetson Nano 后精度上出現(xiàn)了微小的降低，但是其速度卻提升了 8 倍以上。

左一欄：模型的格式

左二欄：模型部署平臺，Quadro P4000 為對比測試所用平臺。

嵌入式開發(fā)板上的 GPU 利用率限制了該模型的實(shí)際應(yīng)用能力。下圖展示了模型在嵌入式開發(fā)板上檢測圖像和視頻目標(biāo)時(shí)的 GPU 利用率。由于需要對視頻流進(jìn)行解碼處理，因此在檢測視頻時(shí)的 GPU 利用率高于檢測圖像時(shí)的利用率，但這并不影響模型的性能。測試結(jié)果表明，研究中的模型可以應(yīng)用于不同的生產(chǎn)場景。

(a)?圖像檢測中 GPU 的利用率

(b)?視頻檢測中 GPU 的利用率

檢測結(jié)果?

實(shí)驗(yàn)團(tuán)隊(duì)通過對 22 頭母豬的數(shù)據(jù)進(jìn)行測試和分析，得出產(chǎn)前 48 小時(shí)至產(chǎn)后 24 小時(shí)母豬平均姿勢轉(zhuǎn)換頻率。根據(jù)變化頻率（下圖所示），團(tuán)隊(duì)將模型的預(yù)警策略歸納為：

1. 姿勢轉(zhuǎn)換頻率超上限值（17.5 次/小時(shí)）和低于下限值（10 次/小時(shí)）時(shí)發(fā)出警報(bào)。

2. 為了減少母豬日常活動(dòng)對預(yù)警的影響，上限值或下限值必須超過 5 小時(shí)。

對樣本的測試表明，該模型能夠在產(chǎn)仔開始前 5 小時(shí)發(fā)出警報(bào)，預(yù)警時(shí)間與產(chǎn)仔實(shí)際時(shí)間誤差為 1.02 小時(shí)。

(a)?平均姿勢轉(zhuǎn)換率變化范圍

(b)?平均姿勢轉(zhuǎn)換頻率

產(chǎn)前 48 小時(shí)至產(chǎn)前 24 小時(shí)，此期間母豬活動(dòng)正常

產(chǎn)前 24 小時(shí)至產(chǎn)前 1 小時(shí)，姿勢轉(zhuǎn)換頻率逐漸增加，后逐漸減少

產(chǎn)后 1 小時(shí)至 24 小時(shí)，姿勢轉(zhuǎn)換頻率接近 0，后略有增加

當(dāng)首個(gè)新生仔豬被檢測到后，分娩警報(bào)就會(huì)被觸發(fā)，顯示「開始分娩！起始時(shí)間：XXX」。此外，LED 燈閃爍也可以幫助飼養(yǎng)員快速定位正在分娩的母豬，判斷是否需要人工干預(yù)。

但是當(dāng)檢測速度過高時(shí)，仔豬往往被錯(cuò)誤地檢測到。因此，為了實(shí)現(xiàn)實(shí)時(shí)檢測，減少誤報(bào)，實(shí)驗(yàn)團(tuán)隊(duì)采取了「連續(xù)三次檢測法」。只有連續(xù)三次檢測到新生仔豬時(shí)，才判斷為仔豬。此方法誤報(bào)次數(shù)為 1.59 次，傳統(tǒng)單次檢測法則為 9.55 次。誤報(bào)次數(shù)明顯下降，總體平均準(zhǔn)確率為 92.9%。

AI 養(yǎng)豬：智慧養(yǎng)殖新紀(jì)元

我國作為全球生豬養(yǎng)殖大國，2015 年至 2018 年，生豬年出欄量為 7 億頭左右。但近年來，受到豬瘟等影響，生豬存欄量及出欄量不斷有較大波動(dòng)。據(jù)已發(fā)布的行業(yè)研究數(shù)據(jù)，近年來生豬養(yǎng)殖散戶比例不斷下降，規(guī)?；潭炔粩嗵岣撸虼艘蟾咝Ъs的養(yǎng)殖技術(shù)應(yīng)用到生豬養(yǎng)殖業(yè)中。

在國內(nèi)，AI 養(yǎng)豬已有可靠產(chǎn)品。阿里云聯(lián)合艾博機(jī)器、旗碩科技推出 AI 養(yǎng)豬解決方案，滿足了多元場景的需求。京東農(nóng)牧智能養(yǎng)殖方案基于 AI、物聯(lián)網(wǎng)等技術(shù)，實(shí)現(xiàn)了「豬臉識別，全鏈溯源」。AI 帶來的更智能、更精細(xì)的養(yǎng)殖模式正在逐漸推廣。

然而目前 AI 養(yǎng)豬的推廣還面臨著費(fèi)用高、操作較為復(fù)雜等亟待解決的問題，如何讓更多的養(yǎng)豬場敞開懷抱接納 AI，恐怕還有很長的路要走。

本文首發(fā)于HyperAI 超神經(jīng)微信公眾平臺～

參考鏈接：

[1]https://www.163.com/dy/article/HCSQN810055360T7.html

[2]https://xueshu.baidu.com/usercenter/paper/show

[3]https://www.aliyun.com/solution/govcloud/ai-pig

[4]http://www.dekanggroup.com/index/news/detail/id/182.html

[5]https://www.thepaper.cn/newsDetail_forward_3695180

[6]https://reurl.cc/mDKyEM

[7] 丁奇安，劉龍申，陳佳，太猛，沈明霞. 基于 Jetson Nano 的哺乳期仔豬目標(biāo)檢測[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào).