摘要：水果新鮮程度檢測軟件用于檢測水果新鮮程度，利用深度學(xué)習(xí)技術(shù)識別腐敗或損壞的水果，以輔助挑揀出新鮮水果，支持實(shí)時在線檢測。本文詳細(xì)介紹水果新鮮程度檢測系統(tǒng)，在介紹算法原理的同時，給出Python的實(shí)現(xiàn)代碼、訓(xùn)練數(shù)據(jù)集，以及PyQt的UI界面。在界面中可以選擇各種圖片、視頻進(jìn)行檢測識別；可對圖像中存在的多目標(biāo)進(jìn)行識別分類，檢測速度快、識別精度高。博文提供了完整的Python代碼和使用教程，適合新入門的朋友參考，完整代碼資源文件請轉(zhuǎn)至文末的下載鏈接。

完整代碼下載：https://mbd.pub/o/bread/ZJaXlZhq

參考視頻演示：https://www.bilibili.com/video/BV1fg4y1x7kH/

離線依賴庫下載：https://pan.baidu.com/s/1hW9z9ofV1FRSezTSj59JSg?pwd=oy4n?（提取碼：oy4n ）

前言

????????隨著物流和國際貿(mào)易經(jīng)濟(jì)的快速發(fā)展，國內(nèi)外水果生產(chǎn)、儲運(yùn)和銷售市場越來越大。目前，北果南運(yùn)、南果北運(yùn)以及外果內(nèi)運(yùn)已占物流運(yùn)輸?shù)慕虢健Ｄ壳?，在水果采摘、儲運(yùn)和銷售過程中常會出現(xiàn)一些問題，比如：為了確保水果運(yùn)往銷售地仍保持較新鮮的外觀，果農(nóng)在采摘時，通常選擇水果成熟度在五、六成的水果，這樣，既易于儲運(yùn)，又可從外形上不會讓最終消費(fèi)者感到討厭。但其帶來的不良影響是：因水果不好吃(水果口感差、肉質(zhì)粗糙等不新鮮的特性)而失去費(fèi)了很大勁開發(fā)的消費(fèi)者市場。針對消費(fèi)者而言，在購買水果時，僅看外形也無法知曉該水果的新鮮程度如何，尤其對于一些價格較貴、果品口感要求較高的水果，水果的新鮮程度尤為重要，如榴蓮、荔枝、龍眼、菠蘿、火龍果等。

????????水果新鮮程度檢測系統(tǒng)是近年來計算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，同時也是目標(biāo)檢測領(lǐng)域中的難點(diǎn)。其目的是識別和定位圖像中存在的腐壞水果，在許多領(lǐng)域中都有廣泛的應(yīng)用。本系統(tǒng)采用登錄注冊進(jìn)行用戶管理，對于圖片、視頻和攝像頭捕獲的實(shí)時畫面，系統(tǒng)可檢測畫面中的動物，系統(tǒng)支持結(jié)果記錄、展示和保存，每次檢測的結(jié)果記錄在表格中。對此這里給出博主設(shè)計的界面，同款的簡約風(fēng)，功能也可以滿足圖片、視頻和攝像頭的識別檢測，希望大家可以喜歡，初始界面如下圖：

????????檢測類別時的界面截圖（點(diǎn)擊圖片可放大）如下圖，可識別畫面中存在的多個類別，也可開啟攝像頭或視頻檢測：

???????? 詳細(xì)的功能演示效果參見博主的B站視頻或下一節(jié)的動圖演示，覺得不錯的朋友敬請點(diǎn)贊、關(guān)注加收藏！系統(tǒng)UI界面的設(shè)計工作量較大，界面美化更需仔細(xì)雕琢，大家有任何建議或意見和可在下方評論交流。

1.?效果演示

????????軟件的功能和顏值很重要，首先我們還是通過動圖看一下識別的效果，系統(tǒng)主要實(shí)現(xiàn)的功能是對圖片、視頻和攝像頭畫面中的水果是否損壞，識別的結(jié)果可視化顯示在界面和圖像中，另外提供多個目標(biāo)的顯示選擇功能，演示效果如下。

（一）系統(tǒng)介紹

????????水果新鮮程度檢測軟件主要用于日常水果新鮮程度檢測，利用深度學(xué)習(xí)技術(shù)識別圖像中已損壞的水果，輸出水果的標(biāo)記框坐標(biāo)，以輔助自動化挑揀出新鮮水果；系統(tǒng)提供登錄注冊功能，可進(jìn)行用戶管理；系統(tǒng)能夠有效識別圖片、視頻等文件形式，檢測已損壞的水果，并記錄識別結(jié)果在界面表格中方便查看；可開啟攝像頭實(shí)時檢測和統(tǒng)計當(dāng)前視野范圍損壞水果數(shù)目，支持結(jié)果記錄、展示和保存。

（二）技術(shù)特點(diǎn)

???????? （1）YOLOv5算法實(shí)現(xiàn)，模型一鍵切換更新；
???????? （2）攝像頭實(shí)時檢測，展示、記錄和保存水果情況；
???????? （3）檢測圖片、視頻等圖像中的損壞水果；
???????? （4）支持用戶登錄、注冊，檢測結(jié)果可視化功能；

（三）用戶注冊登錄界面

????????這里設(shè)計了一個登錄界面，可以注冊賬號和密碼，然后進(jìn)行登錄。界面還是參考了當(dāng)前流行的UI設(shè)計，左側(cè)是一個動圖，右側(cè)輸入賬號、密碼、驗(yàn)證碼等等。

（四）選擇圖片識別

????????系統(tǒng)允許選擇圖片文件進(jìn)行識別，點(diǎn)擊圖片選擇按鈕圖標(biāo)選擇圖片后，顯示所有識別的結(jié)果，可通過下拉選框查看單個結(jié)果，以便具體判斷某一特定目標(biāo)。本功能的界面展示如下圖所示：

（五）視頻識別效果展示

????????很多時候我們需要識別一段視頻中的水果，這里設(shè)計了視頻選擇功能。點(diǎn)擊視頻按鈕可選擇待檢測的視頻，系統(tǒng)會自動解析視頻逐幀識別多個水果，并將水果的分類結(jié)果記錄在右下角表格中，效果如下圖所示：

（六）攝像頭檢測效果展示
????????在真實(shí)場景中，我們往往利用攝像頭獲取實(shí)時畫面，同時需要對水果進(jìn)行識別，因此本文考慮到此項(xiàng)功能。如下圖所示，點(diǎn)擊攝像頭按鈕后系統(tǒng)進(jìn)入準(zhǔn)備狀態(tài)，系統(tǒng)顯示實(shí)時畫面并開始檢測畫面中的水果，識別結(jié)果展示如下圖：

2.?水果數(shù)據(jù)集及訓(xùn)練

????????這里我們使用的水果識別數(shù)據(jù)集，如下圖所示，所有標(biāo)簽已轉(zhuǎn)換至YOLOv5使用的txt格式。

? ? ? ? 每張圖像均提供了圖像類標(biāo)記信息，圖像中水果的bounding box，水果的關(guān)鍵part信息，以及水果的屬性信息，數(shù)據(jù)集并解壓后得到如下的圖片

????????我們選取YoloV5作為網(wǎng)絡(luò)模型，一方面是因?yàn)閺淖罱K效果來看YOLOv5已經(jīng)相當(dāng)優(yōu)秀，是發(fā)展的比較完備、使用比較廣泛的一個版本；而更重要的是YOLOv5的調(diào)用、訓(xùn)練和預(yù)測都十分方便，為初學(xué)者提供了良好的練手工具。YOLOv5的另一個特點(diǎn)就是它為不同的設(shè)備需求和不同的應(yīng)用場景提供了大小和參數(shù)數(shù)量不同的網(wǎng)絡(luò)。

????????如下圖所示，大一點(diǎn)的模型比如YOLOv5l和YOLOv5x參數(shù)更多，在大規(guī)模的COCO數(shù)據(jù)集上有更高的預(yù)測準(zhǔn)確率；而小模型比如YOLOv5n或YOLOv5s占空間更小，適合部署在移動設(shè)備上，且推理速度更快，適合于高幀 率視頻的實(shí)時檢測。

????????以下給出本系統(tǒng)項(xiàng)目的文件目錄，其中包含了YOLOv5相關(guān)的代碼以及界面設(shè)計代碼，如下圖所示。對于訓(xùn)練模型部分只需要關(guān)注train.py這個文件，訓(xùn)練用到的數(shù)據(jù)集、標(biāo)注文件及配置文件在本項(xiàng)目中已配置完成。

????????首先我們找到訓(xùn)練的py文件。然后找到主函數(shù)的入口，這里面有模型的主要參數(shù)。修改train.py中的weights、cfg、data、epochs、batch_size、imgsz、device、workers等參數(shù)。

????????在深度學(xué)習(xí)中，我們通常通過損失函數(shù)下降的曲線來觀察模型訓(xùn)練的情況。而YOLOv5訓(xùn)練時主要包含三個方面的損失：矩形框損失(box_loss)、置信度損失（obj_loss）和分類損失(cls_loss)，在訓(xùn)練結(jié)束后，我們也可以在logs目錄下找到生成對若干訓(xùn)練過程統(tǒng)計圖。下圖為博主訓(xùn)練水果新鮮程度識別的模型訓(xùn)練曲線圖。

? ? ? ? 一般我們會接觸到兩個指標(biāo)，分別是召回率recall和精度precision，兩個指標(biāo)p和r都是簡單地從一個角度來判斷模型的好壞，均是介于0到1之間的數(shù)值，其中接近于1表示模型的性能越好，接近于0表示模型的性能越差，為了綜合評價目標(biāo)檢測的性能，一般采用均值平均密度map來進(jìn)一步評估模型的好壞。我們通過設(shè)定不同的置信度的閾值，可以得到在模型在不同的閾值下所計算出的p值和r值，一般情況下，p值和r值是負(fù)相關(guān)的，繪制出來可以得到如下圖所示的曲線，其中曲線的面積我們稱AP，目標(biāo)檢測模型中每種目標(biāo)可計算出一個AP值，對所有的AP值求平均則可以得到模型的mAP值。

? ? ? ? 以PR-curve為例，你可以看到我們的模型在驗(yàn)證集上的均值平均準(zhǔn)確率為0.832。

3.?水果新鮮程度檢測識別

????????運(yùn)行testVideo.py，執(zhí)行得到的結(jié)果如下圖所示，圖中水果的好壞和置信度值都標(biāo)注出來了，預(yù)測速度較快?；诖四Ｐ臀覀兛梢詫⑵湓O(shè)計成一個帶有界面的系統(tǒng)，在界面上選擇圖片、視頻或攝像頭然后調(diào)用模型進(jìn)行檢測。

????????博主對整個系統(tǒng)進(jìn)行了詳細(xì)測試，最終開發(fā)出一版流暢得到清新界面，就是博文演示部分的展示，完整的UI界面、測試圖片視頻、代碼文件，以及Python離線依賴包（方便安裝運(yùn)行，也可自行配置環(huán)境），均已打包上傳，感興趣的朋友可以通過下載鏈接獲取。

下載鏈接

????若您想獲得博文中涉及的實(shí)現(xiàn)完整全部程序文件（包括測試圖片、視頻，py, UI文件等，如下圖），這里已打包上傳至博主的面包多平臺，見可參考博客與視頻，已將所有涉及的文件同時打包到里面，點(diǎn)擊即可運(yùn)行，完整文件截圖如下：

????在文件夾下的資源顯示如下，下面的鏈接中也給出了Python的離線依賴包，讀者可在正確安裝Anaconda和Pycharm軟件后，復(fù)制離線依賴包至項(xiàng)目目錄下進(jìn)行安裝，離線依賴的使用詳細(xì)演示也可見本人B站視頻：win11從頭安裝軟件和配置環(huán)境運(yùn)行深度學(xué)習(xí)項(xiàng)目、Win10中使用pycharm和anaconda進(jìn)行python環(huán)境配置教程。

注意：該代碼采用Pycharm+Python3.8開發(fā)，經(jīng)過測試能成功運(yùn)行，運(yùn)行界面的主程序?yàn)閞unMain.py和LoginUI.py，測試圖片腳本可運(yùn)行testPicture.py，測試視頻腳本可運(yùn)行testVideo.py。為確保程序順利運(yùn)行，請按照requirements.txt配置Python依賴包的版本。Python版本：3.8，請勿使用其他版本，詳見requirements.txt文件；

完整資源中包含數(shù)據(jù)集及訓(xùn)練代碼，環(huán)境配置與界面中文字、圖片、logo等的修改方法請見視頻，項(xiàng)目完整文件下載請見參考博客文章里面，或參考視頻的簡介處給出：???

完整代碼下載：https://mbd.pub/o/bread/ZJaXlZhq

參考視頻演示：https://www.bilibili.com/video/BV1fg4y1x7kH/

離線依賴庫下載：https://pan.baidu.com/s/1hW9z9ofV1FRSezTSj59JSg?pwd=oy4n?（提取碼：oy4n ）

? ? ? ? 在Qt Designer中可以徹底修改界面的各個控件及設(shè)置，然后將ui文件轉(zhuǎn)換為py文件即可調(diào)用和顯示界面。如果只需要修改界面中的文字、圖標(biāo)和背景圖的，可以直接在ConfigUI.config文件中修改，步驟如下：

????????（1）打開UI_rec/tools/ConfigUI.config文件，若亂碼請選擇GBK編碼打開。
????????（2）如需修改界面文字，只要選中要改的字符替換成自己的就好。
????????（3）如需修改背景、圖標(biāo)等，只需修改圖片的路徑。例如，原文件中的背景圖設(shè)置如下：

????????可修改為自己的名為background2.png圖片（位置在UI_rec/icons/文件夾中），可將該項(xiàng)設(shè)置如下即可修改背景圖：

結(jié)束語

????????由于博主能力有限，博文中提及的方法即使經(jīng)過試驗(yàn)，也難免會有疏漏之處。希望您能熱心指出其中的錯誤，以便下次修改時能以一個更完美更嚴(yán)謹(jǐn)?shù)臉幼?，呈現(xiàn)在大家面前。同時如果有更好的實(shí)現(xiàn)方法也請您不吝賜教。