摘要：智能零售柜商品檢測(cè)軟件用于識(shí)別零售柜常見商品，檢測(cè)商品名和位置以了解銷售情況，為零售柜商品智能檢測(cè)和自動(dòng)銷售提供檢測(cè)功能。本文詳細(xì)智能零售柜商品檢測(cè)軟件，在介紹算法原理的同時(shí)，給出Python的實(shí)現(xiàn)代碼、訓(xùn)練數(shù)據(jù)集、以及PyQt的UI界面。在界面中可以選擇各種圖片、視頻進(jìn)行檢測(cè)識(shí)別；可對(duì)圖像中存在的多目標(biāo)進(jìn)行識(shí)別分類，檢測(cè)速度快、識(shí)別精度高。博文提供了完整的Python代碼和使用教程，適合新入門的朋友參考，完整代碼資源文件請(qǐng)轉(zhuǎn)至文末的下載鏈接。

完整代碼下載：https://mbd.pub/o/bread/ZJaXlZlu

參考視頻演示：https://www.bilibili.com/video/BV1cX4y1f7iv/

離線依賴庫下載：https://pan.baidu.com/s/1hW9z9ofV1FRSezTSj59JSg?pwd=oy4n?（提取碼：oy4n ）

前言

????????智能零售柜商品檢測(cè)系統(tǒng)是指利用計(jì)算機(jī)視覺技術(shù)和深度學(xué)習(xí)算法對(duì)零售柜中的商品進(jìn)行實(shí)時(shí)檢測(cè)和識(shí)別，以便為消費(fèi)者提供更加智能和便捷的購物體驗(yàn)。該系統(tǒng)主要通過使用攝像頭對(duì)零售柜內(nèi)商品進(jìn)行實(shí)時(shí)拍攝和錄制，然后利用深度學(xué)習(xí)算法對(duì)商品的特征進(jìn)行提取和分析，最終實(shí)現(xiàn)對(duì)商品的檢測(cè)和識(shí)別。智能零售柜商品檢測(cè)系統(tǒng)的主要功能包括實(shí)時(shí)監(jiān)測(cè)零售柜中的商品，識(shí)別商品的種類、品牌、價(jià)格等信息，提供商品庫存信息，幫助消費(fèi)者更加便捷地進(jìn)行購物，提高消費(fèi)體驗(yàn)。該系統(tǒng)可以廣泛應(yīng)用于超市、便利店、餐飲等場(chǎng)所，有助于提高商品銷售效率和管理效率，減少人工成本和誤差率。同時(shí)，智能零售柜商品檢測(cè)系統(tǒng)還可以結(jié)合其他技術(shù)手段，如語音識(shí)別、人臉識(shí)別等，實(shí)現(xiàn)更加智能化的購物體驗(yàn)，推動(dòng)零售業(yè)的數(shù)字化轉(zhuǎn)型和升級(jí)。

????????本系統(tǒng)采用登錄注冊(cè)進(jìn)行用戶管理，對(duì)于圖片、視頻和攝像頭捕獲的實(shí)時(shí)畫面，可檢測(cè)商品圖像，系統(tǒng)支持結(jié)果記錄、展示和保存，每次檢測(cè)的結(jié)果記錄在表格中。對(duì)此這里給出博主設(shè)計(jì)的界面，同款的簡約風(fēng)，功能也可以滿足圖片、視頻和攝像頭的識(shí)別檢測(cè)，希望大家可以喜歡，初始界面如下圖：

????????檢測(cè)類別時(shí)的界面截圖（點(diǎn)擊圖片可放大）如下圖，可識(shí)別畫面中存在的多個(gè)類別，也可開啟攝像頭或視頻檢測(cè)：

???????? 詳細(xì)的功能演示效果參見博主的B站視頻或下一節(jié)的動(dòng)圖演示，覺得不錯(cuò)的朋友敬請(qǐng)點(diǎn)贊、關(guān)注加收藏！系統(tǒng)UI界面的設(shè)計(jì)工作量較大，界面美化更需仔細(xì)雕琢，大家有任何建議或意見和可在下方評(píng)論交流。

1.?效果演示

????????軟件好不好用，顏值很重要，首先我們還是通過動(dòng)圖看一下識(shí)別的效果，系統(tǒng)主要實(shí)現(xiàn)的功能是對(duì)圖片、視頻和攝像頭畫面中的商品進(jìn)行識(shí)別，識(shí)別的結(jié)果可視化顯示在界面和圖像中，另外提供多個(gè)目標(biāo)的顯示選擇功能，演示效果如下。

（一）系統(tǒng)介紹

????????智能零售柜商品檢測(cè)軟件主要用于零售柜商品的智能檢測(cè)與識(shí)別，利用零售柜頂部魚眼相機(jī)采集的圖像，基于深度學(xué)習(xí)技術(shù)識(shí)別柜內(nèi)常見的113種零售商品，輸出商品的標(biāo)記框坐標(biāo)和類別，以輔助自動(dòng)化獲取商品銷售情況；軟件提供登錄注冊(cè)功能，可進(jìn)行用戶管理；軟件能夠有效識(shí)別相機(jī)采集的圖片、視頻等文件形式，檢測(cè)柜內(nèi)商品銷售情況，并記錄識(shí)別結(jié)果在界面表格中方便查看；可開啟攝像頭實(shí)時(shí)監(jiān)測(cè)和統(tǒng)計(jì)當(dāng)前視野范圍各種類型商品數(shù)目，支持結(jié)果記錄、展示和保存。

（二）技術(shù)特點(diǎn)

???????? （1）YoloV5目標(biāo)檢測(cè)算法識(shí)別商品，模型支持更換；
???????? （2）攝像頭實(shí)時(shí)檢測(cè)柜內(nèi)商品，展示、記錄和保存銷售情況；
???????? （3）檢測(cè)圖片、視頻等圖像中的零售柜商品；
???????? （4）支持用戶登錄、注冊(cè)，檢測(cè)結(jié)果可視化功能；
???????? （4）提供訓(xùn)練數(shù)據(jù)集和代碼，可重新訓(xùn)練模型；

（三）用戶注冊(cè)登錄界面

????????這里設(shè)計(jì)了一個(gè)登錄界面，可以注冊(cè)賬號(hào)和密碼，然后進(jìn)行登錄。界面還是參考了當(dāng)前流行的UI設(shè)計(jì)，左側(cè)是一個(gè)logo圖，右側(cè)輸入賬號(hào)、密碼、驗(yàn)證碼等等。

（四）選擇圖片識(shí)別

????????系統(tǒng)允許選擇圖片文件進(jìn)行識(shí)別，點(diǎn)擊圖片選擇按鈕圖標(biāo)選擇圖片后，顯示所有識(shí)別的結(jié)果，可通過下拉選框查看單個(gè)結(jié)果，以便具體判斷某一特定目標(biāo)。本功能的界面展示如下圖所示：

（五）視頻識(shí)別效果展示

????????很多時(shí)候我們需要識(shí)別一段視頻中的多個(gè)商品，這里設(shè)計(jì)了視頻選擇功能。點(diǎn)擊視頻按鈕可選擇待檢測(cè)的視頻，系統(tǒng)會(huì)自動(dòng)解析視頻逐幀識(shí)別多個(gè)商品，并將商品的分類和計(jì)數(shù)結(jié)果記錄在右下角表格中，效果如下圖所示：

（六）攝像頭檢測(cè)效果展示
????????在真實(shí)場(chǎng)景中，我們往往利用攝像頭獲取實(shí)時(shí)畫面，同時(shí)需要對(duì)零售柜商品進(jìn)行識(shí)別，因此本文考慮到此項(xiàng)功能。如下圖所示，點(diǎn)擊攝像頭按鈕后系統(tǒng)進(jìn)入準(zhǔn)備狀態(tài)，系統(tǒng)顯示實(shí)時(shí)畫面并開始檢測(cè)畫面中的零售柜商品，識(shí)別結(jié)果展示如下圖：

2.?數(shù)據(jù)集及訓(xùn)練

????????這里我們使用的商品數(shù)據(jù)集，其中包含零售柜中常見的113種零售商品，比如奶茶、方便面、可樂、果汁等各種商品，其類別如下：

???????? 該數(shù)據(jù)集中，訓(xùn)練集有3796張圖片，驗(yàn)證集1084張圖片，測(cè)試集542張圖片，共計(jì)5422張圖片，選取部分?jǐn)?shù)據(jù)部分樣本數(shù)據(jù)集如圖所示。

????????每張圖像均提供了圖像類標(biāo)記信息，圖像中零售柜商品的bounding box，零售柜商品的關(guān)鍵part信息，以及零售柜商品的屬性信息，數(shù)據(jù)集并解壓后得到如下的圖片

???????? 對(duì)于原始的數(shù)據(jù)集標(biāo)簽文件格式不一致的問題，由于yolov5只認(rèn)txt而不認(rèn)json，因此還要有一個(gè)轉(zhuǎn)換的過程：批量json轉(zhuǎn)txt?？刹捎萌缦麓a：

???????? YoloV5原作者給出了4種模型的配置，分別為YoloV5s，YoloV5m，YoloV5l，YoloV5x，根據(jù)根據(jù)自己的實(shí)時(shí)性需求選擇對(duì)應(yīng)的網(wǎng)絡(luò)。

???????? 接下來只需要在train.py中修改對(duì)應(yīng)的配置文件就好了，對(duì)于本數(shù)據(jù)集配置的yaml文件內(nèi)容如下：。

???????? （1）train 指定訓(xùn)練集圖像路徑

???????? （2）val 指定驗(yàn)證集圖像路徑

???????? （3）test 指定測(cè)試集圖像路徑

???????? （4）nc 指定目標(biāo)類別數(shù)量

???????? （5）目標(biāo)對(duì)應(yīng)類別名稱

????????以上就是YOLOv5的整體介紹，接下來進(jìn)行訓(xùn)練。本項(xiàng)目使用Yolov5訓(xùn)練了一個(gè)商品目標(biāo)檢測(cè)模型，在筆記本的3070顯卡下訓(xùn)練了300 epoch，訓(xùn)練過程的截圖如下：

????????在我們的訓(xùn)練過程中，mAP50作為一種常用的目標(biāo)檢測(cè)評(píng)估指標(biāo)很快達(dá)到了較高水平，而mAP50:95也在訓(xùn)練的過程中不斷提升，說明我們模型從訓(xùn)練-驗(yàn)證的角度表現(xiàn)良好。讀入一個(gè)測(cè)試文件夾進(jìn)行預(yù)測(cè)，通過訓(xùn)練得到的選取驗(yàn)證集上效果最好的權(quán)重best.pt進(jìn)行實(shí)驗(yàn)，得到PR曲線如下圖所示。

????????在深度學(xué)習(xí)中，我們通常通過損失函數(shù)下降的曲線來觀察模型訓(xùn)練的情況。而YOLOv5訓(xùn)練時(shí)主要包含三個(gè)方面的損失：矩形框損失(box_loss)、置信度損失（obj_loss）和分類損失(cls_loss)，在訓(xùn)練結(jié)束后，我們也可以在logs目錄下找到生成對(duì)若干訓(xùn)練過程統(tǒng)計(jì)圖。下圖為博主訓(xùn)練商品識(shí)別的模型訓(xùn)練曲線圖。

????????以PR-curve為例，可以看到我們的模型在驗(yàn)證集上的均值平均準(zhǔn)確率為0.971。

3.?智能零售柜商品檢測(cè)

????????在訓(xùn)練完成后得到最佳模型，接下來我們將幀圖像輸入到這個(gè)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，從而得到預(yù)測(cè)結(jié)果，預(yù)測(cè)方法（predict.py）部分的代碼如下所示：

????????可以運(yùn)行testPicture或testVideo兩個(gè)腳本分別對(duì)圖片和視頻進(jìn)行測(cè)試，其效果如下圖所示：

????????博主對(duì)整個(gè)系統(tǒng)進(jìn)行了詳細(xì)測(cè)試，最終開發(fā)出一版流暢得到清新界面，就是博文演示部分的展示，完整的UI界面、測(cè)試圖片視頻、代碼文件，以及Python離線依賴包（方便安裝運(yùn)行，也可自行配置環(huán)境），均已打包上傳，感興趣的朋友可以通過下載鏈接獲取。

下載鏈接

????若您想獲得博文中涉及的實(shí)現(xiàn)完整全部程序文件（包括測(cè)試圖片、視頻，py, UI文件等，如下圖），這里已打包上傳至博主的面包多平臺(tái)，見可參考博客與視頻，已將所有涉及的文件同時(shí)打包到里面，點(diǎn)擊即可運(yùn)行，完整文件截圖如下：

????在文件夾下的資源顯示如下，下面的鏈接中也給出了Python的離線依賴包，讀者可在正確安裝Anaconda和Pycharm軟件后，復(fù)制離線依賴包至項(xiàng)目目錄下進(jìn)行安裝，離線依賴的使用詳細(xì)演示也可見本人B站視頻：win11從頭安裝軟件和配置環(huán)境運(yùn)行深度學(xué)習(xí)項(xiàng)目、Win10中使用pycharm和anaconda進(jìn)行python環(huán)境配置教程。

注意：該代碼采用Pycharm+Python3.8開發(fā)，經(jīng)過測(cè)試能成功運(yùn)行，運(yùn)行界面的主程序?yàn)閞unMain.py和LoginUI.py，測(cè)試圖片腳本可運(yùn)行testPicture.py，測(cè)試視頻腳本可運(yùn)行testVideo.py。為確保程序順利運(yùn)行，請(qǐng)按照requirements.txt配置Python依賴包的版本。Python版本：3.8，請(qǐng)勿使用其他版本，詳見requirements.txt文件；

完整資源中包含數(shù)據(jù)集及訓(xùn)練代碼，環(huán)境配置與界面中文字、圖片、logo等的修改方法請(qǐng)見視頻，項(xiàng)目完整文件下載請(qǐng)見參考博客文章里面，或參考視頻的簡介處給出：???

完整代碼下載：https://mbd.pub/o/bread/ZJaXlZlu

參考視頻演示：https://www.bilibili.com/video/BV1cX4y1f7iv/

離線依賴庫下載：https://pan.baidu.com/s/1hW9z9ofV1FRSezTSj59JSg?pwd=oy4n?（提取碼：oy4n ）

界面中文字、圖標(biāo)和背景圖修改方法：

????????在Qt Designer中可以徹底修改界面的各個(gè)控件及設(shè)置，然后將ui文件轉(zhuǎn)換為py文件即可調(diào)用和顯示界面。如果只需要修改界面中的文字、圖標(biāo)和背景圖的，可以直接在ConfigUI.config文件中修改，步驟如下：
????????（1）打開UI_rec/tools/ConfigUI.config文件，若亂碼請(qǐng)選擇GBK編碼打開。
????????（2）如需修改界面文字，只要選中要改的字符替換成自己的就好。
????????（3）如需修改背景、圖標(biāo)等，只需修改圖片的路徑。例如，原文件中的背景圖設(shè)置如下：

????????可修改為自己的名為background2.png圖片（位置在UI_rec/icons/文件夾中），可將該項(xiàng)設(shè)置如下即可修改背景圖：

結(jié)束語

????????由于博主能力有限，博文中提及的方法即使經(jīng)過試驗(yàn)，也難免會(huì)有疏漏之處。希望您能熱心指出其中的錯(cuò)誤，以便下次修改時(shí)能以一個(gè)更完美更嚴(yán)謹(jǐn)?shù)臉幼樱尸F(xiàn)在大家面前。同時(shí)如果有更好的實(shí)現(xiàn)方法也請(qǐng)您不吝賜教。