一、作品簡(jiǎn)介

作者：賀沅、聶開(kāi)發(fā)、王興文、石宇航、盛余慶
單位：黑龍江科技大學(xué)
指導(dǎo)老師：邵文冕、苑鵬濤

1. 項(xiàng)目背景

受新冠疫情的影響，大學(xué)校園內(nèi)都采取封閉式管理來(lái)降低傳染的風(fēng)險(xiǎn)，導(dǎo)致學(xué)生不能外出，學(xué)校工作人員不能入校。通過(guò)封閉式的管理以此來(lái)盡最大可能保證學(xué)生在當(dāng)前新冠傳染和大規(guī)模人群被感染的情況下的安全，在此種情況下出現(xiàn)了取件困難、取件效率低、快遞堆積在驛站等諸多快遞服務(wù)問(wèn)題，嚴(yán)重時(shí)也導(dǎo)致了快遞無(wú)法進(jìn)校。同時(shí)也嚴(yán)重提升了在校學(xué)生們的感染風(fēng)險(xiǎn)，嚴(yán)重影響了同學(xué)們的日常生活需要。

? ?? ? 為了解決在?？爝f取件的問(wèn)題，我們?cè)O(shè)計(jì)了一種由行走機(jī)構(gòu)、抓取機(jī)構(gòu)、控制系統(tǒng)和視覺(jué)系統(tǒng)組成的校園智能無(wú)人快遞小車(chē)，以實(shí)現(xiàn)”無(wú)接觸“式、消毒式快遞配送，解決快遞取件效率低的問(wèn)題，減小了人力和物力，使得快遞處理簡(jiǎn)單高效快捷，在快遞的最后一站充分降低學(xué)生拿快遞時(shí)新冠病毒感染風(fēng)險(xiǎn)，同時(shí)避免了校外人員入校傳播病毒的風(fēng)險(xiǎn)。

2. 項(xiàng)目進(jìn)展

2.1技術(shù)路線

? ?? ? 如上圖所示，我們所設(shè)計(jì)的快遞附件機(jī)器人由機(jī)器人本體與被檢測(cè)物（貨物）組成。其總體流程如下：機(jī)器人通過(guò)一部分檢測(cè)模塊識(shí)別貨物所在位置；將該信息反饋于快遞附件機(jī)器人的控制板模塊，控制板模塊則命令驅(qū)動(dòng)模塊驅(qū)動(dòng)，行走模塊按照指定路線進(jìn)行運(yùn)動(dòng)，等待抓取模塊完成操作，抓取操作完成后控制模塊驅(qū)動(dòng)小車(chē)的行走模塊進(jìn)行下一步運(yùn)動(dòng)。

2.2設(shè)計(jì)路線

2.3項(xiàng)目創(chuàng)新點(diǎn)
2.3.1結(jié)構(gòu)部分
? ?? ? 采用了連桿機(jī)構(gòu)，其運(yùn)動(dòng)副一般均為低副。低副兩運(yùn)動(dòng)副元素為面接觸，壓強(qiáng)較小，可承受較大的載荷；可以方便地用來(lái)達(dá)到增力、擴(kuò)大行程和實(shí)現(xiàn)遠(yuǎn)距離傳動(dòng)的優(yōu)勢(shì)，可方便機(jī)械臂抓取高層快遞，我們采用中型球型件代替普通連桿使傳動(dòng)更穩(wěn)定，且具有各部件之間不易松動(dòng)的特點(diǎn)；采用齒輪傳動(dòng)結(jié)構(gòu)，通過(guò)6個(gè)齒輪進(jìn)行傳動(dòng)能保證穩(wěn)定傳動(dòng)的同時(shí)具有準(zhǔn)確的傳動(dòng)比，可以實(shí)現(xiàn)平行軸、相交軸、交錯(cuò)軸等空間任意兩軸間傳動(dòng)的優(yōu)點(diǎn)。

2.3.2運(yùn)動(dòng)部分
? ?? ? 運(yùn)動(dòng)部分通過(guò)四個(gè)直流馬達(dá)支架將四個(gè)直流馬達(dá)固定并配合四個(gè)輪胎組成運(yùn)動(dòng)機(jī)構(gòu)，采用差速法控制小車(chē)轉(zhuǎn)向，采用循跡進(jìn)行路線規(guī)劃，使用pwm進(jìn)行調(diào)速，具有速度快的特點(diǎn)，且采用提取取件碼第一位數(shù)字的方式，判斷快遞架位置和小車(chē)取完快遞從后門(mén)出發(fā)，具有高效、快捷的優(yōu)點(diǎn)，減少了空間的占用和取件的時(shí)間。

2.3.3視覺(jué)部分
? ?? ? 采用了圖像畸變矯正處理、輪廓提取算法和神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，解決了圖像顯示不清晰，識(shí)別率不夠高問(wèn)題的同時(shí)，實(shí)現(xiàn)了在不同光照條件下快遞編號(hào)的識(shí)別，且有較高的準(zhǔn)確率。

3. 項(xiàng)目總結(jié)
? ?? ? 為了解決受新冠疫情影響、學(xué)校封閉式管理、學(xué)生不能外出取件、快遞取件難、快遞在快遞站堆積的問(wèn)題，我們?cè)O(shè)計(jì)了一種由行走機(jī)構(gòu)、抓取機(jī)構(gòu)、控制系統(tǒng)和視覺(jué)系統(tǒng)組成的校園智能無(wú)人快遞小車(chē)，以實(shí)現(xiàn)”無(wú)接觸“式、消毒式快遞配送，這樣避免了校外人員入校傳播病毒的潛在風(fēng)險(xiǎn)，由智能快遞付件機(jī)器人幫忙取校外快遞，僅需對(duì)小車(chē)和快遞進(jìn)行消毒處理，簡(jiǎn)化了消毒流程，減少了人力、物力的開(kāi)銷(xiāo)，方便快捷了學(xué)生生活，減少了快遞長(zhǎng)時(shí)間不取退回的現(xiàn)象。

二、功能介紹

1. 產(chǎn)品結(jié)構(gòu)圖

? ?? ? 智能快遞付件機(jī)器人由行走機(jī)構(gòu)、控制模塊、抓取機(jī)構(gòu)和視覺(jué)模塊組成，整個(gè)系統(tǒng)由兩個(gè)12v鋰電池分別對(duì)控制模塊和視覺(jué)模塊進(jìn)行供電，以延長(zhǎng)機(jī)器人的使用時(shí)間間隔?？刂颇K以Basra為主控，實(shí)現(xiàn)對(duì)機(jī)器人的行走、控制、抓取、視覺(jué)等過(guò)程的控制。機(jī)器人搭載了無(wú)線藍(lán)牙和語(yǔ)音識(shí)別模塊，在實(shí)現(xiàn)了藍(lán)牙遠(yuǎn)程操控的同時(shí)也能夠完成操作參數(shù)的動(dòng)態(tài)調(diào)整等操作；行走機(jī)構(gòu)采用探索者套件中的輪胎與聯(lián)軸器相互配合，由直流減速電機(jī)驅(qū)動(dòng)，在電機(jī)轉(zhuǎn)動(dòng)下控制小車(chē)行走。通過(guò)循跡進(jìn)行路線規(guī)劃；抓取機(jī)構(gòu)采用連桿機(jī)構(gòu)控制機(jī)械爪，對(duì)快遞進(jìn)行抓?。灰曈X(jué)模塊采用Edge impulse對(duì)數(shù)字模型進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練來(lái)實(shí)現(xiàn)快遞編號(hào)的識(shí)別，并與下位機(jī)實(shí)現(xiàn)通信。

2. 主要功能

? ?? ? ① 可自主抵達(dá)相應(yīng)的快遞架
? ?? ? ② 可對(duì)所需要取的快遞進(jìn)行識(shí)別
? ?? ? ③ 可實(shí)現(xiàn)遠(yuǎn)程操作與抓取參數(shù)調(diào)整
? ?? ? ④ 可實(shí)現(xiàn)識(shí)別與抓取時(shí)的狀況監(jiān)控

3. 結(jié)構(gòu)介紹

? ?? ? 本作品總體結(jié)構(gòu)由探索者套件拼裝，分為主板平面、運(yùn)動(dòng)機(jī)構(gòu)、機(jī)械臂、抓取結(jié)構(gòu)、載物臺(tái)、電源倉(cāng)。
3.1主板平面
? ?? ? 使用四個(gè)7*11孔平板和兩塊5*7孔平板構(gòu)成的搭載主體平臺(tái)，作為承載機(jī)械臂和載物臺(tái)、連接運(yùn)動(dòng)機(jī)構(gòu)主體，同時(shí)放置開(kāi)發(fā)板和傳感器等其他元器件。
3.2運(yùn)動(dòng)機(jī)構(gòu)
? ?? ? 通過(guò)四個(gè)直流馬達(dá)支架將四個(gè)直流馬達(dá)固定并配合四個(gè)輪胎組成運(yùn)動(dòng)機(jī)構(gòu)，采用差速法控制小車(chē)轉(zhuǎn)向。
3.3機(jī)械臂
? ?? ? 使用4個(gè)輸出支架和兩個(gè)雙足連桿搭建機(jī)械臂在主板平面上的支座，使用四個(gè)大舵機(jī)支架連接大舵機(jī)，機(jī)械臂的底盤(pán)舵機(jī)裝上大舵機(jī)輸出頭后與大臂的舵機(jī)支架連接，再將兩個(gè)大舵機(jī)U型支架反向連接作為機(jī)械臂大臂，一端連接大臂舵機(jī)一端連接小臂舵機(jī)。

? ?? ? ① 機(jī)械臂小臂：由與抓取機(jī)構(gòu)連接的舵機(jī)和舵機(jī)架構(gòu)成，另一端連接大舵機(jī)U型支架，可實(shí)現(xiàn)正轉(zhuǎn)70°，反轉(zhuǎn)55°，可小范圍調(diào)整抓取機(jī)構(gòu)抓取角度。
? ?? ? ② 機(jī)械臂大臂：由兩個(gè)大舵機(jī)U型支架反向連接形成，正轉(zhuǎn)110°反轉(zhuǎn)70°，調(diào)整抓取結(jié)構(gòu)置前置后，置前時(shí)抓取，置后時(shí)放置。
? ?? ? ③ 機(jī)械臂底盤(pán)：由支座和舵機(jī)支架構(gòu)成，可使機(jī)械手左右轉(zhuǎn)動(dòng)，調(diào)整抓取機(jī)構(gòu)在水平方向上的位置。

3.4抓取結(jié)構(gòu)
? ?? ? 抓取結(jié)構(gòu)的運(yùn)動(dòng)采用了齒輪傳動(dòng)結(jié)構(gòu)和連桿結(jié)構(gòu)，使用六個(gè)30齒齒輪兩兩疊加構(gòu)成三個(gè)雙層齒輪、使用5×7 孔平板作為機(jī)械爪零件主板，四個(gè)機(jī)械手指和四個(gè)機(jī)械手40mm驅(qū)動(dòng)、兩個(gè)3×5 折彎、中型球型件構(gòu)成，滑動(dòng)零件連接處使用軸套連接，以便抓取機(jī)構(gòu)活動(dòng)順暢，且不易松動(dòng)。抓取機(jī)構(gòu)自由度在0-55，如下圖所示：

? ?? ? ① 連桿結(jié)構(gòu)：由中型球型件和大舵機(jī)輸出頭組成，將舵機(jī)產(chǎn)生的扭力，通過(guò)連桿傳到齒輪上使齒輪轉(zhuǎn)動(dòng)，并且由于使用的連桿是弧形，中間不會(huì)因?yàn)橛|碰到零件主板而導(dǎo)致活動(dòng)不順暢。
? ?? ? ② 傳動(dòng)結(jié)構(gòu)：傳動(dòng)結(jié)構(gòu)通過(guò)三組齒輪嚙合將扭力均勻施加到兩側(cè)與齒輪連接的機(jī)械手40mm驅(qū)動(dòng)上，帶動(dòng)機(jī)械手指，使機(jī)械手實(shí)現(xiàn)張合功能。

3.5載物臺(tái)
? ?? ? 使用一塊7×11 孔平板、四塊3×5 折彎、和兩個(gè)大輪組成的載物平臺(tái)，每個(gè)圓板為一個(gè)載物平臺(tái)，每次可裝載兩件物品，如下圖所示，載物臺(tái)下方留有一定的空腔，作為電池倉(cāng)，用于放置電源，在一定程度上節(jié)約了空間且載物臺(tái)抬高可減少機(jī)械臂運(yùn)行路程，使機(jī)械臂方便、快速放置快遞，提高了運(yùn)行效率。

4. 電控部分

4.1控制板的選擇
? ?? ? 在開(kāi)發(fā)板上我們選擇Basra，Basra是一款基于Arduino開(kāi)源方案設(shè)計(jì)的一款開(kāi)發(fā)板，Basra的處理器核心是ATmega328，同時(shí)具有14路數(shù)字輸入/輸出口（其中6路可作為PWM輸出），6路模擬輸入，一個(gè)16MHz晶體振蕩器，一個(gè)USB口，一個(gè)電源插座，一個(gè)ICSPheader和一個(gè)復(fù)位按鈕。主CPU采用AVRATMEGA328型控制芯片，支持C語(yǔ)言編程方式。該系統(tǒng)的硬件電路包括：電源電路、串口通信電路、MCU基本電路、燒寫(xiě)接口、顯示模塊、AD/DA轉(zhuǎn)換模塊、輸入模塊、IIC存儲(chǔ)模塊等其他電路模塊電路?？刂瓢宄叽绮怀^(guò)60*60mm，便于安裝。CPU硬件軟件全部開(kāi)放，除能完成對(duì)小車(chē)控制外，還能使用本實(shí)驗(yàn)板完成單片機(jī)所有基礎(chǔ)實(shí)驗(yàn)。供電范圍寬泛，支持5v~9v的電壓，干電池或鋰電池都適用。控制板含3A6V的穩(wěn)壓芯片，可為舵機(jī)提供6v額定電壓。

4.2傳感器的選擇
? ?? ? 灰度傳感器又稱(chēng)黑標(biāo)傳感器，可以幫助進(jìn)行黑線的跟蹤，可以識(shí)別白色背景中的黑色區(qū)域，或懸崖邊緣。尋線信號(hào)可以提供穩(wěn)定的輸出信號(hào)，使尋線更準(zhǔn)確更穩(wěn)定。有效距離在0.7cm~3cm之間。
? ?? ? 工作電壓：4.7～5.5V，
? ?? ? 工作電流：1.2mA。
? ?? ? ① 固定孔，便于用螺絲將模塊固定于機(jī)器人上；
? ?? ? ② 四芯輸入線接口，連接四芯輸入線；
? ?? ? ③ 黑標(biāo)/白標(biāo)傳感器元件，用于檢測(cè)黑線/白線信號(hào)。

4.3語(yǔ)音模塊
? ?? ? 語(yǔ)音處理技術(shù)是下一代多模式交互的人機(jī)界面設(shè)計(jì)中的核心技術(shù)之一。隨著消費(fèi)類(lèi)電子產(chǎn)品中對(duì)于高性能、高穩(wěn)健性的語(yǔ)音接口需求的快速增加，嵌入式語(yǔ)音處理技術(shù)快速發(fā)展。
? ?? ? 根據(jù)市場(chǎng)對(duì)嵌入式語(yǔ)音識(shí)別系統(tǒng)的需求，探索者推出了新的語(yǔ)音識(shí)別模塊。該模塊采用了基于helios-adsp新一代中大詞匯語(yǔ)音識(shí)別協(xié)處理方案的語(yǔ)音識(shí)別專(zhuān)用芯片HBR740，非特定人語(yǔ)音識(shí)別技術(shù)可對(duì)用戶的語(yǔ)音進(jìn)行識(shí)別，支持中文音素識(shí)別，可任意指定中文識(shí)別詞條(小于8個(gè)漢字)，單次識(shí)別可支持1000條以上的語(yǔ)音命令，安靜環(huán)境下，標(biāo)準(zhǔn)普通話，識(shí)別率大于95%，可自動(dòng)檢測(cè)環(huán)境噪聲，噪聲環(huán)境下也能保證較好的識(shí)別率。
4.4電動(dòng)機(jī)的選擇
? ?? ? 我們經(jīng)過(guò)討論確定選用輪式驅(qū)動(dòng)，但是考慮到只是為了完成自主行走功能，實(shí)驗(yàn)也無(wú)需越障爬坡，所以我們選擇雙軸直流電機(jī)作為與輪子配合的驅(qū)動(dòng)電機(jī)。

? ?? ? 除了驅(qū)動(dòng)機(jī)器人需要引用電機(jī)，檢測(cè)功能也會(huì)需要電機(jī)。由于舵機(jī)的可控性強(qiáng)，可以在工作范圍內(nèi)精確控制電機(jī)的轉(zhuǎn)動(dòng)角度，而快遞機(jī)器人的主要工作就是“識(shí)別快遞、精確定位、作出處理”，所以舵機(jī)能夠?yàn)橹悄芸爝f付件機(jī)器人的工作提供極大的便利。四個(gè)舵機(jī)使得機(jī)器人有了四個(gè)自由度，工作范圍由線性轉(zhuǎn)變?yōu)槊嫘?，大大提高了機(jī)器人的工作效率。

5. 視覺(jué)部分

5.1 訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型
通過(guò)對(duì)大量的圖像收集，在Edge Impulse進(jìn)行圖像分類(lèi)、統(tǒng)一貼標(biāo)簽和訓(xùn)練對(duì)應(yīng)的數(shù)據(jù)集，以此完成在識(shí)別過(guò)程中的識(shí)別不穩(wěn)定以及減少錯(cuò)誤信息的傳遞，多次調(diào)整圖片訓(xùn)練數(shù)據(jù)集來(lái)提高匹配準(zhǔn)確率。

5.2 灰度轉(zhuǎn)化（輪廓提?。┮约盎儓D像處理? ?
① 灰度轉(zhuǎn)化
? ?? ? 通過(guò)灰度變換來(lái)使圖像對(duì)比度擴(kuò)展，圖像清晰，特征明顯，有選擇的突出圖像感興趣的特征或者去抑制圖像中不需要的特征，進(jìn)而更加有效的改變圖像的直方圖分布，使得像素的分布更加均勻，從而提高圖像識(shí)別精度。

? ?? ? 以12數(shù)字為例，1代表通道第一層，2代表第二個(gè)（從左到右）。先進(jìn)行整體分開(kāi)顯示，再進(jìn)行判斷快遞所在的位置，來(lái)傳回下位機(jī)具體的信息返回值。為了提升識(shí)別的準(zhǔn)確值，在與訓(xùn)練模型匹配時(shí)，再去使用輪廓提取的方法，提取出數(shù)字的形狀。

② 輪廓提取算法
? ?? ? 使用閉運(yùn)算的方法，即梯度=膨脹-腐蝕，得到圖像的輪廓外形，通過(guò)使用findcontour ()函數(shù)，對(duì)灰度圖處理過(guò)后的圖像，找取邊界點(diǎn)的坐標(biāo)，存儲(chǔ)到contours參數(shù)中，運(yùn)用drawcontours繪制輪廓線。
下面是findcontour函數(shù)的六個(gè)參數(shù)值：

③ 畸變矯正處理
? ?? ? 在測(cè)試識(shí)別時(shí)出現(xiàn)了識(shí)別精度低，圖像信息獲取不全，識(shí)別效率低等問(wèn)題，為此我們采用圖像畸變矯正處理，以提高識(shí)別精度和效率。
? ?? ? 畸變矯正處理是像差的一種，在人們的感官上看原本直線變成了曲線，但是圖像的信息不會(huì)丟失，調(diào)用openmv官方庫(kù)中的庫(kù)函數(shù)進(jìn)行圖像的處理。對(duì)鏡頭進(jìn)行了畸變矯正，以去除鏡頭濾波造成的圖像魚(yú)眼效果。

5.3 取件抓取視覺(jué)流程圖

三、程序代碼

1. 示例程序

1.1上位機(jī)程序
① data_collection.py

② shijue.py

1.2下位機(jī)程序
① jixiebi.ino

② sketch_nov05a.ino

更多詳細(xì)資料請(qǐng)參考?https://www.robotway.com/h-col-283.html