機(jī)器人制作開源方案 | 桌面級機(jī)械臂--應(yīng)用設(shè)計(jì)
? ? ? 本節(jié)內(nèi)容將基于機(jī)器視覺帶著大家進(jìn)行應(yīng)用實(shí)訓(xùn)。機(jī)器視覺是人工智能正在快速發(fā)展的一個(gè)分支，簡單說來機(jī)器視覺就是用機(jī)器代替人眼來做測量和判斷。機(jī)器視覺系統(tǒng)是通過機(jī)器視覺產(chǎn)品（即圖像攝取裝置，分CMOS和CCD兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。
? ? ? 機(jī)器視覺基礎(chǔ)主要包含二維碼識別、顏色識別等。
? ? ? 機(jī)器視覺系統(tǒng)最基本的特點(diǎn)就是提高生產(chǎn)的靈活性和自動化程度，在一些不適于人工作業(yè)的危險(xiǎn)工作環(huán)境或者人工視覺難以滿足要求的場合，常用機(jī)器視覺來替代人工視覺。同時(shí)在大批量重復(fù)性工業(yè)生產(chǎn)過程中，用機(jī)器視覺檢測方法可以大大提高生產(chǎn)的效率和自動化程度。下面我們將結(jié)合機(jī)器視覺基礎(chǔ)，基于開源的機(jī)器人平臺，進(jìn)行桌面機(jī)械臂搬運(yùn)、顏色追蹤等應(yīng)用開發(fā)。
1. 視覺二維碼識別
? ? ? 二維碼的應(yīng)用滲透到生活的方方面面，如手機(jī)購物、微信登錄等，二維碼常見的分類有矩陣式、堆疊式/行排式。具有代表性的矩陣式二維條碼有Code One、Maxi Code、QR Code、 Data Matrix等；具有代表性的行排式二維條碼有Code 16K、Code 49、PDF417等。
? ? ? 二維碼的使用分為：生成二維碼、識別已生成的二維碼。這里我們主要是識別已生成的二維碼（矩陣式二維碼）。
設(shè)計(jì)思路
? ? ? 本實(shí)驗(yàn)主要是基于矩陣式二維碼進(jìn)行識別。QR碼（Quick Response Code）是在正方形二維矩陣內(nèi)通過黑白標(biāo)識編碼二進(jìn)制位從而編碼數(shù)據(jù)。
實(shí)現(xiàn)思路
? ? ? 利用攝像頭采集二維碼信息，利用zbar庫識別后把結(jié)果顯示在屏幕上。
器材準(zhǔn)備
? ? ? 生成QR Code碼（可以用在線編輯器生成）、攝像頭。
? ? ? 下面是為本實(shí)驗(yàn)準(zhǔn)備的二維碼：（當(dāng)然大家也可以直接打開微信二維碼進(jìn)行識別）
操作步驟
第一步：連接電路。將攝像頭與控制盒進(jìn)行連接。
第二步：下載文末資料中的參考程序color_experiment_ws\src\qr_detection\scripts\QrCode_Detection.py：
第三步：運(yùn)行程序并查看效果。
打開終端，輸入roslaunch qr_detection qr_detection_experiment.launch命令（見下圖），等待程序的運(yùn)行啟動界面。
界面啟動后，添加Image并設(shè)置其參數(shù)，設(shè)置成功后出現(xiàn)以下三幅圖像畫面。
把QR code類型的二維碼放置在攝像頭下，稍后就會在界面上顯示結(jié)果（如下圖所示）。
2. 形狀識別—識別圓形
實(shí)現(xiàn)思路
利用攝像頭采集圖片信息，識別圓形后顯示出圓的中心坐標(biāo)。
器材準(zhǔn)備
主要用到：攝像頭、紅色和綠色兩種圓形圖（如下圖所示）。
操作步驟
第一步：連接電路，將攝像頭與主機(jī)進(jìn)行連接。（溫馨提示：做實(shí)驗(yàn)時(shí)，大家可以靈活的把攝像頭放置在圓形圖片上方，以便于采集圖形信息）
第二步：下載文末資料中的參考程序color_experiment_ws\src\shape_detection\scripts\shape_detection_victory.py：
第三步：運(yùn)行程序并查看效果。
打開終端，輸入roslaunch shape_detection shape_detection_experiment.launch 命令（見下圖）, 等待程序的運(yùn)行啟動界面。
界面啟動后，添加Image并設(shè)置其參數(shù)，設(shè)置成功后出現(xiàn)以下三幅圖像畫面。
? ? ? 放置待識別的圓形圖（請把物品放置在攝像頭可以采集到的區(qū)域），然后就可以在界面上看到識別結(jié)果。下圖是分別識別紅色圓形、藍(lán)色圓形，并顯示識別出圓心的中心坐標(biāo)x、y的值。
3. 顏色識別（紅綠藍(lán)）
實(shí)現(xiàn)思路
? ? ? 攝像頭采集紅綠藍(lán)的物品顏色后，利用開源視覺庫進(jìn)行識別，把結(jié)果顯示在屏幕上。
顏色識別算法
RGB和HSV彩色模型
? ? ? 數(shù)字圖像處理通常采用RGB（紅、綠、藍(lán)）和HSV（色調(diào)、飽和度、亮度）兩種彩色模型，RGB雖然表示比較至直觀，但R、G、B數(shù)值和色彩三屬性并沒有直接關(guān)系，模型通道并不能很好的反映出物體具體的顏色信息，而HSV模型更符合我們描述和解釋顏色的方式，使用HSV的彩色描述會更加直觀。
RGB和HSV的區(qū)別：
①. RGB模型
? ? ? 三維坐標(biāo)：
RGB：三原色（Red, Green, Blue）
? ? ? 原點(diǎn)到白色頂點(diǎn)的中軸線是灰度線，r、g、b三分量相等，強(qiáng)度可以由三分量的向量表示。
用RGB來理解色彩、深淺、明暗變化：
? ? ? 色彩變化： 三個(gè)坐標(biāo)軸RGB最大分量頂點(diǎn)與黃紫青YMC色頂點(diǎn)的連線
? ? ? 深淺變化：RGB頂點(diǎn)和CMY頂點(diǎn)到原點(diǎn)和白色頂點(diǎn)的中軸線的距離
? ? ? 明暗變化：中軸線的點(diǎn)的位置，到原點(diǎn)，就偏暗，到白色頂點(diǎn)就偏亮
②. HSV模型
? ? ? 倒錐形模型：
這個(gè)模型就是按色彩、深淺、明暗來描述的。
H是色彩
S是深淺， S = 0時(shí)，只有灰度
V是明暗，表示色彩的明亮程度，但與光強(qiáng)無直接聯(lián)系。
③. RGB與HSV的聯(lián)系
? ? ?從上面的直觀的理解，把RGB三維坐標(biāo)的中軸線立起來，并扁化，就能形成HSV的錐形模型了。
? ? ?但V與強(qiáng)度無直接關(guān)系，因?yàn)樗贿x取了RGB的一個(gè)最大分量。而RGB則能反映光照強(qiáng)度（或灰度）的變化。
? ? ?v = max(r, g, b)
? ? ?由RGB到HSV的轉(zhuǎn)換：
④.HSV色彩范圍
操作步驟
第一步：連接電路。將攝像頭與主機(jī)進(jìn)行連接。
第二步：下載文末資料中的參考程序color_experiment_ws\src\color_detection\scripts\color_test_one.py：
第三步：運(yùn)行程序并查看效果。
打開終端，輸入roslaunch color_detection color_detectioning.launch命令（見下圖）, 等待程序的運(yùn)行啟動界面。
界面啟動后，添加Image并設(shè)置其參數(shù)，設(shè)置成功后出現(xiàn)以下三幅圖像畫面。
放置物品（請把物品放置在攝像頭可以采集到的區(qū)域），然后攝像頭開始識別顏色并在界面上顯示識別結(jié)果。
下面以藍(lán)色物品為例，當(dāng)攝像頭識別到藍(lán)色物品后，在界面上顯示結(jié)果（the color is blue）。
大家也可以試著去放置紅色、綠色物品（識別結(jié)果見下面兩幅圖）。
4. 鍵盤控制運(yùn)動
實(shí)現(xiàn)思路
? ? ? 按下鍵盤上指定的鍵，實(shí)現(xiàn)底盤、大臂、小臂朝不同方向運(yùn)動。
操作步驟
? ? ? 第一步：下載文末資料中的參考程序color_experiment_ws\src\visual_recognition\arduino_program\keyboard_control_arm\keyboard_control_arm.ino：
第二步：打開終端,輸入roslaunch visual_recognition keyboard_control_arm.launch 命令（見下圖）, 等待程序的運(yùn)行啟動界面。
第三步：嘗試按下【u、o、j、l、m、.】觀察運(yùn)動，包括底盤左轉(zhuǎn)、右轉(zhuǎn)、大臂向前伸、大臂向后伸、小臂下降、小臂上升。（注意：字母均為小寫；按鍵盤時(shí)，稍微有點(diǎn)間隔，給轉(zhuǎn)動留時(shí)間）
5. 顏色識別與搬運(yùn)
實(shí)現(xiàn)思路
? ? ? 攝像頭識別不同顏色的物塊后，機(jī)械爪開始抓取把其搬運(yùn)到不同的區(qū)域。
操作步驟
第一步：連接電路（見下圖）。
第二步：下載文末資料中的參考程序color_experiment_ws\src\color_sorting\arduino_program\arm_driver\arm_driver.ino：
第三步：運(yùn)行程序并查看效果。
打開終端(Alt＋ctrl＋T)，輸入roslaunch color_sorting open_camera_and_get_ImageTopic.launch 命令即可（見下圖）。
打開第二個(gè)終端（shift＋ctrl＋T），輸入rviz命令，等待rviz界面啟動。
界面啟動后，添加Image并設(shè)置其參數(shù)，設(shè)置成功后出現(xiàn)以下三幅圖像畫面。
? ? ? 放置物品（請把物品放置在攝像頭可以采集到的區(qū)域），然后開始識別并進(jìn)行搬運(yùn)。下面以紅色物品為例，當(dāng)攝像頭識別到紅色物品后，機(jī)械爪把此物品搬運(yùn)到一側(cè)；當(dāng)攝像頭識別到藍(lán)色物品時(shí)，把藍(lán)色物品搬運(yùn)到另一側(cè)。這樣就完成了按顏色識別物品并搬運(yùn)的過程。
? ? ? 提示：顏色識別搬運(yùn)時(shí)，待識別的物品周邊盡量不要有過多的雜色，否則會誤識別顏色。
6. 顏色識別與追蹤
實(shí)現(xiàn)思路
? ? ? 攝像頭采集到物品顏色后，隨著該顏色物品的運(yùn)動而緩慢移動，實(shí)現(xiàn)追蹤效果。
器材準(zhǔn)備
? ? ? 本實(shí)驗(yàn)中需要用到的器材如下圖所示，其中鍵盤、鼠標(biāo)、紅色物品可自行準(zhǔn)備。
操作步驟
第一步：下載文末資料中的參考程序color_experiment_ws\src\color_tracking\arduino_program\color_tracking_Red_Things\color_tracking_Red_Things.ino：
第二步：打開終端(Alt＋ctrl＋T),輸入roslaunch color_tracking color_tracking_sth.launch 命令即可，見下圖。
打開第二個(gè)終端（shift＋ctrl＋T），輸入rviz命令，等待rviz界面啟動。
界面啟動后，添加Image并設(shè)置其參數(shù)，設(shè)置成功后出現(xiàn)以下三幅圖像畫面。
第三步：放置物品（請把物品放置在攝像頭可以采集到的區(qū)域），開始追蹤。下面以紅色物品為例，當(dāng)攝像頭識別到紅色物品后，隨著紅色物品的運(yùn)動緩慢移動，實(shí)現(xiàn)追蹤效果。（注意：受硬件的影響，物品的移動速度要稍微慢一些）。
7. 資料下載
資料內(nèi)容：程序源代碼
資料下載地址：桌面級機(jī)械臂-應(yīng)用設(shè)計(jì) https://www.robotway.com/h-col-259.html
