? ? ? 機(jī)器視覺是人工智能正在快速發(fā)展的一個(gè)分支，簡單說來機(jī)器視覺就是用機(jī)器代替人眼來做測量和判斷。機(jī)器視覺系統(tǒng)是通過機(jī)器視覺產(chǎn)品（即圖像攝取裝置，分CMOS和CCD兩種）將被攝取目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動(dòng)作。

機(jī)器視覺基礎(chǔ)主要包含形狀識別、顏色檢測、顏色追蹤、二維碼識別等。

? ? ? 機(jī)器視覺系統(tǒng)最基本的特點(diǎn)就是提高生產(chǎn)的靈活性和自動(dòng)化程度，在一些不適于人工作業(yè)的危險(xiǎn)工作環(huán)境或者人工視覺難以滿足要求的場合，常用機(jī)器視覺來替代人工視覺。同時(shí)在大批量重復(fù)性工業(yè)生產(chǎn)過程中，用機(jī)器視覺檢測方法可以大大提高生產(chǎn)的效率和自動(dòng)化程度。接下來我們將結(jié)合機(jī)器視覺基礎(chǔ)，基于開源的機(jī)器人平臺，進(jìn)行形狀識別、顏色檢測、顏色追蹤的應(yīng)用開發(fā)。

1. 形狀識別-識別圓形

實(shí)現(xiàn)思路

? ? ? 利用攝像頭采集圖片信息識別圓形，在界面上顯示出圓的圓心坐標(biāo)。

器材準(zhǔn)備

? ? ? 攝像頭、紅色和綠色兩種圓形圖（如下圖所示）。

操作步驟

① 下載文末資料中的參考程序visual_experiment_ws\src\shape_detection\scripts\shape_detection_victory.py：

② 打開第一個(gè)終端（Ctrl+Alt+T）并輸入：roslaunch astra_camera astra.launch 命令（見下圖）, 等待程序的運(yùn)行。

打開第二個(gè)終端（Ctrl+Shift+T）并輸入命令：roslaunch shape_detection shape_detection_experiment.launch，等待界面的啟動(dòng)。

③ 放置待識別的圓形圖（請把物品放置在攝像頭可以采集到的區(qū)域），就可以在界面上看到識別結(jié)果。如下圖所示是分別識別出紅色圓形、綠色圓形輪廓，并顯示識別出圓心的中心坐標(biāo)x、y的值。

2. 顏色識別（紅綠藍(lán)）

實(shí)現(xiàn)思路

? ? ? 當(dāng)把物品放置在攝像頭前時(shí)，攝像頭采集到物品的顏色后，利用開源視覺庫進(jìn)行識別，然后在界面上顯示識別顏色的結(jié)果（本實(shí)驗(yàn)中準(zhǔn)備了紅、綠、藍(lán)三種物品）。

顏色識別算法的核心原理

RGB和HSV彩色模型：

? ? ? 數(shù)字圖像處理通常采用RGB（紅、綠、藍(lán)）和HSV（色調(diào)、飽和度、亮度）兩種彩色模型，RGB雖然表示比較至直觀，但R、G、B數(shù)值和色彩三屬性并沒有直接關(guān)系，模型通道并不能很好的反映出物體具體的顏色信息，而HSV模型更符合我們描述和解釋顏色的方式，使用HSV的彩色描述會(huì)更加直觀。

RGB和HSV的區(qū)別：

①. RGB模型

三維坐標(biāo)：

RGB：三原色（Red, Green, Blue）

? ? ? 原點(diǎn)到白色頂點(diǎn)的中軸線是灰度線，r、g、b三分量相等，強(qiáng)度可以由三分量的向量表示。

? ? ? 用RGB來理解色彩、深淺、明暗變化。

? ? ? 色彩變化： 三個(gè)坐標(biāo)軸RGB最大分量頂點(diǎn)與黃紫青YMC色頂點(diǎn)的連線

? ? ? 深淺變化：RGB頂點(diǎn)和CMY頂點(diǎn)到原點(diǎn)和白色頂點(diǎn)的中軸線的距離

? ? ? 明暗變化：中軸線的點(diǎn)的位置，到原點(diǎn)，就偏暗，到白色頂點(diǎn)就偏亮

②. HSV模型

倒錐形模型：

這個(gè)模型就是按色彩、深淺、明暗來描述的。

H是色彩

S是深淺， S = 0時(shí)，只有灰度

V是明暗，表示色彩的明亮程度，但與光強(qiáng)無直接聯(lián)系。

③. RGB與HSV的聯(lián)系

? ? ? 從上面的直觀的理解，把RGB三維坐標(biāo)的中軸線立起來，并扁化，就能形成HSV的錐形模型了。

? ? ? 但V與強(qiáng)度無直接關(guān)系，因?yàn)樗贿x取了RGB的一個(gè)最大分量。而RGB則能反映光照強(qiáng)度（或灰度）的變化。

? ? ? v = max(r, g, b)

? ? ? 由RGB到HSV的轉(zhuǎn)換：

④.HSV色彩范圍

操作步驟

① 連接電路：請把攝像頭與主機(jī)進(jìn)行連接。

② 下載文末資料中的參考程序visual_experiment_ws\src\color_detection\scripts\color_test_one.py：

③ 打開終端（Ctrl+Alt+T），輸入roslaunch astra_camera astra.launch（見下圖）, 等待程序的運(yùn)行。

打開第二個(gè)終端（Ctrl+Shift+T）輸入命令：roslaunch color_detection color_detectioning.launch，等待程序的運(yùn)行。

④ 界面啟動(dòng)后，放置物品（請把物品放置在攝像頭可以采集到的區(qū)域），然后攝像頭開始識別并在界面上顯示識別結(jié)果。

下面以藍(lán)色物品為例，當(dāng)攝像頭識別到藍(lán)色物品后，在界面顯示結(jié)果（the color is blue）。

? ? ? 大家也可以試著去放置紅色、綠色物品，分別識別出的結(jié)果如下圖所示。當(dāng)攝像頭識別到紅色物品后，在界面顯示結(jié)果（the color is red）；當(dāng)攝像頭識別到綠色物品后，在界面顯示結(jié)果（the color is green）。

3. 顏色追蹤

實(shí)現(xiàn)思路

? ? ? 攝像頭采集到紅色物品后，通過串口通信來發(fā)布消息，黑手底盤訂閱消息后進(jìn)行相應(yīng)的運(yùn)動(dòng)。

器材準(zhǔn)備

? ? ? 實(shí)驗(yàn)中需要用到的器材如下圖所示（其中用紅色的滅火器來代表待追蹤的物體）。

操作步驟

① 下載文末資料中Ros通信的參考程序visual_experiment_ws\src\color_tracking\scripts\ros_arduino_translation_test.py：

下載文末資料中控制黑手底盤運(yùn)動(dòng)的參考程序visual_experiment_ws\src\color_tracking\arduino_program\Color_Tracking_Arduino_Program\Color_Tracking_Arduino_Program.ino：

② 打開終端（Alt＋ctrl＋T），輸入roslaunch astra_camera astra.launch命令即可,見下圖。

打開第二個(gè)終端（shift＋ctrl＋T），輸入roslaunch color_tracking camera_calibration.launch 命令，見下圖。

③ 移動(dòng)滅火器，觀察黑手底盤跟隨滅火器運(yùn)動(dòng)的效果。

? ? ?【注意：請把滅火器放置在攝像頭可采集到的區(qū)域內(nèi)；受硬件的影響，移動(dòng)滅火器的速度建議稍微慢點(diǎn)，可以先把滅火器移動(dòng)到一個(gè)位置，然后觀察底盤追蹤的效果】

? ? ?我們可以在rviz界面里看到攝像頭采集到紅色目標(biāo)的中心坐標(biāo)及面積，供追蹤使用（如下圖所示）。

同時(shí)可以觀察到底盤進(jìn)行追蹤紅色的滅火器，直到運(yùn)動(dòng)到靠近滅火器的地方。

4. 資料下載

資料內(nèi)容：程序源代碼

資料下載地址：桌面級全向底盤-機(jī)器視覺 https://www.robotway.com/h-col-260.html