原創(chuàng) | 文 BFT機器人

01?機器人視覺的概念

在智能制造過程中，通過傳統(tǒng)的編程來執(zhí)行某一特定動作的機器人（機械手、機械手臂、機械臂等，未作特殊說明時，不作嚴格區(qū)分，統(tǒng)一稱為機器人），將難以滿足制造業(yè)向前發(fā)展的需求。

很多應(yīng)用場合下，需要為工業(yè)機器人安裝一雙眼睛，即機器視覺成像感知系統(tǒng)，使機器人具備識別、分析、處理等更高級的功能。

這在高度自動化的大規(guī)模生產(chǎn)中非常重要，只有當工業(yè)機器人具有視覺成像感知系統(tǒng)，具備觀察目標場景的能力時，才能正確地對目標場景的狀態(tài)進行判斷與分析，做到智能化靈活地自行解決發(fā)生的問題。在工業(yè)應(yīng)用領(lǐng)域，最具有代表性的機器人視覺系統(tǒng)就是機器人手眼系統(tǒng)。根據(jù)成像單元安裝方式不同，機器人手眼系統(tǒng)分為兩類：固定成像單元眼看手系統(tǒng)（Eye-to-Hand）和隨動成像單元眼在手系統(tǒng)（Eye-in-Hand or Hand-Eye）。

在Eye-to-Hand系統(tǒng)中，視覺成像單元安裝在機器人本體外的固定位置，在機器人工作過程中不隨機器人一起運動，當機器人或目標運動到機械臂可操作的范圍時，機械臂在視覺感知信息的反饋控制下，向目標移動，對目標進行精準操控。Eye-to-Hand系統(tǒng)的優(yōu)點是具有全局視場，標定與控制簡單、抗震性能好、姿態(tài)估計穩(wěn)定等，但也存在分辨率低、容易產(chǎn)生遮擋問題等缺點。

在Eye-in-Hand系統(tǒng)中，成像單元安裝在機器人手臂末端，隨機器人一起運動。Eye-in-Hand系統(tǒng)常用在有限視場內(nèi)操控目標，不會像 Eye-to-Hand系統(tǒng)那樣產(chǎn)生機械臂遮擋成像視場問題，空間分辨率高，對于基于圖像的視覺控制，成像單元模型參數(shù)的標定誤差可以被有效地克服，對標定的精度要求不高。

圖：兩種機器人手眼系統(tǒng)的結(jié)構(gòu)形式（ａ）眼在手機器人系統(tǒng)（ｂ）眼看手機器人系統(tǒng)

有些應(yīng)用場合，為了更好地發(fā)揮機器人手眼系統(tǒng)的性能，充分利用 Eye-to-Hand系統(tǒng)全局視場和Eye-in-Hand局部視場高分辨率和高精度的性能，可采用兩者混合協(xié)同模式。

利用 Eye-to-Hand系統(tǒng)負責(zé)機器人的定位，利用Eye-in-Hand系統(tǒng)負責(zé)機器人的定向；或者利用 Eye-to-Hand計機器人相對目標的方位，利用 Eye-in-Hand負責(zé)目標姿態(tài)的高精度估計等。

圖：機器人協(xié)同視覺系統(tǒng)原理

02?機器人視覺發(fā)展路徑：從2D到3D

視覺成像最初是從二維（2D）圖像處理與理解，即2D視覺成像發(fā)展起來的。

2D視覺技術(shù)主要根據(jù)灰度或彩色圖像中的像素灰度特征獲取目標中的有用信息，以及基于輪廓的圖案匹配驅(qū)動，識別物體的紋理、形狀、位置、尺寸和方向等。2D視覺技術(shù)距今已發(fā)展了30余年，在自動化和產(chǎn)品質(zhì)量控制過程中得到廣泛應(yīng)用，目前技術(shù)較為成熟，主要用于字符與條碼識讀、標簽驗證、形狀與位置測量、表面特征檢測等。

2D視覺技術(shù)難以實現(xiàn)三維高精度測量與定位，二維形狀測量的一致性和穩(wěn)定性也較差，易受照明條件等影響。

尤其當前智能制造技術(shù)對機器人視覺性能的要求越來越高，2D機器視覺技術(shù)的局限性已經(jīng)顯現(xiàn)，機器人視覺系統(tǒng)集成商已經(jīng)發(fā)現(xiàn)越來越難以通過2D機器視覺系統(tǒng)來增值，迫切需要發(fā)展三維（3D）視覺技術(shù)，因為3D視覺技術(shù)能夠產(chǎn)生2D視覺無法產(chǎn)生的形狀或深度信息，因此使用范圍更廣。

當前，機器人視覺成像技術(shù)及系統(tǒng)正越來越廣泛地應(yīng)用于視覺測量、檢測、識別、引導(dǎo)和自動化裝配領(lǐng)域中。

雖然很多機器人具備一定程度的智能化，但還遠未達到人類所需的智能化程度，一個重要原因是機器人視覺感知系統(tǒng)中還有許多科學(xué)問題、關(guān)鍵應(yīng)用技術(shù)問題等，仍亟待解決。如：

１）如何使機器人像人那樣，對客觀世界的三維場景進行感知、識別和理解；

２）哪些三維視覺感知原理可以對場景目標進行快速和高精度的三維測量，并且基于該原理的三維視覺傳感器具有小體積、低成本，方便嵌入到機器人系統(tǒng)中；

３）基于三維視覺系統(tǒng)獲得的三維場景目標信息，如何有效地自組織自身的識別算法，準確、實時地識別出目標；

４）如何通過視覺感知和自學(xué)習(xí)算法，使機器人像人那樣具有自主適應(yīng)環(huán)境的能力，自動地完成人類賦予的任務(wù)等。

03?機器人3D視覺方案

3D視覺是機器人感知的最先進、最重要的方法，可以分為光學(xué)和非光學(xué)成像方法。目前應(yīng)用最多的方法是光學(xué)方法，包括：飛行時間法、結(jié)構(gòu)光法、激光掃描法、莫爾條紋法、激光散斑法、干涉法、照相測量法、激光跟蹤法、從運動獲得形狀、從陰影獲得形狀，以及其他的 Shape from X等。本次介紹幾種典型方案。

1.飛行時間3D成像

飛行時間（TOF）相機的每個像素利用光飛行的時間差來獲取物體的深度。

直接TOF（D-TOF）是經(jīng)典的TOF測量方法，探測器系統(tǒng)在發(fā)射光脈沖的同時啟動探測接收單元進行計時，當探測器接收到目標發(fā)出的光回波時，探測器直接存儲往返時間，目標距離可以通過簡單公式計算：z=0.5*c*t，c是光速，t是光飛行時間。D-TOF通常用于單點測距系統(tǒng)，為了實現(xiàn)面積范圍3D成像，通常需要采用掃描技術(shù)。無掃描 TOF三維成像技術(shù)直到近幾年才實現(xiàn)，因為在像素級實現(xiàn)亞納秒電子計時是非常困難的。

間接TOF（I-TOF）與D-TOF不同，時間往返行程是從光強度的時間選通測量中間接外推獲得的。I-TOF不需要精確的計時，而是采用時間選通光子計數(shù)器或電荷積分器，它們可以在像素級實現(xiàn)。I-TOF是目前基于 TOF相機的電子和光混合器的商用化解決方案。

圖：TOF成像原理

TOF成像可用于大視野、遠距離、低精度、低成本的3D圖像采集。其特點是：檢測速度快、視野范圍較大、工作距離遠、價格便宜，但精度低，易受環(huán)境光的干擾。

2.掃描3D成像

掃描3D成像方法可分為掃描測距、主動三角法、色散共焦法等。

掃描測距是利用一條準直光束通過一維測距掃描整個目標表面實現(xiàn)3D測量。典型掃描測距方法有：

1）單點飛行時間法，如連續(xù)波頻率調(diào)制（FM-CW）測距、脈沖測距（激光雷達）等；

２）激光散射干涉法，如基于多波長干涉、全息干涉、白光干涉、散斑干涉等原理的干涉儀；

３）共焦法，如色散共焦、自聚焦等。單點測距掃描3D方法中，單點飛行時間法適合遠距離掃描，測量精度較低，一般在毫米量級。

其他幾種單點掃描方法有：單點激光干涉法、共焦法和單點激光主動三角法，測量精度較高，但前者對環(huán)境要求高；線掃描精度適中，效率高。比較適合于機械手臂末端執(zhí)行3D測量的應(yīng)是主動激光三角法和色散共焦法。

主動三角法是基于三角測量原理，利用準直光束、一條或多條平面光束掃描目標表面完成3D測量的。光束常采用以下方式獲得：激光準直、圓柱或二次曲面柱形棱角擴束，非相干光（如白光、LED光源）通過小孔、狹縫（光柵）投影或相干光衍射等。主動三角法可分為三種類型：單點掃描、單線掃描和多線掃描。如圖，從左至右依次是單點掃描、單線掃描和多線掃描。

圖：主動三角法掃描成像

色散共焦法可以掃描測量粗糙和光滑的不透明和透明物體，如反射鏡面、透明玻璃面等，目前在手機蓋板三維檢測等領(lǐng)域廣受歡迎。色散共焦掃描有三種類型：單點一維絕對測距掃描、多點陣列掃描和連續(xù)線掃描，下圖分別列出了絕對測距和連續(xù)線掃描兩類示例，其中連續(xù)線掃描也是一種陣列掃描，只是陣列的點陣更多、更密集。

圖：兩種色散共焦單點測距方法（ａ）基于小孔和分光鏡的結(jié)構(gòu)；（ｂ）基于Ｙ型光纖分光的結(jié)構(gòu)

圖：兩種色散共焦線掃描成像方案（ａ）色散共焦顯微鏡；（ｂ）色散共焦三角法

掃描3D成像的最大優(yōu)點是測量精度高，其中色散共焦法還有其他方法難以比擬的優(yōu)點，即非常適合測量透明物體、高反與光滑表面的物體。

但缺點是速度慢、效率低；當用于機械手臂末端時，可實現(xiàn)高精度3D測量，但不適合機械手臂實時3D引導(dǎo)與定位，因此應(yīng)用場合有限；另外主動三角掃描在測量復(fù)雜結(jié)構(gòu)形貌時容易產(chǎn)生遮擋，需要通過合理規(guī)劃末端路徑與姿態(tài)來解決。

3.結(jié)構(gòu)光投影3D成像

結(jié)構(gòu)光投影三維成像目前是機器人3D視覺感知的主要方式，結(jié)構(gòu)光成像系統(tǒng)是由若干個投影儀和相機組成，常用的結(jié)構(gòu)形式有：單投影儀-單相機、單投影儀-雙相機、單投影儀-多相機、單相機-雙投影儀和單相機-多投影儀等典型結(jié)構(gòu)形式。

結(jié)構(gòu)光投影三維成像的基本工作原理是：投影儀向目標物體投射特定的結(jié)構(gòu)光照明圖案，由相機攝取被目標調(diào)制后的圖像，再通過圖像處理和視覺模型求出目標物體的三維信息。根據(jù)結(jié)構(gòu)光投影次數(shù)劃分，結(jié)構(gòu)光投影三維成像可以分成單次投影3D和多次投影3D方法。

單次投影結(jié)構(gòu)光主要采用空間復(fù)用編碼和頻率復(fù)用編碼形式實現(xiàn)，目前在機器人手眼系統(tǒng)應(yīng)用中，對于三維測量精度要求不高的場合，如碼垛、拆垛、三維抓取等，比較受歡迎的是投射偽隨機斑點獲得目標三維信息，其3D成像原理如圖。

圖：單次投影結(jié)構(gòu)光3D成像原理

多次投影結(jié)構(gòu)光主要采用時間復(fù)用編碼方式實現(xiàn)。條紋投影3D成像基本原理如圖，利用計算機生成結(jié)構(gòu)光圖案或用特殊的光學(xué)裝置產(chǎn)生結(jié)構(gòu)光，經(jīng)過光學(xué)投影系統(tǒng)投射至被測物體表面，然后采用圖像獲取設(shè)備（如CCD或 CMOS相機）采集被物體表面調(diào)制后發(fā)生變形的結(jié)構(gòu)光圖像，利用圖像處理算法計算圖像中每個像素點與物體輪廓上點的一一對應(yīng)關(guān)系；最后通過系統(tǒng)結(jié)構(gòu)模型及其標定技術(shù)，計算得到被測物體的三維輪廓信息。在實際應(yīng)用中，常采用格雷碼投影、正弦相移條紋投影或格雷碼＋正弦相移混合投影3D技術(shù)。

圖：多次投影3D成像（a）多次投影3D系統(tǒng)機構(gòu)示意圖；（ｂ）二進制格雷碼投影3D基本原理；（ｃ）二進制格雷碼＋正弦相移混合編碼投影3D

偏折法成像：對于粗糙表面，結(jié)構(gòu)光可以直接投射到物體表面進行視覺成像測量；但對于大反射率光滑表面和鏡面物體3D測量，結(jié)構(gòu)光投影不能直接投射到被測表面，3D測量還需要借助鏡面偏折技術(shù)。

圖：偏折法成像原理

4.立體視覺3D成像

立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu)，一般情況下是指從不同的視點獲取兩幅或多幅圖像重構(gòu)目標物體3D結(jié)構(gòu)或深度信息。

目前立體視覺3D可以通過單目視覺、雙目視覺、多（目）視覺、光場3D成像（電子復(fù)眼或陣列相機）實現(xiàn)。

單目視覺深度感知線索通常有：透視、焦距差異、多視覺成像、覆蓋、陰影、運動視差等。在機器人視覺里還可以用鏡像，以及其他shape from X等方法實現(xiàn)。

雙目視覺深度感知視覺線索有：眼睛的收斂位置和雙目視差。在機器視覺里利用兩個相機從兩個視點對同一個目標場景獲取兩個視點圖像，再計算兩個視點圖像中同名點的視差獲得目標場景的3D深度信息。典型的雙目立體視覺計算過程包含下面四個步驟：圖像畸變矯正、立體圖像對校正、圖像配準和三角法重投影視差圖計算。

圖：雙目立體視覺系統(tǒng)與計算過程示意圖

多（目）視覺成像，也稱多視點立體成像，用單個或多個相機從多個視點獲取同一個目標場景的多幅圖像，重構(gòu)目標場景的三維信息。多視點立體成像主要用于下列幾種場景：

１）使用多個相機從不同視點，獲取同一個目標場景多幅圖像，然后基于特征的立體重構(gòu)等算法求取場景深度和空間結(jié)構(gòu)信息；

2）從運動恢復(fù)形狀的技術(shù)。使用同一相機在其內(nèi)參數(shù)不變的條件下，從不同視點獲取多幅圖像，重構(gòu)目標場景的三維信息。該技術(shù)常用于跟蹤目標場景中大量的控制點，連續(xù)恢復(fù)場景的3D結(jié)構(gòu)信息、相機的姿態(tài)和位置。

光場3D成像的原理與傳統(tǒng)CCD和CMOS相機成像原理在結(jié)構(gòu)原理上有所差異，傳統(tǒng)相機成像是光線穿過鏡頭在后續(xù)的成像平面上直接成像，一般是2D圖像。光場相機的優(yōu)點是：單個相機可以進行3D成像，橫向和深度方向的空間分辨率可以達到20μｍ到ｍｍ 量級，景深比普通相機大好幾倍，比較適合Eye-in-Hand系統(tǒng)3D測量與引導(dǎo)，但目前精度適中的商業(yè)化光場相機價格昂貴。

圖：光場相機成像與傳統(tǒng)相機成像對比（a）傳統(tǒng)相機成像原理；（ｂ）光場相機結(jié)構(gòu)與成像原理

編輯：BFT機器人

??

更多精彩內(nèi)容請關(guān)注公眾號：BFT機器人

本文為原創(chuàng)文章，版權(quán)歸BFT機器人所有，如需轉(zhuǎn)載請與我們聯(lián)系。若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，將及時回應(yīng)。