隨著經(jīng)濟(jì)的發(fā)展與科技的進(jìn)步，人們越來越多地將自動化技術(shù)應(yīng)用到生產(chǎn)與生活中，與此同時，也對自動化技術(shù)提出了更高的要求。近十年來，工業(yè)機器人的普及使得機器人自動化得到了更廣泛的應(yīng)用和關(guān)注。很多機器人系統(tǒng)已經(jīng)集成了視覺系統(tǒng)，利用機器視覺技術(shù)實現(xiàn)檢測、識別、定位等功能，為后續(xù)的機器人運動提供必要的信息。

在許多自動化應(yīng)用場合中，如自動化分揀、裝配、拆垛、碼垛、上料等過程中，工業(yè)機器人經(jīng)常被用來進(jìn)行抓取作業(yè)。要完成抓取操作，機器人系統(tǒng)可能需要完成目標(biāo)感知、運動規(guī)劃、抓取規(guī)劃等一系列任務(wù)。視覺系統(tǒng)在機器人抓取作業(yè)中的作用就是識別、定位目標(biāo)物體，為機器人提供目標(biāo)物體的類型與位姿信息。其中，位姿估計的精度關(guān)系到抓取的成功率與精度，是非常重要的技術(shù)參數(shù)。

3D視覺技術(shù)作為新興的技術(shù)領(lǐng)域還存在很多亟待解決的問題，但2D視覺已不能滿足空間抓取的應(yīng)用要求。與2D視覺相比，3D視覺技術(shù)的優(yōu)點有：

（1）3D視覺可以提供目標(biāo)物體6DOF的位姿數(shù)據(jù)，而2D視覺僅能提供平面內(nèi)3DOF的位姿數(shù)據(jù)；

（2）3D視覺能給出目標(biāo)物體的深度信息或物體表面的點云信息。

但與此同時，3D視覺技術(shù)在機器人抓取應(yīng)用中仍然面臨許多挑戰(zhàn)：

（1）點云空洞：用3D相機捕捉反光、透明、網(wǎng)狀物體表面的點云信息，經(jīng)常會出現(xiàn)數(shù)據(jù)的丟失，丟失的點云數(shù)據(jù)形成了點云空洞；

（2）點云粘連：多個物體雜亂堆放或者兩個物體表面靠近擺放時，不同物體表面的點云會粘連在一起，這就涉及到如何穩(wěn)定、準(zhǔn)確地進(jìn)行點云分割；

（3）點云密度不一致：物體表面與3D相機之間的相對位姿、物體表面的顏色均會影響點云的密度，使得目標(biāo)場景的點云密度不一致，這在一定程度上給點云處理算法帶來了困難；

（4）視野局限：有限的相機視角、遮擋和陰影效果，都會阻礙3D相機獲得抓取目標(biāo)的表面全貌，進(jìn)而阻礙對抓取目標(biāo)的識別；

（5）速度：3D視覺的原理要求其處理的數(shù)據(jù)量較大。3D相機的分辨率越高，所采集的點云質(zhì)量越好，越能表征物體表面更細(xì)微的幾何特征，但相應(yīng)地帶來的數(shù)據(jù)量就越大。為了適應(yīng)實際應(yīng)用需要，如何提高3D相機獲取目標(biāo)場景點云的速度、點云處理算法的速度仍是需要研究的課題。

此外，相機傳感器的噪聲，點云分割噪聲，光照條件的變化，物體的顏色等諸多因素都是3D視覺技術(shù)所面臨的問題。