LabVIEW通過嘴唇圖像識別為殘疾人士開發(fā)文本輸入系統(tǒng)

近年來，計算機(jī)已經(jīng)成為現(xiàn)代人日常生活中的一種信息器具。人們可以使用計算機(jī)來處理復(fù)雜的文件，獲取新信息并在線購物等。但是，上面講的使用電腦的所有好處對普通人來說都很方便，殘疾人總是無法享受電腦的現(xiàn)代生活。

許多殘疾人輔助設(shè)備都是逐案設(shè)計的，如眼控鼠標(biāo)、頭控鼠標(biāo)、使用單按鈕的摩爾斯電碼文本輸入系統(tǒng)等。雖然這些輔助設(shè)備可以為使用計算機(jī)提供禁用的通信接口，但有一個共同的缺陷，即用戶必須佩戴某種輔助設(shè)備的附件。該缺陷可能會引起殘疾人的不適，他們通常長期繼續(xù)使用這些輔助設(shè)備。

為了解決上述問題，設(shè)計了一種利用數(shù)字圖像處理技術(shù)開發(fā)的輔助器件系統(tǒng)。使用輔助設(shè)備系統(tǒng)時，無需佩戴任何類型的附件。實現(xiàn)一個面部跟蹤系統(tǒng)，根據(jù)嘴唇在臉上的相對位置執(zhí)行嘴唇圖像提取。嘴張或閉嘴的狀態(tài)可以通過圖像上上唇和下唇之間的相應(yīng)垂直距離來識別。一旦檢測到口開或閉嘴的狀態(tài)，分別表示邏輯“1”或“0”，數(shù)據(jù)將通過并行端口接口傳輸?shù)侥査闺姶a文本輸入系統(tǒng)。應(yīng)用圖像識別技術(shù)檢測嘴巴張開或閉嘴的狀態(tài)，以取代我們系統(tǒng)中的機(jī)械按鈕。此外，文本輸入系統(tǒng)包括PS2鍵盤接口和RS232鼠標(biāo)接口來連接PC。因此，可以達(dá)到使用嘴唇圖像識別來控制計算機(jī)的目的。對于殘疾人來說，使用圖像識別系統(tǒng)來控制計算機(jī)會更加方便和舒適。

人臉跟蹤是預(yù)處理捕獲圖像的一個非常重要的步驟。準(zhǔn)確提取嘴唇圖像對于進(jìn)一步的嘴唇識別是必要的。必須找到一種實時面部跟蹤算法，該算法始終可以在捕獲的圖像序列中定位面部。

人臉跟蹤算法包括兩個步驟：人臉檢測和人臉驗證。前一個過程將?RGB?類型的圖像傳輸?shù)?HSL?類型的圖像。?此過程還減少了光強(qiáng)度變化的影響。接下來，使用HSL型圖像的色相和飽和度信息進(jìn)行閾值運(yùn)算，以獲得圖像序列中的膚色范圍。最后，使用了一些形態(tài)學(xué)操作，即侵蝕、擴(kuò)張和凸殼來獲得最大的膚色范圍。面部跟蹤的后一個過程包括確定執(zhí)行面部驗證的最大膚色范圍。在此階段，在最大膚色范圍內(nèi)與預(yù)定義的嘴唇圖像圖案進(jìn)行了模式匹配操作。如果嘴唇圖像區(qū)域在最大膚色范圍內(nèi)找到，則意味著此最大膚色范圍是面部。相反，則意味著范圍不是人臉，并且將放棄面部跟蹤。

根據(jù)嘴唇在一系列圖像中的相對位置來執(zhí)行嘴唇圖像提取，必須提前確定面部區(qū)域。面部和CCD相機(jī)之間的距離是可變的，因此應(yīng)更改圖像中皮膚顏色的最大范圍。為了克服這個問題，按比例定義嘴唇范圍的相對位置，以膚色的最大面積的寬度來分配嘴唇面積。

在嘴唇范圍的提取和分配過程后獲得完整的嘴唇圖像。定義并提取張開或閉上嘴時上唇和下唇之間區(qū)域的輪廓。通過測量上唇和下唇之間的深黑色范圍的方法，以識別張嘴或閉嘴的狀態(tài)。

首先，對嘴唇圖像中的膚色范圍和深黑色范圍進(jìn)行ROB多閾值運(yùn)算，然后可以得到兩個二進(jìn)制圖像，即二值化。接下來，對顯示膚色區(qū)域的二進(jìn)制圖像執(zhí)行反向操作。最后，對顯示膚色區(qū)域的二值圖像和顯示深黑色區(qū)域的二值圖像執(zhí)行邏輯AND運(yùn)算，然后可以明顯地獲得上唇和下唇之間的深黑色區(qū)域。

當(dāng)獲得上唇和下唇之間深黑色區(qū)域的輪廓時，可以識別嘴巴張開或閉嘴的狀態(tài)。定義三條直線來觀察灰度的變化。然后，記錄兩個端點(diǎn)之間的相對距離，代表與深黑色區(qū)域輪廓相交的每條直線的邊緣點(diǎn)。接下來，設(shè)置三個距離閾值。當(dāng)每條直線上兩個端點(diǎn)之間的相對距離分別大于相應(yīng)的預(yù)定義閾值時，嘴巴將被識別為嘴張開狀態(tài)。另一方面，嘴巴將被承認(rèn)為嘴閉的狀態(tài)。

?

一旦獲得了張嘴或閉嘴的信息，可以將這些信息傳輸?shù)侥査闺姶a文本輸入系統(tǒng)，以在PC上執(zhí)行文本輸入的功能。