基于圖像識別的面癱檢測技術
?
一?緒論
1.1選題的依據及意義
正確判斷患者的面癱程度和盡早采取醫(yī)療手段是至關重要的，是由于面部神經炎往往會極大困擾病人的生活和心理。很多時候，面癱并不是一個突發(fā)疾病，是有一段惡化時間的，因為有些患者一開始只是偶爾出現臉部異常不舒服，卻沒有采取重視，經過一段時間的拖延病情惡化，才想到就醫(yī)，然而已經錯過了最容易治愈的時間。本文所描述搭建的系統(tǒng)對幫助患者盡早發(fā)現疾病，盡早采取治療有極大的作用，但是由于國內外并沒有統(tǒng)一公認的面癱等級判斷系統(tǒng)，所以不同醫(yī)生所判斷的等級不盡相同多取決于主管因素，在較短的治療周期內，通過患者面部特征大夫很難精準判斷醫(yī)治效果，很大幾率會造成誤診延誤治療。并且通過建立本系統(tǒng)，不僅有利于醫(yī)生制定合理的治療方案，而且可以將系統(tǒng)給患者自己在家使用，讓患者也獲取直觀的病情分析，全程可以自己參與了解自己的病情而不是一味遵循大夫，半信半疑，也可以避免因為病人和醫(yī)生主觀判斷的差異帶來不必要的矛盾，還可以減輕醫(yī)生的心理負擔，通過電腦機械計算的數據為醫(yī)生提供判斷的理論依據，增加醫(yī)生和病患之間的信任感，減少誤會高效的交流病情，形成良性循環(huán)。
現在國內的很多醫(yī)院的臨床疾病判斷都會使用由人臉識別相關技術搭建的系統(tǒng)，目前廣泛應用的有，體型和內臟器官異常肥大癥，遺傳疾病，皮質醇增多癥。現在還有學者在研究人臉識別技術在胚胎乙醇綜合癥（Fetal alcohol syndrome，簡稱FAS），肌痛性腦脊髓炎等其他疾病。這種技術作為輔助醫(yī)生客觀判斷疾病情況和發(fā)展趨勢，使用簡單高效，是計算機行業(yè)和各行各業(yè)的完美結合的典范。
1.2國內外研究現狀及發(fā)展趨勢? ??????????????????????????
圖像識別是通過計算機對特定情況進行圖像采集處理，分析匹配目標，提取特征，訓練分類模型等步驟實現，在國內外科學家的努力下，實現了突飛猛進的變化，人們開始將這一技術應用于，醫(yī)學，農業(yè)，安防，交通，車輛領域。在這一背景之下，許多先進的醫(yī)療手段都離不開圖像識別技術的支持，小到日常的體檢如胸片，心電圖我們都可以通過自助取片獲得計算機提供的初步診斷信息，之后再找醫(yī)生問診，大到一些微創(chuàng)手術，腦部ct技術，心臟病理分析，肺結核圖像識別，糖尿病患者的視網膜圖像技術[[i]]。
這些年醫(yī)學界學者為了達到一個能獲得大家共識的面癱等級系統(tǒng)做了很多的設想與研究，目前可以查到的國外關于判斷面癱等級的論文提出二十多種方法，其中運用比較廣泛的有：多倫多面部評分系統(tǒng)（TFGS），面神經功能指數（FNFI），HB系統(tǒng)等。國內于05年06年，中國中西醫(yī)結合會以及中華醫(yī)學會分別草擬了關于面癱等級評定的標準，但是沒有得到廣泛應用。之后華山醫(yī)院自行研發(fā)了一套面癱等級判斷系統(tǒng)（HFGS），經過測試該系統(tǒng)具有好的效率和可信度，包含了一切的面部神經分支，對每個分支分成若干小項目，有詳細的檢測方案，在華山醫(yī)院得到初步的推廣[[ii]]。
?結合上面的分析，目前國內外有很多種面癱等級評定系統(tǒng)，但是都是各有優(yōu)劣，所以搭建一個高效，同意，精準的面癱等級評定系統(tǒng)仍需要深入研究。
1.3本課題研究內容與技術路線
實現攝像頭實時采集用戶人臉照片；完成臉部鼻尖、眼角、嘴角、人中等幾個關鍵位置的特征識別和動態(tài)標注；根據特征點的坐標位置，計算左右特征點相對中心線的對稱性，給出對稱性評價結果。完成算法和軟硬件系統(tǒng)，實現不少于50人的測試報告。
二??面癱等級劃分
2.1認識面癱
面神經麻痹（面癱）是一種以面神經損傷引起的面神經功能障礙為特征的常見疾病，會導致患者面部表情功能障礙。 面癱患者常見癥狀是嘴巴眼睛歪斜，當患者患病嚴重的時候會嚴重影響正常生活，喪失閉眼睛，挑眉毛，微笑等功能[[1]]。導致面神經麻痹的原因有很多，但是目前醫(yī)學界還沒查明具體的發(fā)病原因。 ?遺傳理論、病毒起源理論、免疫學理論、風濕病學理論、血液輸送理論、血管壓迫理論等，是目前研究者所公認的幾種致病理論[[2]]。面神經麻痹炎依據發(fā)病位置的區(qū)別可以分成中央性和周圍性面癱[[3]]。前者一般臉部不會出現表情功能障礙，只是有可能會嘴角歪向一邊，后者會出現肌肉癱瘓，嚴重影響生活，挑眉無力，眼睛不能緊閉，嘴角一邊歪斜，無法正常做出表情，做微笑表情時只有健康的一邊能用力，長時間的患病會得病人帶來生理和心理上的傷害，影響全身的血液循環(huán)系統(tǒng)，阻礙人的正常社交，無法和他人正常交流出現口吃含糊不清的病癥。
2.2現有的面癱等級的判斷方法
B面癱等級判斷系統(tǒng)在1984年得到面神經疾病委員會的認可，這個系統(tǒng)通過觀察患者做出閉眼，咧嘴，鼓腮幫，皺鼻子，抬眉毛時候的五官肌肉牽連運動程度，將面癱分為六個等級，但是級別之間的區(qū)分界限較為含糊， 可用性不高。仍需改進。Yanagihara面癱評定系統(tǒng)(YFGS)[[4]]通過采集患者的十面部運動狀態(tài)來打分，每一種表情四分總四十分，包括靜止，擠眉毛，微笑，閉上嘴角，輕微閉眼等等。溫度數據可視化判斷面癱等級方法[[5]]當人患上面癱之后，臉部的肌肉喪失全部或者部分功能之后，會出現血流運輸狀態(tài)異常，臉部肌肉溫度范圍在紅外光下呈現的臉部左右不對稱，可以通過描繪某方向上的肌肉溫度直方圖，達到視覺觀察面癱嚴重程度的效果。華山醫(yī)院面癱等級判斷(Huashan facialgrading system,HFGS)通過檢測面部6個神經分支，其中的5個分支通過2-3個小的檢查項目構成。并且研究者為每個檢查項目提供了打分依據，如閉眼的打分標準就是：上下眼瞼距離大于等于3毫米則5分，2到3毫米之間4分，0到2毫米3分。
三?邊緣檢測
3.1邊緣檢測基本原理
通常生產生活中所要提取的邊沿就是圖片樣本中的發(fā)生變化包括信息最多的地方。邊沿提取檢測的目標就是：找到具有階躍變化或者屋頂變化的像素點的集合。
因為邊沿是像素灰度改變最激烈的部位，所以最直白的方式就是對該點求導數。針對圖3-1所表達的信息：一階導數的最大值處為邊沿，二階導數取值是零的點為邊沿。針對圖3-2展示的信息：一階導數的取值為0的是邊緣點，二階導數取最大值處的點是邊沿。
??????
圖3-1 階躍變化????????????? 圖3-2 屋頂變化
邊緣檢測的一般步驟：
1. 過濾，邊緣檢測算法主要基于圖像強度的一重和第二重導數，但通常結果對噪聲很敏感，所以過濾器必須被用來改善邊緣檢測器性能。如：噪聲相關的檢測器。所述公眾常用的過濾方法主要包括高斯濾波，其實就是離散的高斯函數用于產生一組歸一化的高斯核，然后使用Gaussian函數將圖像的灰度矩陣的每個點被加權并求和。
2. 增強，使邊沿更加明顯的辦法就是計算出圖片樣本中所有點在它的附近區(qū)域內像素改變的激烈程度。該算法采取加強某些點的方法：在它的附近區(qū)域內灰度值出現劇烈變化的點。在實際使用時，它可以通過計算梯度改變量來確定。
3. 檢測，很多時候經過第二步操作的圖像，通常有些點的附近區(qū)域有很多點的梯度改變量很大 ，但是某些場合此類點并不是真正的邊緣點，因此我們必須采取一些方法來排除這些點，實際應用的時候經常采取高低閾值的策略來篩選。????
3.2常見邊緣檢測算子
3.2.1 一階微分算子：Sobel
Sobel算子是一個離散微分算子，其被用于計算圖像的灰度級的大致梯度。索布爾算法功能集高斯平滑和求導數為一體，也被稱為一階微分算子，和導數算子。通過水平和垂直方向上獲得圖像X的方向和Y方向梯度圖像。具體地理解索貝爾算法，要確定哪些是邊緣：它是其中像素值跳躍的地方，是圖像的顯著特征之一，并且在圖像特征提取，目標檢測，模式識別等領域發(fā)揮重要的影響力。怎么獲取圖像邊緣：給要獲得邊緣的區(qū)域做微分計算，Δf（x）越大，說明像素在X方向變化越大，邊緣信號越強。因此sobel算法的計算方法是，在圖像x方向和y方向上移動，采用三乘以三的模板，對應的提取同樣大小樣本內九個像素，并進行卷積計算，從而計算出該方向上邊緣變化的最大值。但是求幅值有多種選擇，一般地，水平和垂直方向，或其它角度，根據具體條件進行選擇。
Sobel算子檢測方法對一些特殊的圖片（如很多灰色梯度和噪聲）有很好的效果。Sobel算子是不準確的邊緣定位。在圖像的邊緣處的像素點（如圖3-3）往往多于一個。當對提取邊沿準確度需求不高的時候，sobel算子是一種比較常見的邊緣檢測方法。
圖3-3 sobel邊沿檢測
3.2.2 二階微分算子：Laplance
拉普拉斯算法很容易受到噪聲的干擾，因此一般不用這個算法提取邊緣，多用于推斷區(qū)分圖片的亮暗區(qū)。他是通過求二重導的方法提取信息，他相比別的算子的好處就是不具有方向性，不同朝向獲取的邊沿信息是同等重要的；失去任何朝向上的知識都會導致提取的邊沿中斷，但是此方法可以對所有方向的邊沿檢測做補償操作使圖像變得更加清晰邊沿不容易受到中斷的影響。
3.2.3 非微分邊緣檢測算子：Canny算法
該算法是一個特殊的手段。通過捕獲來自于各式各樣的圖像的多方面有效的信息資訊，達到降低操作過程中需要額外處置計算的信息，加快算法速度，如今大面積的在各行各業(yè)圖像處理流程中使用。它的發(fā)明者在實驗中探索得出，不管在什么場合只要需要捕獲邊沿，需求基本都差不多，所以他總結了一些可以概括所有邊沿捕獲需求的準則，邊緣檢測的一般標準[[i]]包括：
1. 算法要能最大努力地提取邊沿，含義就是不能漏檢或者誤檢任何邊沿。
2. 檢測到的邊緣應精確定位在真實邊緣的中心。
圖像中給定的邊緣應只被標記一次，并且在可能的情況下，圖像的噪聲不應產生假的邊緣。
Canny算法是如今頻繁使用的邊沿捕獲算子，它是經過前人苛刻實驗計算得出，能達到非常有效精準的邊沿捕獲效果。并且因為它能達到上文的三個準則，并且計算步驟容易耗時少，所以是現在時興的算法之一。
Canny邊緣檢測算法可以分為以下幾個步驟：
通過運用Gaussian濾波器，達到模糊和消除噪聲的作用。
由于想要最大限度的降低噪聲對邊緣提取效率的干擾，因此要采取策略來降低或者排除噪聲從而降低錯誤概率。所以我們采用Gaussian濾波器做卷積計算來達到模糊圖像的作用，從而降低邊緣檢測器因為噪聲產生錯誤的判斷。Gaussian濾波器的濾波核一般是奇數*奇數（最小為3）。假如圖像有一個區(qū)域B大小是三乘以三，要進行平滑操作的點是e，那么經過處理之后，e的像素值將變?yōu)椋?/p>
上面的公式(1)需要深入探究的是，怎么取合適的卷積核，取值的大小會直接影響canny 算法的檢測效果。取值越大，雖然受到的干擾越小，但是確定邊緣位置的準確率也會下降，經過實驗統(tǒng)計結果表明通常五乘以五是會得到比較好的結果。圖3-4分別為濾波核為3*3和7*7的效果圖。
圖3-5 高斯濾波核3*3和7*7
2. 可以從圖像的所有方向提取邊緣，所以Canny算子使用四個不同的方法在圖像中選取檢測水平，垂直和對角三個方向的邊緣。返回在水平和縱方向一階微分的值，通過這一步計算出圖中某一點的梯度和方向。該測試中選擇的是索貝爾算子來推導出梯度和方向。
?3. 應用非最大結果約束，來削弱因為邊緣檢測而伴隨的無關影響。非最大約束是邊緣稀疏技術，并且他是針對“薄”側起效果的。如果只是依賴于對圖像求梯度然后根據梯度的變化來提取邊緣視覺效果還是很不清楚精確的。對于標準3：應該只具有對一條邊緣的唯一精確反應這條要求并不是僅僅通過第二個步驟就可以達到的，通過本步驟能有效地把局部極大點出外的其他點的梯度值改成0。
對圖中所有的點采取這一步，具體步驟是：
(1) 把目前計算的點的水平向左和水平向右方向梯度的2者像素作為參照。
(2) 假設正在計算的點比參照點的像素梯度更大，那么此點劃入邊緣范疇，相反就把此點約束。很多時候會采取更加準確的方法：在倆個參照點中采取線性插入像素值獲取真正作為基準的比較對象。
(3) 施加雙閾值檢驗如圖3-5和3-6從而提取切實可靠并且隱藏的邊沿。
????????
????????
?? 圖3-6 canny算法低閾值??????? 圖3-7 canny高閾值效果圖
4. 將非最大結果的像素點約束之后，剩余的點可更切實地呈現圖像本質邊沿。但是，依舊留有因為噪聲和色彩改變導致的部分邊沿像素。要達到處理這些零散反響的目的，不妨采納選取高低界限的方法：假設邊沿像素變化值比最高界限更小，除此之外比最小界面大，那么把他記錄成Weak Edge，假設邊沿像素變化量比最小的界限還要小，那么他會被約束去除。上下界限的設定依賴于索要檢測圖片的具體情況。但是他的閾值不具備自適應功能需要根據情況進行選擇，因此后來很多人對canny算法做了許多改進[[ii]]。
5. 經過上述步驟約束單獨的弱邊緣，可以明確的邊緣是被認定成強邊緣的像素點集，是由于它們是圖像真實邊緣的子集合。但是，弱邊緣是否是我們所需要提取的邊緣還有待考證，原因是他們的組成可能是確切 的邊緣也可能是由于噪聲變化或者顏色變化導致的。所以要提取確鑿邊緣，需要禁止出現因為噪聲和顏色產生的邊緣。一般地，因為噪聲和顏色改變引起的邊緣不會連接到真實邊緣上。我們采取觀察弱邊緣和他周圍八個相鄰的像素值的方法來確定邊緣的連接，但凡八個點中有一個點的像素是強邊緣的，即可將其劃入準確邊的范疇。
3.3本章小結
綜上分析，以及實驗結果截圖可得：sobel算法邊緣提取精度不是很高，邊緣有很多額外的像素點，然而他運用在噪聲繁雜圖片上功效很好。Laplance算子在噪聲繁雜的圖片上處理效果很差。但是提取的界線將明暗區(qū)劃分的很好，最后盡管canny算子已經是得到效果比較好的檢測算法了，但還是有其不足之處[[iii]]比如:
(1) 在收集圖像之后我們要進行預處理，進行高斯濾波的時候需要認為選擇高斯濾波核大小的選擇，選擇不當時可能造成濾除噪聲和邊緣信息提取二者不能達到好的效果。
(2) 因為canny算法選擇的高斯濾波，不能去除椒鹽噪聲和 脈沖噪聲等，所以邊緣很多是噪聲。
(3) canny算法第四個步驟使用雙閾值來確定精準邊緣，在不同使用場合下，采集的圖片受光照，亮度，對比度的影響，需要不斷變化設置的閾值，不具備自適應功能，處理繁瑣，不貼和實際應用，會獲取偽邊緣[[iv]]。
四? 改進邊緣檢測算法
4.1自適應調節(jié)
實驗中發(fā)現在不同場合下采集的圖片具有不同的亮度和對比度，這些都會影響邊緣檢測的效果（如圖4.1光線強、4.2光線暗）當光線好，會檢測出更多線條，當光較暗，提取的線條相對較少。也可以解釋為光線不好的時候圖片細節(jié)丟失嚴重，會導致提取邊沿和特征點確定等方面的誤差。
4.1.1調節(jié)亮度對比度
通常情況下，圖片操作算子是一種函數：有一個或多個參數，即可以傳進去一或者多張圖片進行操作，最后產生經過變化的新圖片。這里的變化包括很多種，此處介紹倆種：點變化，用于調整圖片的對比度和亮度 ，領域變化，用于給圖片做濾波等各種卷積運算。前者的常見操作有對圖片中的每個像素點做算術運算：常用倆個變量和改變圖片的亮度對比度，分別叫做增益和偏置。結果見圖4-1。
圖4-1 調整亮度對比度前后變化
4.1.2空間濾波器
?正常的濾波器通常由領域和對其范圍內像素操作變化構成。前者是因為一般的操作計算對象都是某一長方形范圍內的像素，后者是因為濾波操作通常就是，對長方形區(qū)域內那些點進行一些特殊的變換步驟，將變換以后的像素值作為該點的新結果，輸出完全不同的一張圖片，一般來說，它的別名或者說簡稱是核，模板。依照那些變化的步驟，它可以被化成倆個類型：線性的，或者非線性的。依照不同的照片上的過濾器的最終效果，它通常又被區(qū)分成：平滑的或者銳化的，
前者一般的作用就是使圖片變得模糊，減少噪聲干擾，后者則是為了讓圖片的邊沿更加清楚增加灰度變化的位置。
常見的最簡單非線性的有Median Filter如圖4-3 ，它的操作過程就把某點長方形區(qū)域內所有點的像素取出，其中處于中位數上的值作為該點的新的像素值。其目的一般是為了減少這一點的像素和灰度大小和它周圍區(qū)域的點差距，以達到減少孤立噪聲的目的，所以此方法可以高效地避免椒鹽噪聲干擾。除此之外，它不僅能用于避免噪聲，還可以較高限度的幫助圖片維護完整的邊沿內容，而不像那種采用平均法的濾波器那樣導致圖片失真。但是它仍存在一些缺點，比如很容易因為操作矩形大小的選擇不當產生不好的效果，當矩形選的相對小的時候，輸出圖片的細節(jié)還原度很高，然而不必要的噪聲干擾也被保留下來了。但是，假設矩形區(qū)域設定的大一些，雖然能高效的避免噪聲干擾可是輸出的圖片會出現不同程度的失真。而且，通過結合它的原理我們可以知道，假設，這個矩形區(qū)域之中的噪聲數量比構成該區(qū)域圖片的點的數量還多，那么它的最終操作功效 就不會那么令人滿意。那么可以采取擴大進行濾波操作矩形區(qū)域的范圍，盡管這個方法可以略微地改善噪聲過多帶來的影響，然而會導致圖片的效果失真。一般情況下，依照過往前人的實驗總結，只要噪點產生數量小于全圖片像素點數量的0.2倍的時候，該濾波器的操作結果還是很適用的。然而，假設圖片質量不行有非常多噪點，普通操作則沒有用處了。
因此結合上文的分析可以在進行噪聲過濾的時候，依照具體操作區(qū)域的實際情況，隨時調整核的大小，再進行噪點排除，假設按照規(guī)則此點是噪點，那么選取該區(qū)域所有點的像素的中位數作為替換結果。這種具有自調節(jié)功能的濾波器可以達到消滅椒鹽，和除此之外的各種非脈沖噪聲，并且因為可以隨時調整窗口大小所以在收集信息方面更好提取出的邊沿不會特別模糊或者很輕。
4.1.3自適應中值濾波算法描述
自調整過濾器不僅僅可以消滅出現次數很多的脈沖噪聲，此外它在收集樣本細小環(huán)節(jié)的知識方面能力更強，以上都是它獨特的優(yōu)勢所在。它和普通過濾器的共同點就是必須有一個長方形的操作區(qū)域，即核，而二者區(qū)別在于，它的核在操作的時候會隨著所滑動到的區(qū)域的具體情況而變化，正如3.2.3節(jié)所介紹的當高斯濾波選取不同的核大小效果是不一樣的，此處也是一樣的意義。
詳細介紹此算法應該使用以下幾個標識：
：橫坐標為x縱坐標為y的點的灰度大小
：操作范圍中的最小灰度
：操作范圍內的處于中位數的灰度
：可以操作范圍的最大面積
：噪聲過濾的操作范圍，xy是該矩形區(qū)域正中位置的橫坐標和縱坐標
首先第一步的目標是判斷所選操作范圍內提取出的像素灰度是的點是不是噪點，假設符合的大小處于和之間，那么這個點就不是噪點。排除一些少見的可能，比如的大小和或的大小相等，那么這個點就是噪點，需要增加長方形操作區(qū)域的面積，在新的操作范圍提取出一個不是噪點的點。如果經過倆步操作之后還是找不到不是噪點的，那么就把灰度為的點輸出。
下一步即鑒定坐標為（x，y）的點是不是噪點，鑒定方法和上述相同，就是把替換成然后進行計算。如果最終鑒定結果是噪點，則采用替換這一點的方法過濾，否則保留該點情況，最終結果如圖4-5。
圖4-2 加上椒鹽噪聲???????????????????? 圖4-3 中值濾波
??? 圖4-4 高斯濾波??????????????? 圖4-5 自適應中值濾波
4.1.4直方圖均衡化
? 直方圖均衡化又稱直方圖平坦化,它是把圖片所有的像素點按照位置排放在橫軸上，并作非線性拉伸，以達到使圖片上任意灰度值所對應的出現次數大致相同，最終輸出的圖片的直方圖相比之前，出現頻率較多的像素值變成了很多出現次數均勻變化的一系列點。如圖4-8所示。???????????
圖像直方圖是指圖像的所有像素值處于（0-255）中的灰度等級出現的次數進行累加的數量，并且相應地生成的直方圖。直方圖（圖4-6）反映圖像的灰度級的分布特性。而圖4-7反映灰度大小和它在圖片中出現次數的直接關系，x坐標軸代表的是灰度大小，y坐標軸代表對應灰度在圖片中出現的數量（即像素的數量），其全部坐標系統(tǒng)描述了圖像的灰度級的分布，從而使圖像的灰度分布特性可以看到的，也就是說，如果大多數像素都集中在低灰度區(qū)中，圖像被呈現。
?
?圖4-8就是操作樣本的直方圖經過均衡化之后的結果，原來的結果是有明顯的高峰和低谷而修改之后就變化成了一個平滑的沒有特別明顯突起的曲線，它的原理就是讓圖片經過變化之后不同灰度值出現的次數大致相同，因此有些點的灰度大小被放大，所以視覺上出現對比度增強的效果圖4-9。
4.1.5圖像融合
基于上述的sobel和canny的結果圖對比可發(fā)現二者均具有有平滑功[[i]]，但又各具特色，在噪聲方面canny去噪效果好sobel雖然對噪聲敏感但是可以抑制，canny在提取邊緣方面視覺上連接效果更好邊緣很精確完整但是邊緣很細沒有強弱的對比，sobel提取的邊緣具有明確的方向性而且有強弱之分但是視覺上不是很準確?；诙叩奶厣梢远哌M行圖像混合融合二者各自的優(yōu)缺點。
?
4.2本章小結
結合上述提到的若干種方法，我們均可在系統(tǒng)內看到直觀的視覺效果：由圖4-10和圖4-11可確定的確在光線暗的時候圖像細節(jié)丟失較多，而亮的時候圖片細節(jié)又過多了，很多信息過于繁雜會導致最終的人臉識別效果下降。圖4-12和圖4-13是改變canny算法的參數閾值而達到的效果，雖然本章為了避免重復介紹canny算法的工作原理并未提及這一方法，但是結合圖4-10和4-11，以及圖3-5和3-6可知通過調整閾值可以顯著的改變邊沿對細節(jié)方面的描繪，閾值小保留的細節(jié)越多，因此在光線亮的時候增大閾值可以排除不必要的細節(jié)內容，光線暗的時候減小閾值，盡最大可能的保留細節(jié)信息也可以達到自適應的目標。如圖4-13，很明顯邊緣丟失嚴重應該把閾值調整為20。接下來圖4-14就是調整亮度對比度和進行直方圖操作圖4-15的結果，可以發(fā)現經過直方圖均衡化之后一些比較強的線條被明顯加粗了，但是一些比較輕的線條都被過濾了，因為結合該算法的工作原理可知該算法是直接通過修改圖像的像素值使像素值出現次數分布均勻實現的，因此某些出現次數少的像素點會被削弱直接弱化，該方法能有效地對強邊緣加強，代價是也會導致一些細節(jié)丟失，具有倆面性，但是可以通過調節(jié)canny算法的閾值彌補這一缺點。至于直接調整圖片亮度從圖4-14可見盲目的直接調整圖片本身的亮度和對比度會真正的造成細節(jié)丟失，所以亮度對圖片細節(jié)保留的影響指的并不是圖片本身的亮度，而可能是外界光等其他因素造成的，
?
?五?人臉檢測
在經過上面步驟之后我們就獲取到了一個盡可能精確的人臉邊緣圖像，接下來我們在進行關鍵點獲取之前我們需要提取出圖像的人臉部分。目前常用的方法有基于harr特征的級聯分類器，基于lbp的級聯分類器，使用dlib庫等方法。
5.1 Lbp或haar特征的級聯分類器
Lbp還被命名為局部二值模式，把中點像素值當成參照，它周圍像素點大于取1小于取0，以二進制形式輸出則得到了該中心像素點的局部二值特征，局部二值特征可以得到圖像的點，線，邊緣，角點，平坦區(qū)等特征，lbp具有尺度不變性，旋轉不變性，
Haar特征具有高類間變異性，即每個特征之間差別很大，低類間變異性，同樣的特征檢測出來結果基本是吻合的，局部強度差，空間光照旋轉不變性，計算效率高。Haar特征檢測人臉，可以在人臉上選定k個特征然后在n個區(qū)域內進行比對。其中haar特征是浮點數計算，lbp是整數計算，所以前者的速度慢幾倍，但是相同樣本數據下haar訓練出的數據檢測結果比lbp更準確，lbp要達到相同的效果需要更多的樣本數據。
級聯分類器的原理[[i]]：通過大量的正負圖片樣本數據訓練分類器，具有訓練慢，檢測快的特點，每一個特征為一個弱分類器，多個弱分類器構成強分類器，弱分類器可以用決策樹（如圖5-1）來構造，將提取到的特征與分類器的特征進行逐個比較，從而確定該特征是不是歸屬為一個人的臉部。強分類其實就是第一步讓每個弱分類表決，下一步把表決則通過依照不同分類器失誤判斷的可能性大小選取權重，按權重作求和操作，結尾，把不作權重求和的結果，即只采用求均值的結果作為參照，做出最后的判斷。
5.2 DLIB人臉檢測?
雖然opencv自帶的haar和lbp數據模型常用于人臉檢測中而且效果更好，但是本系統(tǒng)采用dlib這個目前很常用的c++庫包，含有許多關于機器學習的工具接口，在獲取人臉關鍵點的方面上準確率高速度快，而且opencv在檢測人臉的時候一旦獲取的臉部圖像是不是正對面獲取的朝向不對就可能檢測不出人臉，而dlib很少出現這種情況。因為這個方法采取了級聯回歸的策略，第一步收集大量經過特殊處理，尺寸大小一致背景一致的人的照片當作訓練數據樣本，下一步訓練獲得數據模型。在我們輸入一張照片時，dlib會通過它庫內的檢測器，調用官方訓練出來的數據模型，進行匹配，并且把提取到的人臉rets返回，并且調用庫接口在返回值上操作面部重要68點標注，然后把68個點的位置信息存在一個參數內，用戶可以直接通過此參數了解各個的坐標位置。通過shape即可獲得68個特征點（圖5.2）。
六?面癱等級計算
6.1獲取圖像數據?
本系統(tǒng)通過使用電腦攝像頭采集照片，使用visual c++2015做開發(fā)工具，通過videocapture調用攝像頭對患者進行實時采取圖像，一定要在嚴格的環(huán)境下進行采集如：
(1) 采集的照片必須是患者的全臉并且左右對稱盡可能的清晰。
(2) 采集不同表情的時候需要在同一光源下，光源最好自然均勻分布。目前面癱等級的判斷主要依靠醫(yī)生的主觀判斷目前還沒有一種公認的判斷方法，但是根據面癱的臨床特征我們可以知道人在患上面癱之后，不能完全閉上眼睛，不能正常的咧嘴微笑，鼓起腮幫子的時候無法閉上嘴巴，挑起眉毛的時候只能有一邊抬起，甚至靜止的時候就能看出臉部歪斜，基于這些特征，結合前一步提取的特征點我們可以做一些計算，區(qū)分面癱等級。
6.2垂直距離法（14點）
根據上文提到的面癱患者的外部表情特征，通過給五官進行68點的標注，獲取人臉特征點坐標，我們先選取七對特征點，可以選區(qū)左右眼睛和眉毛的最高點的y坐標計算，正常人能同時以相同幅度挑起眉毛，所以y坐標差值是一樣的，而患者左右眉眼y軸差值肯定不一致，并且差值越大患病越嚴重。針對患者不能同時咧開左右嘴角微笑，可以選區(qū)左右外嘴角點（左：48右：56），然后和不管做什么表情都不會變化的內眼角點的y坐標做差值。依據患者無法完全閉合患病一側眼睛的特點，選取左右眼睛的上下眼瞼特征點（左：38 42? 右：44 45）做差值，相比另一側能閉上的眼睛，患病測的一定更大。患者在做出撅嘴擠鼻子的表情的時候，由于患病側由于肌肉無力，鼻子外側無法有效抬起與眼睛內眼角的距離會更遠，以此作比較。最后有些患病嚴重的病人，在靜止狀態(tài)下可能就會出現明顯口角歪斜，通過網絡收集圖片可見，大部分嚴重患者會出現外嘴角的嚴重偏移，所以可以記錄左右側的外嘴角和一般都不會變化的內眼角的y軸坐標計算差值，進行比較。最后收集五組差值，根據醫(yī)生臨床經驗選擇每組差值在參與等級計算的時候所需要占的權重。本系統(tǒng)采用做均值計算。
七?結論
隨著人們生活步伐的加快，人們的生活作息遠不如過去健康，面癱已經成為一種比較常見的疾病，面癱的發(fā)病時間與人的年齡無關，無論兒童還是年長者，均會有發(fā)病案例。并且如今的中年人生活壓力大，要處理的事務繁雜，長期處于較為辛苦的狀態(tài)，因此尤其容易患病。特別是現在的青年人喜歡運動之后，或者同齡人之間聚餐暴飲暴食，大量飲酒之后對著風口或者空調極易導致發(fā)病。面癱患者不受年齡限制，從小孩子到老年人，都有可能得病。現在青壯年工作較緊張，熬夜等不良生活習慣造成過度勞累，更增加了患面癱的幾率。大汗、喝酒后狂吹空調、風扇是年輕人夏季患面癱的最大誘因。所以開發(fā)一個能方便快捷檢測面癱等級的系統(tǒng)是很有必要的，隨著研究的深入使用者的回饋，該系統(tǒng)也會得到不斷地完善。
本課題采用基于opencv的人臉識別技術來建立面癱識別系統(tǒng)，以面癱患者的面部不對稱程度為理論依據。人臉識別技術進行醫(yī)學診斷的方案為:?拍攝受試者照片→自動或半自動設置標志點→提取面部特征?數?據?→?與已知模式比較并歸類[7]。預期通過face_landmarks、opencv的函數庫得到人臉特征點list，假設每個人臉是一個字典，包括nose_bridge、right_eyebrow、right_eye、chine、left_eyebrow、bottom_lip、nose_tip、top_lip、left_eye幾個部分，每個部分包含若干個特征點(x,y)，總共有68個特征點，從中截取至少五個特征點，使用基于對稱軸的方法或者對稱軸和距離差值的方法[1]，來比較患者面部五官的不對稱程度來對面癱程度進行分析。?
本研究已初步被驗證，用于面癱等疾病的輔助診斷。通過提取患者臉部特定標志點的位置數據，分析患者臉部數據信息可以得出肉眼難以識別的發(fā)展趨勢，對病情做及時的判斷。人臉識別技術在醫(yī)學診斷上的應用，可以減少疾病延遲診斷、醫(yī)療資源不足的問題，有望日后用于疾病的早期篩查、提高臨床診斷效力，為臨床工作者提供醫(yī)學診斷的新視角。?
