表情分析中嘴形的計算機識別方法研究

陸 玉，張 華

(阜陽職業技術學院，安徽 阜陽 236031)

大量實踐研究證明，人的心理狀態以及情緒往往可以通過臉部表情展現出來[1]。尤其在自然狀態下，人的臉部表情往往高度真實地反應了人的內心世界，表情分析具備非常突出的心理研究價值。同時，從情緒測量的角度上來看，以臉部表情分析為工具評價人的情緒狀態具有非接觸性測量的特點，對于被測試對象而言，心理壓力較小，往往能夠獲得更為精確的測定結果。在臉部表情分析中，又以嘴形分析所得到的結果最為直接與精準，權重最大且變化量最大，但由于其形態多樣、復雜，邊界不明確，因而在計算機識別中存在一定的難度[2]?；诖?，擬針對一種嘴形計算機識別方法進行探討。

1 嘴形模型

圖1 六曲線嘴部形態模型效果圖

對所提取臉部圖像進行定位、正則旋轉、以及規格化縮放等基礎處理后，確定臉部各個部件所對應區域，然后給出六曲線嘴部形態模型，效果圖如圖1所示。結合圖1，定義規則如下：LA為上唇外線，LB為上唇內線，LC為下唇內線，LD為下唇外線，LE為左側嘴角線，LF為右側嘴角線。在此基礎之上以LA與LD、LA與LF、LA與LE為基準建立各條曲線所對應的預定義坐標系，并對LB、LC、LD、LE、以及LF曲線進行多項式擬合處理。

2 計算機識別

2.1 均衡亮度

將嘴部區域圖像紅層、綠層、藍層圖像矩陣分別定義為R、G、B，矩陣當中分別含有r、g、b元素，同時有rm=max{R}，則可以對各層矩陣進行強度變化處理，生成與之相對應的R′、G′、B′矩陣，該矩陣中所對應的元素分別表示如下式(1)～(3)所示：

r′(i,j)=rm

(1)

g′(r,j)=rm*g(i,j)/r(i,j)

(2)

b′(r,j)=rm*b(i,j)/r(i,j)

(3)

均衡亮度算法基于最大R值對矩陣強度進行調整，操作簡單快捷，經算法處理后能夠使圖像左右兩側強度達到基本均衡的狀態。

2.2 二值化

在對嘴唇部位像素進行處理的過程中，B值多數情況下高于G值，這一特征與HSV色彩表達方式是相互契合的。因此，在針對彩色圖像進行灰度處理以及二值化加工的過程當中，可以嘗試融合HSV表述方法[3]。將灰度圖像定義為Y，閾值為t，經加工處理后二值化圖像定義為BW，臨時灰度圖像分別表述為y1，y2，嘴唇部位圖像寬度定義為W，圖像高度定義為H，則可得到有關臨時灰度圖像的關系式，如下式(4)～(6)所示：

y1(i,j)=2g′(i,j)-b′(i,g)

(4)

(5)

(6)

在此基礎之上，以方差為目標，通過圖像增強以及類間方差最大分割處理的方式，以閾值t為基礎，對所上每一步步驟中所生成灰度圖像進行二值化處理，定義bw(i，j)可以用下式(7)進行表示：

bw(i,j)={1 (y(i,j)≥t)

0 (y(i,j)

(7)

2.3 唇部外形輪廓初定

對前一步驟中經過二值化處理的灰度圖像進行八方向連通性檢測，將最大聯通區域邊緣設置為唇形外輪廓初定值。在此過程中，將八方向聯通區域像素集合設定為Si，有Si(i=1,2，…，n)，同時聯通集合中元素個數被定義為Ni，有Ni(i=1,2，…，n)，同時假設Nj>Ni，同時滿足(i=1,2，…，n，i≠j)。在此基礎之上可以賦予上唇外線以及下唇外線初值，此過程可以用下式(8)～(9)描述：

1ai=INF(1,2,…,W)

(8)

1di=-INF(1,2,…,W)

(9)

2.4 上唇外線精細化

在初步設定唇部外形輪廓后，可以將膚色值設定為新閾值，并對灰度圖像進行再次二值化處理，以達到精細化上唇外線輪廓的目的。將新閾值設定為t′(t′=(ts+tl)/2)，上唇膚色均值用ts描述，唇色均值用tl描述，則可以按照下式(10)～(11)進行處理：

(10)

(11)

上唇外線適用于本方法進行精細化處理。但對于下唇外線，考慮到嘴唇下方陰影區域面積較大，陰影部分灰階與嘴唇灰階相接近，因此不適用于本方法，還需通過其他措施進行精細化處理。

2.5 牙齒包絡處理

在嘴部輪廓處理以及特征提取的過程當中，若存在牙齒組織，則提取難度是比較低的[4]。通?？梢詫D像進行求反處理，將直方圖第一峰值作為閾值，對灰度圖像進行二值化處理，然后通過檢查八方向連通性關系的方式，生成與該連通區域所對應的像素集合，并將其定義為Si，有Si(i=1,2，...，n)，同時聯通集合中元素個數被定義為Ni，有Ni(i=1,2，...，n)。在求牙齒像素集合的過程當中，分析是否存在某個特定區域(將該區域假定為Sk)滿足Ni≥W*H/200，同時在區域Sk當中存在四個點位，分別將其定義為(x1，y1)、(x2，y2)、(x3、y3)、(x4、y4)，在確認符合如下式(12)所示關系的情況下，可將該區域Sk定義為牙齒像素集合區域，即完成對牙齒包絡的處理[5]。在此環節中需要特別注意的一點是，在嘴部輪廓處理過程當中，牙齒上、下包絡線不一定呈連續性狀態，且不一定為嘴唇內線，可能因含牙齦區域而對輪廓提取效果產生一定影響。

x1≤ii,x2≥ii,y3≤ji,y4≤ji(?(ii,ji)∈Sk)

(12)

2.6 嘴唇內輪廓線確定

(13)

2.7 下唇外線精細化處理

考慮到嘴唇下部陰影區域較大的特殊情況，若按照上唇外線精化方法直接對膚色閾值進行設定預處理，容易將下方陰影區域一并納入下唇分析范疇中，因此需要對精細化處理方法進行改進。在對下唇內輪廓線進行提取的基礎之上，假定下唇內線與下唇外線間存在一條豎直狀態剖線且過點xb，并且對該豎直線做ε個像素的延長處理，同時假定對于該豎直線而言，含像素點n個，則按照灰度處理的原則，可以將其序列集描述為{pmi}，同時有i=1，2，…，n。在此基礎之上對該垂直剖線進行平滑處理，將垂直剖線最后一個強度低谷后的最大梯度位置設定為下唇內輪廓線點。

2.8 嘴角線

在此基礎之上，分別對上唇內線、下唇內線以及下唇外線進行多項式曲線擬合處理，將下唇內線與下唇外線相交位置外側唇線設置為左右兩側嘴角線，同時以交點中間部分為下唇寬度?？紤]到嘴角線對圖像提取結果的影響，第一次曲線擬合處理所生成下唇寬度可能存在一定誤差，因此可以通過反復多次操作的方式將寬度內部值作為最終生成結果，確保最終結果逼近穩定狀態，最終識別結果如下圖(見圖2)所示。

圖2 嘴角線識別結果示意圖

3 結語

本文上述分析中嘗試提出了一種基于六曲線嘴唇形態模型的計算機識別方法，分別從均衡亮度、二值化、唇部外形輪廓初定、上唇外線精細化、牙齒包絡處理、嘴唇內輪廓線確定、下唇外線精細化處理、以及嘴角線處理等這幾個方向入手，對表情分析中嘴形的計算機識別方法及其操作步驟進行逐一分析與研究，所構建模型、各曲線提取方法對不同嘴形可表現出良好的魯棒性，唇形曲線識別結果基本與人工視覺理解結果一致，多項式曲線將單純的嘴形圖像轉變為多項式系數值以及曲線長度值，實現了對特征的提取與量化。同時，通過上述處理所提取特征參數不但能夠準確反映嘴形開閉程度，嘴角趨向，還能夠從上下唇空間比，高寬比等多個方面入手準確描述嘴形狀態，為表情分析提供可靠且全面的數據支持，值得引起業內人士的關注與重視。