弱光照環境下人臉表情圖像識別方法研究

(四川城市職業學院，四川 達縣 635000)

弱光照環境下人臉表情圖像識別方法研究

謝亮

(四川城市職業學院，四川達縣635000)

對弱光照環境下人臉表情圖像進行識別，可以更好地對人類的情感進行分類，有利于人類在現實社會中的溝通；當前方法利用提取人臉表情圖像的一維特征完成對弱光照環境下人臉表情圖像的識別，該方法無法對人臉表情圖像進行詳細地描述，導致人臉表情圖像在識別時經常出現識別精度低、速度慢的問題；為此，提出一種基于BP神經網絡的弱光照環境下人臉表情圖像識別方法；該方法首先利用自相似性對帶有噪聲的圖像進行圖像區域劃分，并依據統計學習獲得線性空間，通過對空間的投影獲得不含噪聲的人臉表情圖像區域向量，將人臉表情圖像進行重組，得到去噪后的圖像，然后利用Cabor變換對人臉表情圖像特征進行提取，采用AdaBoost對弱分類器以及人臉表情圖像樣本進行訓練，并通過多次弱分類器的迭代，得到最終的人臉表情圖像強分類器，完成對弱光照環境下人臉表情圖像的識別；實驗結果證明，所提方法可以提高人臉表情圖像的識別準確率，加快識別速度，為該領域的研究發展提供強有力依據。

弱光照；人臉表情；圖像識別

0 引言

如今，人臉表情是人類交流的主要途徑之一[1]，它包含著異常豐富的個人感情。隨著人工智能以及模式識別的不斷發展，人臉表情的識別受到了社會各個領域的關注，在人機交互中有著重要的地位[2]。從而使弱光照環境下人臉表情圖像的識別成為該領域的研究熱點和難點[3]。多數弱光照環境下人臉表情圖像識別方法無法對人臉表情圖像進行準確、快速地識別，導致人臉表情在識別時，存在識別誤差大、抗干擾能力弱，對人臉表情圖像的局部和總體特征描述不夠充分的問題[4]。在這種情況下，如何準確地對弱光照環境下人臉表情圖像進行識別，成為當前迫切需要解決的問題[5]。而基于BP神經網絡的弱光照環境下人臉表情圖像識別方法，可以對弱光照環境下人臉表情圖像進行低誤差、快速穩定地識別，是解決上述問題的可靠途徑[6]。由于人臉表情圖像識別已經漸漸深入人們的生活，自然成為了當前專家學者在圖像識別領域的必研課題，同時也研究出很多好方法[7]。

文獻[8]提出一種基于SVM的弱光照環境下人臉表情圖像識別方法。該方法首先通過積分投影來確定人眼中心位置，并依據人眼中心位置的坐標，對人臉表情圖像進行預處理，利用直方圖均衡化對人臉表情圖像補光，減少圖像間的灰度差異。結合主分量分析與Fisher線性判別方法，進一步減少特征維數以及訓練特征空間，這樣獲得的特征不僅可以提高人臉表情識別的速度，更易于對人臉表情圖像的分類。最后將全部表情圖像投影至特征空間。該方法雖然簡單，但是對人臉表情圖像的識別精度低。文獻[9]提出一種基于流形學習的弱光照環境下人臉表情圖像識別方法。該方法首先在國內外海量文獻以及書籍的基礎上，對人臉表情圖像識別的背景、應用領域和研究價值與國內外的研究現狀進行闡述。對人臉表情識別系統所涉及到的各步驟，和如今依據的主流識別方法進行全面綜述。為人臉表情圖像識別技術分析與探討打下基礎。然后，對每一幅將要進行識別的人臉表情圖像進行預處理，依據人臉顏色在YCbCr空間概率的分布特征以及對應膚色的高斯模型特性，利用一種膚色高斯模型對人臉表情圖像進行檢測。最后與彈性模板結合，計算出待測表情圖像和表情圖像數據庫中，表情相似度，通過該相似度，利用K近鄰人臉表情圖像分類策略實現人臉表情圖像的識別。該方法對人臉表情圖像識別的誤差低，但是通用性不強。文獻[10]提出了一種基于關鍵塊空間分布的弱光照環境下人臉表情圖像識別方法。該方法首先在傳統的人臉表情圖像識別基礎上，增加圖像關鍵塊的空間分布信息，從而提高識別準確率，提取出表情圖像的濾波特征，然后利用人臉表情圖像的訓練樣本根據向量量化法，訓練規定長度的碼書，采用碼書把訓練的樣本圖像進行編碼，使編碼成索引矩陣，獲得人臉表情圖像索引分布，最后，將表情圖像編碼獲取的索引矩陣和濾波特征一起作為人臉表情圖像特征，應用于人臉表情圖像的識別。該方法人臉表情圖像識別率高，但是運行過程繁瑣。

針對上述產生的問題，提出一種基于BP神經網絡的弱光照環境下人臉表情圖像識別方法。仿真實驗證明，所提方法可以準確地對弱光照環境下人臉表情圖像進行識別。

1 基于圖像差分法的人臉表情圖像識別方法

在弱光環境下人臉表情圖像識別過程中，首先對靜態人臉表情圖像特征提取的方法進行了討論，其次利用差值圖獲取人臉表情圖像的特征點，最后通過圖像的特征點擬合找出圖像特征區域的變化。以下是對弱光環境下人臉表情圖像識別的詳細步驟。

將采集得到的人臉表情圖像進行處理，提取出可以反映出表情特征變化的區域，例如嘴巴，眼眉等。對要進行識別的表情圖像進行去噪，完成尺度與幾何歸一化等操作。對人臉表情圖像區域特征進行手動提取，并進行幾何歸一化為256*256個像素大小。對獲取的圖像進行差分操作，獲得二值化圖像，在二值化圖像中搜索眼眉區域。

利用積分投影的方式對二值化圖像上半部分投影，假設圖像中各個點的像素為B(j,l)，圖像的大小為Q×O，那么垂直投影的積分函數為：

(1)

水平投影的積分函數為：

(2)

通過垂直與水平積分投影圖像，去除部分噪聲對圖像的影響，通過投影圖像能夠找到眉眼區域。

因為人臉表情主要和眉毛有關，因此著重比較中性人臉表情中眉毛的特征與笑臉表情中的眉毛特征。至此只需分析人臉的眉毛變化規律就可以確定人臉表情。

2 基于BP神經網絡的人臉表情圖像識別方法

2.1 人臉表情圖像增強

要提高弱光照環境下人臉表情圖像的識別準確率，必須先對人臉表情圖像進行去噪處理。本文利用自相似性完成對人臉表情圖像的去噪，具體過程如下。假設將人臉表情圖像設定為數字圖像，則數字圖像可以表示為信號與噪聲的疊加：

u0(x,y)=uf(x,y)+un(x,y)

(3)

其中，u0(x,y)代表有噪聲的人臉表情圖像，uf(x,y)代表沒有噪聲的人臉表情圖像，un(x,y)代表加性噪聲，此處假設un(x,y)是高斯白噪。

因為人臉表情圖像主要是由物體的反射光構成，所以將不含噪聲的人臉表情圖像分解成光照強度與物體表面反射頻率之間的乘積：

uf(x,y)=s(x,y)r(x,y)

(4)

其中，s(x,y)代表光照的分布，r(x,y)代表物體表面的反射率。通常情況下，光照強度為一個低頻信號，在某一個局部可將其視為常數。r(x,y)是由物體表面的紋理決定的，因為同一個物體不同的局部擁有相同的紋理，在人臉表情圖像中也經常會有很多個比較相似的物體，因此r(x,y)有重復性，即在人臉表情圖像不同的局部，會出現相同的r(x,y)。

利用P(x,y)代表以(x,y)為中心，且包含m×m個圖像像素的局部區域，該局部區域無噪聲圖像可用m2維的向量If(x,y)來表示。假設人臉表情圖像中P(x1,y1)和P(x2,y2)具有相同紋理，即這兩個局部對應的r相同，那么根據式(4)可得：

(5)

由上式可知，有相同紋理的人臉表情圖像區域對應的向量位于一個子空間。

利用式(5)，一個包含噪聲的人臉表情圖像向量可表示為：

I0(x,y)=If(x,y)+In(x,y)

(6)

其中，I0(x,y)代表有噪聲的人臉表情圖像向量，In(x,y)代表噪聲向量，因為un(x,y)是高斯白噪，因此In(x,y)為m2維的高斯噪聲，而且各維獨立分布。在獲得圖像的觀測樣本I0(x,y)之后，就能夠利用統計學習法來估計各子空間Si以及其所屬的樣本，假設圖像中某一個位置的向量If(x1,y1)∈Si，因為In(x1,y1)各維具有無關性，所以I0(x1,y1)?Si。將I0(x1,y1)投影至Si中，可獲得If(x1,y1)的估計值Id(x1,y1)，利用Id(x1,y1)組建新表情圖像，就可以達到理想的去噪效果，從而增強弱光照環境下人臉表情圖像的亮度。

2.2 人臉表情圖像特征提取

以2.1中各項數據為基礎，利用Cabor變換對人臉表情圖像特征進行提取。Cabor變換具有良好的空間局部性與方向選擇性，可以抓住人臉表情圖像局部區域中數個方向的空間頻率與局部結構特征。由此Cabor分解可看成一個對圖像特征提取尺度具有方向性的顯微鏡。

(7)

將核函數定義成一個用高斯包絡函數所約束的平面波：

(8)

k=(kvcosφu,kvsinφu)

(9)

2.3 人臉表情圖像分類

依據上述的圖像去噪以及圖像的特征提取結果，利用AdaBoost對人臉表情圖像進行分類。AdaBoost主要是在同一訓練集中訓練出不同弱分類器，是為了提高人臉表情圖像的識別準確度。具體過程如下。

(1)假設，有N個人臉表情圖像樣本：(p1,q1)，(p2,q2)，......，(pN,qN)，其中，pi∈R代表人臉表情圖像樣本，qi∈T={-1,+1}代表圖像類別的標記，當qi=-1時，代表非人臉表情樣本，qi=1時，代表為人臉表情樣本，i代表分量；

(2)N個概率分布的初始化權重為DI(i)=1/N；

(3)取循環t=1,…,A；

(4)依據概率分布D，訓練弱學習器；

(5)利用下式計算弱分類器ht:R→{-1,+1}的分類誤差：

εt=Pri～Dt[ht(pi)≠qi]

(10)

依據下式更新概率分布：

(11)

其中，zt代表歸一化系數，Dt+1(i)代表概率分布；

(6)利用下式獲得最強人臉表情圖像分類器：

(12)

對于上述分類中AdaBoost算法的步驟，選取一組弱分類器與N個人臉表情圖像訓練樣本，經過訓練后從中抽出A個弱分類器組建一個強分類器。取權值相當的N個樣本完成AdaBoost算法的初始化，在訓練的過程中，隨著迭代的進行對權值做出相應的調整，通過多次弱分類器的迭代，可以輸出最終的人臉表情圖像強分類器。

3 仿真實驗結果與分析

為證明基于BP神經網絡的弱光照環境下人臉表情圖像識別方法的可行性，需要進行一次仿真實驗。在WindowsXP環境下搭建弱光照環境下人臉表情圖像識別實驗仿真平臺。實驗數據取自于JAFFE女性人臉表情圖像數據庫，測試樣本為150幅人臉表情圖像，利用本文所提方法對實驗數據進行識別，觀察本文所提方法的整體有效性。表1是不同方法人臉各種表情圖像識別率(%)的對比。下面給出了識別率(%)計算公式。

(13)

表1 不同方法人臉各種表情圖像識別率的對比

厭惡80.382.694.5由表1可知，文獻[8]所提方法對于這6種人臉表情圖像的識別總體情況良好，但是對驚訝表情的識別與文獻[9]所提方法以及本文方法相比較低，文獻[8]所提方法通過積分投影來確定人眼中心位置，并依據人眼中心位置的坐標，對人臉表情圖像進行預處理的過程中沒有設置具體指標來控制人眼中心位置的變化，導致個別表情的識別率較低。本文所提方法利用對圖像的去噪，特征提取以及分類完成人臉表情圖像的準確識別，提高了識別精度。上述對比證明了本文所提方法具有較高的可行性與通用性。表2是不同方法人臉表情圖像識別所用時間(s)對比。

表2 不同方法人臉表情圖像識別所用時間對比

由表2可知，本文所提方法人臉表情圖像識別時間明顯少于文獻所提方法。文獻[9]所提方法依據人臉顏色在YCbCr空間概率的分布特征以及對應膚色的高斯模型特性，并利用一種膚色高斯模型對人臉表情圖像進行檢測這一步驟延緩了圖像的識別時間，導致圖像識別時間較長。文獻[10]所提方法利用人臉表情圖像的訓練樣本根據向量量化法，訓練規定長度的碼書，采用碼書把訓練樣本圖像進行編碼，使編碼成索引矩陣，獲得人臉表情圖像索引分布的過程所用時間較長，使文獻[10]所提方法圖像識別所用時間較長。本文所提方法利用AdaBoost對人臉表情圖像進行分類，加快了圖像識別速度，減少了圖像識別時間。圖1是不同方法圖像去噪效果對比。

分析圖1得知，文獻[8]所提方法與文獻[10]所提方法圖像去噪的效果，要比本文所提方法的圖像去噪效果差。主要是因為本文方法采用的是自相似性對人臉表情圖像進行去噪，該方法增強了弱光照環境下人臉表情圖像的亮度，使圖像

圖1 不同方法圖像去噪效果對比

的去噪效果更明顯。說明了本文所提方法具有良好的可實踐性。圖2是不同方法人臉表情圖像分類時間(s)對比。

圖2 不同方法人臉表情圖像分類時間對比

分析圖2，文獻所提方法人臉表情圖像分類時間普遍較長。本文所提方法利用AdaBoost對弱分類器和人臉表情圖像樣本進行訓練。在訓練過程中，隨著迭代計算的進行對權值做出相應的調整，通過多次弱分類器迭代，輸出最終人臉表情圖像強分類器，減少圖像分類時間，提高圖像識別效率，進一步證明本文所提方法的實用性。

4 結束語

采用當前方法對弱光照環境下人臉表情圖像進行識別時，存在識別精度低、速度慢的問題。提出一種基于BP神經網絡的弱光照環境下人臉表情圖像識別方法。并通過仿真實驗證明，所提方法可以準確地對弱光照環境下人臉表情圖像進行識別，具有良好的借鑒價值，成為該領域研究發展的風向標。

[1] 聶 玲.一種用于人臉識別的仿射包集識別模型仿真[J].計算機仿真,2016,33(10):395-398.

[2]馬 琦,馬蔚鵬,劉 彥,等.基于支持向量機的圖像飛機目標自動識別算法研究[J].計算機測量與控制,2014,22(9):2851-2852.

[3]郭 超,劉 燁.多色彩空間下的巖石圖像識別研究[J].科學技術與工程,2014,14(18):247-251.

[4]賈延明,潘 亞.河南地區秸稈焚燒空氣污染區域的圖像識別算法研究[J].科技通報,2017,33(2):109-112.

[5]夏海英,徐魯輝.基于主動形狀模型差分紋理和局部方向模式特征融合的人臉表情識別[J].計算機應用,2015,35(3):783-786.

[6]劉 洋,韓廣良,史春蕾.基于SIFT算法的多表情人臉識別[J].液晶與顯示,2016,31(12):1156-1160.

[7]柳露艷,王直杰.光照不均人臉圖像的子空間人臉識別方法研究[J].電視技術,2014,38(15):217-221.

[8]胡昭華,趙孝磊,徐玉偉,等.一種新的低秩分塊稀疏表示的人臉識別算法[J].數據采集與處理,2015,30(5):1109-1120.

[9]廖延娜,馬 超.基于稀疏表示的人臉識別系統設計與實現[J].電子設計工程,2016,24(17):153-155.

[10]袁 姮,王志宏,姜文濤.剛性區域特征點的3維人臉識別[J].中國圖象圖形學報,2017,22(1):49-57.

ImageRecognitionMethodofFacialExpressioninWeakLightEnvironment

Xie Liang

(Sichuan Urban Vocational College,Daxian 635000,China)

The recognition of facial expressions in weak light environment can be used to classify the emotions of human beings, which is conducive to the communication of human beings in the real world. Current method used to extract the facial expression features complete facial expression under the weak light environment image recognition, the method can't describe in detail the facial expression image, lead to facial expression image often appear in identifying low identification precision, the problem of slow speed. This paper presents an image recognition method based on the weak light environment of BP neural network. This method firstly using the self-similarity of image region partition of the image with noise and linear space and on the basis of statistical learning, gain without noise of space projection facial expression vector of image region, the facial expression image restructuring, after denoising image, then use Cabor transform to extract facial expression image characteristics, finally uses the AdaBoost to weak classifier and facial expression image training samples, and through times of weak classifier iteration, get the final facial expression image classifier, complete the facial expression of the image recognition in weak light environment. The experimental results show that the proposed method can improve the recognition of facial expression image accuracy, speed up the recognition, the research in the field development provides a strong basis.

weak light;facial expressions; image recognition

2017-05-06；

2017-05-23。

謝 亮(1980-)，男，四川達縣人，碩士研究生，講師，主要從事計算機應用方向的研究。

1671-4598(2017)09-0234-03

10.16526/j.cnki.11-4762/tp.2017.09.060

TP391

A