基于改進的主成分分析法的礦工表情識別

杜云 張璐璐 潘濤

摘要：針對傳統(tǒng)的礦工面部表情識別方法中對礦工面部表情進行特征提取的時間較慢且識別準確率不高的問題，以主成分分析法為基礎(chǔ)，運用Fisher線性判別法對傳統(tǒng)的主成分分析法進行改進。首先在主成分分析法的基礎(chǔ)上增加一個類間離散矩陣，使其投影后不同類別之間特征點的距離更大，同一類別之間特征點的距離更加緊湊，對礦工面部表情圖像特征提取的結(jié)果更具有代表性和針對性;然后運用徑向基神經(jīng)網(wǎng)絡(luò)將低維非線性可分的礦工面部表情圖像對應(yīng)的特征矩陣映射到高維空間并使其線性可分，從而實現(xiàn)對礦工面部表情的識別和分類。實驗結(jié)果表明，所提出的方法對礦工面部表情識別的識別率為89.0%，優(yōu)于傳統(tǒng)礦工面部表情分類識別算法，在礦井安全監(jiān)控、疲勞駕駛等領(lǐng)域有較好的應(yīng)用前景。

關(guān)鍵詞：計算機圖像處理;礦工表情識別;主成分分析法;Fisher線性判別法;徑向基神經(jīng)網(wǎng)絡(luò)

中圖分類號：TD76文獻標志碼：A

DU Yun， ZHANG Lulu， PAN Tao.Miner expression recognition based on improved principal component analysis[J].Journal of Hebei University of Science and Technology，2019，40（1）：45-50.Miner expression recognition based on improved principal

component analysis

DU Yun1， ZHANG Lulu1， PAN Tao2

（1. School of Electrical Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China; 2.Shenhua Information Technology Company Limited， Beijing 100011， China）

Abstract：Aiming at the problem that the feature extraction of miners' facial expressions is slower and the recognition accuracy is not high for the traditional miner facial expression recognition method， based on the principal component analysis method， Fisher's linear discriminant method is used to improve the traditional principal component analysis method. Firstly， based on the principal component analysis method， an inter-class discrete matrix is added to make the distance between the feature points of different categories become larger after projection， and the distance between the feature points of the same category is more compact， so that the result of feature extraction to the miners' facial expression images is more representative and targeted. Then， the radial basis network is used to map the low-dimensional and nonlinear separable miner's facial expression feature matrix to the high-dimensional spatially separable class to realize the identification and classification of miners' facial expressions. The experimental results show that the recognition rate of the miner's facial expression reaches 89.0%， which is superior to the traditional miner's facial expression recognition algorithms. The method has a good application prospect in the fields of mine safety monitoring and fatigue driving.

Keywords：computer image processing; miner expression recognition; principal component analysis; Fisher linear discriminant; radial basis network

在煤礦生產(chǎn)過程中，井下礦工情緒低落或者處于疲勞狀態(tài)，會影響其工作效率，甚至導致事故的發(fā)生。如果能掌握井下工作人員的情緒狀態(tài)，就可以及時發(fā)現(xiàn)問題，消除事故隱患[1]。近年來，眾多研究者對人臉表情識別進行了研究，如SONG等[2]利用基于統(tǒng)計形狀模型的ASM來提取人臉表情圖像特征點對人臉表情識別進行分類。東京大學的Kobayashi對能夠體現(xiàn)表情變化的主要區(qū)域進行了特征提取，包括眉毛、眼睛和鼻子，并采用BP神經(jīng)網(wǎng)絡(luò)對表情進行分類識別[3-5]。隨著多元統(tǒng)計學的發(fā)展，相關(guān)性分析、聚類分析和主成分分析等數(shù)學方法也逐漸應(yīng)用于圖像處理，對高維的圖像數(shù)據(jù)矩陣進行分析處理，以達到特征提取或者降維的目的，為圖像處理方向的發(fā)展提供了新的思路。如周書仁等[6]利用主成分分析法提取人臉的表情特征并取得了較好的識別效果，但該方法對維數(shù)較高的圖像向量組成的協(xié)方差矩陣計算量大，從而導致特征提取時間較慢且無法利用訓練樣本的類別信息[7]。

河北科技大學學報2019年第1期杜云，等：基于改進的主成分分析法的礦工表情識別為了克服傳統(tǒng)主成分分析法在人臉表情識別中所表現(xiàn)的特征提取時間較慢和識別率不高的缺點，以礦工面部表情識別為背景，利用Fisher線性判別對傳統(tǒng)的主成分分析法進行改進，并結(jié)合徑向基神經(jīng)網(wǎng)絡(luò)對礦工的面部表情進行分類，從而實現(xiàn)對礦工面部表情的智能識別。

1特征提取算法

1.1主成分分析法

主成分分析（principal component analysis，PCA）是一種數(shù)學降維的方法，該方法通過構(gòu)造原變量的一系列線性組合形成一組新的互不相關(guān)的變量，使這些新變量盡可能多地反映原變量的信息[8-11]。礦工面部表情圖像可看作一個高維數(shù)據(jù)矩陣，這樣一個高維矩陣處理起來十分復雜，故可用主成分分析法對該圖像數(shù)據(jù)矩陣進行降維處理[12]，處理步驟如下。

1）把每張礦工面部圖像看作一個樣本，每個樣本作為一個列向量，則所有樣本共同構(gòu)成了一個矩陣，表達式如式（1）所示。X=[x1，x2，…，xk，…，xi]，xk∈Rn，=1l∑lk=1xk，（1）式中：xk表示每個樣本的列向量;l為樣本序號;表示所有樣本的平均值;X表示所有樣本矩陣。

2）求取矩陣的協(xié)方差矩陣Sr，如式（2）所示。Sr=∑lk=1（xk-）（xk-）T。（2）3）求協(xié)方差矩陣的特征值和特征向量：解特征方程|λI-Sr|=0，求特征值λ1≥λ2≥…≥λm及對應(yīng)的特征向量u1，u2，…，um，其中m表示特征向量個數(shù)，則協(xié)方差矩陣的特征向量U=（u1，u2，u3，…，um）。

4）將特征向量按特征值大小組合成一個映射矩陣，取前k列作為最終的映射矩陣，此處表示要保留的維度數(shù)。

5）映射矩陣乘以原始圖像矩陣得到最終的特征矩陣，即每張礦工面部表情圖像的主成分矩陣為Yk=UTxk，k=1，2，…，l。

1.2改進的PCA

Fisher線性判別（Fisher linear discriminant，F(xiàn)LD）是模式識別的經(jīng)典算法，它能使投影后不同類別之間特征點的距離變得更大，同一類別的特征點更緊湊，特征提取更加具有代表性[13]。經(jīng)過FLD處理后的礦工面部圖像數(shù)據(jù)的維數(shù)與圖像數(shù)據(jù)的類別個數(shù)有直接關(guān)系，而與圖像數(shù)據(jù)的原始維數(shù)沒有直接的聯(lián)系，其維數(shù)可在1到（C-1）中選取，其中C表示特征個數(shù)，若經(jīng)過FLD處理后就只有一維特征，那么這個一維特征向量的特征代表性最好[14]。

考慮到PCA方法對高維圖像列向量組成的協(xié)方差矩陣計算量大的缺點和維數(shù)盡可能達到最小的要求，運用Fisher線性判別法對其進行改進，在PCA的基礎(chǔ)上增加定義一個類間離散矩陣Sw，見式（3）。Sw=∑Ci=liNi（xi-）（xi-）T，（3）式中：C表示特征個數(shù);i表示屬于第i類的樣本對應(yīng)的列向量;li表示所識別樣本屬于第i類;Ni表示類間離散度系數(shù)。

由此可以得到新的特征方程，如式（4）所示。Swi=λiSri。 （4）從而求得新的協(xié)方差矩陣的特征向量Φ=（1，2，…，m），對應(yīng)的每張礦工面部表情圖像的主成分矩陣為Y′k=ΦTxk，k=1，2，…，C-1。

2徑向基神經(jīng)網(wǎng)絡(luò)

2.1徑向基神經(jīng)網(wǎng)絡(luò)模型

徑向基函數(shù)（radial basis function，RBF）方法是在高維空間進行差值的一種方法[15-17]。圖1為徑向基神經(jīng)網(wǎng)絡(luò)模型，其中R為礦工面部表情圖像對應(yīng)的輸入向量;‖dist‖表示距離;IW為對應(yīng)權(quán)值;b1為徑向基函數(shù)的閾值;S1為徑向基函數(shù);a1為徑向基層輸出;LW為線性層權(quán)值;b2為線性函數(shù)的閾值;S2為線性函數(shù);a2為線性層輸出。

由圖1可知，徑向基神經(jīng)網(wǎng)絡(luò)模型是一個前饋反向傳播網(wǎng)絡(luò)，有2個網(wǎng)絡(luò)層：隱層為徑向基層，由徑向基神經(jīng)元構(gòu)成，輸出為線性層[18]。在徑向基層，會根據(jù)輸入經(jīng)過特征提取后的礦工面部表情數(shù)據(jù)矩陣與每個神經(jīng)元權(quán)值的距離輸出一個值，那些與神經(jīng)元權(quán)值相差很大的，輸出值趨近于0;與神經(jīng)元權(quán)值相差較小的，輸出值趨近于1，從而激活第2層球型神經(jīng)元輸出權(quán)值。輸出層為線性層，完成對徑向基層的空間分類。故徑向基神經(jīng)網(wǎng)絡(luò)可以將低維非線性可分的礦工面部表情特征矩陣映射到高維空間，使它在高維空間線性可分[19]。

2.2徑向基神經(jīng)網(wǎng)絡(luò)創(chuàng)建

從徑向基神經(jīng)網(wǎng)絡(luò)模型可知，當徑向基層和輸出層神經(jīng)元的權(quán)值和閾值確定之后，網(wǎng)絡(luò)的輸出也就確定[20]。其中徑向基層神經(jīng)元數(shù)量的選取方法即徑向基網(wǎng)絡(luò)創(chuàng)建過程如下。

首先以所有的礦工面部表情圖像所構(gòu)成的數(shù)據(jù)矩陣作為輸入樣本，對不含有徑向基層的徑向基網(wǎng)絡(luò)進行訓練，找到誤差最大的一個輸入樣本，此時增加一個徑向基神經(jīng)元，令其權(quán)值等于該輸入樣本數(shù)據(jù)所構(gòu)成向量的轉(zhuǎn)置，且閾值b=[-log（0.5）]1/2;然后以徑向基神經(jīng)元輸出的點積作為線性層的輸入重新設(shè)計線性層;最后重復以上過程，即用所有輸入樣本對前一次設(shè)計好的徑向基網(wǎng)絡(luò)重新進行仿真，直到分類結(jié)果達到規(guī)定的誤差為止。

3礦工面部表情識別

3.1圖像選取

礦工的面部表情分為興奮、中性、疲勞和沮喪4種類型，選取400張像素為120×120的不同光照和表情的礦工面部圖像進行實驗，并且對這400張圖像進行了幾何歸一化和灰度歸一化處理。基于灰度統(tǒng)計，主成分分析法對光照和表情變化很敏感，為了克服礦井復雜的光照條件對改進的主成分分析法提取特征的影響，采用全局平衡直方圖對光照過量或光照過暗的圖像進行均衡化處理。部分經(jīng)過歸一化處理的圖像如圖2所示。

3.2改進的PCA處理結(jié)果

將處理后的礦工面部表情圖像作為輸入，用改進的PCA進行特征提取，部分礦工面部表情圖像的特征提取結(jié)果即主成分臉如圖3所示。

由圖3可知，經(jīng)過改進的主成分分析法處理后的礦工面部表情圖像中的部分無關(guān)特征向量得以有效去除。為了驗證改進的主成分分析法對礦工面部表情特征的提取效果，對其中一張礦工面部表情圖像進行了20維、60維和100維的重構(gòu)，重構(gòu)結(jié)果如圖4所示。

由圖4可知，當維數(shù)為60維時，已經(jīng)能夠很好地將礦工的面部表情特征重構(gòu)出來，即經(jīng)過改進的主成分分析法提取的特征矩陣所構(gòu)成的主成分臉能夠有效地將礦工面部五官特征提取出來，且維數(shù)越高重構(gòu)效果越好，有助于人臉面部表情的識別。

3.3降維維數(shù)確定

將經(jīng)過改進后的主成分分析法特征提取后的圖像向量送入徑向基神經(jīng)網(wǎng)絡(luò)進行訓練和測試，從而實現(xiàn)對礦工面部表情的識別與分類，部分改進后的主成分分析法特征提取數(shù)據(jù)維數(shù)與分類準確率對應(yīng)關(guān)系如表1所示。

由表1實驗結(jié)果可知，當降維維數(shù)在69維時，對礦工面部表情的識別準確率最高，為89.0%。隨著降維維數(shù)的不同，識別時間也會有所不同，綜合分析，當降維維數(shù)在69維時對礦工面部表情的識別效果是最好的。

降維維數(shù)識別準確率/%識別時間/s200.8357.197 3670.8758.795 9680.8858.916 6690.8908.921 2700.8808.932 5710.8808.950 3730.8758.982 71100.87514.409 2

3.4結(jié)果分析

由于降維維數(shù)在69維時對礦工面部表情的識別分類效果較好，故對降維維數(shù)為69維的礦工面部表情分類情況做出結(jié)果分析。通過實驗統(tǒng)計，得出對興奮、中性、疲勞和沮喪4類礦工面部表情的分類統(tǒng)計結(jié)果，統(tǒng)計結(jié)果如表2所示。

由識別結(jié)果可知，當?shù)V工面部表情表現(xiàn)為興奮時，其表現(xiàn)出來的特征是比較明顯的;當?shù)V工面部表情表現(xiàn)為中性、疲勞和沮喪時，其面部特征提取的代表性有所降低。與傳統(tǒng)的主成分分析法和卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）實驗比較結(jié)果如表3所示。

由表3可以得出：與傳統(tǒng)的主成分分析法相比，運用Fisher線性判別法改進后的主成分分析法可以運用較少的維數(shù)來表征礦工面部特征，從而使其在識別時間和識別準確率上優(yōu)于傳統(tǒng)的PCA算法，即經(jīng)過改進的主成分分析法相比于傳統(tǒng)的主成分分析法來說，它可以使礦工面部表情圖像矩陣的特征維數(shù)更少，特征提取時間更短。

與卷積神經(jīng)網(wǎng)絡(luò)相比，運用Fisher線性判別法改進后的主成分分析法在識別準確率上稍低于卷積神經(jīng)網(wǎng)絡(luò)，但在識別速度上明顯快于卷積神經(jīng)網(wǎng)絡(luò)，并且隨著輸入圖像尺寸的變大或維數(shù)的增多，卷積神經(jīng)網(wǎng)絡(luò)在識別速度上的弊端會表現(xiàn)得越發(fā)明顯，而主成分分析法識別速度的優(yōu)勢得以體現(xiàn)出來;另外，卷積神經(jīng)網(wǎng)絡(luò)的識別準確率可以隨著訓練樣本的增多而進一步提高，但主成分分析法則需尋求新的改進算法。

4結(jié)語

基于主成分分析法的礦工面部表情識別，運用Fisher線性判別法對主成分分析法進行改進，在主成分分析法的基礎(chǔ)上增加了一個類間離散矩陣，從而提高了主成分分析法的特征提取效果。實驗結(jié)果表明，該方法對礦工面部表情的識別率為89.0%，高于傳統(tǒng)的主成分分析法。但礦井下的光照條件比較復雜，而主成分分析法對光照變化比較敏感，故找到更好的濾光和增光算法仍是后續(xù)需要研究的問題。

參考文獻/References：

[1]楊卓.井下人員人臉識別方法研究[J].工礦自動化，2015，41（9）：53-57.

YANG Zhuo.Research of face recognition method of underground personnel[J].Industry and Mine Automation， 2015，41（9）：53-57.

[2]SONG Mingli， TAO Dacheng， LIU Zicheng， et al. Image ratio features for facial expression recognition application[J]. IEEE Transactions on Systems， Man， and Cybernetics. Part B， Cybernetics：A Pubilication of the IEEE Systems，Man， and Cybernetics Society， 2010， 40（3）：779-788.

[3]徐茜亮，霍振龍.人臉識別技術(shù)在礦井人員管理系統(tǒng)中的應(yīng)用[J].工礦自動化，2013， 39（8）：6-8.

XU Xiliang，HUO Zhenlong. Application of face recognition technology in mine personnel management system[J]. Industry and Mine Automation， 2013， 39（8）：6-8.

[4]李春明，李玉山，莊慶德，等.人臉識別技術(shù)的研究[J].河北科技大學學報，2003，24（3）：1-6.

LI Chunming，LI Yushan，ZHUANG Qingde， et al. The technology of automatic face recognition[J].Journal of Hebei University of Science and Technology，2003，24（3）：1-6.

[5]申會堂，倪國強，范紅深.網(wǎng)絡(luò)時代的人臉識別技術(shù)及其在艦船上的應(yīng)用[J].河北科技大學學報，2001，22（4）：65-70.

SHEN Huitang，NI Guoqiang，F(xiàn)AN Hongshen.Face recognition on internet and its application in warship[J].Journal of Hebei University of Science and Technology，2001，22（4）：65-70.

[6]周書仁，梁昔明，朱燦，等.基于ICA與HMM的表情識別[J].中國圖象圖形學報，2008， 13（12）：2321-2328.

ZHOU Shuren， LIANG Ximing， ZHU Can， et al. Facial expression recognition based on independent component analysis and hidden markov model[J].Journal of Image and Graphics，2008，13（12）：2321-2328.

[7]ZAVASCHI T H H， JR A S B， OLIVEIRA L E S， et al. Fusion of feature sets and classifiers for facial expression recognition[J]. Expert Systems with Applications， 2013， 40（2）： 646-655.

[8]劉紅良，李成福.數(shù)學模型與建模算法[M].北京：科學出版社，2016.

[9]曾岳，馮大政.一種基于加權(quán)變形的2DPCA的人臉特征提取方法[J].電子與信息學報，2011， 33（4）： 769-774.

ZENG Yue， FENG Dazheng. An algorithm of feature extraction of face based on the weighted variation of 2DPCA[J]. Journal of Electronics & Information Technology， 2011， 33（4）： 769-774.

[10]江明陽，封舉富.基于魯棒主成分分析的人臉子空間重構(gòu)方法[J].計算機輔助設(shè)計與圖形學學報，2012，24（6）：761-765.

JIANG Mingyang， FENG Jufu. Robust principal component analysis for face subspace recovery[J].Journal of Computer-Aided Design & Computer Graphics，2012， 24（6）：761-765.

[11]SAABIN R. Facial expression recognition using multi radial bases function networks and 2D-gabor filters[C]//IEEE 2015 Fifth Internation Conference on Digital Information Processing and Communications（ICDIPC）. [S.l.]：[s.n.]， 2015：227-229.

[12]江大鵬，楊彪，鄒凌.基于LBP卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別[J].計算機工程與設(shè)計，2018， 39（7）： 1971-1977.

JIANG Dapeng， YANG Biao， ZOU Ling. Facial expression recognition based on local binary mode convolution neural network[J]. Computer Engineering and Design，2018， 39（7）： 1971-1977.

[13]張勇，黨蘭學.線性判別分析特征提取稀疏表示人臉識別方法[J].鄭州大學學報（工學版），2015， 36（2）：94-98.

ZHANG Yong，DANG Lanxue. Sparse representation-based face recognition method by LDA feature extraction[J].Journal of Zhengzhou University（Engineering Science），2015，36（2）：94-98.

[14]姚乃明，郭清沛，喬逢春，等.基于生成式對抗網(wǎng)絡(luò)的魯棒人臉表情識別[J]. 自動化學報，2018， 44（5）： 865-877.

YAO Naiming， GUO Qingpei， QIAO Fengchun， et al. Robust facial expression recognition with generative adversarial networks[J]. Acta Automatica Sinica，2018， 44（5）： 865-877.

[15]張寧，任茂文，劉萍.基于主成分分析和BP神經(jīng)網(wǎng)絡(luò)的煤巖界面識別[J].工礦自動化，2013，39（4）：55-58.

ZHANG Ning，REN Maowen，LIU Ping. Identification of coal-rock interface based on principal component analysis ang BP neural network[J]. Industry and Mine Automation，2013，39（4）：55-58.

[16]王曉梅.神經(jīng)網(wǎng)絡(luò)導論[M].北京：科學出版社，2016.

[17]顧亞祥，丁世飛.支持向量機研究進展[J].計算機科學， 2011，38（2）：14-17.

GU Yaxiang，DING Shifei.Advances of support vector machines（SVM）[J].Computer Science，2011， 38（2）： 14-17.

[18]楊學峰，王高，程耀瑜.基于徑向基函數(shù)的多幀圖像超分辨重建算法[J].計算機應(yīng)用，2014，34（1）：142-144.

YANG Xuefeng， WANG Gao， CHENG Yaoyu. Multi-frame image super-resolution reconstruction algorithm with radial basis function neural network[J].Journal of Computer Applications，2014， 34（1）：142-144.

[19]朱福珍，李金宗，朱兵，等.基于徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)的超分辨率圖像重建[J].光學精密工程，2010，18（6）：1444-1451.

ZHU Fuzhen，LI Jinzong，ZHU Bing，et al. Super-resolution image reconstruction based on RBF neural network[J].Optics and Precision Engineering，2010，18（6）：1444-1451.

[20]LEE I，JUNG H，AHN C H，et al. Real-time personalized facial expression recognition system based on deep learning[C]//2016 IEEE International Conference on Consumer Electronics（ICCE）. KAIST：[s.n.]，2016：267-268.第40卷第1期河北科技大學學報Vol.40，No.1