實(shí)時(shí)人臉表情識(shí)別方法的研究與實(shí)現(xiàn)

梅珍妮，胡步發(fā)

(福州大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，福建 福州 350116)

實(shí)時(shí)人臉表情識(shí)別方法的研究與實(shí)現(xiàn)

梅珍妮，胡步發(fā)

(福州大學(xué) 機(jī)械工程及自動(dòng)化學(xué)院，福建 福州 350116)

摘要：進(jìn)行人臉表情識(shí)別系統(tǒng)相關(guān)的算法研究，并基于網(wǎng)絡(luò)攝像機(jī)平臺(tái)搭建實(shí)時(shí)人臉表情識(shí)別系統(tǒng)。針對(duì)經(jīng)典Retinex算法亮度圖像估計(jì)運(yùn)算復(fù)雜問(wèn)題，提出一種Gamma校正的單尺度Retinex圖像增強(qiáng)算法；對(duì)增強(qiáng)圖像進(jìn)行HOG表情特征提取，并通過(guò)最近鄰分類器進(jìn)行表情分類。搭建人臉表情識(shí)別系統(tǒng)，進(jìn)行實(shí)時(shí)人臉檢測(cè)與表情識(shí)別。測(cè)試結(jié)果表明該方法具有較高的識(shí)別率和魯棒性。

關(guān)鍵詞：網(wǎng)絡(luò)攝像機(jī)；Gamma校正；最近鄰分類器；表情識(shí)別

Research on Real-time Facial Expression Recognition Method and Its Implementation

MEI Zhenni, HU Bufa

(College of Mechanical Engineering and Automation，F(xiàn)uzhou University，F(xiàn)uzhou 350116，China)

Abstract:This paper researches on the related algorithm and builds a real-time facial expression recognition system based on network camera platform, aiming at the brightness image estimation complexly operated by the use of classic Retinex algorithm, presents a .Gamma correction single scale Retinex image enhancement algorithm, and the enhanced image HOG expression characteristics are extracted and the expression is classified by the nearest neighbor classifier. And then it builds a facial expression recognition system, and completes real-time face detection and face recognition. Test results show that the method is of high recognition rate and robustness.

Keywords:network camera; gamma correction; nearest neighbor classifier; facial expression recognition

0引言

人臉表情不僅在人與人交流中起到重要作用，也是使計(jì)算機(jī)更準(zhǔn)確理解人類思想，實(shí)現(xiàn)人機(jī)交互的一個(gè)重要研究?jī)?nèi)容[1-2]。為更好地進(jìn)行人臉表情識(shí)別算法的測(cè)試開(kāi)發(fā)，文中基于網(wǎng)絡(luò)攝像機(jī)搭建實(shí)時(shí)人臉表情識(shí)別系統(tǒng)，可以實(shí)現(xiàn)實(shí)時(shí)人臉檢測(cè)及表情識(shí)別功能。表情識(shí)別系統(tǒng)的搭建為表情識(shí)別算法提供分析依據(jù)，也為人臉表情的實(shí)用化開(kāi)發(fā)和應(yīng)用提供硬件基礎(chǔ)。

表情識(shí)別系統(tǒng)主要由一臺(tái)網(wǎng)絡(luò)攝像機(jī)和軟件功能模塊構(gòu)成。由攝像機(jī)在現(xiàn)實(shí)環(huán)境中實(shí)時(shí)采集視頻圖像信息，對(duì)視頻的每一幀單獨(dú)進(jìn)行計(jì)算。系統(tǒng)工作流程如圖1所示。軟件部分，使用人臉樣本訓(xùn)練分類器，進(jìn)行人臉檢測(cè)，利用自建的表情庫(kù)進(jìn)行表情分類器訓(xùn)練，實(shí)時(shí)識(shí)別人臉表情。

圖1　系統(tǒng)工作流程圖

人臉表情識(shí)別是系統(tǒng)的中心環(huán)節(jié)，其特征提取過(guò)程為先采用Gamma校正的Retinex方法[3]進(jìn)行圖像增強(qiáng)，再使用HOG算子[4]對(duì)增強(qiáng)后的圖像進(jìn)行梯度直方圖特征提取。并對(duì)提取的人臉表情特征使用最近鄰分類器進(jìn)行分類。該系統(tǒng)能夠克服光照的影響，在一定范圍內(nèi)跟蹤檢測(cè)人臉，同時(shí)能快速識(shí)別表情并實(shí)時(shí)輸出結(jié)果。

1基于Retinex理論和HOG算子的特征提取

1.1Retinex理論

Retinex是Edwin Land提出的一種顏色恒常色彩理論。傳統(tǒng)圖像增強(qiáng)算法只能增強(qiáng)圖像的某一類特征，如線性變換、圖像銳化等。Retinex可以在灰度動(dòng)態(tài)范圍壓縮、邊緣增強(qiáng)和顏色恒定三方面達(dá)到平衡，因而可以對(duì)不同類型的圖像進(jìn)行自適應(yīng)的增強(qiáng)[3]。

圖像的形成主要由兩部分構(gòu)成：入射光L(x,y)和反射物體R(x,y)，最后形成的圖像用公式表示為：

I(x,y)=L(x,y)·R(x,y)

(1)

Retinex理論的目的就是為了從圖像I(x,y)中拋開(kāi)入射光的影響來(lái)獲得物體的反射性質(zhì)。為了將復(fù)雜的乘積形式轉(zhuǎn)化為簡(jiǎn)單的加減運(yùn)算，采用了接近人眼亮度感知能力的對(duì)數(shù)形式表示：

i(x,y)=l(x,y)+r(x,y)

(2)

其中，i(x,y)=log[I(x,y)]，l(x,y)=log[L(x,y)]，r(x,y)=log[R(x,y)]。

用Retinex理論進(jìn)行圖像增強(qiáng)，關(guān)鍵是從原圖像中有效的計(jì)算出亮度圖像，除去亮度圖像的影響，得到反射物理的性質(zhì)。但是，從原圖像中計(jì)算亮度圖像在數(shù)學(xué)上是一個(gè)奇異問(wèn)題，只能通過(guò)近似估計(jì)的方式估算。經(jīng)典Retinex算法亮度圖像運(yùn)算估計(jì)復(fù)雜，文中提出一種基于單尺度Retinex的Gamma校正圖像增強(qiáng)算法。先對(duì)亮度圖像進(jìn)行粗估計(jì)，再通過(guò)Gamma校正對(duì)圖像粗估計(jì)的結(jié)果進(jìn)行補(bǔ)償[5]。算法流程如圖2所示。

圖2　圖像增強(qiáng)算法流程圖

a) 單尺度Retinex算法

Jobson根據(jù)中心/環(huán)繞Retinex算法理論，提出單尺度Retinex算法[3]。設(shè)亮度圖像為L(zhǎng)(x,y)是平滑的，原圖像為I(x,y)，反射圖像為R(x,y)。則有：

I(x,y)=L(x,y)·R(x,y)=(I(x,y)*G(x,y))·R(x,y)

(3)

在對(duì)數(shù)域中，單尺度Retinex可以表示為：

log[R(x,y)]=log[I(x,y)]-log[I(x,y)*G(x,y)]

(4)

其中，*表示卷積，G(x,y)為環(huán)繞函數(shù)，一般采用高斯函數(shù)表示。

(5)

式中，G(x,y)滿足∫∫G(x,y)dxdy=1，λ為常數(shù)。c為尺度常量，c越大，灰度動(dòng)態(tài)范圍壓縮的越多，c越小，圖像銳化的越明顯。

b) Gamma校正

Gamma校正能對(duì)反射圖像進(jìn)行動(dòng)態(tài)范圍壓縮，也能調(diào)節(jié)反射圖像在增強(qiáng)后圖像中的比例[5]。可表示為：

r'(x,y)=[r(x,y)]1/γ

(6)

式中,γ為正數(shù)，把校正后的反射圖像和亮度圖像在對(duì)數(shù)域相加，再進(jìn)行反對(duì)數(shù)運(yùn)算，可以得到增強(qiáng)后的圖像。

R(x,y)=exp[R'(x,y)]=exp[r'(x,y)+l(x,y)]

(7)

實(shí)驗(yàn)結(jié)果表明，所提出的算法同經(jīng)典的Retinex算法相比，可以提供更好的動(dòng)態(tài)壓縮范圍、增強(qiáng)對(duì)比度和圖像銳化，有更好的視覺(jué)增強(qiáng)效果。

1.2HOG算法

梯度方向直方圖(HOG)用于模式識(shí)別是最近出現(xiàn)的一種方法。HOG特征描述算子屬于差分模式的信息提取方法，出自Lowe的尺度不變特征變換SIFT算法的最后一步，由于其有效的表達(dá)能力，受到了普遍的關(guān)注[4]。

HOG算法的步驟如下：

以關(guān)鍵點(diǎn)為中心取8×8的像素鄰域作為采樣窗口，然后將采樣窗口平均分為4個(gè)相等大小的塊，每個(gè)塊大小為4×4，分別計(jì)算每個(gè)小塊上每個(gè)像素的梯度方向和梯度幅值。

θ(x,y)=

tan-1(R(x,y+1)-R(x,y-1))/(R(x+1,y)-R(x-1,y))

(8)

m(x,y)=

(9)

其中，R(x,y)是圖像上(x,y)坐標(biāo)上的像素值，θ(x,y)是該點(diǎn)的梯度方向，m(x,y)是該點(diǎn)的幅度值。這里梯度方向分為有符號(hào)的8個(gè)方向。如圖3所示，圓圈的高斯加權(quán)范圍，將同一小塊上所有點(diǎn)相同梯度方向的幅度值按照權(quán)重累加，組成該小塊的一個(gè)8維梯度直方圖，其他小塊以此類推。將4個(gè)塊的8維梯度直方圖求出后，將它們連成一個(gè)4×8=32維的關(guān)鍵點(diǎn)特征描述。

圖3　HOG特征提取過(guò)程

2人臉表情分類識(shí)別

人臉表情分類識(shí)別就是對(duì)人臉表情信息進(jìn)行特征提取并分類的過(guò)程。通過(guò)人臉表情HOG特征模型的訓(xùn)練，為每一種人臉表情訓(xùn)練一組優(yōu)化的HOG模型。采用同一種表情的多幅人臉圖像訓(xùn)練一種表情的HOG模型[6]。對(duì)于7種表情，共需要訓(xùn)練7組HOG模型。

對(duì)于每一個(gè)HOG模型訓(xùn)練步驟如下：

Step1：選擇表情人臉圖像，通過(guò)人臉檢測(cè)定位，尺寸歸一化，得到高度96mm、寬度80mm的臉部圖像。

Step2：將表情圖像作為輸入圖像I(x,y)，利用高斯函數(shù)與原圖像的卷積操作進(jìn)行亮度圖像估計(jì)，得到圖像L(x,y)，對(duì)原圖像I(x,y)進(jìn)行對(duì)數(shù)運(yùn)算，除去其中的亮度因子得到粗估計(jì)反射圖像r(x,y)。

Step3：對(duì)粗估計(jì)反射圖像r(x,y)進(jìn)行Gamma校正，并在對(duì)數(shù)域和亮度圖像相加，進(jìn)行反對(duì)數(shù)運(yùn)算得到增強(qiáng)后的圖像R(x,y)。

Step4：將增強(qiáng)后的圖像R(x,y)以8×8的像素鄰域網(wǎng)格作為采樣窗口，以無(wú)重疊的方式遍歷整個(gè)人臉圖像，可以得到12×10=120個(gè)小塊網(wǎng)格形式，分別計(jì)算每個(gè)像素點(diǎn)的梯度方向和幅值。

Step5：在每個(gè)小格內(nèi)按照4×4像素大小的塊統(tǒng)計(jì)HOG特征。取梯度方向?yàn)?，高斯權(quán)值均為1，將塊內(nèi)相同梯度方向的幅值乘以權(quán)值后相加，然后將網(wǎng)格內(nèi)各塊的直方圖連成一個(gè)向量。最后將每個(gè)小塊的32維梯度直方圖串聯(lián)，得到整個(gè)圖像的表情特征，為12×32=3840維梯度直方圖。

通過(guò)訓(xùn)練，得到7種表情的7組HOG特征值，將其分別存入分類器中。采用最近鄰域方法實(shí)現(xiàn)表情的分類過(guò)程，對(duì)于測(cè)試樣本重復(fù)上述步驟，完成HOG特征值提取，依據(jù)最短歐幾里得距離作為判定準(zhǔn)則，在各個(gè)分類器中尋找與測(cè)試樣本距離最近的訓(xùn)練樣本，該訓(xùn)練樣本所對(duì)應(yīng)的表情類別，即是測(cè)試樣本的表情類別。

3實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)所用的攝像機(jī)是智能變速球形網(wǎng)絡(luò)攝像機(jī)TC-D6系列，攝像機(jī)內(nèi)置編碼器，采用RS-485總線控制。利用該網(wǎng)絡(luò)攝像機(jī)完成的軟件功能模塊設(shè)計(jì)包括三個(gè)主要的部分：圖像采集模塊、人臉檢測(cè)及預(yù)處理模塊、人臉表情識(shí)別模塊。

3.1圖像數(shù)據(jù)采集

圖像數(shù)據(jù)采集[7-8]是利用廠商提供的SDK開(kāi)發(fā)包，從底層接收視頻圖像信息，在程序入口中添加代碼。而入口函數(shù)在程序初始化時(shí)已經(jīng)被調(diào)用，并用于對(duì)攝像機(jī)發(fā)送到程序的各類消息作出響應(yīng)。其數(shù)據(jù)采集過(guò)程如圖4所示。

圖4　攝像機(jī)圖像數(shù)據(jù)采集過(guò)程

函數(shù)中定義靜態(tài)變量用以保存圖像的幀號(hào)，當(dāng)接收到消息時(shí)，判斷其成員變量若為所需要的圖像數(shù)據(jù)emCBMsgType_RGB32，則將所需數(shù)據(jù)指針存入隊(duì)列中。隊(duì)列成員變量具有先進(jìn)先出(FIFO)的特點(diǎn)，便于對(duì)圖像數(shù)據(jù)的讀取及進(jìn)行后續(xù)處理工作。

3.2人臉檢測(cè)及圖像預(yù)處理

對(duì)采集到的圖像數(shù)據(jù)，利用Adaboost算法基于OpenCV平臺(tái)進(jìn)行人臉檢測(cè)。基于opencv的人臉檢測(cè)包括兩方面內(nèi)容：訓(xùn)練分類器和利用訓(xùn)練好的分類器進(jìn)行人臉檢測(cè)。目前人臉檢測(cè)分類器大都是基于haar特征，利用Adaboost學(xué)習(xí)算法訓(xùn)練的。

人臉檢測(cè)過(guò)程，首先生成樣本描述文件。采用MIT CBLCL圖庫(kù)訓(xùn)練人臉，其中正樣本放在trainfaces文件夾下，有2429個(gè)樣本。負(fù)樣本放train onfaces文件夾下，有4548個(gè)樣本，這些樣本都是20×20的。通過(guò)命令提示符cmd指令分別進(jìn)入正負(fù)樣本目標(biāo)目錄，分別生成正負(fù)樣本.dat文件。通過(guò)OpenCV程序生成的HaarTraining.exe可執(zhí)行文件，生成訓(xùn)練分類器所需要的正樣本.vec文件。然后訓(xùn)練分類器，此文件由OpenCV程序生成的可執(zhí)行文件HaarTraining.exe完成，通過(guò)此過(guò)程生成的.xml文檔，即是所需要的分類器文件，可用于目標(biāo)區(qū)域的檢測(cè)。

訓(xùn)練后所得到的級(jí)聯(lián)分類器共20級(jí)，每級(jí)包含的弱分類器個(gè)數(shù)如圖5所示。

圖5　分類器訓(xùn)練結(jié)果

利用已經(jīng)訓(xùn)練好的人臉?lè)诸惼鳎诓煌尘皸l件、不同光照強(qiáng)度的試驗(yàn)環(huán)境下進(jìn)行人臉檢測(cè)測(cè)試。表1為不同背景下分別測(cè)試的結(jié)果對(duì)比，其中測(cè)試圖片為簡(jiǎn)單背景和復(fù)雜背景下的各50張包含人臉的圖片。

表1　不同背景條件下人臉檢測(cè)結(jié)果

圖6為復(fù)雜背景下人臉檢測(cè)效果圖，通過(guò)試驗(yàn)得出，系統(tǒng)能夠準(zhǔn)確地將人臉從背景中檢測(cè)出來(lái)，并對(duì)人臉目標(biāo)進(jìn)行穩(wěn)定的實(shí)時(shí)跟蹤。

圖6　復(fù)雜背景下人臉檢測(cè)效果圖

將檢測(cè)到的人臉區(qū)域進(jìn)行高斯平滑、顏色空間轉(zhuǎn)換，得到灰度圖像，并對(duì)其進(jìn)行亮度調(diào)節(jié)，再進(jìn)行圖像增強(qiáng)，最后根據(jù)雙線性插值法進(jìn)行人臉圖片大小歸一化處理。如圖7所示為圖像預(yù)處理過(guò)程圖，依次分別對(duì)應(yīng)原圖像、高斯平滑圖像、灰度圖像、亮度調(diào)節(jié)圖像、增強(qiáng)圖像。

圖7　圖像預(yù)處理過(guò)程圖

3.3實(shí)時(shí)人臉表情識(shí)別系統(tǒng)

將融合Renitex圖像增強(qiáng)理論的HOG算法應(yīng)用于網(wǎng)絡(luò)攝像機(jī)的實(shí)時(shí)人臉表情識(shí)別系統(tǒng)。在人臉表情識(shí)別前，先進(jìn)行表情分類器訓(xùn)練。人臉表情訓(xùn)練分類器的樣本是用攝像頭采集的表情圖庫(kù)，取每種表情各5張，共35張圖片。表情圖庫(kù)是由人臉檢測(cè)模塊提取的有效人臉區(qū)域，再由表情分類器進(jìn)行訓(xùn)練。成功訓(xùn)練表情分類器后，利用網(wǎng)絡(luò)攝像機(jī)進(jìn)行表情識(shí)別實(shí)驗(yàn)。當(dāng)攝像機(jī)采集視頻圖像成功檢測(cè)提取人臉區(qū)域并預(yù)處理后，對(duì)表情進(jìn)行實(shí)時(shí)識(shí)別并輸出識(shí)別結(jié)果。如圖8所示為建立表情庫(kù)舉例。

圖8　表情庫(kù)舉例

實(shí)驗(yàn)是在Visual Studio 10操作環(huán)境下運(yùn)行，軟件在Inter Core i3-2100，3.09GHz，4G內(nèi)存PC機(jī)上完成。圖9為表情識(shí)別系統(tǒng)運(yùn)行界面。攝像機(jī)顯示得到的視頻大小為1080P，視頻編碼標(biāo)準(zhǔn)為H.264。當(dāng)設(shè)置好界面右側(cè)各選項(xiàng)后，點(diǎn)擊LoginDevice按鈕，程序便會(huì)和攝像機(jī)建立通訊，然后按下OpenChannel按鈕，攝像機(jī)采集到的視頻便會(huì)顯示在界面左側(cè)窗口。

圖9　表情識(shí)別系統(tǒng)運(yùn)行界面

實(shí)驗(yàn)選取志愿者分別做出高興、驚訝等不同表情，進(jìn)行實(shí)時(shí)表情識(shí)別系統(tǒng)測(cè)試。圖10為部分志愿者表情識(shí)別結(jié)果展示。表2列出了包括中性表情在內(nèi)的7種表情的具體識(shí)別結(jié)果。

圖10　表情識(shí)別結(jié)果舉例

由表2可以看出，驚訝、高興等夸張的表情識(shí)別效果很好，對(duì)于害怕、中性等容易混淆的表情，系統(tǒng)誤識(shí)別率相對(duì)較低。這種現(xiàn)象主要原因有兩個(gè)：1) 測(cè)試表情是實(shí)時(shí)采集的，參與實(shí)驗(yàn)的人員未經(jīng)過(guò)專業(yè)訓(xùn)練，不能到位的模擬各種表情；2) 表情是在實(shí)際環(huán)境中測(cè)試，環(huán)境和光線強(qiáng)度的變化對(duì)實(shí)驗(yàn)影響較大。由實(shí)驗(yàn)結(jié)果可以看出，文中所設(shè)計(jì)的表情識(shí)別系統(tǒng)穩(wěn)定，識(shí)別速度快，能達(dá)到實(shí)時(shí)表情識(shí)別的要求。

表2　人臉表情識(shí)別結(jié)果

4結(jié)論

基于網(wǎng)絡(luò)攝像機(jī)進(jìn)行實(shí)時(shí)人臉表情的方法研究及實(shí)現(xiàn)，針對(duì)經(jīng)典Retinex算法亮度圖像復(fù)雜的運(yùn)算，基于單尺度Retinex算法進(jìn)行Gamma校正。將增強(qiáng)后的人臉圖像進(jìn)行HOG表情特征提取，通過(guò)最近鄰分類器進(jìn)行表情分類，提高了表情識(shí)別率和魯棒性。

算法選擇方面，采用Retinex算法克服光照影響獲取質(zhì)量穩(wěn)定的面部表情動(dòng)態(tài)序列。針對(duì)經(jīng)典Retinex算法亮度圖像估計(jì)運(yùn)算復(fù)雜問(wèn)題，提出Gamma校正的單尺度Retinex增強(qiáng)圖像。為建立快速高效的人機(jī)交互系統(tǒng)，采用計(jì)算簡(jiǎn)單并能有效描述圖像紋理特征的HOG方法。可以在復(fù)雜背景中快速尋找人臉，同時(shí)能夠快速識(shí)別表情并實(shí)時(shí)輸出結(jié)果。

參考文獻(xiàn):

[1] 王文成. 基于局部特征分析的人臉表情識(shí)別問(wèn)題研究[D]. 濟(jì)南: 山東大學(xué)博士學(xué)位論文, 2011.

[2] 徐杜功, 丁召, 劉橋. 基于稀疏表達(dá)和改進(jìn)的 LBP 算子的人臉表情識(shí)別[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2013, 30(4): 246-248.

[3] 宋書(shū)林, 張彥, 王憲, 等. 基于曲波變換和 Retinex 人臉光照處理算法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2013, 49(3): 171-173.

[4] 曲永宇, 劉清, 郭建明, 等. 基于 HOG 和顏色特征的行人檢測(cè)[J]. 武漢理工大學(xué)學(xué)報(bào), 2011, 33(4): 134-138.

[5] 彭國(guó)福, 林正浩. 圖像處理中 Gamma 校正的研究和實(shí)現(xiàn)[J]. 電子工程師, 2006, 32(2): 30-32.

[6] Yan-ping C, Shao-zi L, Xian-ming L. Fast hog feature computation based on CUDA[C]//Computer Science and Automation Engineering (CSAE), 2011 IEEE International Conference on. IEEE, 2011, 4: 748-751.

[7] 劉步中, 張曦煌, 王慶磊. 基于嵌入式 Linux 的視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2009, 30(8)：28-30.

[8] 高文偉, 顧明劍, 王模昌. 基于 USB2. 0 的高速實(shí)時(shí)圖像數(shù)據(jù)采集系統(tǒng)[J]. 科學(xué)技術(shù)與工程, 2007, 7(9): 1671-1819.

收稿日期：2014-01-14

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：B

文章編號(hào)：1671-5276(2015)04-0145-04

作者簡(jiǎn)介：梅珍妮(1988-)，女，山東煙臺(tái)人，碩士研究生，研究方向?yàn)闄C(jī)電系統(tǒng)辨識(shí)與故障監(jiān)測(cè)。

基金項(xiàng)目：福建省自然科學(xué)基金項(xiàng)目(2012J01260)