一種面部微表情識(shí)別算法在職業(yè)微笑評(píng)價(jià)中的應(yīng)用

陳瑋 蔣金

摘? 要：應(yīng)用現(xiàn)有比較成熟的人臉面部表情開(kāi)源算法模型，建立一套機(jī)器智能識(shí)別系統(tǒng)，量化評(píng)價(jià)職業(yè)微笑的符合度，對(duì)人臉表情進(jìn)行預(yù)處理得到純表情圖像，采用優(yōu)化Gabor提取表情特征，用PCA進(jìn)行數(shù)據(jù)冗余處理和用支持向量機(jī)識(shí)別人臉表情并進(jìn)行仿真。通過(guò)篩選融合現(xiàn)有的開(kāi)源人臉識(shí)別算法，應(yīng)用于量化評(píng)價(jià)學(xué)員表情中職業(yè)微笑的符合度，積累培訓(xùn)學(xué)員的模型采樣處理，不斷優(yōu)化算法，建立科學(xué)的評(píng)價(jià)系統(tǒng)。

關(guān)鍵詞：表情特征;微表情;微笑評(píng)價(jià)

1? 引言

人臉表情識(shí)別（FER）是計(jì)算機(jī)視覺(jué)研究熱點(diǎn)，微表情識(shí)別是人機(jī)交互的一個(gè)新興研究課題，面部微表情識(shí)別目的是讓人工智能產(chǎn)品能夠識(shí)別出人的表情，應(yīng)用于職業(yè)禮儀類(lèi)培訓(xùn)、強(qiáng)化職業(yè)微笑表情分析，進(jìn)而量化標(biāo)準(zhǔn)，從而提高評(píng)價(jià)的精確度。

2? 面部表情識(shí)別主流方法

微表情識(shí)別是用計(jì)算機(jī)對(duì)人臉表情信息進(jìn)行特征提取分析，按照人類(lèi)認(rèn)知和思維方式加以歸類(lèi)和理解，結(jié)合人類(lèi)具有的情感信息方面的經(jīng)驗(yàn)知識(shí)使計(jì)算機(jī)進(jìn)行聯(lián)想、思考及推理，進(jìn)而從人臉信息中去分析理解人的情緒。

2.1有效提取微表情特征，消除與識(shí)別無(wú)關(guān)信息。傳統(tǒng)Gabor濾波器存在提取特征時(shí)間較長(zhǎng)和特征數(shù)據(jù)存在冗余性的缺點(diǎn)。

2.2 Gabor和PCA相結(jié)合的特征提取，通過(guò)支持向量機(jī)，對(duì)微表情進(jìn)行預(yù)處理得到純表情圖像，采用Gabor提取表情特征，用PCA進(jìn)行數(shù)據(jù)冗余處理和用支持向量機(jī)識(shí)別人臉表情并進(jìn)行仿真。

3? 面部微表情識(shí)別的步驟

3.1 預(yù)處理

人臉面部對(duì)齊，拿到訓(xùn)練數(shù)據(jù)后，第一步檢測(cè)人臉，去掉背景和無(wú)關(guān)區(qū)域。使用OpenCV和Matlab得到人臉邊界框，原圖像裁剪至面部區(qū)域。數(shù)據(jù)增強(qiáng)，以足夠的訓(xùn)練數(shù)據(jù)保證識(shí)別任務(wù)的泛化性能。而 FER公開(kāi)數(shù)據(jù)庫(kù)達(dá)不到這樣的訓(xùn)練數(shù)據(jù)量。

3.2人臉表情特征學(xué)習(xí)

應(yīng)用CNN 對(duì)人臉位置變化和尺度變化有更好的健壯性，而且對(duì)于未見(jiàn)人臉姿態(tài)變化比多層感知器有更好的表現(xiàn)。用逐層貪婪訓(xùn)練法初始化，在不需要大量標(biāo)注數(shù)據(jù)下得到局部最優(yōu)解。然后對(duì)網(wǎng)絡(luò)的參數(shù)和輸出進(jìn)行微調(diào)。

3.3特征分類(lèi)

在學(xué)習(xí)深度特征之后，最后一步是識(shí)別測(cè)試人面部微表情。在網(wǎng)絡(luò)的末端加上損失層，來(lái)修正反向傳播誤差，每個(gè)樣本的預(yù)測(cè)概率可以直接從網(wǎng)絡(luò)中輸出，使用SVM 和隨機(jī)森林，對(duì)提取的特征進(jìn)行分類(lèi)。

4.? 優(yōu)化的R-Net算法流程

Refine Network （R-Net）：此網(wǎng)絡(luò)結(jié)構(gòu)是通過(guò)邊界框回歸和NMS來(lái)去掉那些false-positive區(qū)域。抑制false-positive的作用，將PNet的輸出resize成正方形，是基于人臉一般都是正方形。由此生成（dy， edy， dx， edx， y， ey， x， ex， tmpw， tmph）數(shù)組;生成的元素意義如下：

dx，dy：bbox相對(duì)本身起點(diǎn)坐標(biāo)（0，0）

edx，edy：bbox相對(duì)本身終點(diǎn)坐標(biāo)（tmpw-1， tmph-1）

x，y ：原始圖片bbox起點(diǎn)

ex，ey：原始圖片bbox結(jié)束點(diǎn)

在生成過(guò)程中避免bbox坐標(biāo)超出原圖片或負(fù)值;接著遍歷這數(shù)組，將bbox從原圖片摳出，對(duì)resize進(jìn)行歸一化，將24x24的圖片喂入RNet，下圖表示RNet結(jié)構(gòu)：

R-Net最后是采用的全連接層，由上圖得到，一張24x24x3圖片最終輸出結(jié)果3x3x64的特征圖，再經(jīng)歷全連接層后分成三條支路，用于人臉?lè)诸?lèi)、邊框回歸、人臉特征點(diǎn)定位。三條支路損失函數(shù)各項(xiàng)損失權(quán)重比為1：0.5：0.5。

將圖片輸入RNet后，得到了cls_ scores， reg兩個(gè)數(shù)組，cls_ scores表示是否人臉的概率，reg表示bbox的回歸值。將cls_ scores中人臉的概率與實(shí)現(xiàn)設(shè)定的閾值比較，將大于閾值的圖片對(duì)應(yīng)的bbox提取出來(lái)，過(guò)濾掉一部分非人臉的bbox。接著拋棄掉重疊率高的人臉框，經(jīng)過(guò)兩次篩選， bbox數(shù)量將會(huì)減少很多。最后進(jìn)行R-Net操作，用回歸信息reg來(lái)調(diào)整bbox坐標(biāo)，將bbox4個(gè)坐標(biāo)乘bbox寬或高，其中x和寬相乘，y和高相乘，返回調(diào)整后的四個(gè)坐標(biāo)。

5.結(jié)論

本項(xiàng)目的特色是應(yīng)用現(xiàn)有的比較成熟的人臉面部表情開(kāi)源算法模型，建立一套機(jī)器智能識(shí)別系統(tǒng)，通過(guò)改良R-NET算法，更好地量化評(píng)價(jià)職業(yè)微笑的符合度。

參考文獻(xiàn)：

[1]兒童人臉識(shí)別和成長(zhǎng)預(yù)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 周凡. 重慶.西南大學(xué). 2021（01）

[2]基于跨連接LeNet-5網(wǎng)絡(luò)的面部表情識(shí)別[J]. 李勇，林小竹，蔣夢(mèng)瑩.? 自動(dòng)化學(xué)報(bào). 2018（01）

[3]Identity-aware convolutional neural networks for facial expression recognition[J]. Chongsheng Zhang，Pengyou Wang，Ke Chen，Joni-Kristian Kmrinen.? Journal of Systems Engineering and Electronics. 2017（04）

[4] 基于全景相機(jī)的側(cè)臉表情識(shí)別和目標(biāo)檢測(cè)[D]. 彭磊. 重慶. 西南大學(xué). 2021（01）

[5]基于Gabor參數(shù)矩陣與改進(jìn)Adaboost的人臉表情識(shí)別[J]. 楊凡，張磊.? 計(jì)算機(jī)應(yīng)用. 2014（04）

作者簡(jiǎn)介：陳瑋，女，出生1982年，福建福州，漢族，助教，本科學(xué)士，福建船政交通職業(yè)學(xué)院，主要研究方向?yàn)椋簣D像識(shí)別、機(jī)器學(xué)習(xí)

作者簡(jiǎn)介：蔣金，男，出生1973年，福建福州，漢族，高工，本科學(xué)士，福州量子中金數(shù)碼技術(shù)有限公司， 主要研究方向?yàn)椋很浖こ?/p>

[基金項(xiàng)目]：福建省教育廳中青年教師教育科研項(xiàng)目（科技類(lèi)）（JAT201051），基于人臉特征點(diǎn)識(shí)別算法的職業(yè)微笑量化評(píng)價(jià)系統(tǒng)研究，審批單位是福建省教育廳