表情識(shí)別技術(shù)發(fā)展研究

齊特 張志剛 西安財(cái)經(jīng)大學(xué) 信息學(xué)院

1 概述

人類(lèi)的語(yǔ)言分為自然語(yǔ)言和形體語(yǔ)言?xún)深?lèi)，面部表情是形體語(yǔ)言的一部分，面部表情是由人臉肌肉的運(yùn)動(dòng)形成的，是情感變化在面部可觀察到的表現(xiàn)。隨著服務(wù)機(jī)器人產(chǎn)業(yè)的興起，模式識(shí)別走進(jìn)大眾視野，人們對(duì)表情的研究也逐漸增多：一些心理學(xué)家研究發(fā)現(xiàn)在人類(lèi)進(jìn)行會(huì)話(huà)交流傳遞信息時(shí)：話(huà)語(yǔ)內(nèi)容7%+說(shuō)話(huà)聲音38%+表情55%，因此表情在人類(lèi)交往活動(dòng)中起到了重要的作用，對(duì)面部表情的識(shí)別與分析有著重要的意義。

作為一門(mén)多學(xué)科交叉的研究課題，人臉表情識(shí)別技術(shù)涉及到心理學(xué)、生理學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知學(xué)等多個(gè)學(xué)科的知識(shí)。從目前的研究現(xiàn)狀來(lái)看，表情識(shí)別技術(shù)進(jìn)入一個(gè)研究的高潮與三個(gè)方面的推動(dòng)因素有直接的關(guān)系：第一是新一代人機(jī)交互界面的構(gòu)建推動(dòng)了人臉表情識(shí)別技術(shù)的發(fā)展；第二是情感計(jì)算與情感智能的提出推動(dòng)了人臉表情識(shí)別技術(shù)的發(fā)展；最后是與人臉表情識(shí)別相關(guān)的技術(shù)的成熟推動(dòng)了人臉表情識(shí)別技術(shù)的發(fā)展。事實(shí)上，計(jì)算機(jī)本身計(jì)算性能的提高也促進(jìn)了表情識(shí)別技術(shù)的進(jìn)步。另外，在表情識(shí)別研究過(guò)程中，人臉識(shí)別、定位、跟蹤技術(shù)中有許多成熟的算法都可以應(yīng)用到表情識(shí)別研究中，從而推動(dòng)了表情識(shí)別技術(shù)的發(fā)展。

2 國(guó)內(nèi)外發(fā)展現(xiàn)狀

目前國(guó)際上關(guān)于面部表情的分析與識(shí)別的研究工作可分為基于心理學(xué)和計(jì)算機(jī)兩類(lèi)。其中美國(guó)心理學(xué)家Ekman 和Friesen 定義了6 種基本表情：生氣、厭惡、害怕、傷心、高興和吃驚，并開(kāi)發(fā)了面部動(dòng)作編碼系統(tǒng)FACS(Facial Action Coding System)來(lái)檢測(cè)面部表情的細(xì)微變化。系統(tǒng)將人臉劃分為若干個(gè)運(yùn)動(dòng)單元AU(Action Unite)來(lái)描述面部動(dòng)作，這些運(yùn)動(dòng)單元顯示了人臉運(yùn)動(dòng)與表情的對(duì)應(yīng)關(guān)系。計(jì)算機(jī)方面，Suwa 和Sugie 根據(jù)一段臉部視頻變化抽取表情特征與典型模式比較進(jìn)行表情識(shí)別，terzopoulous 和Waters 運(yùn)用了簡(jiǎn)化的Ekman-Friesen 模型，用計(jì)算機(jī)產(chǎn)生人臉動(dòng)畫(huà)。

國(guó)內(nèi)在該領(lǐng)域的研究還是個(gè)較新的課題，清華大學(xué)的清華人臉表情數(shù)據(jù)庫(kù)包含常見(jiàn)的8 種感情類(lèi)表情和中文語(yǔ)音發(fā)音的說(shuō)話(huà)類(lèi)表情。北京航空航天大學(xué)毛峽教授等人建立了基于多種情感的北航人臉表情數(shù)據(jù)庫(kù)，包含了18 種單一表情、3 種混合表情和4 種復(fù)雜表情，具有多種在其他人臉數(shù)據(jù)庫(kù)中未曾出現(xiàn)的情感表情。中國(guó)科學(xué)院計(jì)算技術(shù)研究所的CAS-PEAL 人臉數(shù)據(jù)庫(kù)包含了7 種類(lèi)別（姿勢(shì)、表情、光照、背景、距離和時(shí)間）的人臉圖像。其中表情子數(shù)據(jù)集包括包含微笑皺眉驚訝閉眼和張嘴等。盡管取得了一些成績(jī)，但是和國(guó)外相比，國(guó)內(nèi)的研究處于起步階段，和發(fā)達(dá)國(guó)家相比還有很大的差距。

3 主要應(yīng)用領(lǐng)域

表情識(shí)別技術(shù)已經(jīng)在生活中得到應(yīng)用，主要包括人機(jī)交互、安全、通信、機(jī)器人、交通、面部神經(jīng)分析等六個(gè)領(lǐng)域，在人機(jī)交互當(dāng)中，計(jì)算機(jī)利用人臉表情作為控制命令指示計(jì)算機(jī)操作，通過(guò)事先訓(xùn)練，當(dāng)計(jì)算機(jī)實(shí)時(shí)監(jiān)控人臉表情變化并發(fā)現(xiàn)作為控制命令出現(xiàn)的表情信息時(shí)，計(jì)算機(jī)就會(huì)按照既定的程序做出反映；在安全領(lǐng)域，可以通過(guò)識(shí)別指紋或是人臉檢測(cè)等生物信息來(lái)進(jìn)行身份驗(yàn)證；在通信領(lǐng)域，通話(huà)的雙方都建立一個(gè)虛擬人頭部模型，僅僅通過(guò)網(wǎng)絡(luò)傳遞對(duì)方的語(yǔ)言和面部表情，并且利用面部表情信號(hào)驅(qū)動(dòng)虛擬人頭部模型進(jìn)行相應(yīng)的表情變化，大大節(jié)省了帶寬，并盡可能地傳遞對(duì)方要表達(dá)的信息；在機(jī)器人制造領(lǐng)域，表情識(shí)別技術(shù)使得機(jī)器人不再是一個(gè)簡(jiǎn)單的、按照給定程序工作的機(jī)器，而是一個(gè)開(kāi)始學(xué)習(xí)去理解人的想法，以便更好地為人類(lèi)服務(wù)的“智能人”；在交通應(yīng)用領(lǐng)域，通過(guò)設(shè)計(jì)安裝在汽車(chē)上用來(lái)檢測(cè)司機(jī)疲勞的狀態(tài)，以提醒司機(jī)需要注意安全的設(shè)備；在面部神經(jīng)癱瘓分析方面，可以通過(guò)機(jī)器來(lái)進(jìn)行人臉圖像實(shí)時(shí)傳輸和人臉圖像合成與動(dòng)畫(huà)。

4 關(guān)鍵技術(shù)

用計(jì)算機(jī)來(lái)自動(dòng)分析、識(shí)別面部表情是一個(gè)非常復(fù)雜的問(wèn)題，關(guān)鍵在于建立一個(gè)合理的人類(lèi)情緒(human emotions)模型并將它與人臉面部特征及表情的變化特征聯(lián)系起來(lái)[6-7]。表情識(shí)別主要依賴(lài)幾個(gè)方面的因素：1.對(duì)人臉的熟悉程度，能使對(duì)表情的理解變得更加深入和精細(xì)。2.對(duì)各種表情的體驗(yàn)需要結(jié)合心理學(xué)方面的知識(shí)，這是表情識(shí)別的難點(diǎn)所在。3.實(shí)時(shí)獲得人臉面部變化的完整信息，或者采用合理的補(bǔ)償方法進(jìn)行補(bǔ)償也是表情識(shí)別系統(tǒng)中需要處理的難題。4.化妝、眼鏡、遮擋等非視覺(jué)因素，對(duì)表情識(shí)別將帶來(lái)困難。5.采集自然表情的難度加大。6.外部環(huán)境等干擾因素會(huì)直接導(dǎo)致識(shí)別出現(xiàn)錯(cuò)誤。

5 發(fā)展趨勢(shì)

從表情識(shí)別目前的發(fā)展情況來(lái)看，未來(lái)將會(huì)有以下幾個(gè)熱點(diǎn)及趨勢(shì)：(1)提高表情識(shí)別的效率和速率，不斷有新的表情識(shí)別方法和改進(jìn)方案被提出；(2)解放以往需要人工輔助的工作。以實(shí)現(xiàn)表情識(shí)別的自動(dòng)化；(3)從對(duì)靜態(tài)圖像轉(zhuǎn)向動(dòng)態(tài)視頻表情序列的研究，以充分利用表情的時(shí)空信息；(4)隨著3維人臉模型在人臉識(shí)別中的成功應(yīng)用，表情識(shí)別研究也從2 維向3 維空間發(fā)展；(5)從對(duì)基本表情的識(shí)別逐漸轉(zhuǎn)向更為復(fù)雜的精細(xì)表情、混合表情及非基本表情的識(shí)別；(6)與人臉跟蹤、識(shí)別及合成等技術(shù)相結(jié)合來(lái)構(gòu)建各種實(shí)時(shí)的表情識(shí)別系統(tǒng)。

6 結(jié)語(yǔ)

現(xiàn)今，人臉識(shí)別系統(tǒng)已經(jīng)推向商業(yè)應(yīng)用，而表情識(shí)別系統(tǒng)仍難以滿(mǎn)足實(shí)際需要。未來(lái)的人機(jī)交互中，情感將是不可忽視的因素，而表情又是情感交流的門(mén)戶(hù)，表情識(shí)別必將在情感化人機(jī)交互中占有重要地位。所以，在當(dāng)今科學(xué)高度發(fā)展、智能識(shí)別技術(shù)日益進(jìn)步的條件下，需要以勇氣與智慧來(lái)挑戰(zhàn)表情識(shí)別的難點(diǎn)問(wèn)題，并進(jìn)行創(chuàng)新性研究，以便早日使機(jī)器接近人類(lèi)的情感智能水平。