微表情探析

余姣姣

（蘇州大學(xué) 教育學(xué)院，江蘇 蘇州 215123）

1 引言

微表情（microexpression）是個體試圖隱藏或壓抑其真實情感時所泄露出的非常短暫的且不能自主控制的面部表情.微表情存在的觀點來源于達(dá)爾文的抑制假說：面部的動作不能被自由的控制，有可能會產(chǎn)生一些不受控制的動作，即使個體嘗試去控制他/她的情緒表達(dá).

百年后，Haggard和 Isaacs（1966）首先發(fā)現(xiàn)微表情（micromomentary expression），并認(rèn)為它是一種壓抑的表情.隨后，1969年Ekman和Friesen也在抑郁癥患者的訪談錄像中發(fā)現(xiàn)了這種面部表情，并將其命名為微表情.Porter and ten Brinke(2008)等人認(rèn)為當(dāng)個體試圖期望他人被情緒表達(dá)所欺騙時，微表情就會發(fā)生.

微表情最近開始走向大眾化，是由于在診斷和國家安全方面潛在的應(yīng)用價值，它被認(rèn)為是一個最有效線索來檢測謊言和危險行為.在美國運(yùn)輸安全局已經(jīng)采用了篩選乘客通過觀察技術(shù)，該技術(shù)很大程度上是基于微表情研究的結(jié)果.在臨床領(lǐng)域，微表情可以用來了解患者真正的情感，促進(jìn)更好的治療.然而，微表情被認(rèn)為是如此短暫，這幾乎是不可檢測的，因此難以對人們進(jìn)行檢測.雖然如此，還是難以阻擋人們對微表情研究的熱情.本文將從微表情的識別、微表情的生理機(jī)制以及微表情庫三個方面進(jìn)行闡述.

2 微表情識別

早期研究中，研究者主要任務(wù)是編制各種測驗以達(dá)到訓(xùn)練或者測量被試微表情的識別能力.如Ekman和Friesen在1974年聯(lián)合編制的短暫微表情識別測驗 (Brief Affect Recognition Test，BART).在這個測驗中，主試每1/25秒向被試呈現(xiàn)一張表情圖片，以探究被試對微表情的識別能力.且該測驗還能判斷微表情的識別能力與謊言識別率的關(guān)系.Ekman和Sullivan(1991)利用該測驗發(fā)現(xiàn)，謊言識別測驗的得分與BART測驗中的成績呈顯著正相關(guān).然而隨著研究的進(jìn)一步深入，研究者們對每1/25秒的呈現(xiàn)速度提出質(zhì)疑，認(rèn)為在真實的環(huán)境中，微表情出現(xiàn)的時間可能更短；并且如果每次都快速呈現(xiàn)表情圖片，很有可能會造成視覺后效，影響微表情的辨別.因此在2002年Ekman又研制了一個微表情識別能力測驗，即“日本人與高加索人短暫表情識別測驗”(Japanese and Caucasian Brief Affect Recognition Test,JACBART).與BART不同之處在于在該測驗中每張圖片呈現(xiàn)的時間僅為1/15秒.并且為了消除視覺后效，在每張表情圖片的前后都會加上該人的中性表情圖片.Frank等人利用該測驗對澳大利亞人和美國人的微表情識別能力和謊言識別能力的關(guān)系進(jìn)行研究，結(jié)果表明不管是美國人還是澳大利亞人，JACBART得分越高，其謊言識別能力也越高.

此外，人們還發(fā)現(xiàn)微表情的識別是可以通過訓(xùn)練提高的.Ekman(2002)等人使用微表情識別訓(xùn)練工具（Micro Expression Training Tool,METT）對被試進(jìn)行微表情的識別訓(xùn)練，結(jié)果發(fā)現(xiàn)使用METT訓(xùn)練程序后，被試在可在1.5小時內(nèi)將微表情識別的成績提高至30%-40%.

David Matsumoto和Hyi SungHwang通過對韓國81名超市員工的實驗對此進(jìn)行了證明.首先所有的被試都會填一個微表情問卷作為前測.然后使用微表情認(rèn)知訓(xùn)練工具（MIX）對實驗組被試進(jìn)行訓(xùn)練和練習(xí)，而控制組被試沒有訓(xùn)練.一個小時后對所有被試進(jìn)行MIX后測，以及給他們做一個關(guān)于怎樣在日常生活和工作中使用識別他人表情的能力的簡短介紹.實驗設(shè)計是2（實驗組vs對照組）*2（前測vs后測）的混合設(shè)計.實驗結(jié)果表明實驗組的成績顯著高于對照組成績，并且實驗組獲得了更好的第三方評價，這證明訓(xùn)練提高了被試識別微表情的能力，并且能在人際交往中發(fā)揮作用.為了證明微表情的訓(xùn)練效果能夠持續(xù)一段時間，研究者在美國重復(fù)了上述實驗，只是在兩個星期后通過e-mail給被試發(fā)網(wǎng)上后測工具，收集信息.結(jié)果發(fā)現(xiàn)兩個星期后實驗組和對照組仍然存在顯著差異，這證明了對微表情識別的訓(xùn)練不僅能夠提高微表情識別的能力，而且其效果還能持續(xù)較長的時間.但是該研究兩個星期后的后測回收率較低，這就存在了那些覺得有效果的給了結(jié)果，而覺得沒有效果的就沒有結(jié)果，這使得研究結(jié)果產(chǎn)生偏差，因此該實驗的研究結(jié)果是否可信，還值得商榷.

雖然微表情的識別在現(xiàn)實中可以有很大的應(yīng)用，但是由于微表情持續(xù)時間短很多時候不能覺察，因此人類識別微表情的正確率很低，Tomas等人發(fā)現(xiàn)只有受過訓(xùn)練的人才能識別微表情并且準(zhǔn)確率只有47%，因此一個代替人類微表情識別的方法是很重要的，自動微表情識別的研究由此誕生.Tomas,Xiaobai Li,Guoying Zhao and Matti Pietik¨ainen（2011）使用時空插值法實現(xiàn)計算機(jī)自動識別，實驗證明即使是在25幀每秒的速度下仍可達(dá)到高識別率，通過結(jié)合隨機(jī)弗雷斯特分辨器和29幀的時間插值使結(jié)果達(dá)到最好，幾乎達(dá)到87.9%的正確率.這就可媲美于人類微表情的識別率.

而 Qiqiang Zhou和 Xiangzhou Wang（2013）又有了更高的進(jìn)展.他們創(chuàng)造了基于幾何特征的系統(tǒng)的實時的面部表情識別系統(tǒng).幾何特征的提取是在一種混合的方法下提取出來的.這個方法首先使用ASM來粗略的追蹤基本點，然后使用一個基于閾限和可變模型來調(diào)整嘴巴部位的基本點，這些基本點是由于在非線性圖像變量中呈現(xiàn)了不正確的位置，如由巨大的面部表情的改變所引起.基本特征的提取來自通過SVM分類器對基本點進(jìn)行分類，并歸類到七個基本表情中的一個，實驗表明識別的速度可以達(dá)到12幀.但是，這個自動表情識別有一個缺陷：當(dāng)出現(xiàn)如嘴巴張的很大，皺眉等較大的表情時識別的結(jié)果很好，當(dāng)出現(xiàn)微小的表情時，系統(tǒng)不能工作.也就是說當(dāng)微表情不是那么明顯或者表情的幅度不是那么大的時候，就不能實現(xiàn)微表情的自動化識別.

國內(nèi)傅小蘭等人（2011年）基于前人的研究成果自主研發(fā)了基于靜態(tài)特征的自動微表情識別系統(tǒng).該系統(tǒng)首先自動地對視頻中的人臉進(jìn)行捕獲并進(jìn)行相應(yīng)的預(yù)處理，基于Gabor特征對捕獲到的人臉圖像進(jìn)行特征提取，以形成人臉表情的Gabor9表征，再結(jié)合Gabor特征與改進(jìn)的GentleSVM算法實現(xiàn)人臉表情識別.測試結(jié)果表明，這個基于Gabor的自動微表情識別系統(tǒng)比受過訓(xùn)練的人類被試的成績更好!不過，該結(jié)果是基于特定的測試集得到的，對于幅度較小的表情或?qū)⑵鋺?yīng)用于現(xiàn)實環(huán)境中可能無法達(dá)到很高的識別率.

可見，自動微表情識別的研究雖然已取得了較大的進(jìn)展，但是所取得的成果都針對于幅度較大的面部表情，而對于精細(xì)表情的識別還有一定的差距，因此，對于自動表情識別的精細(xì)化，將是未來的一個研究方向.

3 微表情數(shù)據(jù)庫

無論是對人類微表情識別特點的研究，還是對自動識別微表情的計算機(jī)系統(tǒng)的研發(fā)，在很大程度上都依賴于一個完整的微表情數(shù)據(jù)庫.梁靜等人在2013年認(rèn)為諸如為實驗者提供豐富的刺激材料或基本的實驗材料、為自動微表情識別系統(tǒng)提供充分的訓(xùn)練和評估樣例，那么就必須建立一個具有代表性且數(shù)量足夠的微表情數(shù)據(jù).因此，許多研究人員試圖開發(fā)一種自動微表情識別系統(tǒng)，幫助人們發(fā)現(xiàn)這種稍縱即逝的表情.以下是在開發(fā)檢測和識別算法中使用的一些微表情數(shù)據(jù)庫：

1.USF-HD包含100個表情,分辨率為720×1280和29.7幀的幀頻.參與者被要求執(zhí)行表情和微表情.對于微表情，參與者在被記錄之前先觀看一些包含微表情的示例視頻.參與者被要求去模仿這些表情.

2.polikovsky的數(shù)據(jù)庫包含了10個大學(xué)生被試，被要求執(zhí)行7基本表情與低臉部肌肉強(qiáng)度，并盡可能快回到中性表情，模擬微表情動作.相機(jī)設(shè)置為：480×640分辨率，200幀/秒.

3.yorkddt包含18個微表情：7個來自于表情場景、11個來自非表情化的場景；11個來自欺騙性場景、7個源自真實場景.

4.SMIC包含由100fps照相機(jī)記錄的77個無意識微表情.一個帶有處罰威脅和高度表情起伏的審訊室被選擇創(chuàng)造高賭博情境，在這里被試經(jīng)歷高表情喚醒卻要有意識地壓制他們的面部表情.

之前的微表情數(shù)據(jù)庫包含以下問題：

1.不自然的微表情.其中一些是故意創(chuàng)建的所以它們都是與無意識的微表情不同.根據(jù)Ekman研究，表情不能故意控制.

2.面部動作沒有情感參與.如果沒有認(rèn)真的分析和研究，很容易混淆無表情面目運(yùn)動是微表情，如擤鼻涕，吞咽口水或滾動.

3.缺乏精確表情標(biāo)簽.從心理觀點來看，其中一些數(shù)據(jù)庫沒有正確表情標(biāo)簽.微表示的表情標(biāo)簽是相似的，但與傳統(tǒng)的面部表情的標(biāo)簽并不相同.

國內(nèi)學(xué)者 Wen-Jing Yan（2013）等人，在前人研究的基礎(chǔ)上，研發(fā)了無意識微表情數(shù)據(jù)庫.該數(shù)據(jù)庫具有：1.樣本是自發(fā)的和動態(tài)的微表情.之前和之后每個微表情是基線（通常中性）的面孔，所以樣本可還可以用于評估檢測算法.2.在研究中參與者被要求保持中性的面孔（中立化范式).因此，在我們的數(shù)據(jù)庫中捕獲的微表情是相對較“純凈且清晰”，無噪聲，頭部運(yùn)動和不相干的面部動作等.3.行動單位被給予每種微表情.AUs給出詳細(xì)的面部表情運(yùn)動，幫助給出更準(zhǔn)確的表情標(biāo)簽4.二臺不同照相機(jī)在不同的環(huán)境配置之下用于增加視覺可變性.5.基于心理研究和參與者的自我報告仔細(xì)標(biāo)記出現(xiàn)的表情.此外，無表情的面部動作被去除了.

4 微表情的心理與神經(jīng)機(jī)制

微表情與普通表情的識別除了在行為數(shù)據(jù)上的差異外（如普通表情的識別正確率顯著大于微表情），研究者認(rèn)為兩者的認(rèn)知神經(jīng)機(jī)制也存在差異.如在微表情產(chǎn)生機(jī)制上，人們已產(chǎn)生了一定的共識：對面部肌肉的控制存在兩條通路.一條是控制隨意的面部肌肉運(yùn)動的皮質(zhì)運(yùn)動通路；另一條是控制自發(fā)面部肌肉運(yùn)動的皮質(zhì)椎體外系通路.雖然研究者認(rèn)為微表情的產(chǎn)生可能與這兩條通路有關(guān)，但是目前還沒有直接的證據(jù)進(jìn)行證明(Ekman，2003).另外梁靜、顏文靖等利用ERP技術(shù)也發(fā)現(xiàn)了微表情與普通表情在加工機(jī)制上的差異.他們在給被試呈現(xiàn)三種不同的表情圖片（正性、負(fù)性和中性）時發(fā)現(xiàn)了個體在微表情（呈現(xiàn)時間在200ms以內(nèi)）和普通表情（呈現(xiàn)時間在200ms以上）的ERP成分存在顯著差異.這表明200ms很有可能是區(qū)分微表情與普通表情之間的分界點；這也從另一方面證明了微表情與普通表情在加工機(jī)制上并不相同.

由于微表情的神經(jīng)生理機(jī)制的研究目前尚少，要對微表情的心理與神經(jīng)機(jī)制闡述清楚較為困難.但是我們可以通過影響微表情的人格、情緒、動機(jī)或認(rèn)知等因素的分析來加深對微表情的理解，進(jìn)而深入系統(tǒng)的回答微表情系別中的基本問題.研究發(fā)現(xiàn)，微表情的識別能力與人格有較大關(guān)系.如Matsumoto等人(2000)的研究發(fā)現(xiàn)被試在JACBART上的得分與他們在大五人格量表開放性(openness)維度上的得分和艾森克人格量表外傾性(extraversion)維度上的得分呈顯著正相關(guān).即個體在開放性或者外傾性上的得分越高，其微表情的識別能力也越高.這說明越開放的人其微表情識別能力越強(qiáng)，這也可能是為什么越開放的人越受歡迎的原因之一，因為他們更善于察言觀色.另外，這也表明了微表情識別能力的訓(xùn)練可能不僅僅局限于訓(xùn)練的程序，還可以從個體的性格上進(jìn)行塑造.

迄今為止，有關(guān)微表情的心理與神經(jīng)機(jī)制研究還較少，微表情的神經(jīng)機(jī)制還是微表情研究中亟待解決的重要科學(xué)問題.

5 小結(jié)

微表情的研究是近年來學(xué)術(shù)界與現(xiàn)實生活中都非常關(guān)注的話題.但是由于時間較短，并沒有對微表情進(jìn)一步透徹的分析.例如，對于現(xiàn)行的微表情識別能力測驗還存在生態(tài)化的效度不高等問題；基于微表情的自動謊言識別系統(tǒng)的正確率不夠理想，以及微表情識別的心理與神經(jīng)機(jī)制的探索還有待進(jìn)一步加強(qiáng)等.隨著研究的進(jìn)一步深入，這些問題將進(jìn)一步得到解決，使得相關(guān)的成果能夠得到廣泛的應(yīng)用.

〔1〕David Matsumoto , Hyi Sung Hwang.Evidence for training the ability to read microexpressions of emotion.Motiv Emot.2011,35:181–191.

〔2〕Ekman, P. (2003). Emotions revealed:Recognizing faces and feelings to improve communication and emotional life.New York:Times books.

〔3〕Ekman,P.,&Friesen,W.V.The repertoire of nonverbal behavior: Categories, origins,usage,and coding[J].Semiotica,1969,1,49–98.

〔4〕Ekman, P., & Friesen, W. V. (1974).Nonverbal behavior and psychopathology.In R.J.Friedman & M.Katz (Eds.),The psychology of depression:Contemporary theory and research(pp.3–31)[M].Washington,D.C.:Winston and Sons.

〔5〕Ekman,P.,Sullivan M.Who can catch a liar[J],American Psychologist,1991,46(9):913-920.

〔6〕Ekman P.Micro Experssion Trainng Tool(METT). From http://www.paulekman.com,2002.Retrieved April 15,2009.

〔7〕G. Warren, E. Schertler, and P. Bull,“Detecting deception from emotional and unemotional cues,”[J]Journal of Nonverbal Behavior,2009,33(1):59-69.

〔8〕Haggard,E.A., & Isaacs,K.S. (1966).Micro -momentary facial expressions as indicators of ego mechanisms in psychotherapy.In L.A.Gottschalk&A.H.Auerbach(Eds.),Methods of Research in Psychotherapy (pp.154–165)[M].New York:Appleton-Century-Crofts.

〔9〕M.Shreve,S.Godavarthy,D.Goldgof,and S.Sarkar, “Macro-and micro-expression spotting in long videos using spatio-temporal strain,”in IEEE Conference on Automatic Face and Gesture Recognition FG’11.IEEE,2011,pp.51–56.

〔10〕Matsumoto,D.,LeRoux,J.A.,Wilson-Cohn,C.,Raroque,J.,Kooken,K.,Ekman,P.,et al.A new test to measure emotion recognition ability:Matsumoto and Ekman’s Japanese and Caucasian Brief Affect Recognition Test (JACBART)[M].Journal of Nonverbal Behavior,2000,24(3),179–209.

〔11〕Porter,S.,&ten Brinke,L.Reading between the lies:Identifying concealed and falsi?ed emotions in universal facial expressions[J].Psychological Science,2008,91(5),508–514.

〔12〕Qiqiang Zhou,&Xiangzhou Wang.Real-Time Facial Expression Recognition System Based -On Geometric Features [M].International Conference on Information Technology and Software Engineering.2013:449-456.

〔13〕S.Polikovsky,Y.Kameda,and Y.Ohta,“Facial micro-expressions recognition using high speed camera and 3d -gradient descriptor,” in Crime Detection and Prevention (ICDP 2009),3rd International Conference on.IET,2009:1–6.

〔14〕T. Pster, X. Li, G. Zhao, and M.Pietikainen, “Recognising spon-taneous facial micro-expressions,”in Computer Vision(ICCV),2011 IEEE International Conference on.IEEE,2011,pp.1449–1456.

〔15〕Tomas P?ster,Xiaobai Li,Guoying Zhao and Matti Pietik¨ainen.Recognising Spontaneous Facial Micro-expressions.IEEE International Conference On Computer Vision.2011:1449-1456.

〔16〕Wen-Jing Yan,Qi Wu,Yong-Jin Liu,Su-Jing Wang and Xiaolan Fu. CASME Database:A Dataset of Spontaneous Micro-Expressions Collected From Neutralized Faces.In:IEEE Conference on Automatic face and Gesture Recognition,Shanghai,China,2013.

〔17〕Wu Q,Shen X,Fu,X.The machine knows what you are hiding:An automatic microexpression recognition system [J].Affective Computing and Intelligent Interaction:lectures notes in computer science,2011,6975:152-162.

〔18〕梁靜,嚴(yán)文靖,吳齊,申尋兵,傅小蘭.微表情研究的進(jìn)展與展望[J].中國科學(xué)基金，2013（2）：75-78.