中國大學生動態情緒面孔庫的構建*

劉俊材 冉光明** 張 琪 胡艷紅 余曉惠 張瓊之 楊 蝶

(1西華師范大學教育學院心理系，南充 637002;2西華師范大學學前與初等教育學院，南充 637002)

1 引 言

面孔是人類人際交往過程中最常見的視覺刺激之一，包含著豐富的社會信息，比如個體的情緒、種族、性別和年齡等(張琪，尹天子，冉光明，2015)。長久以來，對于情緒面孔的研究是學界關注的熱點。大量的學者運用行為學、事件相關電位(ERP)和腦成像的方法探究了人類的情緒面孔識別(比如，Fan et al.，2015；Li，Zhu，Ding，Ren，& Luo，2019；Luo，Feng，He，Wang，& Luo，2010)。值得注意的是，在日常生活中，我們面對的面孔是動態而非靜態的，因此，準確識別他人的動態情緒面孔對于個體的生存以及人際交往更加重要。

近年來，大量研究者開始對動態面孔表情進行研究，實驗結果發現，較靜態情緒面孔而言，個體在識別動態情緒面孔時表現出較好的識別能力(Sarkheil，Goebel，Schneider，& Mathiak，2013；Thornton，Mullins，& Banahan，2011)，即動態面孔表情的優勢效應(張琪等，2015)。研究顯示，動作可以提高面部情緒歸因的準確性(Wallraven，Breidt，Cunningham，& Bülthoff，2008；Wehrle，Kaiser，Schmidt，& Scherer，2000)。當靜態信息受到限制時(如結構、空間或其他信息的缺失)，面孔運動的優勢作用最為明顯(Fiorentini & Viviani，2011；Krumhuber，Kappas，& Manstead，2013)。動態面孔表情優勢效應的一種可能解釋是一個動態序列由多個靜態圖像組成，因此，優勢效果可以歸因于靜態信息量的增加。但研究表明，與包含相同幀數的多靜態情緒面孔相比，動態情緒面孔的識別效果明顯更好(Ambadar，Schooler，& Cohn，2005)。事實上，動態面孔表情優勢效應并不僅僅來自于運動信號的存在，還來自于嵌入表情的時間序列中的特征信息，包括運動方向(Bould，Morris，& Wink，2008)、運動速度(Hill，Troje，& Johnston，2005)、嵌入信息的質量(Cosker，Krumhuber，& Hilton，2010)等，都會影響感知者對情緒的識別。

除了在情緒識別準確性方面的促進作用，面孔運動已被證明有助于情緒判斷和行為反應。首先，面孔運動有助于對情緒強度和刺激的判斷。研究一致表明，動態情緒面孔比靜態情緒面孔更強烈和更現實(Biele & Grabowska，2006；Cunningham & Wallraven，2009)。Yoshikawa和Sato(2008)的研究發現了動態情緒面孔的表征動量效應出現：被試最后看到的動態刺激圖像比實際呈現的圖像具有更強的情緒強度；面孔運動的速度增加越多，對面部表情知覺圖像的強化程度越高。其次，觀察者在判斷表情的真實性時對動態信息也很敏感。有支持性的證據表明，時間動態影響個人的評級、行為意圖和觀察者的決定(Krumhuber，Manstead，& Kappas，2007)。Namba，Kabir，Miyatani和Nakao(2018)最近的研究發現，與靜態情緒面孔相比，參與者更善于區分動態情緒面孔的真實性。最后，面孔運動可以提高面孔模仿能力。研究顯示，動態情緒面孔比靜態情緒面孔導致更強烈和更頻繁的面孔模仿(Sato & Yoshikawa，2007；Krumhuber et al.，2013)。有研究運用面部肌電掃描技術(EMG)發現，感知者在知覺動態情緒面孔時皺眉肌、顴大肌和輪匝肌等的運動程度顯著增強(Korb，With，Niedenthal，Kaiser & Grandjean，2014；Sato，Fujimura，Kochiyama & Suzuki，2013)，進一步證實動態情緒面孔的呈現的確促進了知覺者的面孔模仿。

伴隨著功能性磁共振成像(fMRI)等認知神經科學技術的快速發展，越來越多的學者開始借助該技術來探討動態情緒面孔識別的神經機制。這些研究總體勾勒出了動態情緒面孔識別的神經機制框架。在動態面孔表情優勢效應的神經網絡中，存在一個核心的神經網絡，即顳—枕相關腦區的連接(Foley，Rippon，Ngoc Jade，Longe，Senior，2012；Haxby，Hoffman，& Gobbini，2000)。由核心神經網絡向外延伸的相關腦區被稱為擴展的神經網絡，該網絡被發現正沿著兩個方向擴展，一是向顳—枕核心腦區之外的廣大皮層相關腦區擴展，Sato，Toichi，Uono和 Kochiyama(2012)的研究用動態自然面孔作為刺激材料發現涉及額下回(inferior frontal gyrus，IFG)，而Sarkheil等人(2013)利用變形軟件模擬出來的卡通面孔則發現頂下小葉(inferior parietal lobule，IPL)顯著激活，二是向皮層下的腦區擴展，主要與杏仁核(amygdala)有關(Sato，Kochiyama，Uono，& Yoshikawa，2010)。核心的神經網絡主要負責早期的知覺編碼和刺激的運動加工，而延伸網絡與個體的面孔模仿、刺激的動態表征等有關(張琪等，2015)。

綜上所述，大量的研究者運用行為和認知神經科學的方法考察了個體對他人動態情緒面孔的識別。但以往的研究存在兩方面的問題。首先，一部分研究者使用的情緒面孔材料是用變形軟件模擬出來的動態卡通面孔，盡管此種材料與靜態圖片相比在生態效度方面確有較大的改善，但仍與現實刺激存在較大差距，難以生動鮮活地表達情緒。其次，盡管國外已經建立了諸多動態情緒面孔庫，比如Cohn-Kanade動態面孔表情庫(CK+)(Lucey，Cohn，Kanade，Saragih，Ambadar，& Matthews，2010)、阿姆斯特丹動態面孔表情庫(ADFES)(Van der Schalk，Hawk，Fischer，& Doosje，2011)和伯明翰大學3D動態面孔表情庫(BU-4DFE)(Yin，Chen，Sun，Worm，& Reale，2008)等，但至今還沒有較為完善的中國人動態情緒面孔庫。眾所周知，情緒刺激材料具有社會文化差異，國外刺激材料不能直接應用于國內研究。以往研究發現人類在識別情緒面孔時會表現出面孔種族效應(Other-race effects)，即識別異族面孔比識別本族面孔更困難(Malpass & Kravitz，1969)。中國在政治、經濟、歷史文化等多方面都與西方國家有顯著差異，有必要制備適用于本土研究的情緒刺激材料。因此，有國內研究者初步建立了中國面部表情視頻系統(CFEVS)(杜經綸等，2007)。CFEVS的相關研究取得了豐碩的成果，但仍有些方面值得完善。首先，CFEVS納入了喜悅、悲傷和中性表情視頻，而未納入憤怒、恐懼、厭惡和驚訝等熱點研究情緒類型。其次，在視頻維度方面，CFEVS只考察了視頻的愉悅度和喚醒度，而未評定視頻的優勢度、吸引力和可信度。最后，CFEVS中的視頻持續時間為3秒，這種持續時間較長的視頻材料不適合ERP研究。因此，亟待建立更完善的中國人動態情緒面孔庫。

2 對象與方法

2.1 對象

招募67名自愿者(男31名，女36名，18～24歲，M=19.6歲)參與動態情緒面孔的表演。招募207名被試(男101名，女106名，17～28歲，M=21.1歲)參與動態情緒面孔的評定。所有被試視力或矯正視力正常，無精神疾病，實驗后獲得相應實驗報酬。參與表演的被試均需面部無明顯創傷，并簽署肖像權使用協議書。

2.2 視頻采集

當前研究拍攝的動態情緒包括憤怒、厭惡、恐懼、高興、傷心、驚訝和中性7種。每種情緒被試需表演兩遍。第一遍，讓表演者想象符合某種情緒的情境以喚起這種特定的情緒。在進行表演時，沒有告訴表演者應該完成什么樣的面部動作，這有助于表現情緒面孔的特異性(龔栩，黃宇霞，王妍，羅躍嘉，2011)。第二遍，通過情感描述性語句、訪談和短視頻等誘發情緒(B?nziger & Scherer，2007；Girard，Cohn，Mahoor，Mavadati，& Rosenwald，2013)。拍攝前，表演者需摘掉耳環和項鏈等。拍攝時，僅采集上半身齊肩素材，要求表演者坐在椅子上表演以減少無關動作，每次表演均要求在3至5秒內完成。所有拍攝的視頻用EDIUS7進行統一處理，去除耳朵、頭發和脖子等外部特征，只保留眼、鼻、口和面頰等內部特征(彭小虎，羅躍嘉，魏景漢，王國鋒，2003；王妍，羅躍嘉，2005)。為了滿足ERP和fMRI實驗對時間分辨率的不同要求，每段視頻剪輯為1秒和3秒兩種，存儲為MP4格式。

2.3 視頻篩選

2.3.1 篩選程序

第一步，課題組4名成員對拍攝的1876段情緒面孔視頻進行粗選。粗選的目的是排除4名成員一致認為具備以下特征的視頻：(a)明顯不能表達情緒，(b)面部特征過于明顯，(c)面部存在其他外部特征。第二步，制備評價手冊。當前研究采用自我評價模式(SAM)對動態情緒面孔的愉悅度、喚醒度、優勢度、吸引力和可信度進行評定。每個等級評定量表中的等級范圍為1～9，1代表每個維度的最小值，而9則表示每個維度的最大值。(白露，馬慧，黃宇霞，羅躍嘉，2005；張妍，孔繁昌，陳紅，向燕輝，高笑，陳敏燕，2010；王秀娟，王娜，韓尚鋒，劉燊，張林，2018)。第三步，進行評測的舉例講解，安排被試練習并分析被試的練習效果。確保被試了解視頻材料和研究任務，能完全理解整個流程并建立了準確的判斷標準和評分尺度。第四步，正式實驗，讓被試對每段情緒面孔視頻的各項指標進行評定。原則上根據即時感受打分，不做長時間思考，每評定60段視頻休息一次。第五步，前人研究(王妍，羅躍嘉，2005；Wang & Markhma，1990)和粗選中均發現評分者在進行多種情緒面孔判斷時易混淆，因此研究對易混淆的動態視頻(比如憤怒、厭惡、驚訝和恐懼)進行了再評價。

2.3.2 數據處理和統計分析

當前研究首先統計了情緒面孔視頻的認同率(被試對動態面孔情緒類型認可的概率)。以往的研究認為認同率大于70%的情緒面孔即是該情緒的真正表情(Erwin et al，1992；Rojahn，Gerhards，Matlock，& Kroeger，2000)。但有研究指出大學生對恐懼情緒判斷的認同率達到40%就可認為是真實的恐懼表情(喬建中，1998)。因此，當前研究將認同率低于50%的恐懼視頻排除，將認同率低于70%的其他情緒類型視頻篩除。然后，運用SPSS25.0對情緒面孔視頻的各維度評分進行內部一致性信度分析、描述統計、相關分析和性別的差異性檢驗。

3 結 果

3.1 篩選結果

當前研究最終獲得1421段有效的情緒面孔視頻。持續時間為1秒的視頻701段，包括130段高興、88段憤怒、99段厭惡、11段恐懼、85段悲傷、162段驚訝和126段中性視頻。持續時間為3秒的視頻720段，其中高興130段、憤怒97段、厭惡102段、恐懼10段、悲傷102段、驚訝157段以及中性122段。

3.2 內部一致性信度

當前研究對情緒面孔視頻的愉悅度、喚醒度、優勢度、吸引力和可信度評分進行了內部一致性信度分析。結果發現持續時間1秒視頻的內部一致性信度系數為：0.961(愉悅度)、0.956(喚醒度)、0.976(優勢度)、0.973(吸引力)和0.971(可信度)，持續時間為3秒的視頻五個維度的內部一致性信度系數依次為：0.971、0.983、0.960、0.984和0.970。

3.3 評定結果

表1呈現了持續時間為1秒和3秒的情緒面孔視頻在愉悅度、喚醒度、優勢度、吸引力和可信度上得分的平均數和標準差。相關分析結果詳見表2(同一情緒類別下的面孔視頻評分在不同相關性上的比例)、表3(不同情緒間面孔視頻評分在同一維度上的相關性)和表4(1秒和3秒情緒面孔視頻在各維度上的相關)。如表5的差異性檢驗結果所示，個體在評定1秒視頻時，男性被試的愉悅度、可信度和優勢度評分顯著比女性高，而女性被試的吸引力和喚醒度評分顯著比男性高。在評定3秒視頻時，男性被試的各個維度評分均顯著高于女性。

表1 1秒和3秒情緒面孔視頻在各維度上的平均數和標準差(s)

表2 同一情緒類型下面孔視頻評分在不同相關性上的比例

表3 不同情緒間面孔視頻評分在同一維度上的相關

表4 1秒和3秒情緒面孔視頻在各維度上的相關

表5 1秒和3秒情緒面孔視頻在各維度上的性別差異

4 討 論

當前課題初步完善了中國大學生動態情緒面孔庫(Chinese Undergraduate Dynamic Affective Facial Database，CUDAFD)。研究對每段面孔視頻的情緒類型、愉悅度、喚醒度、優勢度、吸引力和可信度進行了評定，共納入1421段有效情緒面孔視頻，其中持續時間為1秒的視頻701段，持續時間為3秒的視頻720段。這保證了學者們有足夠數量的情緒面孔視頻材料用于科學研究。

內部一致性信度分析表明，被試對視頻的評分可信度高，這與以往的研究是一致的(白露等，2005)。相關分析顯示，同一情緒類別下的面孔在評分上具有較高的相關性，而不同情緒間的面孔在評分上相關性較低，說明被試評分的效度較高，被試所評價的結果能有效反映動態面孔所傳遞的情緒。同時，面孔的愉悅度、喚醒度、優勢度、吸引力和可信度之間顯著相關，這說明五個維度之間存在一定關聯。因此，在采用本庫中的情緒面孔視頻進行某個維度的研究時，需嚴加控制其他維度。比如，研究者為了研究個體對不同情緒類型動態面孔的識別，選用了一組高興和憤怒的情緒面孔視頻。研究者需要確保高興和憤怒組中的視頻之間在愉悅度上存在顯著差異，而在其他維度上差異不顯著。此外，當前研究發現評分者性別會影響其評分，這一發現在杜經綸(2007)的研究中也被觀察到。性別差異性檢驗表明，1秒視頻的愉悅度、可信度和優勢度得分男性顯著比女性高，而女性被試的吸引力和喚醒度評分顯著比男性高。此外，3秒視頻的各個維度評分男性均顯著高于女性。

當前研究具有以下三方面的優點。第一，納入的情緒類型豐富。本庫中的動態情緒面孔包括高興、憤怒、厭惡、恐懼、悲傷、驚訝和中性七種情緒，這彌補了以往視頻庫中情緒類型偏少的不足(杜經綸等，2007)。第二，視頻特征評定的維度多。研究對本庫中的動態情緒面孔進行了愉悅度、喚醒度、優勢度、吸引力和可信度的評定，豐富的數據為從事科學研究提供了便利，節約了研究時間和成本。第三，視頻持續時間符合研究實際要求。納入本庫的動態情緒面孔包括持續時間為1秒和3秒兩種，前者較適合于ERP研究，而后者可用于fMRI實驗。

同時，本庫存在幾個方面的不足。首先，正如前文所述，由于恐懼面孔的認同率較低(喬建中，1998)，從而導致了該類型情緒面孔視頻的數量偏少。為了彌補這一不足，本團隊將在未來的研究中增補恐懼面孔視頻。其次，被試評測時的情緒狀態可能會影響評選結果。因此有必要采用心理量表或其他方法判定被試評測時的精神狀態(杜經綸等，2007)。最后，當前視頻庫中的材料是二維的，與三維視頻相比，其動態性和直觀性處于劣勢。因此，進一步的研究可建設中國大學生三維動態情緒面孔庫。

綜上所述，本庫共納入1421段有效情緒面孔視頻，涉及高興、憤怒、厭惡、恐懼、悲傷、驚訝和中性七種情緒，并獲得了視頻材料在愉悅度、喚醒度、優勢度、吸引力和可信度上的評分。對視頻各個維度評分的統計分析表明，評分可信、評價有效、各個維度間存在顯著相關以及顯著的性別差異。此外，以往的研究發現中國被試在識別國外的情緒面孔刺激時表現出加工劣勢(彭小虎等，2003)，而使用本數據庫制備的刺激材料將有效解決這一問題。總之，本研究通過嚴格的錄制和篩選過程，完善了中國本土的動態情緒面孔系統。本研究團隊將繼續完善和改進，爭取建立一個更加適用、全面和多樣的中國本土化的動態情緒面孔庫。