動態序列情境對面部表情知覺的影響和作用機制

摘 "要 "現實生活中， 面部表情通常隨時間推移呈動態變化， 個體對任一表情的解讀都可能受其所處的動態序列情境的影響。盡管近年來有研究表明同時呈現的情境信息會對目標表情的知覺產生影響， 但對于序列變化的表情信息如何影響目標表情知覺卻知之甚少。本研究擬通過行為實驗和眼動技術， 借助人工合成和真人表演的動態表情， 考察序列變化的表情信息（即動態序列情境）對初始表情和最終表情的知覺的影響及其作用機制。研究成果有助于揭示生態化情境下的面部表情加工機制， 為基于人工智能的動態表情識別提供參考。

關鍵詞 "面部表情， 情緒知覺， 動態序列情境

分類號 "B842

1 "問題提出

成功的人際交流與社會互動的重要前提之一， 是準確感知和理解他人面部表情所傳遞的情緒。在現實生活中， 面部表情通常呈動態變化（Krumhuber et al.， 2013）。相較于孤立出現的靜態表情（如單一的悲傷或愉快表情）， 表情的序列變化（如從悲傷轉變為愉快， 或從愉快轉變為悲傷）傳遞了更為豐富的情緒信息， 且為初始表情和最終表情的知覺提供了情緒情境。個體對任何一種表情的解讀都有可能受其所處動態序列情境的影響。例如， 當動態表情從悲傷轉變為愉快時， 先前序列變化的表情如何影響個體對最終愉快表情的知覺？同理， 個體對初始悲傷表情的解讀又會如何受到其后序列變化表情的影響？探究這些問題對理解動態表情知覺至關重要。

長期以來， 基本情緒理論（basic emotion theory; Ekman， 1992; Keltner et al.， 2019）在面部表情加工研究中占據主導地位。該理論認為， 個體對面部表情的知覺主要依據面部肌肉構型（configurations of facial muscles; Gendron et al.， 2018; Hassin et al.， 2013）。受該理論影響， 多數面部表情研究聚焦于對孤立、靜態的面部線索的考察（如Adolphs， 2002; Cordaro et al.， 2018; Cowen et al.， 2021）。近年來， 研究者越發重視表情的動態特性（Bould et al.， 2008; Jack et al.， 2014; Krumhuber et al.， 2023）。除了靜態面部構型， 表情中的動態信息， 如運動方向、速度、質量等， 同樣蘊含著豐富的情感線索（Hess amp; Kleck， 1990; Krumhuber amp; Scherer， 2011; Nelson amp; Russell， 2014; Sowden " et al.， 2021）。動態面部特征與情緒類別和情緒維度的關聯也得到了進一步的揭示（C. Chen et al.， 2024; Jack et al.， 2016; Liu et al.， 2022）。值得注意的是， 除了靜態面部構型以及動態特性， 研究者發現情境信息也會影響個體對面部表情線索的解讀（Aviezer et al.， 2017; Barrett et al.， 2019; Zheng amp; Hsiao， 2023）， 這對傳統的面部表情加工理論構成了挑戰。然而， 此類研究主要考察同時呈現的情境信息對目標表情知覺的影響， 較少關注序列變化的情境信息（尤其是序列變化的面部表情）如何影響目標表情知覺， 其作用機制亦尚不明確。

鑒于此， 本研究擬通過行為實驗和眼動技術， 借助人工合成和真人表演的動態表情， 探討序列變化的表情信息（即動態序列情境）對不同時間點的目標表情（初始表情和最終表情）知覺的影響及作用機制。本研究有助于了解個體對不同時間點的情緒識別與理解， 揭示生態化情境下的面部表情加工機制， 并為面部表情加工理論的拓展提供另一種視角。

2 "國內外研究現狀

2.1 "初始表情對最終表情知覺的影響

一項早期研究（Russell amp; Fehr， 1987）發現， 先呈現的靜態表情可能會對其后呈現的靜態表情的知覺產生對比作用。具體而言， 出現在愉快面孔之后的中性面孔更常被評價為消極表情（氣憤、厭惡、恐懼和悲傷）， 而出現在悲傷面孔之后的中性面孔則更常被評價為積極表情（平靜、愉快和興奮）。近年來， 少數研究利用變形（morph）技術模擬表情的自然變化， 考察動態表情中初始表情對最終表情知覺的影響（Fang et al.， 2021; Jellema et al.， 2011; Palumbo amp; Jellema， 2013）， 并發現了類似的現象。例如， Fang等人（2021）發現， 與從積極表情（大笑）轉變而來的微笑表情相比， 被試對消極表情（氣憤和恐懼）轉變而來的微笑表情評價更積極。盡管研究方法各異， 但已有研究一致表明， 個體對最終表情的知覺會向初始表情的相反效價上偏移， 即出現對比作用。

然而， 這些動態表情研究僅考察了初始表情對情緒含義相對模糊的最終表情（中性和微笑）知覺的影響。雖然微笑是一種簡單且可高度識別的表情， 但它的情緒含義卻是模糊的， 因為微笑可能源于禮貌、優越感或愉悅感（Fang et al.， 2019; Rychlowska et al.， 2015， 2017）。當最終表情的情緒含義相對清晰（情緒效價明確且強度較高， 如悲傷表情原型）， 個體無需情境信息即可準確判斷其情緒意義。這種情況下， 初始表情是否仍會影響對最終表情的知覺， 值得進一步探究。本研究擬通過操縱最終表情的情緒含義清晰度， 考察其是否會調節初始表情對最終表情知覺產生的對比作用。

此外， 盡管研究表明morph生成的動態表情在一定程度上反映了表情的自然變化過程（Fang， Sauter， amp; Van Kleef， 2018; Fang， Van Kleef， amp; Sauter， 2018; Yoshikawa amp; Sato， 2008）， 但它們與真實動態表情在物理特征和知覺特性上仍有差異（Cosker et al.， 2015; Dobs et al.， 2014; Krumhuber amp; Scherer， 2016）。相比于morph生成的動態表情， 真人表演的動態表情被知覺為更加真實和自然（Cosker et al.， 2015）。已有研究發現， 表情的真實性會影響個體對其情緒效價和強度的判斷（Maringer et al.， 2011; Wincenciak et al.， 2022）。因此， 本研究擬使用真人表演的動態表情， 進一步探究初始表情是否仍會對最終表情的知覺產生對比作用。

2.2 "最終表情對初始表情知覺的影響

相較于少量研究發現動態表情中的初始表情可能會對最終表情的知覺產生對比作用， 對于動態表情中最終表情如何影響對初始表情的知覺鮮有研究（但見Fang et al.， 2024）。以往研究表明， 個體對過去事件的回憶及其重建會受到當前思想和感知的強烈影響（Levine et al.， 2018; Ross et al.， 1981）， 人們可能會改變有關過去的記憶以符合現在的情境（Johnson amp; Sherman， 1990）。例如， Safer和Keuler （2002）發現， 考完一周后得知自己成績不佳的學生高估了考前焦慮， 而得知自己成績優異的學生則低估了考前焦慮。

個體在回憶和評價自己最近（幾秒鐘或幾分鐘前）的情緒體驗時也會出現偏差。Van Boven等人（2009）的研究中， 研究者首先在屏幕中央呈現一張持續2 s的消極圖片（如蜘蛛）， 隨后2 s的空白屏幕后， 立即呈現另一張持續2 s的消極圖片。圖片消失后， 被試報告他們對第1張和第2張圖片的情緒反應強度。結果顯示， 盡管圖片呈現順序是隨機的， 但被試對第一張圖片的情緒強度評價始終低于對第二張圖片。研究者認為， 當前情緒反應的高凸顯性（salience）和高可達性（availability）影響了被試對初始情緒反應的記憶， 即使該情緒體驗僅發生在兩秒之前。

綜上所述， 無論是對遙遠的過去還是最近發生的情緒體驗， 個體均會依據當前的情緒體驗來重新構建。依此推斷， 個體對動態表情中初始表情的知覺可能也會出現類似的傾向。具體而言， 最終表情可能會為初始表情的重建提供回憶濾鏡， 個體會根據最終表情這塊回憶濾鏡的情緒特性重新構建初始表情， 從而使得對初始表情的知覺朝著最終表情的相同效價方向偏移， 即出現同化作用。本研究擬考察這一問題， 并進一步探究最終表情對初始表情的同化作用是否會受到初始表情的情緒含義清晰度的調節， 以及是否能在真人動態表情中復現。

2.3 "動態序列效應的作用機制

如前文所述， 人們在知覺動態表情中的目標表情時可能會出現動態序列效應（即對比作用和同化作用）。基于此， 本研究擬進一步從目標表情所處的情境（包括序列呈現的表情和動態變化的特性）入手， 探討動態序列效應背后的作用機制。

2.3.1 "序列呈現的表情

以往研究表明， 先呈現的面部表情會通過適應后效（adaptation aftereffect）影響個體對其后呈現的面部表情的知覺（Hsu amp; Young， 2004; Webster et al.， 2004; Ying amp; Xu， 2017）。在長時間暴露于某一特定情緒面孔后， 神經反應的習慣致使個體對該情緒面孔的行為反應受到抑制， 進而導致對隨后情緒面孔的知覺向相反情緒特征方向偏移（Webster amp; MacLeod， 2011）。例如， 長時間注視愉快面孔使得愉快情緒的特征不那么積極， 從而導致對隨后中性表情的知覺向消極方向偏移。

值得注意的是， 情緒特征在面孔上并非均勻分布， 不同情緒表情的情緒特征區域也有所不同（Beaudry et al.， 2014; Eisenbarth amp; Alpers， 2011; Yitzhak et al.， 2022）。比如， 愉快面孔的主要情緒特征在嘴巴區域（Action Unit 12嘴角上揚; C. Chen et al.， 2021; Ekman et al.， 2002）， 而氣憤面孔的主要情緒特征在眼睛區域（AU4 雙眉緊皺; Ekman et al.， 2002; Fang et al.， 2022）。相比于非情緒特征區域， 個體對面孔的情緒特征區域的注意會加強情緒感知（Calder et al.， 2000）。

由此， 本研究推測， 在知覺動態表情中的最終表情時， 個體對初始表情的情緒特征區域的注意會增強初始表情產生的適應后效， 進而導致對最終表情知覺的對比作用增大; 在知覺動態表情中的初始表情時， 個體對最終表情的情緒特征區域的注意可能會增強最終表情的回憶濾鏡， 從而導致對初始表情知覺的同化作用增大。

2.3.2 "動態變化的特性

除此以外， 動態表情的動態變化特性可能會通過表征動量（representational momentum）影響個體對其后呈現的面部表情的知覺（Thornton， 2014; Yoshikawa amp; Sato， 2008）。表征動量是指人們對運動物體最終位置的判斷會朝著物體運動的方向發生前移（Hubbard， 2005）， 這一現象在動態表情知覺中也有發現（Prigent et al.， 2018; Yoshikawa amp; Sato， 2008）。例如， Yoshikawa和Sato （2008）的研究發現， 當動態表情由中性面孔轉變為最終的情緒面孔時， 參與者對最終表情的感知情緒強度高于最終表情的實際情緒強度， 而且表情變化速度越快， 最終表情的情緒被知覺為越強烈。

然而， 以往對表征動量的考察僅局限于從中性轉變為特定情緒的動態表情。表征動量可能同樣出現在從特定情緒轉變為中性（比如從愉快變為中性）或兩種不同情緒間轉變（比如從愉快變為悲傷）的動態表情中。本研究推測， 當動態表情從特定情緒表情轉變為中性表情時， 變化速度越快， 對最終中性表情的知覺向初始表情的相反效價方向上前移的距離越大， 即對比作用越大。從另一個角度來看， 假如表征動量會將最終表情的位置在情緒效價變化方向上前移， 那么表征動量可能同樣會前移之前每一幀表情的位置， 包括初始表情。因此， 本研究進一步推測， 當動態表情從中性表情轉變為特定情緒表情時， 變化速度越快， 對初始表情的知覺向最終表情的相同效價方向上前移的距離越大， 即同化作用越大。

3 "研究構想

本研究擬借助行為實驗和眼動技術， 利用人工合成和真人表演的動態表情， 系統探討序列變化的表情信息（即動態序列情境）如何影響個體對最終表情和初始表情的知覺及作用機制。總體研究框架如圖1所示。

3.1 "研究1： 動態序列情境對最終表情知覺的影響和作用機制

研究1擬通過4項子研究， 探究當動態表情從初始表情轉變為最終表情時， 動態序列情境如何影響個體對最終表情的知覺（研究1a）， 以及這一影響的作用機制（研究1b～1d）。

3.1.1 "研究1a： 動態序列情境對最終表情知覺的影響及其調節因素

研究1a擬通過操縱最終表情的情緒含義清晰度以及采用不同真實度的動態表情（人工合成和真人表演）， 探討知覺最終表情時的動態序列效應是否具有普遍性。實驗過程中， 參與者將會觀看由初始表情線性變化為最終表情的動態表情視頻， 并對最終表情的積極程度和消極程度進行評價。實驗預期， 初始表情會對最終表情知覺產生對比作用， 且該對比作用受到最終表情情緒含義清晰度的調節， 即最終表情情緒含義模糊時的對比作用大于最終表情情緒含義清晰時的對比作用。此外， 研究1a還擬采用真人表演的動態表情，

以探究對最終表情知覺的動態序列效應是否可拓展至更具有生態效度的真實動態表情變化中。為確保情緒能夠通過面孔有效傳遞， 且不同演員在表演相同情緒時使用相同的面部動作單元（Action Units）， 研究中所采用的靜態表情圖片和真人表演表情均在面部動作編碼系統（Facial Action Coding System; Ekman et al.， 2002）的指導下構建。

3.1.2 "研究1b～1d： 動態序列情境對最終表情知覺的作用機制

研究1b～1d擬考察適應后效和表征動量在最終表情知覺的動態序列效應中的作用。研究1b擬考察該動態序列效應來源于適應后效還是表征動量， 抑或兩者皆有。具體而言， 研究1b將比較個體對序列呈現的兩張靜態表情（初始表情和最終表情）和對應動態表情（初始表情轉變為最終表情）中的最終表情的評價。若相比序列呈現的靜態表情， 動態表情中初始表情對最終表情的對比作用更大， 即表明知覺最終表情時的動態序列效應不完全來自于初始表情產生的適應后效， 而部分來自于動態特性帶來的表征動量。研究1c擬考察個體對初始表情的情緒特征區域和非情緒特征區域的注意分配是否會調節適應后效， 從而影響對最終表情的知覺。實驗預期， 個體對初始表情的情緒特征區域投入的注意越多， 誘發的適應后效越強， 導致初始表情對最終表情的對比作用越大。研究1d擬進一步考察動態特性帶來的表征動量在知覺最終表情時的作用， 著重關注動態表情的變化速度是否會調節表征動量， 從而影響最終表情知覺。實驗預期， 動態表情的變化速度越快， 產生的表征動量越強， 導致初始表情對最終表情的對比作用越大。

3.2 "研究2： 動態序列情境對初始表情知覺的影響和作用機制

研究2擬通過4項子研究， 探究當動態表情從初始表情轉變為最終表情時， 該動態序列情境如何影響個體對初始表情的知覺（研究2a）， 以及這一影響的作用機制（研究2b～2d）。

3.2.1 "研究2a： 動態序列情境對最終表情知覺的影響及其調節因素

研究2a擬采用人工合成和真人表演的表情

以及不同情緒含義清晰度的初始表情， 考察最終表情如何影響初始表情知覺。實驗預期， 最終表情會對初始表情的知覺產生同化作用， 且該對比作用受到初始表情情緒含義清晰度的調節， 即初始表情情緒含義越模糊， 同化作用越大。與研究1a類似， 研究2a也將采用真人表演的動態表情， 以考察最終表情對初始表情知覺的影響能否在更具有生態效度的動態表情中復現。

3.2.2 "研究2b～2d： 動態序列情境對初始表情知覺的作用機制

研究2b～2d擬考察回憶濾鏡和表征動量在初始表情知覺的動態序列效應中的作用。研究2b將比較個體對序列呈現的兩張靜態表情（初始表情和最終表情）和動態表情中的初始表情的評價。若相比序列呈現的靜態表情， 最終表情對初始表情的同化作用在動態表情中更大， 則表明知覺初始表情時的動態序列效應不完全來自于最終表情誘發的回憶濾鏡， 而部分來自于動態特性帶來的表征動量。研究2c將著重關注個體對最終表情的情緒特征區域和非情緒特征區域的注意分配是否會調節回憶濾鏡， 從而影響對初始表情的知覺。實驗預期， 對最終表情的情緒特征區域投入的注意越多， 誘發的回憶濾鏡越強， 導致最終表情對初始表情的同化作用越大。研究2d將進一步考察動態特性帶來的表征動量在知覺初始表情時的作用， 著重關注動態表情的變化速度如何調節表征動量， 從而影響初始表情知覺。實驗預期， 動態表情的變化速度越快， 產生的表征動量越強， 導致最終表情對初始表情的同化作用越大。

4 "理論建構

面部表情研究是情緒領域的重要研究課題之一， 而對動態面部表情的考察則是面部表情研究中的前沿方向（Krumhuber et al.， 2023）。然而， 以往研究主要關注對靜態表情構型（e， g.， Adolphs， 2002; Cordaro et al.， 2018; Elfenbein et al.， 2007）， 同時呈現的情境信息（Aviezer et al.， 2017; Barrett et al.， 2019; Zheng amp; Hsiao， 2023）， 以及表情動態特性中如運動方向和速度等參數（Jack et al.， 2014; Krumhuber amp; Scherer， 2011）對情緒知覺的影響。在以往研究的基礎上， 本研究創新性地提出， 動態序列情境（序列變化的表情）也影響著個體對不同時間點的目標表情（初始表情和最終表情）的解讀， 即動態序列效應， 為面部表情加工理論提供了新的研究視角。

動態序列情境可能會影響個體對最終表情的知覺。本研究提出， 當動態表情從初始表情轉變為最終表情時， 個體對最終表情的知覺會向初始表情的相反效價方向上偏移（即初始表情會對最終表情的知覺產生對比作用）。盡管以往有關序列呈現靜態表情和表情轉變的研究證據支持了這一作用（如Fang et al.， 2021; Hsu amp; Young， 2004; Russell amp; Fehr， 1987）， 但尚未明確該作用是否局限于知覺情緒含義模糊的最終表情抑或人工合成的動態表情。基于此， 本研究將深入考察初始表情對最終表情的對比作用是否受到最終表情情緒含義清晰度的調節， 以及是否可以在真人表情中復現， 為該現象提供全面、生態的實驗證據支持。

動態序列情境不僅影響人們對最終表情知覺， 也可能影響個體對初始表情的知覺。以往研究表明， 個體會根據當前的情緒體驗重新構建過去發生的情緒體驗（Levine， 1997; Levine et al.， 2018; Levine amp; Safer， 2002; Van Boven et al.， 2009）， 然而， 極少研究考察類似的現象是否也存在于動態表情轉變（但見Fang et al.， 2024）。本研究提出， 最終表情會為初始表情的重建提供回憶濾鏡， 個體會通過最終表情這塊回憶濾鏡的情緒特性（比如效價和強度）來重新構建初始表情， 因此， 個體對初始表情的知覺會向最終表情的相同效價方向上偏移（即最終表情會對初始表情的知覺產生同化作用）。如圖2所示， 當動態表情從微笑轉變為大笑時， 大笑提供了積極的回憶濾鏡， 從而使得初始微笑表情被重建為向積極方向偏移; 當動態表情從微笑轉變為氣憤時， 氣憤提供了消極的回憶濾鏡， 從而使得初始微笑表情被重建為向消極方向偏移。在此基礎上， 本研究擬通過操縱初始表情的情緒含義清晰度以及采用不同真實度的動態表情（人工合成和真人表演）， 探討該同化作用是否具有穩定性和普遍性。

除了在現象層面揭示動態序列效應（對比作用和同化作用）的現象和調節因素， 本研究還將基于目標表情所處的情境， 從序列呈現的表情和動態變化特性兩方面來共同考察動態序列效應的來源和機制。首先， 對動態表情中目標表情的知覺

可能會受到其先后表情的情緒性的影響， 即初始表情可能會對最終表情知覺產生適應后效（Hsu amp; Young， 2004; Webster et al.， 2004; Ying amp; Xu， 2017）， 而最終表情可能會對初始表情產生回憶濾鏡。值得注意的是， 此前對適應后效的考察主要關注面孔的整體情緒特性， 但未考慮到情緒特征在面部的不均勻分布。本研究提出， 適應后效的大小可能與個體對面孔情緒特征的注意投入相關。個體對初始表情的情緒特征區域投入的注意越多， 產生的適應后效越大， 從而導致對最終表情知覺的對比作用變大。類似的現象也可能也存在于最終表情對初始表情產生的回憶濾鏡中。本研究提出， 個體對最終表情的情緒特征區域的注意可能會強化回憶濾鏡的作用， 從而增強對初始表情知覺的同化作用。

其次， 考慮到表情具有動態變化特性， 表征動量可能也影響著個體對目標表情的知覺（Thornton， 2014; Yoshikawa amp; Sato， 2008）， 從而使得動態表情中的對比作用和同化作用會強于序列呈現的靜態表情。不同于此前對從中性面孔轉變為情緒面孔中表征動量的考察（Prigent et al.， 2018; Yoshikawa amp; Sato， 2008）， 本研究將表征動量的作用拓展到更多樣的表情轉變當中（比如從特定情緒轉變為中性， 或是兩種不同情緒間轉變的動態表情）。本研究提出， 當知覺最終表情時， 表情的運動速度越快， 表征動量越強， 從而使得對最終表情知覺的對比作用變大。表征動量也可能以相似的方式影響著對初始表情的知覺， 運動速度越快， 對初始表情知覺的同化作用也變大。

誠然， 動態序列效應仍然有可能是多種機制共同作用的結果。對于知覺最終表情時的對比效應， 除了上文所提及的適應后效和表征動量之外， 還有兩種可能的理論解釋（請見圖1）。首先， 評估判斷中情境效應的包容/排除模型（inclusion/ exclusion model）假設， 基于特征的評估判斷需要評估對象和比較標準的心理表征， 當信息用于形成評估對象的心理表征時， 會出現同化效應; 而當信息用于形成比較標準的表征時， 則會導致對比效應（Bless amp; Schwarz， 2010）。例如， 將積極特征納入評估對象表征中會導致觀察者對評估對象產生更加積極的判斷， 而將積極特征納入比較標準則會導致觀察者對評估對象產生不那么積極的判斷。其中， 信息的使用方式受到情境和目標刺激之間相似性的影響（Herr et al.， 1983; Hsu amp; Wu， 2020）。例如， 若初始表情和最終表情非常接近， 則更容易出現同化效應， 反之則容易出現對比效應（Hsu amp; Yang， 2013）。在本研究中， 初始表情和最終表情之間較大的差異可能促進了對比效應的出現。其次， 對比效應可能反映了觀察者基于即時感知歷史（immediate perceptual history）對表達者未來情緒狀態的有意或無意的預期（Jellema et al.， 2011; Palumbo amp; Jellema， 2013）。例如， 當看到表達者的表情從憤怒變為微笑時， 觀察者可能會預期這種變化會繼續朝著更積極的方向發展， 從而判斷最終的表情更積極。然而， 這些理論均基于對序列呈現表情或動態表情中最終表情知覺的研究， 而對于動態表情中初始表情知覺的同化效應是否還存在其他的認知機制， 仍然需要進一步考察。

綜合而言， 本研究從現象和機制兩個層面， 系統探討動態序列情境如何影響人們對最終表情和初始表情的知覺。在理論層面上， 本研究對人工合成和真人表演動態表情中動態序列效應及機制的深入探討， 有助于了解個體對不同時間點的情緒識別與理解， 揭示生態化情境下的面部表情加工機制， 并為面部表情加工理論的拓展提供另一種視角; 在研究方法層面上， 本研究采用融合和創新的研究方法， 采用morph技術與真人表演兩種方法創建動態表情材料， 并結合眼動與行為指標， 探討適用于動態面部表情加工的動態序列效應的具體研究范式， 為生態化情境下的動態表情加工的研究提供了研究范式的參考。在應用層面上， 鑒于孤獨癥、抑郁癥、焦慮癥和述情障礙癥患者的受損能力之一便是對面部表情的加工存在缺陷（Krejtz et al.， 2018; McClure et al.， 2003; Porter-Vignola et al.， 2021; Senior et al.， 2020; Uono et al.， 2014）， 本研究對動態變化表情知覺的探討可以為這些特殊群體的早期診斷識別和干預矯正恢復提供新思路與新方法， 具有重要的社會價值; 此外， 隨著情感計算領域的技術發展， 分析面部表情的動態變化特性將成為計算機從人類自動提取情感信息以及合成社會機器人的重要因素之一。本研究有助于揭示人類如何知覺處于動態序列情境中的面部表情， 為實現基于人工智能的動態表情識別提供有益參考， 從而幫助社會機器人更好地理解和響應人類的情感和表情。

致謝：作者感謝葛猷勛對本文撰寫和修改提出的寶貴建議。

參考文獻

Adolphs， R. （2002）. Recognizing emotion from facial expressions： Psychological and neurological mechanisms. Behavioral and Cognitive Neuroscience Reviews， 1（1）， 21?62. https：//doi.org/10.1177/1534582302001001003

Aviezer， H.， Ensenberg， N.， amp; Hassin， R. R. （2017）. The inherently contextualized nature of facial emotion perception. Current Opinion in Psychology， 17， 47?54. https：//doi.org/10.1016/j.copsyc.2017.06.006

Barrett， L. F.， Adolphs， R.， Marsella， S.， Martinez， A. M.， amp; Pollak， S. D. （2019）. Emotional expressions reconsidered： Challenges to inferring emotion from human facial movements. Psychological Science in the Public Interest， 20（1）， 1?68. https：//doi.org/10.1177/1529100619832930

Beaudry， O.， Roy-Charland， A.， Perron， M.， Cormier， I.， amp; Tapp， R. （2014）. Featural processing in recognition of emotional facial expressions. Cognition and Emotion， 28（3）， 416?432. https：//doi.org/10.1080/02699931.2013. 833500

Bless， H.， amp; Schwarz， N. （2010）. Mental construal and the emergence of assimilation and contrast effects： The inclusion/exclusion model. In M. P. Zanna （Ed.）， Advances in experimental social psychology （Vol. 42， pp. 319?373）. Academic Press. https：//doi.org/10.1016/S0065-2601（10） 42006-7

Bould， E.， Morris， N.， amp; Wink， B. （2008）. Recognising subtle emotional expressions： The role of facial movements. Cognition and Emotion， 22（8）， 1569?1587. https：//doi.org/ 10.1080/02699930801921156

Calder， A. J.， Young， A. W.， Keane， J.， amp; Dean， M. （2000）. Configural information in facial expression perception. Journal of Experimental Psychology： Human Perception and Performance， 26（2）， 527?551. https：//doi.org/10.1037/ 0096-1523.26.2.527

Chen， C.， Garrod， O. G. B.， Ince， R. A. A.， Schyns， P. G.， amp; Jack， R. E. （2021）. Facial expressions reveal cross-cultural variance in emotion signaling. Journal of Vision， 21（9）， 2500. https：//doi.org/10.1167/jov.21.9.2500

Chen， C.， Messinger， D. S.， Chen， C.， Yan， H.， Duan， Y.， Ince， R. A. A.， Garrod， O. G. B.， Schyns， P. G.， amp; Jack， R. E. （2024）. Cultural facial expressions dynamically convey emotion category and intensity information. Current Biology， 34（1）， 213-223.e5. https：//doi.org/10.1016/j.cub. 2023.12.001

Chen， L. F.， amp; Yen， Y. S. （2007）. Taiwanese facial expression image database. Brain Mapping Laboratory， Institute of Brain Science， “National” Yang-Ming University， Taipei， Taiwan， China.

Cordaro， D. T.， Sun， R.， Keltner， D.， Kamble， S.， Huddar， N.， amp; McNeil， G. （2018）. Universals and cultural variations in 22 emotional expressions across five cultures. Emotion， 18（1）， 75?93. https：//doi.org/10.1037/emo0000302

Cosker， D.， Krumhuber， E.， amp; Hilton， A. （2015）. Perceived emotionality of linear and non-linear AUs synthesised using a 3D dynamic morphable facial model. Proceedings of the Facial Analysis and Animation， 1. https：//doi.org/ 10.1145/2813852.2813859

Cowen， A. S.， Keltner， D.， Schroff， F.， Jou， B.， Adam， H.， amp; Prasad， G. （2021）. Sixteen facial expressions occur in similar contexts worldwide. Nature， 589（7841）， 251?257. https：//doi.org/10.1038/s41586-020-3037-7

Dobs， K.， Bülthoff， I.， Breidt， M.， Vuong， Q. C.， Curio， C.， amp; Schultz， J. （2014）. Quantifying human sensitivity to spatio-temporal information in dynamic faces. Vision Research， 100， 78?87. https：//doi.org/10.1016/j.visres.2014. 04.009

Eisenbarth， H.， amp; Alpers， G. W. （2011）. Happy mouth and sad eyes： Scanning emotional facial expressions. Emotion， 11（4）， 860?865. https：//doi.org/10.1037/a0022758

Ekman， P. （1992）. An argument for basic emotions. Cognition and Emotion， 6（3?4）， 169?200. https：//doi.org/ 10.1080/02699939208411068

Ekman， P.， Friesen， W. V.， amp; Hager， J. C. （2002）. Facial action coding system （2nd ed.）. Salt Lake City， UT： Research Nexus eBook.

Elfenbein， H. A.， Beaupré， M.， Lévesque， M.， amp; Hess， U. （2007）. Toward a dialect theory： Cultural differences in the expression and recognition of posed facial expressions. Emotion， 7（1）， 131?146. https：//doi.org/10.1037/1528-3542. 7.1.131

Fang， X.， Liu， W.， amp; Kawakami， K. （2024）. Evaluating past emotions in changing facial expressions： The role of current emotions and culture. Emotion， 24（1）， 213?224. https：//doi.org/10.1037/emo0001263

Fang， X.， Sauter， D. A.， Heerdink， M. W.， amp; Van Kleef， G. A. （2022）. Culture shapes the distinctiveness of posed and spontaneous facial expressions of anger and disgust. Journal of Cross-Cultural Psychology， 53（5）， 471?487. https：//doi.org/10.1177/00220221221095208

Fang， X.， Sauter， D. A.， amp; Van Kleef， G. A. （2018）. Seeing mixed emotions： The specificity of emotion perception from static and dynamic facial expressions across cultures. Journal of Cross-Cultural Psychology， 49（1）， 130?148. https：//doi.org/10.1177/0022022117736270

Fang， X.， Van Kleef， G. A.， Kawakami， K.， amp; Sauter， D. A. （2021）. Cultural differences in perceiving transitions in emotional facial expressions： Easterners show greater contrast effects than westerners. Journal of Experimental Social Psychology， 95， 104143. https：//doi.org/10.1016/ j.jesp.2021.104143

Fang， X.， Van Kleef， G. A.， amp; Sauter， D. A. （2018）. Person perception from changing emotional expressions： Primacy， recency， or averaging effect？ Cognition and Emotion， 32（8）， 1597?1610. https：//doi.org/10.1080/02699931.2018. 1432476

Fang， X.， Van Kleef， G. A.， amp; Sauter， D. A. （2019）. Revisiting cultural differences in emotion perception between easterners and westerners： Chinese perceivers are accurate， but see additional non-intended emotions in negative facial expressions. Journal of Experimental Social Psychology， 82， 152?159. https：//doi.org/10.1016/ j.jesp.2019.02.003

Gendron， M.， Crivelli， C.， amp; Barrett， L. F. （2018）. Universality reconsidered： Diversity in making meaning of facial expressions. Current Directions in Psychological Science， 27（4）， 211?219. https：//doi.org/10.1177/096372 1417746794

Hassin， R. R.， Aviezer， H.， amp; Bentin， S. （2013）. Inherently ambiguous： Facial expressions of emotions， in context. Emotion Review， 5（1）， 60?65. https：//doi.org/10.1177/ 1754073912451331

Herr， P. M.， Sherman， S. J.， amp; Fazio， R. H. （1983）. On the consequences of priming： Assimilation and contrast effects. Journal of Experimental Social Psychology， 19（4）， 323?340. https：//doi.org/10.1016/0022-1031（83）90026-4

Hess， U.， amp; Kleck， R. E. （1990）. Differentiating emotion elicited and deliberate emotional facial expressions. European Journal of Social Psychology， 20（5）， 369?385. https：//doi.org/10.1002/ejsp.2420200502

Hsu， S.-M.， amp; Wu， Z.-R. （2020）. The roles of preceding stimuli and preceding responses on assimilative and contrastive sequential effects during facial expression perception. Cognition and Emotion， 34（5）， 890?905. https：//doi.org/10.1080/02699931.2019.1696752

Hsu， S.-M.， amp; Yang， L.-X. （2013）. Sequential effects in facial expression categorization. Emotion， 13（3）， 573?586. https：//doi.org/10.1037/a0027285

Hsu， S.-M.， amp; Young， A. W. （2004）. Adaptation effects in facial expression recognition. Visual Cognition， 11（7）， 871?899. https：//doi.org/10.1080/13506280444000030

Hubbard， T. L. （2005）. Representational momentum and related displacements in spatial memory： A review of the findings. Psychonomic Bulletin amp; Review， 12（5）， 822?851. https：//doi.org/10.3758/BF03196775

Jack， R. E.， Garrod， O. G. B.， amp; Schyns， P. G. （2014）. Dynamic Facial Expressions of Emotion Transmit an Evolving Hierarchy of Signals over Time. Current Biology， 24（2）， 187?192. https：//doi.org/10.1016/j.cub.2013.11.064

Jack， R. E.， Sun， W.， Delis， I.， Garrod， O. G. B.， amp; Schyns， P. G. （2016）. Four not six： Revealing culturally common facial expressions of emotion. Journal of Experimental Psychology： General， 145（6）， 708?730. https：//doi.org/ 10.1037/xge0000162

Jellema， T.， Pecchinenda， A.， Palumbo， L.， amp; Tan， E. G. （2011）. Biases in the perception and affective valence of neutral facial expressions induced by the immediate perceptual history. Visual Cognition， 19（5）， 616?634. https：//doi.org/10.1080/13506285.2011.569775

Johnson， M. K.， amp; Sherman， S. J. （1990）. Constructing and reconstructing the past and the future in the present. In R. M. Sorrentino amp; E. T. Higgins （Eds.）， Handbook of motivation and cognition： Foundations of social behavior （Vol. 2， pp. 482?526）. The Guilford Press.

Keltner， D.， Tracy， J. L.， Sauter， D.， amp; Cowen， A. （2019）. What basic emotion theory really says for the twenty-first century study of emotion. Journal of Nonverbal Behavior， 43（2）， 195?201. https：//doi.org/10.1007/s10919-019-00298-y

Krejtz， K.， Wisiecka， K.， Krejtz， I.， Holas， P.， Olszanowski， M.， amp; Duchowski， A. T. （2018）. Dynamics of emotional facial expression recognition in individuals with social anxiety. Proceedings of the 2018 ACM Symposium on Eye Tracking Research amp; Applications， 1?9. https：//doi.org/ 10.1145/3204493.3204533

Krumhuber， E. G.， Kappas， A.， amp; Manstead， A. S. R. （2013）. Effects of dynamic aspects of facial expressions： A review. Emotion Review， 5（1）， 41?46. https：//doi.org/10.1177/ 1754073912451349

Krumhuber， E. G.， amp; Scherer， K. R. （2011）. Affect bursts： Dynamic patterns of facial expression. Emotion， 11（4）， 825?841. https：//doi.org/10.1037/a0023856

Krumhuber， E. G.， amp; Scherer， K. R. （2016）. The look of fear from the eyes varies with the dynamic sequence of facial actions. Swiss Journal of Psychology， 75（1）， 5?14. https：//doi.org/10.1024/1421-0185/a000166

Krumhuber， E. G.， Skora， L. I.， Hill， H. C. H.， amp; Lander， K. （2023）. The role of facial movements in emotion recognition. Nature Reviews Psychology， 2， 283?296. https：//doi.org/10.1038/s44159-023-00172-1

Levine， L. J. （1997）. Reconstructing memory for emotions. Journal of Experimental Psychology： General， 126（2）， 165?177. https：//doi.org/10.1037/0096-3445.126.2.165

Levine， L. J.， Lench， H. C.， Karnaze， M. M.， amp; Carlson， S. J. （2018）. Bias in predicted and remembered emotion. Current Opinion in Behavioral Sciences， 19， 73?77. https：//doi.org/10.1016/j.cobeha.2017.10.008

Levine， L. J.， amp; Safer， M. A. （2002）. Sources of bias in memory for emotions. Current Directions in Psychological Science， 11（5）， 169?173. https：//doi.org/10.1111/1467- 8721.00193

Liu， M.， Duan， Y.， Ince， R. A. A.， Chen， C.， Garrod， O. G. B.， Schyns， P. G.， amp; Jack， R. E. （2022）. Facial expressions elicit multiplexed perceptions of emotion categories and dimensions. Current Biology， 32（1）， 200-209.e6. https：// doi.org/10.1016/j.cub.2021.10.035

Maringer， M.， Krumhuber， E. G.， Fischer， A. H.， amp; Niedenthal， P. M. （2011）. Beyond smile dynamics： Mimicry and beliefs in judgments of smiles. Emotion， 11（1）， 181?187. https：//doi.org/10.1037/a0022596

McClure， E. B.， Pope， K.， Hoberman， A. J.， Pine， D. S.， amp; Leibenluft， E. （2003）. Facial expression recognition in adolescents with mood and anxiety disorders. American Journal of Psychiatry， 160（6）， 1172?1174. https：//doi.org/ 10.1176/appi.ajp.160.6.1172

Nelson， N. L.， amp; Russell， J. A. （2014）. Dynamic facial expressions allow differentiation of displays intended to convey positive and hubristic pride. Emotion， 14（5）， 857?864. https：//doi.org/10.1037/a0036789

Palumbo， L.， amp; Jellema， T. （2013）. Beyond face value： Does involuntary emotional anticipation shape the perception of dynamic facial expressions？ PLoS ONE， 8（2）， e56003. https：//doi.org/10.1371/journal.pone.0056003

Porter-Vignola， E.， Booij， L.， Bossé-Chartier， G.， Garel， P.， amp; Herba， C. M. （2021）. Emotional facial expression recognition and depression in adolescent girls： Associations with clinical features. Psychiatry Research， 298， 113777. https：//doi.org/10.1016/j.psychres.2021.113777

Prigent， E.， Amorim， M.-A.， amp; de Oliveira， A. M. （2018）. Representational momentum in dynamic facial expressions is modulated by the level of expressed pain： Amplitude and direction effects. Attention， Perception， amp; Psychophysics， 80（1）， 82?93. https：//doi.org/10.3758/s13414- 017-1422-6

Ross， M.， McFarland， C.， amp; Fletcher， G. J. （1981）. The effect of attitude on the recall of personal histories. Journal of Personality and Social Psychology， 40（4）， 627?634. https：//doi.org/10.1037/0022-3514.40.4.627

Russell， J. A.， amp; Fehr， B. （1987）. Relativity in the perception of emotion in facial expressions. Journal of Experimental Psychology： General， 116（3）， 223?237. https：//doi.org/ 10.1037/0096-3445.116.3.223

Rychlowska， M.， Jack， R. E.， Garrod， O. G. B.， Schyns， P. G.， Martin， J. D.， amp; Niedenthal， P. M. （2017）. Functional smiles： Tools for love， sympathy， and war. Psychological Science， 28（9）， 1259?1270. https：//doi.org/10.1177/09567 97617706082

Rychlowska， M.， Miyamoto， Y.， Matsumoto， D.， Hess， U.， Gilboa-Schechtman， E.， Kamble， S.， … Niedenthal， P. M. （2015）. Heterogeneity of long-history migration explains cultural differences in reports of emotional expressivity and the functions of smiles. Proceedings of the National Academy of Sciences， 112（19）， E2429?E2436. https：//doi. org/10.1073/pnas.1413661112

Safer， M. A.， amp; Keuler， D. J. （2002）. Individual differences in misremembering pre-psychotherapy distress： Personality and memory distortion. Emotion， 2（2）， 162?178. https：// doi.org/10.1037/1528-3542.2.2.162

Senior， C.， Hassel， S.， Waheed， A.， amp; Ridout， N. （2020）. Naming emotions in motion： Alexithymic traits impact the perception of implied motion in facial displays of affect. Emotion， 20（2）， 311?316. https：//doi.org/10.1037/emo0000546

Sowden， S.， Schuster， B. A.， Keating， C. T.， Fraser， D. S.， amp; Cook， J. L. （2021）. The role of movement kinematics in facial emotion expression production and recognition. Emotion， 21（5）， 1041?1061. https：//doi.org/10.1037/ emo0000835

Thornton， I. M. （2014）. Representational momentum and the human face： An empirical note. Xjenza Online， 2（2）， 101?110. https：//doi.org/10.7423/XJENZA.2014.2.09

Uono， S.， Sato， W.， amp; Toichi， M. （2014）. Reduced representational momentum for subtle dynamic facial expressions in individuals with autism spectrum disorders. Research in Autism Spectrum Disorders， 8（9）， 1090?1099. https：//doi.org/10.1016/j.rasd.2014.05.018

Van Boven， L.， White， K.， amp; Huber， M. （2009）. Immediacy bias in emotion perception： Current emotions seem more intense than previous emotions. Journal of Experimental Psychology： General， 138（3）， 368?382. https：//doi.org/ 10.1037/a0016074

Webster， M. A.， Kaping， D.， Mizokami， Y.， amp; Duhamel， P. （2004）. Adaptation to natural facial categories. Nature， 428（6982）， 557?561. https：//doi.org/10.1038/nature02420

Webster， M. A.， amp; MacLeod， D. I. A. （2011）. Visual adaptation and face perception. Philosophical Transactions of the Royal Society B： Biological Sciences， 366（1571）， 1702?1725. https：//doi.org/10.1098/rstb.2010.0360

Wincenciak， J.， Palumbo， L.， Epihova， G.， Barraclough， N. E.， amp; Jellema， T. （2022）. Are adaptation aftereffects for facial emotional expressions affected by prior knowledge about the emotion？ Cognition and Emotion， 36（4）， 602?615. https：//doi.org/10.1080/02699931.2022.2031907

Ying， H.， amp; Xu， H. （2017）. Adaptation reveals that facial expression averaging occurs during rapid serial presentation. Journal of Vision， 17（1）， 15. https：//doi.org/ 10.1167/17.1.15

Yitzhak， N.， Pertzov， Y.， Guy， N.， amp; Aviezer， H. （2022）. Many ways to see your feelings： Successful facial expression recognition occurs with diverse patterns of fixation distributions. Emotion， 22（5）， 844?860. https：// doi.org/10.1037/emo0000812

Yoshikawa， S.， amp; Sato， W. （2008）. Dynamic facial expressions of emotion induce representational momentum. Cognitive， Affective， amp; Behavioral Neuroscience， 8（1）， 25?31. https：//doi.org/10.3758/CABN.8.1.25

Zheng， Y.， amp; Hsiao， J. H. （2023）. Differential audiovisual information processing in emotion recognition： An eye-tracking study. Emotion， 23（4）， 1028?1039. https：// doi.org/10.1037/emo0001144

The impact of dynamic sequential context on facial expression perception

and the underlying mechanisms

FANG Xia， PAN Zhihe

（Department of Psychology and Behavioral Science， Zhejiang University， Hangzhou 310058， China）

Abstract： In real-life situations， facial expressions often change dynamically over time， and an individual's interpretation of any given facial expression may be influenced by the dynamic sequential context in which it is embedded. While recent studies have indicated that simultaneously presented contextual information affect the perception of target expressions， little is known about the effect of sequentially changing context. The present study aims to investigate the influence of sequential changes in facial expressions （i.e.， dynamic sequential context） on the perception of past and current expressions， as well as the underlying mechanisms， through the use of behavioral experiments and eye-tracking technology. The stimuli include both artificially synthesized and human-performed dynamic facial expressions. The research findings will contribute to our understanding of facial expression processing in ecologically valid contexts and provide valuable insights for the development of AI-based dynamic facial expression recognition systems.

Keywords： facial expression， emotion perception， dynamic sequential context