動態面孔和語音情緒信息的整合加工及神經生理機制*

王 蘋 潘治輝 張立潔 陳煦海

(陜西省行為與認知神經科學重點實驗室,陜西師范大學心理學院,西安 710062)

成功地識別和加工情緒信息是社會交往的關鍵環節之一。當前情緒認知研究多關注單通道(如面孔或語音)所傳達情緒的加工,但現實生活中我們所接收的情緒信息往往不是單一感覺通道傳遞的,而是多個感覺通道同時傳遞(Klasen,Chen,& Mathiak,2012;Robins,Hunyadi,&Schultz,2009)。近年來,“多通道情緒信息的整合加工機制”已引起心理學和認知神經科學研究者的關注,已有研究發表在PNAS等國際權威雜志上(Hagan et al.,2009)。

然而,當前研究主要考察多通道結合相對于單通道的優勢、多通道情緒刺激加工的時間進程(when)和相關腦區(where),對“多通道情緒信息是否能整合為一致情緒客體？如果能,來自不同通道的情緒信息是如何在神經振蕩層面整合(how)為一？”等問題都缺乏系統研究。對這些問題的系統探討,從理論上可以推進情緒認知神經機制研究以及多通道信息整合的腦機制研究。從應用上可以為精神分裂癥、自閉癥和廣泛性發展障礙的診斷以及微情緒識別等應用研究提供理論參考。

1 國內外研究現狀

1.1 面孔和語音情緒整合的表現及影響因素

多通道感覺整合是人類知覺中普遍存在的現象,著名的如McGurk效應——視覺呈現“ba”的嘴型,同時聽覺呈現“ga”的聲音,人們感覺自己聽到的是“da”(McGurk&MacDonald,1976)。這種現象也發生在情緒信息的知覺加工中,主要表現為視聽通道的情緒信息一致時,相對于不一致或單通道的情緒信息,人們完成情緒判斷的準確率更高,反應更快(Kreifelts,Ethofer,Grodd,Erb,&Wildgruber,2007;Massaro&Egan,1996),被試會整合雙通道的信息來評價情緒(De Gelder&Vroomen,2000),當其中一個通道的信息模糊時,另一通道的作用會更大(Massaro&Egan,1996)。此外,雙通道信息整合中,視覺情緒信息所起的作用更大 (Jessen&Kotz,2011;Watson et al.,2014a)。

面孔、語音情緒信息的整合會受諸多因素的影響。首先,面孔和語音情緒信息的整合受刺激驅動加工和任務驅動加工(Wildgruber,Ethofer,Grandjean,&Kreifelts,2009;Klasen et al.,2012)的影響。一些研究強調雙通道情緒信息整合具有自動性,是一種刺激驅動加工,即使被試只關注一個通道的信息而忽視另一個通道的信息,面孔和語音情緒的交互影響仍然存在(De Gelder&Vroomen,2000),而且這種現象在閾下呈現(Doi&Shinohara,2013),視覺皮層受損的患者中依舊存在(De Gelder,Pourtois,&Weiskrantz,2002)。另有研究則強調任務驅動加工的重要性(Brück,Kreifelts,&Wildgruber,2011;Klasen et al.,2012),認為任務驅動的加工可能讓雙通道情緒信息的整合在多個時間點上發生(Paulmann,Jessen,&Kotz,2009;Doi&Shinohara,2013)。其次,整合加工者的個體差異也可能影響多通道情緒信息的整合。有研究報告面孔、語音情緒整合存在性別差異,女性整合能力強于男性(Collignon et al.,2010)。另有研究報告在日本被試中語音情緒對面孔情緒的影響更強,而荷蘭被試中面孔情緒對語音情緒的影響更強,說明文化差異影響面孔、語音情緒整合(Tanaka et al.,2010)。最后,疾病也可能影響多通道情緒信息的整合。有研究報告,精神分裂癥(De Gelder et al.,2005),自閉癥(Charbonneau et al.,2013)和廣泛性發展障礙等患者(Magnée,De Gelder,van Engeland,&Kemner,2008)的面孔和語音情緒信息整合能力受損,而且這可能是他們情緒加工能力下降的主要原因。

上述研究探明了人們加工面孔、語音結合的情緒刺激的行為表現,以及影響該加工過程的因素,但基本都是描述雙通道情緒信息加工時存在交互影響,沒有直接回答雙通道情緒信息是否可以整合成一致的客體(coherent percept)。整合成一致客體是相比交互影響更為嚴格的整合加工標準,即多通道信息同時加工的效應大于任一單通道信息,甚至大于所有單通道效應之和,形成超出原有信息的一致客體,而這種效應在參與整合的單通道信息本身較為模糊時更為顯著(Ernst&Bulthoff,2004;Stein,Stanford,Ramachandran,Perrault,&Rowland,1993;2009)。該標準已在非情緒性信息整合加工中進行了大量研究,尚未用來系統考察多通道情緒信息的整合加工。情緒信息加工與一般感覺信息加工的區別在于其社會性,顯然,將一般感覺信息融合的標準用于考察面孔和語音情緒信息整合加工可能增進情緒信息整合加工的理解。

1.2 面孔-語音情緒整合神經機制

面孔語音情緒整合的神經機制研究關注的問題之一是整合加工的時間進程(when)。De Gelder,Bocker,Tuomainen,Hensen 和 Vroomen(1999)運用oddball設計,發現面孔、語音情緒一致和不一致的雙通道材料作為偏差刺激都能誘發典型的MMN,說明面孔、語音情緒信息在情緒加工的早期即開始整合。他們隨后的研究發現面孔、語音情緒一致的刺激相對不一致的刺激誘發更大波幅的N100(Pourtois,De Gelder,Vroomen,Rossion,&Crommelinck,2000),相似的結果也出現在紋狀皮層受損的病人中(De Gelder et al.,2002),說明面孔、語音情緒的整合發生于刺激呈現后200 ms之內。另有研究直接對比視聽結合情緒刺激和單通道刺激,發現多通道情緒結合刺激誘發更小波幅的N100(Jessen&Kotz,2011),P200和N300(Paulmann et al.,2009),說明多通道情緒在100 ms即開始整合,并有一定時間跨度。Paulmann和Pell(2010)運用啟動范式,發現面孔、語音情緒不一致可誘發典型N400,但N400波幅受刺激長短調節,說明面孔-語音情緒整合的時間窗可以延遲到400 ms左右。綜上可見,面孔、語音情緒在刺激呈現200 ms內即可以發生整合,但整合時間窗受任務要求的影響,隨任務不同而延伸,在200 ms后很長一段時間內都能發生整合。

關注的另一個問題是雙通道情緒整合加工的腦功能區。當被試完成情緒相關任務(如情緒類別判斷)時,同單通道刺激相比,恐懼的面孔聲音刺激更多激活了左側后顳上溝(Ethofer et al.,2006;Hagan et al.,2009)和左側杏仁核,并延展到杏仁核周圍灰質(Ethofer et al.,2006)。另有研究發現與單通道情緒刺激相比,視聽結合的刺激激活雙側的后顳上回以及右側丘腦,但左側后顳上回的激活最為顯著,其激活水平與面孔、語音情緒整合帶來的行為增益成線性關系,表明左側顳葉對多通道情緒整合有關鍵作用(Kreifelts et al.,2007)。他們隨后的研究發現語音情緒和面孔情緒敏感區分別在顳上溝不同位置,而面孔-語音情緒整合區則主要在顳上溝的分叉點,處于面孔、語音情緒敏感區的結合部(Kreifelts,Ethofer,Shiozawa,Grodd,&Wildgruber,2009)。當被試完成情緒無關任務(如性別判斷)時,與單通道情緒刺激相比,雙通道刺激激活了左側顳中回和雙側顳上回(Pourtois,De Gelder,Bol,&Crommelinck,2005)。Park等人(2010)發現喜悅、憤怒、中性幾種類型的視聽刺激均激活了顳上回,額下回和海馬旁回,說明不同情緒類型的視聽刺激可能共享同一整合神經網絡,但不同的情緒又有其不同的加工腦區。Watson等人(2014a)運用功能磁共振適應技術(fMRI-A),發現在右側顳上回(right pSTS),雙通道情緒信息彼此會產生適應現象,說明該區域可能存在同時接受視覺和聽覺通道情緒信息的神經元。

總之,關于面孔和語音情緒整合的神經機制研究在整合加工的時間進程(when)和相關腦區(where)已取得諸多共識。面孔、語音情緒整合可能是多階段的動態過程,不同加工階段對應于不同的時間進程和腦功能區,而刺激驅動和任務驅動是影響該過程的重要因素(Wildgruber et al.,2009)。但是,對于認知神經科學研究關注的另一個問題,即大腦如何將雙通道情緒信息整合為一(how),當前研究涉及較少,還有待進一步研究。

一般來說，因時差導致的生理節律紊亂會影響運動表現，教練或體能教練在制定訓練和比賽計劃時必須考慮這一點。時差的適應與跨越的時區有關系，通常跨越2個時區以上就會有時差反應，而跨越4個時區以上，特別是7～8個時區時，各種身體的生理節律會發生明顯的紊亂，適應時差通常需要9天左右的時間，因此在此期間的訓練時間安排與訓練強度要進行合理安排。前三天主要進行調整訓練，第四天開始可以逐漸加量并轉為正規訓練[18]。體能訓練最好放在下午進行，將上午特別是臨近中午的時段留給技能訓練，因為依賴中樞神經系統的喚醒水平在臨近中午時達到頂峰。在早晨進行漸進性的熱身非常重要，可以防止僵硬的關節和肌肉受傷。

2 問題提出與分析

2.1 如何判定雙通道情緒整合為一？

如前文文獻回顧所述,當前研究已描述了面孔、語音情緒整合的行為表現及影響因素,發現多通道情緒同時加工相對于單通道情緒具有一定優勢。但是,僅是基于這種優勢即可判定雙通道情緒信息整合為一致情緒客體了么？

事實上,如何判定信息發生了整合是多通道感覺整合研究關注的核心問題之一。Stein,Jiang和 Stanford(2005)、Stein 和 Stanford(2008)、Stein等(2009)提出多通道信息整合應當滿足如下標準：① 多通道信息引起的效應要大于單通道刺激誘發的最大效應;② 具有超加性,指多通道信息引起的效應大于其單個組成通道效應的線性相加,如AV>[unimodal auditory(A)+unimodal visual(V)],或理解為 1+1>2;③ 遵循顛倒效應規則(the principal of Inverse Effectiveness,IE規則),指參與整合的單通道傳遞信息較為模糊,或是雙通道信息都較為模糊時,整合效應更為顯著。近年來,這些基于單細胞研究提出的標準在以fMRI(Werner&Noppeney,2010)和ERP(Senkowski,Saint-Amour,Hofle,&Foxe,2011)為關鍵技術的視聽整合研究中也得到驗證。

但是,當前面孔-語音情緒整合的研究多以雙通道相對于單通道的優勢判定情緒整合,即只用了第一條標準。目前僅見Hagan等人(2009)報告了面孔語音情緒整合誘發MEG信號具有超加性。另外,我們近期的研究發現了情緒變化中面孔語音情緒整合的ERP和ERSP信號都存在超加性(未發表數據)。除了個別研究考察了語音情緒與姿態情緒同時加工符合IE規則外(Jessen,Obleser,&Kotz,2012),還未見研究對面孔、語音情緒整合是否遵循IE規則進行探討。事實上,第一條標準只能說明雙通道情緒信息彼此存在影響,很難作為雙通道情緒整合為一致客體的充分條件。能充分證明雙通道信息整合為一的有力證據是發生了超加現象,但該標準也受到挑戰,認為單通道信息很強烈時不容易發生超加現象。更好的標準是整合效應(用多通道結合較單通道的優勢來衡量)遵循IE規則(Stein et al.,2009)。

可見,考察面孔、語音情緒整合加工機制不能只停留在描述雙通道信息如何交互影響,應該進一步探明雙通道信息是否真正整合為一致客體,比如Watson等人(2014a)發現在右側顳上回可能存在同時接受視覺和聽覺通道情緒信息的神經元就觸及了這個核心問題。那么在行為層面和神經電生理層面,能否也發現雙通道情緒信息整合為一的證據呢？那就需要借用一般多通道非情緒信息感覺整合的規則來考察面孔、語音情緒整合,深入闡明其機制和特點。

2.2 大腦如何將雙通道情緒信息整合為一？

由上文文獻綜述可見,當前有關面孔、語音情緒整合神經機制的研究已較好地回答了“when”和“where”的問題,但是,大腦怎樣將分離的情緒信息整合成一個情緒客體,即“how”的問題卻有待深入研究。面孔、語音情緒刺激起初是在視覺區和聽覺區分別加工的,這些在不同腦區加工的信息是如何跨區域整合的還不得而知。

對該問題的回答,我們可以從一般視聽信息整合,如視聽言語信息整合的研究中得到很多啟示。研究發現神經振蕩(neural oscillations)是視聽言語信息整合的關鍵手段：Luo,Liu和Poeppel(2010)發現2~7 Hz的delta和theta頻段的相位同步改變在視聽信息流的實時整合加工中扮演了重要角色;另有研究發現gamma活動與視聽言語信息整合相關(Kaiser,Hertrich,Ackermann,Mathiak,&Lutzenberger,2005),視聽語義信息的一致性不影響鎖相的gamma頻段反應,但影響非鎖相的gamma頻段反應(Schneider,Debener,Oostenveld,&Engel,2008;Yuval-Greenberg&Deouell,2007)。另外,有兩個獨立研究組分別在Trends in Cognitive Sciences等高影響綜述雜志上撰文(Engel,Senkowski,&Schneider,2012;Fries,2005;Senkowski,Schneider,Foxe,&Engel,2008),提出腦區間神經振蕩的相干(指大腦兩個區域之間的EEG信號的線性依存關系,即對于兩個同時記錄到的EEG信號中相同節律成分進行相位穩定性測量)是多通道信息整合時腦區間信息交流的核心模式,并已得到一些實證研究的支持。Hummel和Gerloff(2005)發現視覺、觸覺的整合會導致兩個感覺區低頻能量相干系數增高,且相干系數與行為表現呈正相關。Maier,Chandrasekaran和Ghazanfar(2008)則發現隱約逼近的視聽信息結合相對于單通道信息引起聽覺區和顳上溝gamma頻段相干的增加,說明新皮質運用腦區間迅速而靈活的交流來調節多通道信息整合。

既然神經振蕩的能量、相位的變化以及不同腦區間神經振蕩的相干是視聽言語信息整合的關鍵所在,那么同為視聽刺激傳遞的抽象信息,面孔、語音情緒的整合是否也依賴于神經振蕩的變化呢？目前僅見兩個研究考察過雙通道情緒整合導致的神經振蕩能量變化：視聽情緒結合刺激誘發的alpha和beta能量與視覺情緒刺激誘發的能量更為相似(Jessen&Kotz,2011);動態性姿態情緒與語音情緒整合導致15~25 Hz的beta能量降低(Jessen et al.,2012)。這兩個研究描述了雙通道情緒整合導致了神經振蕩能量變化,但對于神經振蕩的相位特征、以及不同腦區間神經振蕩的相干特征等在一般多通道感覺整合已證明極為重要的整合手段,都還缺乏系統研究,更沒有將這些表征信息如何整合的參數納入“遵循IE規則”等整合標準下進行探討。

2.3 擬研究的科學問題

基于如上分析,本項目擬研究兩個問題：①面孔、語音情緒信息是否能夠整合為一致情緒客體,表現為其加工是否遵循一般感覺信息融合中的核心規則——顛倒效應(IE)規則？②面孔、語音情緒信息的整合加工在神經振蕩層面如何實現的？

考察一般感覺融合的規律能否推及情緒信息的整合加工是一般到特殊的問題。對這一問題的探討既是對已有研究關注多通道情緒信息存在交互影響的擴展(De Gelder&Vroomen,2000;Jessen&Kotz,2011;Kreifelts et al.,2007;Massaro&Egan,1996;Watson et al.,2014b),也是在一般認知研究的水平上考察情緒信息的理解,可能增進人們對多通道情緒信息加工的認知。同時,只有對該問題的系統考察,才能明確說明多通道情緒信息是否可以整合為一致情緒客體。

考察“面孔、語音情緒在神經振蕩層面如何整合為一”是在研究問題一描述整合現象后,進一步尋找導致該現象原因。在已有大量研究探明面孔、語音情緒信息整合加工的時間進程“when”和加工腦區“where”的基礎上,從神經生理的角度,系統探明雙通道情緒信息整合的神經振蕩的相位特征以及腦區間神經振蕩的相干特征,說明面孔、語音情緒信息如何整合,可以從“when”、“where”和“how”三個角度、三位一體地探明面孔語音情緒整合加工的神經生理機制。

3 研究構想

3.1 研究問題分解

為了較好地解決上述兩個研究問題,我們對兩個問題進行了分解與整合。首先,要考察雙通道情緒信息整合加工是否遵循一般感覺信息融合的IE規則,關鍵在于制作不同情緒凸顯度的單通道情緒刺激,然后考察不同情緒凸顯度的情緒信息所形成整合效應的大小。因此,我們以第一個科學問題為主線設計了兩個研究。第一個研究從兩個角度操縱刺激的情緒凸顯度,考察雙通道情緒信息在不同情緒凸顯度下的整合特點：一是操縱單通道情緒刺激本身的情緒凸顯度,對語音情緒刺激和面孔表情圖片進行不同程度的模糊處理,形成不同情緒強度的情緒刺激;二是通過操縱雙通道情緒刺激所處的噪音背景來操縱情緒凸顯度,當背景噪音越大,情緒刺激本身的情緒凸顯性越小。第二個研究則是對研究一的縱深——在研究一操縱簡單情緒刺激情緒凸顯性的基礎上,在情緒變化中考察雙通道情緒信息的整合。情緒變化指語句所表現的情緒發生變化,比如從中性變為憤怒或從憤怒變成了中性(Chen,2011;2013),這在社會交往中有重要意義(Fujimura&Okanoya,2013;Stefanics,Csukly,Komlósi,Czobor,&Czigler,2012)。研究二將沿用研究一的方法操縱情緒刺激本身的情緒凸顯度,考察不同情緒凸顯度的情緒刺激在情緒變化檢測的貢獻和整合效應。

其次,由文獻綜述部分可見,刺激驅動加工和任務驅動加工(Wildgruber et al.,2009;Klasen et al.,2012)是影響雙通道情緒信息整合的關鍵因素,因而本項目在所有研究中都設置內隱情緒加工任務和外顯情緒加工任務,以求分離刺激驅動加工和任務驅動加工對雙通道情緒信息整合的影響。此外,有研究指出以動態面孔和語音情緒刺激為實驗材料(Jessen&Kotz,2011;Luo et al.,2010;Watson,Latinus,Noguchi,et al.,2014,Watson,Latinus,Charest,et al.,2014;張亮,孫向紅,張侃,2009)可以提高研究的外部效度,因此我們擬制作動態面孔、語音情緒刺激作為實驗材料,在保證實驗內部效度前提下提高研究生態效度。而其他的一些影響因素,如被試的個體差異,包括性別(Collignon et al.,2010)、健康狀況(De Gelder et al.,2005;Magnée et al.,2008)等,在本項目中都作為控制因素加以控制。

再次,對于科學問題二“雙通道情緒信息如何整合為一”則主要在數據處理上下功夫。已有許多非情緒性信息整合加工研究表明神經振蕩的相位同步性變化和腦區間神經振蕩相干可能是信息整合的關鍵方式(Luo et al.,2010;Schneider et al.,2008;Engel et al.,2012;Fries,2005;Senkowski et al.,2008),因而借鑒一般感覺信息整合研究的分析手段,對幾個研究記錄的EEG數據完成時頻分析、相干分析,對雙通道情緒信息加工的能量譜、試次間相位變化、腦區間能量相干變化以及腦電發生源間網絡的變化進行詳盡的描述,即可回答面孔、語音情緒信息在神經振蕩層面如何整合為一。

最后,我們梳理了本項研究構想所提的兩個科學問題的內部關系。“雙通道情緒信息能否整合為一致客體”是在前人發現雙通道情緒信息交互影響基礎上(Jessen&Kotz,2011;Kreifelts et al.,2007;Massaro&Egan,1996;Watson et al.,2014a),進一步描述雙通道情緒信息加工的特點,可以用不同情緒凸顯度下的雙通道情緒信息加工是否遵循IE規則進行驗證。“雙通道情緒信息如何整合為一”則是探索該現象背后機制的問題,可以用神經生理數據的相干和網絡分析得以實現。這兩個問題是相互關聯的,可以并應當統一起來研究：系統考察面孔、語音情緒整合是否遵循“IE規則”不僅需要基于傳統的行為和ERP數據,更應當把神經振蕩特征納入考量;同時,系統分析雙通道情緒整合的神經振蕩的能量、相位以及腦區間的相干特征,則剛好為雙通道情緒如何整合提供了證據。

3.2 具體研究設計

本項目以面孔、語音情緒整合是否遵循一般感覺信息整合的規則為主線設計兩個研究,分6個實驗。研究一從刺激本身和所處背景兩個角度操縱情緒凸顯度,比較不同情緒凸顯度的刺激加工時整合效應的大小,以考察雙通道情緒整合是否遵循IE規則。研究二將簡單情緒信息的整合延伸到情緒變化中情緒信息的整合。在傳統行為數據、ERP分析之外,系統分析各個條件誘發神經振蕩的能量、相位以及腦區間相干特征,以期回答雙通道情緒信息在神經振蕩層面如何完成整合。研究設計分述如下：

研究一 不同情緒凸顯度的面孔、語音情緒整合

本研究分為4個實驗。實驗1、2操控情緒刺激本身的情緒凸顯度,考察面孔、語音情緒的整合加工是否遵循IE規則及其神經振蕩特征。研究以“啊”、“哦”等語義為中性的嘆詞為文本材料,請專業演員錄制高興、憤怒、中性三種面孔(F)、語音情緒刺激(V),雙通道連接形成FV刺激。然后運用Morph程序對原始的面孔和語音刺激(中性和情緒性)以33.3%的梯度制作連續變化刺激(如33%中性/67%憤怒、67%中性/33%憤怒),加上原始刺激,形成4種情緒強度面孔情緒刺激。用STRAIGHT工具箱對原始語音情緒刺激進行相似的模糊處理,形成不同情緒強度的4種語音情緒刺激。分語言、面孔、雙通道同時呈現三個序列給被試呈現刺激材料,要求被試分別判斷刺激表現者的性別(實驗1,內隱加工)和刺激所表現的情緒(實驗2,外顯加工),分別形成3×4的被試內實驗設計。記錄被試的行為數據和腦電數據作為因變量。除進行傳統的行為數據、腦電時域數據分析外,還對腦電進行時頻分析,探明雙通道情緒信息整合加工時神經振蕩的能量、相位及腦區間神經振蕩相干特征。若雙通道情緒信息整合為一致情緒客體,FV刺激誘發的行為和腦電指標需顯著大于任一單通道刺激(F和V),甚至大于F和V的和(即發生超加),而這種整合效應在情緒強度低的刺激中(如67%中性/33%憤怒)表現更為顯著。此外,根據以往關于刺激驅動加工和任務驅動加工的研究,我們預期外顯和內隱任務條件下,雙通道情緒信息的整合可能會表現出不同的特點。

實驗3、4操控情緒刺激所處背景噪音強度考察面孔、語音情緒整合是否遵循IE規則。除了刺激本身的情緒強度會形成情緒凸顯度差異從而影響雙通道情緒刺激的整合外,情緒刺激所處環境,也可能導致刺激情緒凸顯度不同。如噪音的掩蓋,背景噪音越強,情緒刺激本身凸顯度相對較低。因此,本實驗仍以實驗1的材料為實驗刺激,仍然分單聽、單看和視聽同時進行三種刺激呈現方式,只是在呈現關鍵刺激時加入不同強度的噪音。實驗仍然要求被試分別就刺激表現者的性別(實驗3,內隱加工)和刺激所表現的情緒進行判斷(實驗4,外顯加工),并記錄被試的行為反應和腦電數據作為因變量。本研究仍然采用與研究一相同的數據分析方法。我們預期,若雙通情緒信息確實能整合為一,FV刺激誘發的行為和腦電指標需顯著大于任一單通道刺激(F和V),甚至出現超加效應,而這種整合效應在噪音背景較強時表現更為明顯,同時也會受到任務屬性的調節。

研究二 情緒變化檢測中的面孔、語音情緒整合

前兩個研究都是以簡單的情緒刺激來考察雙通情緒信息的整合的,但是情緒信息往往嵌套在話語背景中。情緒變化識別在社會交往中有重要意義(Fujimura&Okanoya,2013;Stefanics et al.,2012),如談判等人際交流中往往需要察言觀色、聽音識別情緒及情緒變化。本研究擬在情緒變化識別中的面孔、語音情緒信息整合。首先錄制語義為中性的語音情緒和面孔情緒材料,然后運用交互拼接(cross-splicing)方法構建具有情緒變化的語音和面孔情緒材料,再運用實驗1相同的方法對幾種情緒材料進行梯度性模糊處理,獲得不同情緒強度的實驗刺激。然后通過兩通道刺激的不同組合(語音、面孔情緒均不變,語音情緒變、面孔情緒不變,語音情緒不變、面孔情緒變,雙通道均變化)給被試呈現實驗材料,要求被試判斷每個試次的實驗材料表達的情緒(實驗5,外顯任務)是否發生了變化,或者完成視覺探詞檢測任務(實驗6,內隱任務)。記錄被試的行為反應和腦電數據作為因變量,同樣進行傳統ERP分析和神經震蕩分析。通過三種情緒變化條件與雙通道均不變條件相減獲得情緒變化的指標。同研究一相似,我們預期,若雙通情緒刺激發生整合,雙通道聯合刺激誘發的情緒變化效應應該大于任一單通道刺激,甚至具有超加效應,且這些效應在情緒強度較低更為明顯,并受任務驅動的調節。

4 總結

總之,本項目以面孔、語音情緒信息整合是否遵循一般感覺信息整合的核心規則為主線來設計實驗,系統操控刺激本身、所處背景的情緒凸顯度以及任務要求,通過比較不同情緒凸顯度的刺激加工時整合效應大小,以考察雙通道情緒整合是否遵循IE規則,以期考察面孔、語音情緒信息能否整合為一致情緒客體。除了考察簡單情緒刺激的整合之外,還考察情緒變化加工中雙通道情緒信息的整合。數據處理除了傳統ERP分析基礎上,系統分析各個條件誘發神經振蕩的能量、相位以及腦區間相干特征,從神經振蕩層面說明雙通道情緒信息如何整合。本研究構想從情緒信息整合加工的現狀提出問題,從一般感覺融合加工的已有研究中尋求解決之道,探明動態面孔語音情緒是否真正能整合成一致情緒客體,從神經振蕩這個認知加工的直觀指標尋求突破,考察雙通道情緒信息整合如何通過神經振蕩得以實現。

即便當前有關情緒神經機制和非情緒信息融合加工的研究已十分豐富,本項目對于雙通道情緒信息能否整合出高于一般感覺信息融合的情緒相關物,以及該整合過程如何通過神經振蕩得以實現的回答,都可以增進人們對情緒加工和多通道信息整合加工及神經機制的理解。此外,由于情緒整合加工缺陷可能是精神分裂癥(De Gelder et al.,2005)、自閉癥(Charbonneau et al.,2013)、廣泛性發展障礙(Magnée et al.,2008)的重要表現之一,若本項目能夠探明多通道情緒信息整合的神經生理機制,則可以進而考察這些患者加工多通道情緒信息時的神經振蕩特征,就有可能增進這些疾病的發病機理的理解。最后,微情緒識別已引起醫學臨床、情緒智力培養、國家安全和司法等領域的關注(吳奇,申尋兵,傅小蘭,2010),不過當前研究多關注面孔、姿態情緒等單通道信息的識別,若能探明多通道情緒信息整合加工的特點和神經生理機制,再將這些研究結論擴展到微情緒識別研究中,也當能促進該領域研究的發展。

吳奇,申尋兵,傅小蘭.(2010).微表情研究及其應用.心理科學進展,18(9),1359–1368.

張亮,孫向紅,張侃.(2009).情緒信息的多通道整合.心理科學進展,17(6),1133–1138.

Brück,C.,Kreifelts,B.,&Wildgruber,D.(2011).Emotional voices in context:A neurobiological model of multimodal affective information processing.Physics of Life Reviews,8(4),383–403.

Charbonneau,G.,Bertone,A.,Lepore,F.,Nassim,M.,Lassonde,M.,Mottron,L.,& Collignon,O.(2013).Multileveldeficits in the processing ofaudio-visual emotion expressions in Autism Spectrum Disorders.Neuropsychologia,51(5),1002–1010.

Chen,X.,Yang,X.,&Yang,Y.(2013).Neurophysiological mechanism of implicitprocessing ofvocalemotion transition.Acta Psychologica Sinica,45(4),416-426.

Chen,X.,Zhao, L.,Jiang,A.,& Yang,Y.(2011).Event-related potential correlates of the expectancy violation effectduring emotionalprosody processing.Biological Psychology,86(3),158–167.

Collignon,O.,Girard,S.,Gosselin,F.,Saint-Amour,D.,Lepore,F.,& Lassonde,M.(2010).Women process multisensory emotion expressions more efficiently than men.Neuropsychologia,48(1),220–225.

De Gelder,B.,Bocker,K.B.,Tuomainen,J.,Hensen,M.,&Vroomen,J.(1999).The combined perception of emotion from voice and face:Early interaction revealed by human electric brain responses.Neuroscience Letters,260(2),133–136.

De Gelder,B.,Pourtois,G.,&Weiskrantz,L.(2002).Fear recognition in the voice is modulated by unconsciously recognized facial expressions but not by unconsciously recognized affective pictures.Proceedings of the National Academy of Sciences of the United States of America,99(6),4121–4126.

De Gelder,B.,&Vroomen,J.(2000).The perception of emotions by ear and by eye.Cognition&Emotion,14(3),289–311.

De Gelder,B.,Vroomen,J.,de Jong,S.J.,Masthoff,E.D.,Trompenaars,F.J.,&Hodiamont,P.(2005).Multisensory integration of emotional faces and voices in schizophrenics.Schizophrenia Research,72(2-3),195–203.

Doi,H.,&Shinohara,K.(2013).Unconscious presentation of fearful face modulates electrophysiological responses to emotional prosody.Cerebral Cortex,1–16.

Ernst,M.O.,&Bulthoff,H.H.(2004).Merging the senses into a robust percept.Trends in Cognitive Sciences,8(4),162–169.

Engel,A.K.,Senkowski,D.,&Schneider,T.R.(2012).Multisensory integration through neural coherence.In M.M.Murray&M.T.Wallace(Eds.),The neural bases of multisensory processes.Boca Raton:CRC Press Inc.

Ethofer,T.,Anders,S.,Erb,M.,Droll,C.,Royen,L.,Saur,R.,....Wildgruber, D. (2006). Impact of voice on emotional judgment of faces:An event-related fMRI study.Human Brain Mapping,27(9),707–714.

Fries,P.(2005).A mechanism forcognitive dynamics:Neuronalcommunication through neuronalcoherence.Trends in Cognitive Sciences,9(10),474–480.

Fujimura,T.,&Okanoya,K.(2013).Event-related potentials elicited by pre-attentive emotional changes in temporal context.PLoS ONE,8(5),e63703.

Hagan,C.C.,Woods,W.,Johnson,S.,Calder,A.J.,Green,G.G.,&Young,A.W.(2009).MEG demonstrates a supra-additive response to facial and vocal emotion in the right superior temporal sulcus.Proceedingsofthe National Academy of Sciences of the United States of America,106(47),20010–20015.

Hummel,F.,& Gerloff,C.(2005).Larger interregional synchrony is associated with greater behavioral success in a complex sensory integration task in humans.Cerebral Cortex,15(5),670–678.

Jessen,S.,&Kotz,S.A.(2011).The temporal dynamics of processing emotions from vocal,facial, and bodily expressions.NeuroImage,58(2),665–674.

Jessen,S.,Obleser,J.,&Kotz,S.A.(2012).How bodies and voices interact in early emotion perception.PLoS One,7(4),e36070.

Kaiser,J.,Hertrich,I.,Ackermann,H.,Mathiak,K.,&Lutzenberger,W.(2005).Hearing lips:Gamma-band activity during audiovisual speech perception.Cerebral Cortex,15(5),646–653.

Klasen,M.,Chen,Y.H.,&Mathiak,K.(2012).Multisensory emotions:Perception,combination and underlying neural processes.Review of Neuroscience,23(4),381–392.

Kreifelts,B.,Ethofer,T.,Grodd,W.,Erb,M.,&Wildgruber,D.(2007).Audiovisual integration of emotional signals in voice and face:An event-related fMRI study.NeuroImage,37(4),1445–1456.

Kreifelts,B.,Ethofer,T.,Shiozawa,T.,Grodd,W.,&Wildgruber,D.(2009).Cerebral representation of non-verbal emotional perception:fMRIreveals audiovisualintegration area between voice-and face-sensitive regions in the superior temporal sulcus.Neuropsychologia,47(14),3059–3066.

Luo,H.,Liu,Z.X.,&Poeppel,D.(2010).Auditory cortex tracks both auditory and visual stimulus dynamics using low-frequency neuronal phase modulation.PLoS Biology,8(8),e1000445.

Magnée,M.J.C.M.,de Gelder,B.,van Engeland,H.,&Kemner,C.(2008).A typicalprocessing of fearful face-voice pairs in Pervasive Developmental Disorder:An ERP study.Clinical Neurophysiology,119(9),2004–2010.

Maier,J.X.,Chandrasekaran,C.,&Ghazanfar,A.A.(2008).Integration of bimodal looming signals through neuronal coherence in the temporal lobe.Current Biology,18(13),963–968.

Massaro,D.W.,&Egan,P.B.(1996).Perceiving affect from the voice and the face.Psychonomic Bulletin&Review,3(2),215–221.

McGurk,H.,&MacDonald,J.(1976).Hearing lips and seeing voices.Nature,264(5588),746–748.

Park,J.Y.,Gu,B.M.,Kang,D.H.,Shin,Y.W.,Choi,C.H.,Lee,J.M.,&Kwon,J.S.(2010).Integration of cross-modal emotional information in the human brain:An fMRI study.Cortex,46(2),161–169.

Paulmann,S.,Jessen,S.,&Kotz,S.A.(2009).Investigating the multimodal nature of human communication.Journal of Psychophysiology,23(2),63–76.

Paulmann,S.,&Pell,M.D.(2010).Contextual influences of emotional speech prosody on face processing:How much is enough?Cognitive,Affective,&Behavioral Neuroscience,10(2),230–242.

Pourtois,G.,de Gelder,B.,Bol,A.,&Crommelinck,M.(2005).Perception of facial expressions and voices and of their combination in the human brain.Cortex,41(1),49–59.

Pourtois,G.,de Gelder,B.,Vroomen,J.,Rossion,B.,&Crommelinck,M.(2000).The time-course of intermodal binding between seeing and hearing affective information.Neuroreport,11(6),1329–1333.

Robins,D.L.,Hunyadi,E.,&Schultz,R.T.(2009).Superior temporal activation in response to dynamic audio-visual emotional cues.Brain and Cognition,69(2),269–278.

Schneider,T.R.,Debener,S.,Oostenveld,R.,&Engel,A.K.(2008).Enhanced EEG gamma-band activity reflects multisensory semantic matching in visual-to-auditory object priming.NeuroImage,42(3),1244–1254.

Senkowski,D.,Saint-Amour,D.,Hofle,M.,&Foxe,J.J.(2011).Multisensory interactions in early evoked brain activity follow the principle ofinverse effectiveness.NeuroImage,56(4),2200–2208.

Senkowski,D.,Schneider,T.R.,Foxe,J.J.,&Engel,A.K.(2008).Crossmodal binding through neural coherence:Implications for multisensory processing.Trendsin Neurosciences,31(8),401–409.

Stefanics,G.,Csukly,G.,Komlósi,S.,Czobor,P.,&Czigler,I.(2012).Processing of unattended facial emotions:A visualmismatch negativity study.NeuroImage,59(3),3042–3049.

Stein,B.E.,Jiang,W.,&Stanford,T.R.(2005).Multisensory integration in single neurons of the midbrain.In G.Calvert,C.Spence,& B.E.Stein,(Eds.),Thehandbookof multisensory processes(pp.243–264).Cambridge:MIT Press.

Stein,B.E.,&Meredith,M.A.(1993).The merging of the senses.Cambridge,MA,US:The MIT Press.

Stein,B.E.,& Stanford,T.R.(2008).Multisensory integration:Current issues from the perspective of the single neuron.Nature Reviews Neuroscience,9(4),255–266.

Stein,B.E.,Stanford,T.R.,Ramachandran,R.,Perrault,T.J.,Jr.,&Rowland,B.A.(2009).Challenges in quantifying multisensory integration:Alternative criteria,models,and inverse effectiveness.ExperimentalBrainResearch,198(2–3),113–126.

Tanaka,A.,Koizumi,A.,Imai,H.,Hiramatsu,S.,Hiramoto,E.,&de Gelder,B.(2010).I feel your voice:Cultural differences in the multisensory perception of emotion.Psychological Science,21(9),1259–1262.

Watson,R.,Latinus,M.,Noguchi,T.,Garrod,O.,Crabbe,F.,& Belin,P.(2014a).Crossmodaladaptation in right posterior superior temporal sulcus during face–voice emotional integration.The Journal of Neuroscience,34(20),6813–6821.

Watson,R.,Latinus,M.,Charest,I.,Crabbe,F.,&Belin,P.(2014b).People-selectivity,audiovisualintegration and heteromodality in the superior temporal sulcus.Cortex,50,125–136

Werner,S.,&Noppeney,U.(2010).Superadditive responses in superior temporal sulcus predict audiovisual benefits in object categorization.Cerebral Cortex,20(8),1829–1842.

Wildgruber,D.,Ethofer,T.,Grandjean,D.,&Kreifelts,B.(2009).A cerebralnetwork model of speech prosody comprehension.International Journal of Speech-Language Pathology,11(4),277–281.

Yuval-Greenberg,S.,&Deouell,L.Y.(2007).What you see is not(always)what you hear:Induced gamma band responses reflect cross-modal interactions in familiar object recognition.Journal of Neuroscience,27(5),1090–1096.