面孔吸引力判斷中的跨通道整合過程

摘" 要" 以往關(guān)于面孔吸引力判斷的研究多關(guān)注視覺信息， 忽視了非視覺信息在其中的作用， 而現(xiàn)有研究已證實(shí)面孔吸引力判斷中存在不同感官信息的相互作用， 是跨通道整合的。為此， 在以往研究的基礎(chǔ)上， 綜合面孔空間模型和貝葉斯因果推理模型， 推測在面孔吸引力判斷的跨通道整合過程中， 當(dāng)個(gè)體根據(jù)感官刺激和已有的標(biāo)準(zhǔn)面孔推斷不同感官信息是來自同一張目標(biāo)面孔時(shí)， 便自然將各種感官信息在大腦中進(jìn)行整合， 形成統(tǒng)一的目標(biāo)面孔， 進(jìn)行吸引力的判斷。未來可將面孔嵌入更廣泛的環(huán)境中， 考察多種感官信息的跨通道整合， 并進(jìn)一步探究跨通道整合的邊界條件， 以及社會(huì)互動(dòng)中的跨通道整合， 以構(gòu)建更系統(tǒng)的面孔吸引力跨通道整合模型。

關(guān)鍵詞" 面孔吸引力， 跨通道整合， 嗅覺， 聽覺， 視覺

分類號(hào)" B842

1" 引言

面孔是社會(huì)交往中的第一關(guān)注點(diǎn)， 面孔吸引力（Facial Attractiveness）是指目標(biāo)人物的面孔所誘發(fā)的一種積極愉悅的情緒體驗(yàn)并驅(qū)使他人產(chǎn)生接近意愿的程度（Rhodes， 2006）。面孔吸引力在擇偶等諸多社會(huì)交往中發(fā)揮著重要作用（Rhodes， 2006; Han et al.， 2020）， 人們在進(jìn)行吸引力判斷時(shí)， 首先依據(jù)的便是面孔的吸引力。盡管社會(huì)呼吁“不應(yīng)以貌取人”， 但在現(xiàn)實(shí)社會(huì)中面容姣好的人依舊會(huì)受到優(yōu)待（Little et al.， 2011）。早期研究多認(rèn)為視覺線索是面孔吸引力判斷的有力預(yù)測因素（Sorokowski et al.， 2013）， 然而對(duì)他人的感知和判斷通常涉及多個(gè)線索， 如面孔、聲音、氣味等（Groyecka et al.， 2017; White amp; Burton， 2022）。研究證明面孔吸引力的判斷也受到聲音（Collins amp; Missing， 2003; Fraccaro et al.， 2010; O’ Connor et al.， 2013）和氣味（Feng amp; Lei， 2022; Roberts et al.， 2011）等線索的影響。鑒于不同感官的信息在面孔吸引力判斷中的重要作用， 近年來研究者將研究重點(diǎn)從單一視覺信息轉(zhuǎn)移到非視覺信息上， 探討面孔吸引力判斷中的跨通道整合過程。

不同感官信息的跨通道整合（Cross-Modal Integration）有助于人類更準(zhǔn)確、快速地理解外部世界， 促進(jìn)社會(huì)交往（White amp; Burton， 2022）。在跨通道整合的研究中， 普遍以判斷的準(zhǔn)確率和反應(yīng)時(shí)來衡量整合的效果（Miller， 1982; Moller amp; Pomiankowski， 1993）。而在面孔吸引力領(lǐng)域中， 主要關(guān)注的是個(gè)體對(duì)面孔吸引力判斷的變化。例如相較于單獨(dú)呈現(xiàn)面孔， 當(dāng)與聲音或氣味同時(shí)呈現(xiàn)時(shí)， 女性化聲音或愉悅氣味能夠提高對(duì)面孔吸引力的評(píng)價(jià); 反之， 會(huì)降低對(duì)面孔吸引力的評(píng)價(jià)（Feng amp; Lei， 2022; O’Connor et al.， 2013）。然而關(guān)于一般的跨通道整合的研究結(jié)果是否可以延伸至面孔吸引力判斷中跨通道整合還有待進(jìn)一步探討， 并且針對(duì)面孔吸引力判斷中跨通道整合的原因以及整合機(jī)制的問題， 相關(guān)研究也過于分散， 無法形成系統(tǒng)理論。因此， 本文重點(diǎn)關(guān)注面孔吸引力判斷中的跨通道整合問題， 對(duì)不同感官信息在面孔吸引力判斷中的跨通道研究進(jìn)行系統(tǒng)梳理， 并將面孔加工模型和跨通道整合模型進(jìn)行結(jié)合， 有助于厘清面孔吸引力判斷的跨通道整合過程及其加工機(jī)制， 以期為未來跨通道整合研究提供理論指導(dǎo)。

2" 多感官信息在面孔吸引力判斷中的作用

在信息加工過程中通常涉及多個(gè)感官通道的信息， 存在對(duì)不同信息的跨通道整合。個(gè)體可以從目標(biāo)對(duì)象的氣味或聲音中獲得大量信息（Sorokowska， 2013; Knowles amp; Little， 2016; Pisanski et al.， 2014）， 但任何基于單一感覺通道信息進(jìn)行的判斷都會(huì)產(chǎn)生一定程度的偏差， 而對(duì)多個(gè)感覺通道信息的整合可以實(shí)現(xiàn)更可靠的評(píng)估（Moller amp; Pomiankowski， 1993）。例如， 在嗅覺方面， 人類對(duì)嗅覺刺激的感知需要視覺線索的幫助才能確定其身份或社會(huì)相關(guān)性（Olofsson amp; Gottfried， 2015）。在聽覺方面， McGurk和MacDonald （1976）發(fā)現(xiàn)了麥格克效應(yīng)， 當(dāng)同時(shí)給被試呈現(xiàn)“baba”的聲音和“gaga”的口型（視覺刺激）時(shí)， 98%的被試反應(yīng)為“dada”， 表明知覺系統(tǒng)會(huì)自動(dòng)將不同感覺通道（視聽）的信息整合起來， 以一種共同的模式進(jìn)行表征（Calvert et al.， 1998; Mcgurk amp; Macdonald， 1976）。

2.1" 面孔吸引力判斷中視覺與嗅覺的跨通道整合

人類具有快速將面孔與氣味聯(lián)系起來的能力（Steinberg et al.， 2012）。系列研究證據(jù)表明， 在令人愉悅的氣味背景下， 面孔會(huì)被評(píng)價(jià)得更年輕、更迷人; 而在難聞氣味的環(huán)境中被試對(duì)面孔吸引力的評(píng)價(jià)會(huì)降低（Seubert et al.， 2014; Spence， 2021; Syrj?nen et al.， 2021）。

針對(duì)嗅覺在面孔吸引力判斷中的作用， 現(xiàn)有研究分別從情緒和注意的角度進(jìn)行了解釋和論證。一些研究者指出嗅覺與情緒緊密相連（周雯， 馮果， 2012）， 氣味可能是通過其誘發(fā)的情緒來影響視覺模式的處理（Feng amp; Lei， 2022）。來自fMRI的研究結(jié)果顯示， 當(dāng)中性面孔與愉快的氣味同時(shí)呈現(xiàn)時(shí)， 與獎(jiǎng)勵(lì)加工有關(guān)的眶額皮層和腹側(cè)紋狀體內(nèi)側(cè)部分的激活程度會(huì)增加（Cook et al.， 2018）。相反， 與不愉快的氣味同時(shí)出現(xiàn)時(shí)， 與負(fù)性情緒處理有關(guān)的杏仁核被顯著激活（Kahnt et al.， 2010）。并且， 面孔情緒和氣味效價(jià)（愉悅和不愉悅）的影響是雙向的， 面孔的情緒也會(huì)影響到對(duì)氣味的感知。研究發(fā)現(xiàn)， 當(dāng)與快樂面孔配對(duì)時(shí)， 氣味被認(rèn)為更令人愉悅; 當(dāng)與厭惡面孔配對(duì)時(shí)， 令人不愉快的氣味被認(rèn)為更強(qiáng)烈（Cook et al.， 2017）。另有研究者指出， 當(dāng)氣味和面孔同時(shí)呈現(xiàn)時(shí)， 氣味對(duì)面孔吸引力的增強(qiáng)作用可能是因?yàn)樾嵊X和視覺刺激的處理都會(huì)受到注意力的影響（Rinaldi et al.， 2018; Feng amp; Lei， 2022）。一方面， 嗅覺和視覺信息的整合可以提高目標(biāo)對(duì)象的存在感， 增加注意力（Chen et al.， 2013）。另一方面， 氣味的愉悅性可以選擇性地轉(zhuǎn)移個(gè)體的注意力， 將注意力引導(dǎo)到與氣味效價(jià)相一致的視覺特征上， 從而增加對(duì)目標(biāo)對(duì)象的注意力（Rinaldi et al.， 2018; Hermann et al.， 2000）。但注意力相關(guān)的研究并不能解釋不愉悅氣味對(duì)面孔吸引力評(píng)價(jià)的損害作用， 相比之下， 嗅覺是通過誘發(fā)情緒來影響視覺模式處理的解釋可能更為全面。

此外， 個(gè)體在感覺閾限上的差異可能也會(huì)影響到整合的效果。研究已經(jīng)證明， 人們對(duì)惡心氣味的敏感度各不相同（Tybur et al.， 2018）。通常被認(rèn)為令人愉悅的氣味（例如丁香花）在較高濃度下可能會(huì)被一些被試判斷為惡心的氣味（Syrj?nen et al.， 2017）， 而另外一些被試會(huì)將戊酸等消極屬性的氣味評(píng)為積極（Syrj?nen et al.， 2018）。由此， 個(gè)體對(duì)氣味的偏好存在明顯差異， 不同個(gè)體在將同一嗅覺刺激與視覺面孔的整合效果也就可能產(chǎn)生差別， 進(jìn)而導(dǎo)致對(duì)面孔吸引力的判斷發(fā)生變化。但以上還只是一種間接推測， 仍需要進(jìn)一步的實(shí)驗(yàn)研究去佐證， 并探討具體的變化結(jié)果與原因。

2.2" 面孔吸引力判斷中視覺與聽覺的跨通道整合

在聽覺線索方面， 研究證明了聲音和面孔吸引力之間存在關(guān)聯(lián)（Collins amp; Missing， 2003; Fraccaro et al.， 2010; Hughes amp; Miller， 2016）， 面孔和聽覺線索的跨通道整合會(huì)影響個(gè)體對(duì)面孔吸引力的判斷。早期研究已經(jīng)發(fā)現(xiàn)， 男性會(huì)認(rèn)為與高頻率聲音匹配出現(xiàn)的女性面孔更具吸引力（Collins amp; Missing， 2003）。O’Connor等人（2013）采用視頻形式同時(shí)呈現(xiàn)聲音刺激和面孔刺激發(fā)現(xiàn)， 相較于男性化聲音， 男性認(rèn)為與女性化聲音匹配出現(xiàn)的女性面孔更有吸引力。但這些研究只納入了男性被試， 研究結(jié)果的推廣性有限。新近研究通過腦電技術(shù)發(fā)現(xiàn)， 當(dāng)高吸引力男性面孔和高吸引力男性聲音同時(shí)呈現(xiàn)時(shí)， 誘發(fā)了女性被試更大的N170波幅（Liu et al.， 2023）， 提示面孔吸引力判斷過程中視覺線索和聲音線索的跨通道整合現(xiàn)象不存在性別差異。但Z?ske等人（2020）在采用靜態(tài)面孔圖片和動(dòng)態(tài)聲音刺激進(jìn)行研究發(fā)現(xiàn)面孔吸引力與聲音吸引力之間并不存在相關(guān)性。

針對(duì)研究之間的不一致結(jié)果， 推測可能受到實(shí)驗(yàn)材料（動(dòng)態(tài)面孔 vs. 靜態(tài)面孔）的影響。相較于動(dòng)態(tài)面孔， 靜態(tài)面孔和動(dòng)態(tài)聲音刺激的匹配影響了整合的效果。一方面， 靜態(tài)面孔和動(dòng)態(tài)面孔是通過不同的標(biāo)準(zhǔn)來判斷， 動(dòng)態(tài)面孔會(huì)增加個(gè)體對(duì)積極情緒的感知強(qiáng)度， 比靜態(tài)面孔更具吸引力（Rubenstein， 2005; Bowdring et al.， 2021）。以往研究發(fā)現(xiàn)， 在自然語音交流中， 與語音相關(guān)的動(dòng)態(tài)面部線索（例如嘴巴動(dòng)作）可以為感知者提供獨(dú)特的線索來評(píng)估目標(biāo)對(duì)象（Drimalla et al.， 2019）。另一方面， 當(dāng)視覺嘴巴和聽覺聲音不一致時(shí)會(huì)影響個(gè)體視聽整合的效果（Alsius et al.， 2005; Fairhall amp; Macaluso， 2009）， 靜態(tài)面孔圖片難以提供說話者的動(dòng)態(tài)信息， 即便動(dòng)態(tài)聲音與面孔同時(shí)呈現(xiàn)， 也會(huì)影響個(gè)體的整合效果。除此之外， 個(gè)體聽覺閾限水平的差異可能也會(huì)影響面孔吸引力的跨通道整合效果。研究發(fā)現(xiàn)， 人們識(shí)別聲音的能力存在廣泛差異， 包括通過聲音來識(shí)別說話者的能力和記住聲音的能力（Bestelmeyer amp; Mühl， 2021; Mühl et al.， 2018; Aglieri et al.， 2017）， 因此當(dāng)個(gè)體無法確認(rèn)聲音是否來自于視覺面孔所指代的同一目標(biāo)對(duì)象時(shí)， 聽覺和視覺信息則將難以整合。但目前的研究均未深入考察個(gè)體聽覺閾限水平上的差異對(duì)面孔吸引力判斷跨通道整合效果的影響， 其背后的影響機(jī)制更是亟需未來研究做進(jìn)一步探討和澄清。最后， 在面孔吸引力的視聽整合過程同樣也受到情緒和注意力的影響。研究認(rèn)為， 聽覺刺激中包含的情緒信息會(huì)影響個(gè)體對(duì)吸引力的判斷（Marin et al.， 2017）。并且， 聽覺刺激具有動(dòng)態(tài)、顯著的特性， 能夠自動(dòng)吸引注意力（Li amp; Deng， 2023）， 進(jìn)而影響對(duì)面孔吸引力的判斷。

2.3" 面孔吸引力判斷中視聽與視嗅整合的比較

情緒、注意力、感覺閾限等因素在面孔吸引力判斷中的視聽和視嗅整合過程中均會(huì)產(chǎn)生影響， 但面孔吸引力判斷中的視聽和視嗅整合之間還是存在些許差異。首先， 氣味來源于身體， 一方面， 相較于視聽覺刺激， 嗅覺刺激則需要更密切的接觸， 在判斷后期中可能占有更大的權(quán)重（Groyecka et al.， 2017）; 另一方面， 氣味更多傳達(dá)的是目標(biāo)的身體信息（Mei et al.， 2022）， 影響了個(gè)體對(duì)目標(biāo)整體的吸引力的判斷。而面孔在吸引力判斷中占據(jù)關(guān)鍵地位（Kowal et al.， 2022）， 因此嗅覺的影響可能會(huì)更直接地參與到面孔吸引力的判斷中。其次， 嗅覺刺激難以提供精確的時(shí)間和空間信息， 能夠自動(dòng)與在現(xiàn)場出現(xiàn)或個(gè)體注意到的其他任何刺激相結(jié)合。可能存在一種嗅覺版本的雞尾酒會(huì)效應(yīng)（Rokni et al.， 2014; Damjanovic et al.， 2018）， 當(dāng)同時(shí)出現(xiàn)多個(gè)面孔時(shí)， 更容易選擇與熟悉的面孔進(jìn)行整合， 熟悉度在其中起到更大的作用。最后， 相較于視聽覺信息， 嗅覺信息并不局限于目標(biāo)本身所散發(fā)的體香或者汗液的氣味， 也可以是其所使用的香水味。作為一種人工創(chuàng)造物， 香水只有在足夠頻繁的使用后才可能會(huì)承擔(dān)真實(shí)體味的部分作用， 提供有吸引力的嗅覺信號(hào)（Spence， 2021）。然而對(duì)于聲音而言， 通過熟悉度增加并不影響對(duì)其相關(guān)特質(zhì)的評(píng)估（Lavan et al.， 2021）。因此， 在面孔吸引力的判斷中， 相較于聽覺聲音和視覺面孔的整合， 嗅覺氣味和視覺面孔的整合過程中可能更多會(huì)受到熟悉度的影響， 頻繁接觸的、親密的與熟悉的氣味和面孔的整合效果可能會(huì)更好。

綜上所述， 面孔吸引力判斷中是存在跨通道整合現(xiàn)象的。在判斷面孔吸引力的過程中， 個(gè)體不僅僅依賴于視覺信息， 還會(huì)參考聽覺和嗅覺線索， 這些不同感官的信息共同參與了面孔吸引力的判斷過程。只是， 由于聽覺和嗅覺刺激傳達(dá)信息的內(nèi)容、方式存在差異， 兩者分別在與視覺面孔形成整合的過程中可能受到的影響因素也略有差別， 相較于視聽整合， 視嗅整合可能更會(huì)受到熟悉度的影響。另外， 關(guān)于觸覺和視覺的跨通道整合研究發(fā)現(xiàn)， 時(shí)間和空間一致的視覺、觸覺線索可以促進(jìn)面孔識(shí)別（Panagiotopoulou et al.， 2022）， 但面孔吸引力的判斷是否同樣存在觸覺和視覺、觸覺與聽覺， 以及三種不同感官來源的信息整合？這一點(diǎn)需要未來進(jìn)一步的實(shí)驗(yàn)研究證據(jù)來證實(shí)。

3" 面孔吸引力判斷中跨通道信息的整合機(jī)制

關(guān)于面孔吸引力判斷中的跨通道整合主要探究一個(gè)核心問題：在面孔吸引力判斷的過程中是如何進(jìn)行感官信息的跨通道整合的？本文從認(rèn)知基礎(chǔ)和神經(jīng)基礎(chǔ)兩方面分析， 同時(shí)結(jié)合面孔吸引力判斷的相關(guān)研究， 探討面孔吸引力判斷中的跨通道整合機(jī)制。

3.1" 認(rèn)知基礎(chǔ)

3.1.1" 基于面孔空間模型的面孔吸引力跨通道整合機(jī)制

依據(jù)面孔知覺加工領(lǐng)域中的面孔空間模型（Face-space Model）可知， 個(gè)體的知覺經(jīng)驗(yàn)在面孔吸引力判斷中占有重要地位， 個(gè)體可以根據(jù)經(jīng)驗(yàn)信息形成特定維度的面孔標(biāo)準(zhǔn)， 而對(duì)目標(biāo)面孔的判斷便是基于其與標(biāo)準(zhǔn)面孔的偏差程度進(jìn)行的編碼加工（Valentine， 1991; Wuttke amp; Schweinberger， 2019）。基于此進(jìn)行推測， 知覺經(jīng)驗(yàn)在面孔吸引力判斷的跨通道整合中可能存在以下兩種作用。

一是不同感官經(jīng)驗(yàn)可以形成標(biāo)準(zhǔn)面孔， 即個(gè)體基于以往的感官經(jīng)驗(yàn)， 形成了對(duì)面孔吸引力的期望標(biāo)準(zhǔn)。以往研究發(fā)現(xiàn)， 在適應(yīng)一系列高吸引力面孔后， 個(gè)體會(huì)降低對(duì)目標(biāo)面孔的吸引力評(píng)價(jià)（Van der Burg et al.， 2019）， 表明在個(gè)體對(duì)目標(biāo)面孔進(jìn)行判斷前， 知覺經(jīng)驗(yàn)預(yù)先塑造其了對(duì)面孔的期望。并且不單單是視覺信息， 任何單一感官信息都能傳遞多種信息， 聲音也可以形成一種“聽覺面孔” （Lavan et al.， 2021）， 進(jìn)而個(gè)體基于目標(biāo)面孔與“聽覺面孔”的差異進(jìn)行吸引力判斷。

二是經(jīng)驗(yàn)可以將不同感官信息進(jìn)行關(guān)聯(lián)， 即個(gè)體在接收到一種感官的信息后自然會(huì)將其與另一種感官信息進(jìn)行整合， 以判斷目標(biāo)對(duì)象的面孔吸引力。人們普遍傾向于將有吸引力的聲音與有吸引力的面孔聯(lián)系起來， 將沒有吸引力的聲音與沒有吸引力的面孔聯(lián)系起來， 存在“聽起來漂亮， 看起來漂亮”的刻板印象（Hughes amp; Miller， 2016）。當(dāng)接收到的感官信息與以往經(jīng)驗(yàn)保持一致時(shí)， 判斷的反應(yīng)時(shí)會(huì)變快。例如， 相較于聲音與面孔不一致的情況， 當(dāng)聲音和面孔的性別二態(tài)性保持一致時(shí)， 被試判斷的反應(yīng)更快（Wen et al.， 2023）。反之， 當(dāng)接收到與以往經(jīng)驗(yàn)相沖突的感官信息時(shí)， 則會(huì)影響到整合的實(shí)現(xiàn)。

3.1.2" 基于貝葉斯因果推理模型的跨通道整合機(jī)制

根據(jù)跨通道整合中的貝葉斯因果推理模型（Bayesian Causal Inference model， BCI）可知（Kayser amp; Shams， 2015; K?rding et al.， 2007; Cao et al.， 2019）， 實(shí)現(xiàn)跨通道整合， 大腦首先需要根據(jù)時(shí)間和空間線索進(jìn)行因果推理， 確定不同的感官信號(hào)是否來自一個(gè)共同的對(duì)象， 然后才能進(jìn)行整合。同樣， 在面孔吸引力判斷的跨通道整合過程中也需要首先進(jìn)行因果推理， 推測不同的感官信號(hào)與視覺面孔是來源于同一個(gè)目標(biāo)對(duì)象。例如， 當(dāng)個(gè)體看到一張說話的面孔并聽到聲音， 語音感知系統(tǒng)必須確定這兩個(gè)信號(hào)是來自同一來源（聽覺和視覺信號(hào)是由同一個(gè)人產(chǎn)生的）， 還是來自不同來源（例如房間里他人說話的聲音和靜音播放的視頻）。

首先， 這個(gè)過程會(huì)受到不同感官信息的一致性的影響（Shams amp; Beierholm， 2022）。例如聽覺和視覺刺激之間的時(shí)間一致有助于跨通道信息的結(jié)合， 形成一個(gè)統(tǒng)一的視聽對(duì)象（Maddox et al.， 2015）。只有當(dāng)感覺信號(hào)來自一個(gè)共同的對(duì)象時(shí)， 它們才能被整合， 而當(dāng)被試認(rèn)為是這些感官刺激來自不同目標(biāo)時(shí)， 整合則不會(huì)發(fā)生（French amp; DeAngelis， 2020）。研究發(fā)現(xiàn)， 當(dāng)氣味在面孔之前呈現(xiàn)時(shí)（例如提前在房間里噴灑香水）， 被試不太可能將氣味與呈現(xiàn)的面孔聯(lián)系起來（Chen amp; Spence， 2017）。

其次， 與一般的跨通道整合過程一樣， 面孔吸引力判斷中的跨通道整合過程同樣也會(huì)受到來自不同感官刺激的強(qiáng)度差異的影響。整合過程遵循著逆向效應(yīng)（the Inverse Effect）， 當(dāng)一種感官輸入的信息比較模糊、強(qiáng)度較弱時(shí)， 另一種感官輸入的信息則會(huì)有更強(qiáng)的調(diào)節(jié)作用， 整合效果會(huì)更好（French amp; DeAngelis， 2020）; 反之個(gè)體則會(huì)更少地參考跨通道整合的信息進(jìn)行判斷（Porada et al.， 2019）。Feng和Lei （2022）在研究中通過削弱被試可感知的視覺上的面孔吸引力線索， 發(fā)現(xiàn)愉快和不愉快的氣味對(duì)個(gè)體判斷面孔吸引力的影響效果的強(qiáng)度取決于面孔的模糊程度。

最后， 跨通道整合的過程會(huì)受到個(gè)體先驗(yàn)知識(shí)的影響（Kayser amp; Shams， 2015; K?rding et al.， 2007; Badde et al.， 2020）， 因此對(duì)不同感官信息之間存在的時(shí)空偏差才有更大的容忍度。例如， 即便在不同信號(hào)沒有保證空間一致性的情況下， 具有視覺和觸覺信號(hào)共同來源的先驗(yàn)知識(shí)也可以促進(jìn)實(shí)現(xiàn)跨通道整合（Helbig amp; Ernst， 2007）。根據(jù)上文所述， 先驗(yàn)知識(shí)即為個(gè)體過往的知覺經(jīng)驗(yàn)， 在面孔吸引力判斷的跨通道整合過程中具有重要作用， 既會(huì)影響整合的效果， 還會(huì)影響吸引力的判斷。

綜上可知， 面孔吸引力判斷的跨通道整合與一般的跨通道整合過程基本上保持一致， 遵循著相同的整合機(jī)制， 感官信息和先前經(jīng)驗(yàn)在整合過程中發(fā)揮重要作用。感官信息作為自上而下的刺激， 可以捕獲個(gè)體的注意力， 并將不同的感官信息匯集于目標(biāo)面孔之中; 依據(jù)知覺經(jīng)驗(yàn)所形成的標(biāo)準(zhǔn)面孔作為自上而下的先前經(jīng)驗(yàn)， 可以加深不同感官信息之間的聯(lián)系， 促進(jìn)整合的實(shí)現(xiàn)。但從更為微觀具體的角度來看， 面孔吸引力判斷中的跨通道整合過程也具有其獨(dú)特性。由于面孔吸引力判斷更具社會(huì)性和個(gè)體差異性（Pan et al.， 2022; Han et al.， 2020）， 通過上文所述可知， 情緒、感覺閾限、熟悉度在面孔吸引力判斷的跨通道整合過程中也會(huì)產(chǎn)生重要影響， 但這些因素在一般的跨通道整合過程中的作用有限。然而， 當(dāng)前有關(guān)情緒、熟悉度等因素是如何影響整合過程的問題， 還研究尚淺， 未能給出完整的機(jī)制解釋。未來研究可以從面孔吸引力判斷的角度出發(fā)， 進(jìn)一步探討相較于一般的跨通道整合過程， 在面孔吸引力判斷過程中的跨通道整合的特殊性。

3.2" 神經(jīng)基礎(chǔ)

神經(jīng)科學(xué)領(lǐng)域的研究發(fā)現(xiàn)， 在跨通道整合過程中需要大規(guī)模腦網(wǎng)絡(luò)的協(xié)調(diào)工作， 不僅包括初級(jí)感覺區(qū)域， 例如聽覺、視覺與嗅覺皮層（Macaluso et al.， 2004; Van Atteveldt et al.， 2007; Porada et al.， 2019）， 還會(huì)涉及一些對(duì)跨通道整合至關(guān)重要的高級(jí)區(qū)域， 例如顳上溝（Campanella amp; Belin， 2007; Marchant et al.， 2012; Noesselt et al.， 2012）、后梨狀皮層（Porada et al.， 2019）、前額葉皮層（Jones amp; Powell， 1970; Romanski， 2012）。

在這些大腦區(qū)域中， 顳上溝（the Superior Temporal Sulcus， STS）被認(rèn)為是跨通道整合和社會(huì)認(rèn)知的樞紐。早有研究證明STS可以優(yōu)先處理從面孔（Allison et al.， 2000）和聲音（Belin et al.， 2000）中獲得的社交信息， 并進(jìn)行整合（Campanella amp; Belin， 2007）。但STS主要是在視聽整合中發(fā)揮作用， 當(dāng)涉及到嗅覺信息時(shí)是由后梨狀皮層（the Posterior Piriform Cortex， PPC）處理的（Porada et al.， 2019）。Porada等人（2019）將氣味、視頻和聲音的一種、兩種和三種組合形式分別呈現(xiàn)給被試， 發(fā)現(xiàn)非嗅覺信息同樣能夠激活PPC， 并且其活動(dòng)會(huì)隨著提供相關(guān)對(duì)象信息的感官數(shù)量線性增加， 表明PPC不僅僅接收嗅覺信息， 而且還接收對(duì)嗅覺處理很重要的其他感官通道的信息。同樣， 神經(jīng)解剖學(xué)研究長期以來也一直暗示前額葉皮層（the Prefrontal Cortex， PFC）是多感官信息的匯聚區(qū)（Jones amp; Powell， 1970）， 腹外側(cè)PFC是實(shí)現(xiàn)感覺融合的關(guān)聯(lián)區(qū)域（Romanski， 2012）。有研究者認(rèn)為， 在跨通道整合中PFC是負(fù)責(zé)評(píng)估感官信息不一致的區(qū)域， 并且當(dāng)感官信息模糊不確定性時(shí)， 可以基于預(yù)期或先前經(jīng)驗(yàn)進(jìn)行因果推理， 但其不太可能單獨(dú)合并感官信息， 只是選擇一種最合適的感官表征來指導(dǎo)行為（Cao et al.， 2019）。

總體而言， 關(guān)于面孔吸引力判斷過程中跨通道整合的神經(jīng)機(jī)制的研究尚且不足， 只能根據(jù)以往跨通道領(lǐng)域的相關(guān)研究進(jìn)行推論， 在面孔和聲音處理中占據(jù)重要地位的STS是否也會(huì)參與到面孔吸引力判斷的視聽整合中， PPC能否參與到面孔吸引力判斷的視嗅整合中， PFC在面孔吸引力判斷的跨通道整合過程中又會(huì)發(fā)揮何種作用， 均需要未來進(jìn)一步的研究。

綜上我們提出， 面孔吸引力判斷中的跨通道整合過程。首先， 面孔吸引力的判斷是基于目標(biāo)面孔和標(biāo)準(zhǔn)面孔的偏差程度進(jìn)行的。其次， 標(biāo)準(zhǔn)面孔的形成不僅基于視覺信息， 也包括其他感官信息， 因此個(gè)體在接收到多個(gè)感官信息的同時(shí)， 可以依據(jù)標(biāo)準(zhǔn)面孔自然將各種信息進(jìn)行連接， 實(shí)現(xiàn)跨通道整合。最后， 當(dāng)個(gè)體根據(jù)感官刺激和標(biāo)準(zhǔn)面孔推斷不同感官信息是來自同一張目標(biāo)面孔后， 便自然將各種感官信息在大腦中進(jìn)行整合， 形成統(tǒng)一的目標(biāo)面孔， 進(jìn)行吸引力的判斷。另外， 未來需要補(bǔ)充神經(jīng)機(jī)制的相關(guān)研究， 既為認(rèn)知方面的推論提供更為直接的證據(jù)， 又進(jìn)一步完善面孔吸引力判斷中的跨通道整合機(jī)制。

4" 研究展望

本文從面孔吸引力判斷中跨通道整合角度出發(fā)， 可以確定面孔吸引力判斷中存在跨通道整合現(xiàn)象。表現(xiàn)為， 個(gè)體不僅會(huì)依據(jù)視覺所見的面孔信息進(jìn)行吸引力判斷， 聽覺線索、嗅覺線索等均可能在判斷中發(fā)揮作用; 在跨通道整合的過程中， 個(gè)體需要協(xié)調(diào)服務(wù)于自下而上、自上而下的多種機(jī)制， 這些機(jī)制的神經(jīng)實(shí)現(xiàn)涉及分布式神經(jīng)網(wǎng)絡(luò)， 包括初級(jí)感覺、頂葉和額葉腦區(qū)， 它們相互作用以形成和整合多種感官知覺。雖然， 目前研究已取得一定的進(jìn)展， 但仍存在以下問題有待進(jìn)一步探討。

4.1" 更多感官信息的整合

在面孔吸引力判斷中的跨通道整合過程中， 現(xiàn)有研究大多數(shù)關(guān)注在視覺、嗅覺、聽覺三個(gè)線索的兩兩整合， 缺乏對(duì)觸覺線索在其中作用的探討。已有研究證明， 時(shí)間和空間一致的視覺、觸覺線索可以促進(jìn)面孔識(shí)別（Panagiotopoulou et al.， 2022）。面孔吸引力的影響因素之一就是目標(biāo)面孔的皮膚健康狀況， 健康的面部皮膚會(huì)對(duì)面孔吸引力產(chǎn)生積極影響（Jones et al.， 2004）， 而身體上的直接感受也可以豐富外在感受如視覺的感知（Kirsch amp; Kunde， 2023）， 觸覺感受可以讓觀察者更直接的體會(huì)到皮膚的狀況， 在判斷面孔吸引力時(shí)可能需要整合觸覺和視覺信息。因此， 未來研究可以在要求被試進(jìn)行面孔吸引力判斷的同時(shí)， 讓其體驗(yàn)不同光滑或柔軟程度的觸覺感受， 考察觸覺刺激是如何與視覺面孔進(jìn)行整合的， 以及如何影響對(duì)面孔吸引力的判斷。

此外， 現(xiàn)有研究多側(cè)重于研究兩種不同感官刺激的組合， 而現(xiàn)實(shí)世界中會(huì)同時(shí)接收到兩種及以上感官信息， 并且每種感覺線索中都有大量信號(hào)。這就提出了一個(gè)問題：當(dāng)存在多個(gè)感官信息以及當(dāng)每種感官信息中存在多個(gè)信號(hào)時(shí)， 跨通道整合是如何運(yùn)作的？Debats等人（2021）研究發(fā)現(xiàn)， 在存在多個(gè)視覺信號(hào)的情況下， 兩個(gè)視覺刺激可以疊加在一起， 而不是僅由一個(gè)刺激占據(jù)主導(dǎo)地位， 這暗示了在跨通道整合過程中可能存在著復(fù)雜的交互作用和加權(quán)機(jī)制。因此， 未來研究應(yīng)將面孔嵌入更廣泛的、多線索的環(huán)境中綜合考察多種感官信息的跨通道整合， 可以使用虛擬現(xiàn)實(shí)技術(shù)設(shè)計(jì)模擬現(xiàn)實(shí)世界中的多種感官環(huán)境， 同時(shí)應(yīng)用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)技術(shù)， 以處理和分析大規(guī)模的多感官數(shù)據(jù)， 并且嘗試構(gòu)建更為完整的跨通道整合過程模型。并且， 由于不同感官信息的整合既有共性， 又存在差異， 需要了解不同感官信息之間整合的特點(diǎn)， 而不是簡單的將所有感官信息的整合機(jī)制混為一談。

4.2" 跨通道整合的邊界條件

盡管越來越多的研究證明了面孔吸引力判斷中的跨通道整合， 但對(duì)于面孔吸引力判斷中跨通道整合的邊界條件尚不完全清楚。在跨通道整合領(lǐng)域中， 意識(shí)和注意資源在實(shí)現(xiàn)跨通道整合中的作用也未達(dá)成共識(shí)。不少研究者認(rèn)為， 多感官信息的處理依賴于注意力資源的分配（Badde et al.， 2020; Rinaldi et al.， 2018）。在兒童的跨通道整合研究中發(fā)現(xiàn)， 由于兒童比成人更難過濾掉不相關(guān)的刺激（Broadbent et al.， 2020）， 他們可能需要更多的注意資源來處理和整合不同感官的信息， 相較于成年人他們跨通道整合的效果更差。另一些研究者認(rèn)為， 跨通道整合可以在無意識(shí)中進(jìn)行， 無需注意資源。例如視嗅整合的研究發(fā)現(xiàn)， 只有當(dāng)嗅覺刺激低于個(gè)體的閾限水平， 個(gè)體無法意識(shí)到時(shí)才會(huì)和面孔進(jìn)行整合（Li et al.， 2007）。但更有研究者認(rèn)為， 目前沒有可靠的研究能證明無意識(shí)的跨通道整合， 也無法證明在整合過程中不涉及注意力資源的分配， 未來也不應(yīng)該是去探究在沒有意識(shí)的情況下是否會(huì)發(fā)生整合， 而是研究整合的發(fā)生是如何隨著意識(shí)水平而變化的（Yu， 2023）。

在面孔吸引力判斷的跨通道整合過程中， 可能也存在同樣的爭論。一方面， 相關(guān)研究也表明， 多感官信息能夠增加個(gè)體對(duì)目標(biāo)面孔的注意， 進(jìn)而影響對(duì)面孔吸引力的判斷（Rinaldi et al.， 2018; Feng amp; Lei， 2022）。但關(guān)于該過程中注意資源的變化僅僅是間接推測， 并未有研究給出確切證據(jù)表明多感官刺激能夠增加對(duì)目標(biāo)面孔的注意， 并且注意資源的增減在面孔吸引力判斷中的作用也研究尚淺。并且， 關(guān)于不愉悅的嗅覺或聽覺刺激對(duì)面孔吸引力判斷的損害作用是如何通過改變注意資源實(shí)現(xiàn)的也未給出確切答案。另一方面， 以往研究已經(jīng)證明， 個(gè)體既可以有意識(shí)也可以無意識(shí)中對(duì)面孔吸引力進(jìn)行判斷（Klümper et al.， 2020）。但關(guān)于面孔吸引力判斷中的跨通道整合過程， 尚且未有研究證明也可以在無意識(shí)中進(jìn)行。

總之， 在面孔吸引力判斷的跨通道整合過程中， 目前的研究沒有發(fā)現(xiàn)無意識(shí)條件下整合處理的可靠證據(jù)， 無意識(shí)呈現(xiàn)刺激也并不能代表現(xiàn)實(shí)生活中遇到的真實(shí)情況。另外關(guān)于視覺系統(tǒng)能夠在多大程度上根據(jù)無意識(shí)感知的線索和后續(xù)目標(biāo)之間的關(guān)系來引導(dǎo)、分配注意力仍然是一個(gè)尚未解決的問題。因此， 未來研究的重點(diǎn)應(yīng)該關(guān)注整合過程在多大程度上取決于意識(shí)感知， 而不是該過程是否可以在無意識(shí)的情況下發(fā)生。

4.3" 社會(huì)互動(dòng)中的跨通道整合

雖然人類感知中的跨通道整合沒有爭議， 但對(duì)社會(huì)互動(dòng)中的跨通道整合研究相對(duì)較少。面孔吸引力在社會(huì)交往中發(fā)揮著重要的作用（Pan et al.， 2022）， 作為一種社會(huì)線索， 其判斷的跨通道整合具有復(fù)雜性， 在判斷過程中每種感覺通道的相對(duì)重要性可能發(fā)生動(dòng)態(tài)變化。例如， 視覺和聲音特征在早期判斷可能更為重要， 而氣味則需要更密切和更親密的接觸在后期判斷中可能占有更大的權(quán)重（Groyecka et al.， 2017）。這表明， 在社會(huì)交往的早期階段通常涉及不同感官信息的初步加工和初級(jí)整合， 吸引注意的、易得的信息更容易被整合， 此時(shí)的跨通道整合是快速且自動(dòng)的; 隨著社會(huì)互動(dòng)的發(fā)展和深入， 在晚期階段， 更多的社會(huì)和情感因素可能參與到面孔吸引力的判斷過程中， 這時(shí)嗅覺、觸覺通道的作用可能顯現(xiàn)出來。在親密的社交情境下， 氣味可能扮演著更重要的角色（Groyecka et al.， 2017）， 與視覺和聲音共同構(gòu)成一個(gè)更全面的面孔吸引力評(píng)價(jià)系統(tǒng)。其他的一些社會(huì)因素， 如人際關(guān)系、情感交流等， 也可能調(diào)節(jié)和影響不同感覺通道信息的整合（Scheller amp; Sui， 2022）， 使整體的面孔吸引力評(píng)價(jià)更具有復(fù)雜性和深度。

由此推測， 在面孔吸引力判斷的跨通道整合中， 不同階段的整合機(jī)制可能存在差異， 早期階段可能是一種自動(dòng)化的整合過程， 而在晚期階段， 整合的發(fā)生可能會(huì)受到更多情感因素的影響。不同于行為學(xué)手段， 腦電研究在揭示心理加工過程中有其獨(dú)特優(yōu)勢， 且能夠評(píng)估獨(dú)立于行為的認(rèn)知和情感過程， 并確定其在神經(jīng)認(rèn)知系統(tǒng)中的功能軌跡（Liu et al.， 2023）。因此， 未來研究可以采用腦電技術(shù)， 考察面孔吸引力判斷中跨通道整合的不同階段的整合機(jī)制， 窺探社會(huì)互動(dòng)中的跨通道整合機(jī)制。另外還可以采用更加生態(tài)化的材料和環(huán)境， 例如采用含有“你好”等社交信號(hào)的聲音作為語音素材， 以增加人際互動(dòng)、競爭、合作情境的真實(shí)性， 研究在真實(shí)的社會(huì)互動(dòng)中的跨通道整合， 幫助人類更準(zhǔn)確快速地理解外部世界， 促進(jìn)社會(huì)交往。

參考文獻(xiàn)

周雯， 馮果. （2012）. 嗅知覺及其與情緒系統(tǒng)的交互. 心理科學(xué)進(jìn)展， 20（1）， 2?9.

Aglieri， V.， Watson， R.， Pernet， C.， Latinus， M.， Garrido， L.， amp; Belin， P. （2017）. The glasgow voice memory test： Assessing the ability to memorize and recognize unfamiliar voices. Behavior Research Methods， 49（1）， 97?110.

Allison， T.， Puce， A.， amp; McCarthy， G. （2000）. Social perception from visual cues： Role of the STS region. Trends in Cognitive Sciences， 4（7）， 267?278.

Alsius， A.， Navarra， J.， Campbell， R.， amp; Soto-Faraco， S. （2005）. Audiovisual integration of speech falters under high attention demands. Current Biology， 15（9）， 839?843.

Badde， S.， Navarro， K. T.， amp; Landy， M. S. （2020）. Modality-specific attention attenuates visual-tactile integration and recalibration effects by reducing prior expectations of a common source for vision and touch. Cognition， 197， 104170.

Belin， P.， Zatorre， R. J.， Lafaille， P.， Ahad， P.， amp; Pike， B. （2000）. Voice-selective areas in human auditory cortex. Nature， 403， 309?312.

Bestelmeyer， P. E. G.， amp; Mühl， C. （2021）. Individual differences in voice adaptability are specifically linked to voice perception skill. Cognition， 210， 104582.

Bowdring， M. A.， Sayette， M. A.， Girard， J. M.， amp; Woods， W. C. （2021）. In the eye of the beholder： A comprehensive analysis of stimulus type， perceiver， and target in physical attractiveness perceptions. Journal of Nonverbal Behavior， 45（2）， 241?259.

Broadbent， H.， Osborne， T.， Mareschal， D.， amp; Kirkham， N. （2020）. Are two cues always better than one？ The role of multiple intra-sensory cues compared to multi-cross- sensory cues in children’s incidental category learning. Cognition， 199， 104202.

Calvert， G. A.， Brammer， M. J.， amp; Iversen， S. D. （1998）. Crossmodal identification. Trends in Cognitive Sciences， 2（7）， 247?253.

Campanella， S.， amp; Belin， P. （2007）. Integrating face and voice in person perception. Trends in Cognitive Sciences， 11（12）， 535?543.

Cao， Y.， Summerfield， C.， Park， H.， Giordano， B. L.， amp; Kayser， C. （2019）. Causal inference in the multisensory brain. Neuron， 102（5）， 1076?1087.

Chen， K.， Zhou， B.， Chen， S.， He， S.， amp; Zhou， W. （2013）. Olfaction spontaneously highlights visual saliency map. Proceedings of the Royal Society B： Biological Sciences， 280（1768）， 20131729.

Chen， Y. C.， amp; Spence， C. （2017）. Assessing the role of the ‘unity assumption’ on multisensory integration： A review. Frontiers in Psychology， 8， 445.

Collins， S. A.， amp; Missing， C. （2003）. Vocal and visual attractiveness are related in women. Animal Behaviour， 65（5）， 997?1004.

Cook， S.， Kokmotou， K.， Soto， V.， Fallon， N.， Tyson-Carr， J.， Thomas， A.， ... Stancak， A. （2017）. Pleasant and unpleasant odour-face combinations influence face and odour perception： An event-related potential study. Behavioural Brain Research， 333， 304?313.

Cook， S.， Kokmotou， K.， Soto， V.， Wright， H.， Fallon， N.， Thomas， A.， ... Stancak， A. （2018）. Simultaneous odour-face presentation strengthens hedonic evaluations and event-related potential responses influenced by unpleasant odour. Neuroscience Letters， 672， 22?27.

Damjanovic， L.， Wilkinson， H.， amp; Lloyd， J. （2018）. Sweet emotion： The role of odor-induced context in the search advantage for happy facial expressions. Chemical Senses， 43（3）， 139?150.

Debats， N. B.， Heuer， H.， amp; Kayser， C. （2021）. Visuo- proprioceptive integration and recalibration with multiple visual stimuli. Scientific Reports， 11（1）， 21640.

Drimalla， H.， Landwehr， N.， Hess， U.， amp; Dziobek， I. （2019）. From face to face： The contribution of facial mimicry to cognitive and emotional empathy. Cognition and Emotion， 33（8）， 1672?1686.

Fairhall， S. L.， amp; Macaluso， E. （2009）. Spatial attention can modulate audiovisual integration at multiple cortical and subcortical sites. European Journal of Neuroscience， 29（6）， 1247?1257.

Feng， G.， amp; Lei， J. （2022）. The effect of odor valence on facial attractiveness judgment： A preliminary experiment. Brain Sciences， 12（5）， 665.

Fraccaro， P. J.， Feinberg， D. R.， DeBruine， L. M.， Little， A. C.， Watkins， C. D.， amp; Jones， B. C. （2010）. Correlated male preferences for femininity in female faces and voices. Evolutionary Psychology， 8（3）， 447?461.

French， R. L.， amp; DeAngelis， G. C. （2020）. Multisensory neural processing： From cue integration to causal inference. Current Opinion in Physiology， 16， 8?13.

Groyecka， A.， Pisanski， K.， Sorokowska， A.， Havlí?ek， J.， Karwowski， M.， Puts， D.， ... Sorokowski， P. （2017）. Attractiveness is multimodal： Beauty is also in the nose and ear of the beholder. Frontiers in Psychology， 8， 778.

Han， S.， Liu， S.， Gan， Y.， Xu， Q.， Xu， P.， Luo， Y.， amp; Zhang， L. （2020）. Repeated exposure makes attractive faces more attractive： Neural responses in facial attractiveness judgement. Neuropsychologia， 139， 107365.

Helbig， H. B.， amp; Ernst， M. O. （2007）. Knowledge about a common source can promote visual-haptic integration. Perception， 36（10）， 1523?1533.

Hermann， C.， Ziegler， S.， Birbaumer， N.， amp; Flor， H. （2000）. Pavlovian aversive and appetitive odor conditioning in humans： Subjective， peripheral， and electrocortical changes. Experimental Brain Research， 132（2）， 203?215.

Hughes， S. M.， amp; Miller， N. E. （2016）. What sounds beautiful looks beautiful stereotype： The matching of attractiveness of voices and faces. Journal of Social and Personal Relationships， 33（7）， 984?996.

Jones， B. C.， Little， A. C.， Burt， D. M.， amp; Perrett， D. I. （2004）. When facial attractiveness is only skin deep. Perception， 33， 569?576.

Jones， E. G.， amp; Powell， T. P. S. （1970）. An anatomical study of converging sensory pathways within the cerebral cortex of the monkey. Brain， 93（4）， 793?820.

Kahnt， T.， Heinzle， J.， Park， S. Q.， amp; Haynes， J. D. （2010）. The neural code of reward anticipation in human orbitofrontal cortex. Proceedings of the National Academy of Sciences， 107（13）， 6010?6015.

Kayser， C.， amp; Shams L. （2015）. Multisensory causal inference in the brain. Plos Biology， 13（2）， e1002075.

Kirsch， W.， amp; Kunde， W. （2023）. On the role of interoception in body and object perception： A multisensory-integration account. Perspectives on Psychological Science， 18（2）， 321?339.

Klümper， L.， Wühr， P.， Hassebrauck， M.， amp; Schwarz， S. （2020）. Automaticity of facial attractiveness perception and sex-specific mating strategies. Cognition， 204， 104379.

Knowles， K. K.， amp; Little， A. C. （2016）. Vocal fundamental and formant frequencies affect perceptions of speaker cooperativeness. Quarterly Journal of Experimental Psychology， 69（9）， 1657?1675.

K?rding K. P.， Beierholm U.， Ma W. J.， Quartz S.， Tenenbaum J. B.， amp; Shams L. （2007）. Causal inference in multisensory perception. Plos One， 2（9）， e943.

Kowal， M.， Sorokowski， P.， Pisanski， K.， Valentova， J. V.， Varella， M. A.， Frederick， D. A.， ... Espinosa ， M. Z. （2022）. Predictors of enhancing human physical attractiveness： Data from 93 countries. Evolution and Human Behavior， 43（6）， 455?474.

Lavan， N.， Mileva， M.， Burton， A. M.， Young， A. W.， amp; McGettigan， C. （2021）. Trait evaluations of faces and voices： Comparing within-and between-person variability. Journal of Experimental Psychology： General， 150（9）， 1854.

Li， J.， amp; Deng， S. W. （2023）. Facilitation and interference effects of the multisensory context on learning： A systematic review and meta-analysis. Psychological Research， 87（5）， 1334?1352.

Li， W.， Moallem， I.， Paller， K. A.， amp; Gottfried， J. A. （2007）. Subliminal smells can guide social preferences. Psychological Science， 18（12）， 1044?1049.

Little， A. C.， Jones， B. C.， amp; DeBruine， L. M. （2011）. Facial attractiveness： Evolutionary based research. Philosophical Transactions of the Royal Society B： Biological Sciences， 366（1571）， 1638?1659.

Liu， M.， Sommer， W.， Yue， S.， amp; Li， W. （2023）. Dominance of face over voice in human attractiveness judgments： ERP evidence. Psychophysiology， 60（11）， e14358.

Macaluso， E.， George， N.， Dolan， R.， Spence， C.， amp; Driver， J. （2004）. Spatial and temporal factors during processing of audiovisual speech： PET study. Neuroimage， 21（2）， 725? 732.

Maddox， R. K.， Atilgan， H.， Bizley， J. K.， amp; Lee， A. K. （2015）. Auditory selective attention is enhanced by a task-irrelevant temporally coherent visual stimulus in human listeners. Elife， 4， e04995.

Marchant， J. L.， Ruff， C. C.， amp; Driver， J. （2012）. Audiovisual synchrony enhances BOLD responses in a brain network including multisensory STS while also enhancing target‐detection performance for both modalities. Human Brain Mapping， 33（5）， 1212?1224.

Marin， M. M.， Schober， R.， Gingras， B.， amp; Leder， H. （2017）. Misattribution of musical arousal increases sexual attraction towards opposite-sex faces in females. Plos One， 12（9）， e0183531.

McGurk， H.， amp; MacDonald， J. （1976）. Hearing lips and seeing voices. Nature， 264（5588）， 746?748.

Mei， M.， Grillot， R. L.， Abbey， C. K.， Emery Thompson， M.， amp; Roney， J. R. （2022）. Does scent attractiveness reveal women's ovulatory timing？ Evidence from signal detection analyses and endocrine predictors of odour attractiveness. Proceedings of the Royal Society B， 289（1970）， 20220026.

Miller， J. （1982）. Divided attention： Evidence for coactivation with redundant signals. Cognitive Psychology， 14（2）， 247? 279.

Moller， A. P.， amp; Pomiankowski， A. （1993）. Why have birds got multiple sexual ornaments？ Behavioral Ecology and Sociobiology， 32（3）， 167?176.

Mühl， C.， Sheil， O.， Jarutyte， L.， amp; Bestelmeyer， P. E. G. （2018）. The bangor voice matching test： A standardized test for the assessment of voice perception ability. Behavior Research Methods， 50（6）， 2184?2192.

Noesselt， T.， Bergmann， D.， Heinze， H. J.， Münte， T.， amp; Spence， C. （2012）. Coding of multisensory temporal patterns in human superior temporal sulcus. Frontiers in Integrative Neuroscience， 6， 64.

O’Connor J. J. M.， Fraccaro P. J.， Pisanski K.， Tigue C. C.， amp; Feinberg D. R. （2013）. Men’s preferences for women’s femininity in dynamic cross-modal stimuli. Plos One， 8（7）， e69531.

Olofsson， J. K.， amp; Gottfried， J. A. （2015）. The muted sense： Neurocognitive limitations of olfactory language. Trends in Cognitive Sciences， 19（6）， 314?321.

Pan， Y.， Jin， J.， Wan， Y.， Wu， Y.， Wang， F.， Xu， S.， ... Rao， H. （2022）. Beauty affects fairness： Facial attractiveness alters neural responses to unfairness in the ultimatum game. Brain Imaging and Behavior， 16（6）， 2497?2505.

Panagiotopoulou， E.， Crucianelli， L.， Lemma， A.， amp; Fotopoulou， A. （2022）. Identifying with the beautiful： Facial attractiveness effects on unisensory and multisensory self-other distinction. Quarterly Journal of Experimental Psychology， 75（7）， 1314?1329.

Pisanski， K.， Fraccaro， P. J.， Tigue， C. C.， O'Connor， J. J.， amp; Feinberg， D. R. （2014）. Return to Oz： Voice pitch facilitates assessments of men’s body size. Journal of Experimental Psychology： Human Perception and Performance， 40（4）， 1316?1331.

Porada， D. K.， Regenbogen， C.， Seubert， J.， Freiherr， J.， amp; Lundstr?m， J. N. （2019）. Multisensory enhancement of odor object processing in primary olfactory cortex. Neuroscience， 418， 254?265.

Rhodes， G. （2006）. The evolutionary psychology of facial beauty. Annual Review of Psychology， 57， 199?226.

Rinaldi， L.， Maggioni， E.， Olivero， N.， Maravita， A.， amp; Girelli， L. （2018）. Smelling the space around us： Odor pleasantness shifts visuospatial attention in humans. Emotion， 18（7）， 971?979.

Roberts， S. C.， Kralevich， A.， Ferdenzi， C.， Saxton， T. K.， Jones， B. C.， DeBruine， L. M.， … Havlicek， J. （2011）. Body odor quality predicts behavioral attractiveness in humans. Archives of Sexual Behavior， 40（6）， 1111?1117.

Rokni， D.， Hemmelder， V.， Kapoor， V.， amp; Murthy， V. N. （2014）. An olfactory cocktail party： Figure-ground segregation of odorants in rodents. Nature Neuroscience， 17（9）， 1225?1232.

Romanski， L. M. （2012）. Convergence of auditory， visual， and somatosensory information in ventral prefrontal cortex. In M. M. Murray， M. T. Wallace （Eds.）， The neural bases of multisensory processes （pp.667?682）. Boca Raton， FL： Frontiers in Neuroscience.

Rubenstein， A. J. （2005）. Variation in perceived attractiveness： Differences between dynamic and static faces. Psychological Science， 16（10）， 759?762.

Scheller， M.， amp; Sui， J. （2022）. Social relevance modulates multisensory integration. Journal of Experimental Psychology： Human Perception and Performance， 48（9）， 1022?1038.

Seubert， J.， Gregory， K. M.， Chamberland， J.， Dessirier， J. M.， amp; Lundstr?m， J. N. （2014）. Odor valence linearly modulates attractiveness， but not age assessment， of invariant facial features in a memory-based rating task. Plos One， 9（5）， e98347.

Shams， L.， amp; Beierholm， U. （2022）. Bayesian causal inference： A unifying neuroscience theory. Neuroscience amp; Biobehavioral Reviews， 137， 104619.

Sorokowska， A. （2013）. Assessing personality using body odor： Differences between children and adults. Journal of Nonverbal Behavior， 37， 153?163.

Sorokowski， P.， Ko?ciński， K.， amp; Sorokowska， A. （2013）. Is beauty in the eye of the beholder but ugliness culturally universal？ Facial preferences of Polish and Yali （Papua） people. Evolutionary Psychology， 11， 907?925.

Spence， C. （2021）. The scent of attraction and the smell of success： Crossmodal influences on person perception. Cognitive Research： Principles and Implications， 6（1）， 1?33.

Steinberg， C.， Dobel， C.， Schupp， H. T.， Kissler， J.， Elling， L.， Pantev， C.， amp; Junghofer， M. （2012）. Rapid and highly resolving： Affective evaluation of olfactorily conditioned faces. Journal of Cognitive Neuroscience， 24（1）， 17?27.

Syrj?nen， E.， Fischer， H.， Liuzza， M. T.， Lindholm， T.， amp; Olofsson， J. K. （2021）. A review of the effects of valenced odors on face perception and evaluation. I-Perception， 12（2）， 1?19.

Syrj?nen， E.， Liuzza， M. T.， Fischer， H.， amp; Olofsson， J. K. （2017）. Do valenced odors and trait body odor disgust affect evaluation of emotion in dynamic faces？. Perception， 46（12）， 1412?1426.

Syrj?nen， E.， Wiens， S.， Fischer， H.， Zakrzewska， M.， Wartel， A.， Larsson， M.， amp; Olofsson， J. K. （2018）. Background odors modulate N170 ERP component and perception of emotional facial stimuli. Frontiers in Psychology， 9， 1000.

Tybur， J. M.， Cinar， C.， Karinen， A. K.， amp; Perone， P. （2018）. Why do people vary in disgust？ Philosophical transactions of the royal society of London. Series B： Biological Sciences， 373（1751）， 1?10.

Valentine， T. （1991）. A unified account of the effects of distinctiveness， inversion， and race in face recognition. The Quarterly Journal of Experimental Psychology， 43（2）， 161?204.

Van Atteveldt， N. M.， Formisano， E.， Blomert， L.， amp; Goebel， R. （2007）. The effect of temporal asynchrony on the multisensory integration of letters and speech sounds. Cerebral Cortex， 17（4）， 962?974.

Van der Burg， E.， Rhodes， G.， amp; Alais， D. （2019）. Positive sequential dependency for face attractiveness perception. Journal of Vision， 19（12）， 6?6.

Wen， F.， Gao， J.， Ke， W.， Zuo， B.， Dai， Y.， Ju， Y.， amp; Long， J. （2023）. The Effect of face-voice gender consistency on impression evaluation. Archives of Sexual Behavior， 52（3）， 1123?1139.

White， D.， amp; Burton， A. M. （2022）. Individual differences and the multidimensional nature of face perception. Nature Reviews Psychology， 1（5）， 287?300.

Wuttke， S. J.， amp; Schweinberger， S. R. （2019）. The P200 predominantly reflects distance-to-norm in face space whereas the N250 reflects activation of identity-specific representations of known faces. Biological Psychology， 140， 86?95.

Yu， R. （2023）. Unconscious integration： Current evidence for integrative processing under subliminal conditions. British Journal of Psychology， 114（2）， 430?456.

Z?ske， R.， Skuk， V. G.， amp; Schweinberger， S. R. （2020）. Attractiveness and distinctiveness between speakers’ voices in naturalistic speech and their faces are uncorrelated. Royal Society Open Science， 7（12）， 201244.

The cross-modal integration process in facial attractiveness judgments

WANG Yuling， LU Xiaowei， WU Zongjie， LI Guogen， ZHANG Lin

（Department and Institute of Psychology， Ningbo University， Ningbo 315211， China）

Abstract： Prior research on facial attractiveness judgments has predominantly focused on visual information， overlooking the role of non-visual cues. Current studies have confirmed the existence of cross-modal interaction in facial attractiveness judgments， emphasizing cross-modal integration. Building on this foundation， this study integrates Face-space model and Bayesian Causal Inference models to propose that during the cross-modal integration process of facial attractiveness judgments， individuals naturally amalgamate various sensory inputs in the brain， forming a unified representation of the target face when inferring that different sensory information emanates from the same facial source. Future research may extend facial investigations into broader environmental contexts， examining cross-modal integration of diverse sensory information and further exploring the boundary conditions of cross-modal integration， particularly in the context of social interactions， to construct a more systematic model for cross-modal integration in facial attractiveness judgments.

Keywords： facial attractiveness， cross-modal integration， olfaction， audition， vision

收稿日期：2023-09-07

通信作者：張林， E-mail： zhanglin1@nbu.edu.cn