視聽時、空一致性對Pip-and-Pop效應的影響*

唐曉雨 崔鑫忠 高 敏 袁夢瑩

視聽時、空一致性對Pip-and-Pop效應的影響*

唐曉雨 崔鑫忠 高 敏 袁夢瑩

(遼寧師范大學心理學院; 遼寧省兒童青少年健康人格評定與培養(yǎng)協(xié)同創(chuàng)新中心, 大連 116029)

多感覺整合遵循空間原則和時間原則, 有研究表明Pip-and-Pop效應產(chǎn)生的原因是多感覺整合, 那么Pip-and-Pop效應是否同樣遵循空間原則和時間原則呢？本研究采用動態(tài)視覺搜索范式, 通過兩個眼動實驗考察空間一致性(實驗1)和時間一致性(實驗2)對Pip-and-Pop效應的影響。結(jié)果發(fā)現(xiàn)：(1)當視覺目標顏色變化伴隨一個同側(cè)的聽覺刺激時所產(chǎn)生的Pip-and-Pop效應最大, 對側(cè)條件沒有發(fā)現(xiàn)Pip-and-Pop效應。(2)視聽刺激同時呈現(xiàn)所產(chǎn)生的Pip-and-Pop效應最大, 隨視聽刺激呈現(xiàn)時間間隔的增加Pip-and-Pop效應逐漸減弱直至消失。結(jié)果表明, 視聽時、空一致性對Pip-and-Pop效應具有調(diào)節(jié)作用, 這為多感覺整合在產(chǎn)生Pip-and-Pop效應中的作用提供了證據(jù)。

Pip-and-Pop效應, 視聽空間一致性, 視聽時間一致性, 動態(tài)視覺搜索范式, 眼動技術(shù)

1 前言

日常生活中, 我們每時每刻都在接收大量來自不同感覺通道的信息。在復雜多變的環(huán)境中尋找物體是一個非常耗時的過程。例如, 在旅游景點和朋友們走散時, 從人群中尋找朋友會消耗一定時間。如果朋友一邊揮手一邊大喊你的名字, 那么找到朋友的時間會大幅縮減, 尋找朋友這一過程實際上是一種伴隨聽覺刺激的動態(tài)視覺搜索過程。van der Burg等人(2008)使用動態(tài)視覺搜索范式, 要求被試在多個不同傾斜角度的干擾線段中搜索垂直或水平的目標線段, 搜索過程中線段顏色不斷進行紅綠變化。結(jié)果發(fā)現(xiàn), 在目標線段顏色變化的同時呈現(xiàn)一個純音聽覺刺激, 會提高目標線段的搜索效率, 這種現(xiàn)象被稱為Pip-and-Pop效應(van der Burg et al., 2008)。

有研究認為Pip-and-Pop效應產(chǎn)生的原因是多感覺整合(Chamberland et al., 2016; van der Burg et al., 2008; van der Burg et al., 2011)。多感覺整合(multisensory integration, MSI)是指來自不同感覺通道的信息相互作用, 并整合為統(tǒng)一、連貫且有意義的知覺過程(Talsma et al., 2010; Tang et al., 2016; van der Stoep et al., 2017)。van der Burg團隊的研究發(fā)現(xiàn), 同步呈現(xiàn)的聽覺刺激與視覺目標顏色變化后50 ms在頂枕區(qū)發(fā)生了早期的多感覺整合, 并且這一早期多感覺整合與行為學上的Pip-and-Pop效應顯著相關(guān), 即早期多感覺整合越大, 搜索效率的提高越大。van der Burg等人認為, 通過早期整合將聽覺與視覺目標綁定, 使得視覺目標在眾多不斷變化的刺激中凸顯出來, 更好地捕獲注意, 與只有視覺目標條件相比搜索效率顯著提高, 所以多感覺整合在Pip-and-Pop效應中有著關(guān)鍵作用(van der Burg et al., 2008;van der Burg et al., 2011)。

然而, 研究發(fā)現(xiàn), 當視覺目標不存在時聽覺刺激也能提高搜索效率, 所以研究者認為視聽整合并不能充分地解釋Pip-and-Pop效應。因此提出了另一種解釋：即oddball刺激(奇異性刺激)吸引注意導致了Pip-and-Pop效應(Ngo & Spence, 2012; Tsai & Yeh, 2013;Zou et al., 2012)。Oddball刺激指在其他高概率刺激中出現(xiàn)的低概率刺激(Pariyadath & Eagleman, 2007; Tsai & Yeh, 2013), 視覺搜索中突然出現(xiàn)的聽覺刺激就是一個oddball刺激, oddball刺激可以更有效地吸引注意(Chastain & Cheal, 1999; Escera et al., 1998; Escera et al., 2002)。研究發(fā)現(xiàn)當視覺目標與聽覺oddball刺激同時呈現(xiàn)時, 被試的主觀知覺時間會延長, 即被試主觀上感知目標刺激的時間變長了, 研究者把這種現(xiàn)象稱為“冰凍效應” (freezing effect) (Vroomen & de Gelder, 2000; Tse et al., 2004), 無論是哪種通道的oddball刺激都可能導致這種效應(Ngo & Spence, 2010b; Ngo & Spence, 2012)。

Pip-and-Pop效應產(chǎn)生的原因是多感覺整合還是oddball刺激吸引注意仍然存在爭議。以往研究表明多感覺整合遵循兩個原則——空間原則(the spatial rule)和時間原則(the temporal rule), 即當來自不同感覺通道的信息在大致相近的空間位置呈現(xiàn)時, 多感覺整合效應最大(Spence, 2013; van der Stoep et al., 2017); 當來自不同感覺通道的信息在大致接近的時間呈現(xiàn)時, 多感覺整合效應最大(Fister et al., 2016; Stevenson et al., 2012)。所以有研究通過調(diào)控空間一致性與時間一致性來探究Pip-and-Pop效應產(chǎn)生的原因是否是多感覺整合(van der Burg et al., 2008; Ngo & Spence, 2010a; Zou et al., 2012)。如果Pip-and-Pop效應遵循空間和時間原則, 那么Pip-and-Pop效應產(chǎn)生的原因存在多感覺整合的作用; 如果Pip-and-Pop效應不遵循空間和時間原則, 那么Pip-and-Pop效應產(chǎn)生的原因可能是oddball刺激吸引注意, 即突然出現(xiàn)的聽覺刺激影響了視覺搜索效率。

一方面, 前人有關(guān)視聽刺激空間一致性對Pip-and-Pop效應影響的研究結(jié)果并不一致。Ngo和Spence (2010a)研究發(fā)現(xiàn)與無效空間信息線索相比, 具有空間信息的聽覺刺激會提高視覺搜索的效率, 即視聽刺激空間一致性影響了Pip-and-Pop效應。因此, Ngo和Spence認為Pip-and-Pop效應是視聽刺激整合引起的, 空間位置越一致, 視聽刺激越容易進行整合, Pip-and-Pop效應越大(Ngo & Spence, 2010a)。但Fleming等人(2020)研究表明, 行為與腦電結(jié)果均顯示視聽刺激空間位置一致與否對Pip-and-Pop效應的影響差異不顯著, 他們由此提出空間一致性并不是Pip-and-Pop效應產(chǎn)生的必要條件, 視聽刺激整合并沒有起到重要作用(Fleming et al., 2020)。上述兩個研究結(jié)果不一致的原因可能與刺激在空間排列上的差異有關(guān)。Ngo和Spence (2010a)將刺激隨機排列在10×10的隱形網(wǎng)格中, 按照搜索集大小在該隱形網(wǎng)格上的隨機位置呈現(xiàn)視覺刺激(Ngo & Spence, 2010a)。Fleming等人(2020)雖然也如此在隨機位置上呈現(xiàn)視覺刺激, 但他們縮小了搜索區(qū)域且增加了干擾線段的方向, 同時還增加了人機距離, 降低了視覺上的空間關(guān)聯(lián)性。所以本研究為了更好地建立空間關(guān)聯(lián)性, 將視覺搜索區(qū)域分為左右兩側(cè)(與中心點有明顯距離), 線段整齊地排列在網(wǎng)格中(以搜索集36為例, 左右分別為3×6的網(wǎng)格), 以此更明確地操縱空間一致性從而探究視聽空間一致性如何影響Pip-and-Pop效應。

另一方面, 以往有關(guān)視聽刺激時間一致性對Pip-and-Pop效應影響的研究結(jié)果也是不一致的。van der Burg等人(2008)使用動態(tài)視覺搜索范式, 在研究中設置了8種聲音目標間隔(Tone-Target- Interval, TTI)條件, 結(jié)果發(fā)現(xiàn)TTI為?100 ms、?50 ms、?25 ms、0 ms、25 ms、100 ms時(0 ms為同時呈現(xiàn), 負數(shù)為聽覺刺激提前呈現(xiàn), 正數(shù)為滯后呈現(xiàn)), 聽覺刺激才會促進對視覺目標的搜索, 視聽刺激同時呈現(xiàn)時的促進作用最大, 且聲音目標間隔與反應時之間呈U型函數(shù)關(guān)系, 即視聽刺激呈現(xiàn)的時間一致性越高, 搜索越快。van der Burg等人認為, 同時呈現(xiàn)的聽覺刺激以及在整合時間窗內(nèi)(?100～100 ms)呈現(xiàn)的聽覺刺激引發(fā)的搜索效率提高是由于跨通道整合增強了視覺目標的凸顯性(van der Burg et al., 2008)。但也有研究發(fā)現(xiàn)視聽刺激時間一致性并不會影響Pip-and-Pop效應, Zou等人(2012)比較了0 ms、?100 ms以及聽覺刺激隨機時間呈現(xiàn)三種時間條件, 發(fā)現(xiàn)這三種條件都會促進視覺目標的搜索效率, 但它們之間沒有顯著差異, 因此Zou等人(2012)認為Pip-and-Pop效應是無空間信息的聽覺刺激引發(fā)的“冰凍效應”所致, 即oddball刺激吸引注意的作用, 無論聽覺刺激何時呈現(xiàn)都會促進視覺搜索, 而不是視聽刺激整合作用的結(jié)果(Zou et al., 2012)。

上述研究使用的搜索集大小不同, 在搜索集為48和60的研究中發(fā)現(xiàn)了視聽時間一致性對Pip- and-Pop效應的影響(van der Burg et al., 2008; K?sem & van Wassenhove, 2012), 在搜索集36的研究中沒有發(fā)現(xiàn)視聽時間一致性對Pip-and-Pop效應的影響(Zou et al., 2012)。所以搜索集大小可能在視聽時間一致性影響Pip-and-Pop效應的過程中起著調(diào)節(jié)作用。此外, 在視聽空間一致性影響Pip-and- Pop效應的研究中, 搜索集大小在其中的調(diào)節(jié)作用也是不一致的(Ngo & Spence, 2010a; Fleming et al., 2020)。可能的原因是在搜索集較小的條件下知覺負荷較低, 只要聽覺刺激存在, 無論其是否與視覺目標空間或時間上一致都可以提高視覺搜索效率。為了進一步確定這個問題, 本研究引入搜索集大小這一變量, 通過行為與眼動兩方面數(shù)據(jù)探究在不同知覺負荷下視聽刺激時間一致性和空間一致性對Pip-and-Pop效應的影響。

基于上述視聽刺激空間、時間一致性對Pip-and-Pop效應的影響研究結(jié)論并不一致, 視覺搜索任務中的行為反應時只能反映聽覺刺激是否提高了搜索效率, 而眼動數(shù)據(jù)可以根據(jù)眼跳和掃視等反映搜索中的實時信息處理過程。具體來說, 通過平均注視次數(shù)反映知覺負荷大小, 平均眼跳幅度反映在眼跳前被試獲取的信息量, 從而揭示聽覺刺激具體如何提高搜索效率。此外, 平均注視時間可以衡量是否有冰凍效應產(chǎn)生, 從而說明Pip-and- Pop效應的產(chǎn)生是否有oddball刺激吸引注意的作用, 進而可以探究Pip-and-Pop效應的產(chǎn)生機制。所以本研究將眼動技術(shù)運用到動態(tài)視覺搜索范式中, 通過兩個實驗考察以下兩個問題：(1)調(diào)控搜索集大小和聽覺刺激呈現(xiàn)位置, 探究視聽刺激空間一致性如何影響Pip-and-Pop效應。(2)調(diào)控搜索集大小和聽覺刺激與視覺目標的間隔時間, 探究視聽刺激時間一致性如何影響Pip-and-Pop效應。如果Pip-and-Pop效應產(chǎn)生的原因是多感覺整合, 那么Pip-and-Pop效應遵循空間一致性和時間一致性原則, 即視聽刺激呈現(xiàn)的空間位置越一致, 產(chǎn)生的Pip-and-Pop效應越大; 視聽刺激呈現(xiàn)的時間越一致, 產(chǎn)生的Pip-and-Pop效應越大。如果Pip-and-Pop效應產(chǎn)生的原因是oddball刺激吸引注意, 那么無論空間和時間一致與否, 突然出現(xiàn)的聽覺刺激都應影響視覺搜索效率。

2 實驗1：視聽空間一致性對Pip-and-Pop效應的影響

2.1 方法

2.1.1 被試

采用G*Power toolbox 3.1.9.2計算實驗所需最小樣本量(Erdfelder et al., 2009; Faul et al., 2007)。根據(jù)聽覺刺激對視覺搜索影響的研究(Ngo & Spence, 2012), 重復測量方差分析時視聽空間一致性的效應量ηp2= 0.43, 設置參數(shù)I類錯誤的概率α error prob為0.05, 檢驗效能Power (1 ? β err prob)為0.9, 計算得到最小樣本量為24。為避免眼動數(shù)據(jù)缺失導致樣本量不足, 在大學生中招募被試32名, 其中8名被試在實驗中有過多眨眼導致數(shù)據(jù)缺失被剔除, 實際樣本量為24人(男生5名, 女生19名), 年齡19至28歲, 平均年齡22.5歲(= 2.3)。所有被試均為右利手, 聽力、視力或矯正視力正常, 無色盲色弱。在實驗完成后被試會獲得相應的報酬。

2.1.2 實驗儀器和材料

實驗采用Eyelink 1000 Plus紅外反射系統(tǒng)眼動記錄儀(SR Research, Canada), 記錄被試右眼眼動數(shù)據(jù), 采樣頻率為1000 Hz。視覺刺激呈現(xiàn)在Dell液晶顯示器上, 型號為P1914SF, 屏幕可視尺寸為19英寸, 屏幕分辨率為1024×768像素, 刷新率為75 Hz。被試距離電腦屏幕75 cm。實驗程序使用Matlab2016a軟件和Psychtoolbox、Eyelink Toolbox編制。

實驗1視覺刺激如圖1所示, 由多個干擾線段(傾斜方向分別為22.5°, 45°, 67.5°, 112.5°, 135°, 157.5°)和1個目標線段(水平或者垂直, 目標方向在試次中平衡)組成。所有線段一半為紅色(13.9 cd/m2), 另一半為綠色(46.4 cd/m2), 呈現(xiàn)在黑色(0.4 cd/m2)背景的屏幕上, 每個線段大小為0.57°×0.17°。實驗中有3個搜索集, 分別為36, 48, 60 (圖1以36為例)。視覺刺激分成相等的兩個矩陣, 呈現(xiàn)在屏幕左右兩側(cè)(搜索集為36時：每側(cè)3.4°×8.5°; 搜索集為48時：每側(cè)5.1°×8.5°; 搜索集為60時：每側(cè)6.8°×8.5°), 兩側(cè)刺激到中央注視點水平距離為3.74°。實驗過程中, 線段不斷進行紅綠顏色變化, 每次變化的線段數(shù)量不同(搜索集為36時, 每次1、3或5個線段顏色隨機變化; 搜索集為48時, 每次1、4或7個線段顏色隨機變化; 搜索集為60時, 每次1、5或9個線段顏色隨機變化)。變化間隔為50、100或者150 ms, 三種變化間隔隨機出現(xiàn), 共有9個變化間隔(一個變化周期), 以此避免視覺刺激在進行連續(xù)變化時有很高的規(guī)律性。目標線段顏色變化遵循以下3種規(guī)則：(1)目標線段顏色單獨變化, 并且每個周期只能改變一次, 目標線段顏色變化的平均頻率為1.11 Hz (即每900 ms變化一次); (2)目標顏色變化之前是150 ms的變化間隔, 目標顏色變化之后是100 ms的變化間隔。由于視聽整合的時間窗大約為±100 ms, 在目標變化前后的時間間隔如此設置以確保明確的視聽整合; (3)每個周期的前三個間隔目標線段顏色不會變化。

聽覺刺激為1000 Hz的純音(65 dB, 60 ms, 包括5 ms淡入和5 ms淡出的時間), 通過位于屏幕后左右兩側(cè)的揚聲器呈現(xiàn)。聽覺刺激的呈現(xiàn)分4種情況(見圖1)：(1)無聲音條件：不呈現(xiàn)聽覺刺激; (2)同側(cè)條件(提供有效空間信息條件)：聽覺刺激與視覺目標同側(cè)呈現(xiàn), 即視覺目標在右側(cè), 聽覺刺激從右聲道發(fā)出; 視覺目標在左側(cè), 聽覺刺激從左聲道發(fā)出; (3)對側(cè)條件(提供無效空間信息條件)：聽覺刺激與視覺目標對側(cè)呈現(xiàn), 即視覺目標在右側(cè), 聽覺刺激從左聲道發(fā)出; 視覺目標在左側(cè), 聽覺刺激從右聲道發(fā)出; (4)雙側(cè)條件(不提供空間信息條件)：無論視覺刺激在左側(cè)還是右側(cè), 聽覺刺激都從雙聲道發(fā)出, 形成一個在中間位置的聽覺刺激。

2.1.3 實驗設計和程序

實驗1采用3 (搜索集大小：36, 48, 60) × 4 (視聽空間一致性：無聲音, 同側(cè), 對側(cè), 雙側(cè))兩因素被試內(nèi)實驗設計。在正式實驗之前先進行聽覺定位測試, 讓被試辨別聽覺刺激的方向, 正確區(qū)分來自不同空間位置的聲音后繼續(xù)進行實驗。為了減少頭動以獲取更準確的眼動數(shù)據(jù), 實驗開始前, 指導被試前額抵住前額靠, 下巴放在下巴托上, 進行九點校準。校準完成后, 開始實驗。

具體實驗流程如圖1所示, 每個試次呈現(xiàn)之前, 屏幕中央會呈現(xiàn)一個漂移校準點, 校準成功后校準點消失, 然后呈現(xiàn)中央注視點, 1000 ms后出現(xiàn)搜索屏, 要求被試既快又準的找到目標線段, 并通過按鍵(Z鍵或M鍵)反應判斷目標線段是垂直還是水平, 按鍵在被試之間平衡。如果9個間隔呈現(xiàn)完之后被試沒有按鍵反應, 則再次循環(huán)呈現(xiàn)實驗刺激, 直到被試做出反應再進入下一個試次。實驗要求被試忽略聽覺刺激。

正式實驗包括6組, 每種搜索集2組, 每組有96個試次, 4種視聽空間一致性條件在每組中隨機呈現(xiàn), 共576個試次。每組之前都有一個練習實驗, 包括20個試次。組之間允許被試休息, 每組開始之前都要進行九點校準。整個實驗大約持續(xù)90分鐘。

2.1.4 數(shù)據(jù)分析

正確率(Accuracy)指被試正確完成試次的概率。反應時(Reaction time)指搜索屏呈現(xiàn)到被試做出反應之間的時間間隔。搜索效率指在正確反應的基礎上, 反應的快慢。反應時越長, 說明被試找到目標的速度越慢, 搜索效率越低; 反應時越短, 說明被試找到目標的速度越快, 搜索效率越高。

反應時和正確率只能說明聽覺刺激能否提高搜索效率, 為了進一步探究聽覺刺激具體如何影響搜索效率, 根據(jù)以往研究選擇了3個眼動指標(Zou et al., 2012)：(1)平均注視次數(shù)(Mean fixation number)指落入當前興趣區(qū)注視點的次數(shù)。該指標可以有效地反映知覺負荷大小, 知覺負荷越大, 平均注視次數(shù)越多, 搜索效率越低; (2)平均眼跳幅度(Mean saccade amplitude)指從當前注視到下一次注視之間的距離。眼跳幅度越大, 說明被試在眼跳前獲取的信息越多, 搜索效率越高; (3)平均注視時間(Mean fixation duration)指落入當前興趣區(qū)所有注視點的注視時間的平均。該指標反應整體的加工過程, Zou等(2012)用該指標衡量冰凍效應, 探究呈現(xiàn)的聽覺刺激是否拓展了平均注視時間。

圖1 實驗1流程圖和視聽刺激呈現(xiàn)條件圖

注：圖1a為實驗1流程圖, 首先進行漂移校準, 校準后呈現(xiàn)中央注視點, 1000 ms后呈現(xiàn)搜索屏。搜索屏以視聽刺激條件中的無聲音條件為例, 視覺刺激以搜索集36為例, 包括35個干擾線段, 1個目標線段。圖1b分別為視聽刺激條件中的同側(cè)條件、對側(cè)條件、雙側(cè)條件(詳情閱讀方法部分)。

為了考察視聽空間一致性和搜索集對Pip-and- Pop效應的影響, 對所有指標都進行了3 (搜索集大小：36, 48, 60) × 4 (視聽空間一致性：無聲音, 同側(cè), 對側(cè), 雙側(cè))的重復測量方差分析。

2.2 結(jié)果與分析

剔除反應錯誤以及反應過快和過慢的試次, 反應過快指目標首次變化前被試就已經(jīng)做出反應的試次, 反應過慢指被試在目標變化了10次及以上依舊沒有做出反應的試次(van der Burg et al., 2008)。最終剔除試次占總試次的5.5%。

2.2.1 正確率

所有被試的正確率均達到98%以上, 正確率方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應不顯著,(2, 46) = 0.74,= 0.48; 視聽刺激空間一致性主效應不顯著,(3, 69) = 0.25,= 0.86; 二者交互作用不顯著,(6, 138) = 0.66,= 0.68。各個實驗條件下的正確率均較高。

2.2.2 反應時

反應時方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應顯著,(2, 46) = 5.34,= 0.008, ηp2= 0.19, 進一步分析表明, 搜索集為60條件的反應時(3.5 s)顯著長于搜索集為48條件(3.3 s,= 0.03)和搜索集為36條件的反應時(3.2 s,= 0.004), 后兩者之間無顯著差異(= 0.47)。視聽刺激空間一致性主效應顯著,(3, 69) = 11.86,< 0.001, ηp2= 0.34, 進一步分析表明, 同側(cè)條件的反應時(3.07 s)最短, 并且顯著短于雙側(cè)條件(3.27 s,= 0.006)、對側(cè)條件(3.50 s,< 0.001)以及無聲音條件(3.43 s,< 0.001)的反應時。雙側(cè)條件的反應時也顯著短于對側(cè)條件(= 0.005)和無聲音條件(= 0.038)的反應時。對側(cè)條件的反應時最長, 并且和無聲音條件無顯著差異(= 0.35)。搜索集大小和視聽空間一致性的交互作用不顯著,(6, 138) = 0.46,= 0.84 (見圖2a)。

圖2 實驗1結(jié)果圖

注：圖a、b、c、d分別為不同條件下的反應時(s)、平均注視次數(shù)(次)、平均眼跳幅度(度)、平均注視時間(ms)的結(jié)果。

2.2.3 眼動數(shù)據(jù)

(1)平均注視次數(shù)

平均注視次數(shù)方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應顯著,(2, 46) = 3.44,= 0.04, ηp2= 0.13, 進一步分析表明, 搜索集為60條件的注視次數(shù)(14.20次)顯著多于搜索集為36條件(13.11次,= 0.01)的注視次數(shù)。搜索集為48條件(13.57次)的注視次數(shù)與搜索集為60條件(0.183)和搜索集為36條件(0.261)的注視次數(shù)都無顯著差異。視聽刺激空間一致性主效應顯著,(3, 69) = 7.45,< 0.001, ηp2= 0.25, 進一步分析表明, 同側(cè)條件的注視次數(shù)(12.77次)最少, 并且顯著少于雙側(cè)條件(13.45次,= 0.02)、對側(cè)條件(14.16次,= 0.002)以及無聲音條件(14.12次,= 0.003)的注視次數(shù)。雙側(cè)條件的注視次數(shù)顯著少于對側(cè)條件(0.036)以及無聲音條件(0.048)的注視次數(shù)。對側(cè)注視次數(shù)最多, 并且和無聲音條件無顯著差異(= 0.90)。搜索集大小和視聽空間一致性的交互作用不顯著,(6, 138) = 0.92,= 0.48(見圖2b)。

(2)平均眼跳幅度

平均眼跳幅度方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應顯著,(2, 46) = 63.31,< 0.001, ηp2= 0.73, 進一步分析表明, 搜索集為60條件的眼跳幅度(4.96°)顯著大于搜索集為48條件(4.50°,< 0.001)和搜索集為36條件(4.21°,< 0.001)的眼跳幅度, 搜索集為48條件的眼跳幅度顯著大于搜索集為36條件(< 0.001)的眼跳幅度。視聽空間一致性主效應顯著,(3, 69) = 5.63,= 0.002, ηp2= 0.20, 進一步分析表明, 同側(cè)條件的眼跳幅度(4.64°)最大, 且顯著大于雙側(cè)條件(4.55°,= 0.017), 對側(cè)條件(4.54°,= 0.028)以及無聲音條件(4.49°,< 0.001)的眼跳幅度, 雙側(cè)條件與對側(cè)條件(= 0.875)和無聲音條件(= 0.154)無顯著差異, 對側(cè)條件與無聲音條件也無顯著差異(= 0.156)。

搜索集大小和視聽空間一致性的交互作用顯著,(6, 138) = 5.61,< 0.001, ηp2= 0.20。簡單效應分析發(fā)現(xiàn), 只有在搜索集為60條件下, 不同視聽刺激空間一致性條件有顯著差異,(3, 21) = 13.05,< 0.001, ηp2= 0.65。同側(cè)條件的眼跳幅度(5.14°)最大, 并且顯著大于對側(cè)條件(4.87°,< 0.001)以及無聲音條件(4.80°,= 0.001)的眼跳幅度, 與雙側(cè)條件(5.03°,= 0.34)的眼跳幅度無顯著差異。雙側(cè)條件的眼跳幅度也顯著大于無聲音條件(= 0.004)和對側(cè)條件(= 0.018)的眼跳幅度。無聲音條件的眼跳幅度最小, 和對側(cè)條件無顯著差異(= 0.42)。在搜索集為48和搜索集為36條件下, 不同視聽刺激空間一致性條件無顯著差異,(3, 21) = 2.37,= 0.099;(3, 21) = 1.24,= 0.32 (見圖2c)。

(3)平均注視時間

平均注視時間方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應不顯著,(2, 46) = 0.51,= 0.60; 視聽刺激空間一致性主效應不顯著,(3, 69) = 1.52,= 0.22; 二者交互作用不顯著,(6, 138) = 0.87,= 0.52 (見圖2d)。

本實驗進一步分析了4種條件下(視覺目標出現(xiàn)在同一位置上)的眼動軌跡和熱點圖(以搜索集60為例, 見圖3)。與無聲音的基線條件相比, 同側(cè)條件下的搜索效率最高, 注視次數(shù)最少, 雙側(cè)條件次之。雖然對側(cè)條件的注視次數(shù)比無聲音的注視次數(shù)少一些, 但相比于其他兩個條件, 注視次數(shù)明顯增多, 搜索效率明顯降低。

2.3 討論

實驗1通過操縱搜索集大小與聽覺刺激呈現(xiàn)位置, 考察視聽空間一致性對Pip-and-Pop效應的影響。結(jié)果發(fā)現(xiàn), 與無聲音的基線條件相比, 同側(cè)條件下的反應時最短, 搜索過程中的平均注視次數(shù)最少, 平均眼跳幅度最大, 表明同側(cè)條件下的搜索效率最高, 即同側(cè)條件所產(chǎn)生的Pip-and-Pop效應最大; 其次雙側(cè)條件也產(chǎn)生了Pip-and-Pop效應, 但產(chǎn)生的效應比同側(cè)條件弱; 而對側(cè)條件在上述指標中與無聲音條件無顯著差異, 即對側(cè)條件下沒有發(fā)現(xiàn)Pip-and-Pop效應。實驗結(jié)果表明, 視聽刺激空間一致性對Pip-and-Pop效應產(chǎn)生了影響, 視聽刺激在空間位置上越一致, 所產(chǎn)生的Pip-and-Pop效應越大。

同側(cè)條件下, 當聽覺刺激從目標側(cè)聲道發(fā)出, 在聽覺刺激的有效空間信息的作用下, 被試可以直接定位到目標側(cè)進行搜索, 在目標側(cè)通過少量注視, 大幅度眼跳快速地搜索到目標線段, 搜索時間短, 效率高, 所以產(chǎn)生的Pip-and-Pop效應最大。這說明聽覺刺激可能被當作提示線索, 從而導致搜索效率的提高。但聽覺刺激引導被試到同側(cè)后并沒有立即定位到目標位置, 在接下來的搜索過程中, 聽覺刺激仍然起到增強視覺目標變化凸顯性的作用, 因為在雙側(cè)條件下, 即使沒有提示線索的作用, 也發(fā)現(xiàn)了Pip-and-Pop效應。所以可能是聽覺刺激的提示及其與視覺目標整合的共同作用導致搜索效率的提高, 產(chǎn)生Pip-and-Pop效應。而對側(cè)條件下, 當聽覺刺激從非目標側(cè)聲道發(fā)出, 在聽覺刺激的無效空間信息作用下, 被試先在非目標側(cè)進行大量搜索后再回到目標側(cè)搜索, 在非目標側(cè)進行多次注視, 眼跳幅度不斷縮小進行細致搜索, 沒有發(fā)現(xiàn)目標線段后再回到目標側(cè)進行搜索, 相比于同側(cè)條件, 對側(cè)條件在非目標側(cè)的無效搜索產(chǎn)生了搜索成本, 通過兩個條件的注視次數(shù)差異熱點圖也可以明顯地發(fā)現(xiàn)對側(cè)條件在非目標側(cè)上的搜索成本(見圖 3), 所以同側(cè)條件的搜索效率顯著高于對側(cè)條件。以往研究發(fā)現(xiàn)與不提供空間信息的聽覺刺激相比, 提供空間信息的聽覺刺激能夠減少被試辨別和檢測目標的潛伏期(Perrott et al., 1990)。因此, 聽覺線索和視覺目標在空間位置上一致可以有效的將被試的空間注意指向視覺目標, 更加利于被試搜索到視覺目標。此外, 也有研究發(fā)現(xiàn)來自不同通道的刺激位置接近時, 產(chǎn)生的多感覺相互作用最強; 不同通道的刺激之間空間距離增加時多感覺相互作用減弱(Lewald et al., 2001; Slutsky & Recanzone, 2001; Soto-Faraco et al., 2003; Stein & Stanford, 2008)。綜上, 本實驗中的同側(cè)條件可能是聽覺刺激的提示作用和視、聽刺激方位一致產(chǎn)生了較強的多感覺相互作用, 二者共同促進了搜索效率, 所以產(chǎn)生的Pip-and-Pop效應最大; 而對側(cè)條件可能是聽覺刺激的無效提示作用和兩個通道刺激方位不一致, 距離增大, 多感覺相互作用減弱, 所以不足以產(chǎn)生Pip-and-Pop效應。

圖3 實驗1眼動軌跡和熱點圖

注：圖3a分別為4種聲音條件的眼動軌跡圖, 其中黃色線路代表眼動軌跡, 小圓圈代表注視次數(shù)。圖3b為各個條件之間對比的差異熱點圖, 其中每個熱點圖中vs左側(cè)條件為藍色, 右側(cè)條件為紅色。

實驗中的雙側(cè)條件也產(chǎn)生了Pip-and-Pop效應, 因為當聽覺刺激從雙聲道發(fā)出, 形成了無空間信息的聽覺刺激, 無空間信息的聽覺刺激和視覺目標同步呈現(xiàn)時, 聽覺刺激促進了視覺目標的識別(Giard & Peronnet, 1999; Ngo & Spence, 2012; Yang et al., 2014)。研究中對目標識別的促進可能是多感覺整合的促進效應(multisensory performance improvement effects), 類似于以往研究中的冗余信號效應(redundant signals effect, RSE) (Mishler & Neider, 2016; Mishler & Neider, 2018), 即個體對多通道刺激的反應比單通道刺激反應更加快速和準確(van den Brink et al., 2014; van der Stoep et al., 2015)。以往研究也發(fā)現(xiàn)多感覺整合后的刺激比單通道刺激更容易吸引注意(Lunn et al., 2019)。此外, Zou等(2012)研究發(fā)現(xiàn), 當同步呈現(xiàn)聽覺刺激時, 與非目標側(cè)相比, 目標側(cè)的注視次數(shù)更多, 說明被試更可能拒絕沒有視覺目標的一側(cè), 并且快速的將眼跳指向目標所在的一側(cè)(Zou et al., 2012)。雖然雙側(cè)條件下的聽覺刺激沒有提供有效空間信息, 但雙通道的整合促進作用和雙通道刺激吸引更多注意使搜索效率提高, 無空間信息的聽覺刺激對于眼動的調(diào)節(jié)也可以使搜索效率提高, 從而產(chǎn)生Pip-and-Pop效應。

綜上所述, Pip-and-Pop效應是通過減少注視次數(shù), 增加眼跳幅度, 進而縮短搜索時間產(chǎn)生的。實驗1無論是反應時結(jié)果還是眼動指標結(jié)果都表明, 視聽刺激空間一致性對Pip-and-Pop效應產(chǎn)生了影響, 視聽刺激在空間位置上越一致, 所產(chǎn)生的Pip-and-Pop效應越大。

3 實驗2：視聽時間一致性對Pip-and-Pop效應的影響

實驗2的目的是考察Pip-and-Pop效應是否遵循時間原則, 即時間一致性對Pip-and-Pop效應是否具有調(diào)節(jié)作用。

3.1 方法

3.1.1 被試

采用G*Power toolbox 3.1.9.2計算實驗所需最小樣本量(Erdfelder et al., 2009; Faul et al., 2007)。根據(jù)聽覺刺激對視覺搜索影響的研究(van der Burg et al., 2008), 重復測量方差分析時視聽時間一致性的效應量ηp2= 0.53, 設置參數(shù)I類錯誤的概率α error prob為0.05, 檢驗效能Power (1 ? β err prob)為 0.9, 計算得到最小樣本量為24。為避免眼動數(shù)據(jù)缺失導致樣本量不足, 在大學生中招募被試35名, 其中8名被試在實驗中有過多眨眼導致數(shù)據(jù)缺失被剔除, 實際樣本量為27人(男生5名, 女生22名), 年齡18至25歲, 平均年齡20.7歲(= 2.4)。所有被試均為右利手, 聽力、視力或矯正視力正常, 無色盲色弱。在實驗完成后被試會獲得相應的報酬。

3.1.2 實驗儀器和材料

實驗儀器同實驗1。視覺刺激材料有兩點不同于實驗1：第一, 本實驗中搜索集大小為36和60, 由于實驗1中只在平均眼跳幅度這個指標上發(fā)現(xiàn)了搜索集48與36和60有顯著差異, 而反應時、平均注視次數(shù)以及平均注視時間上均無顯著差異, 所以取消了搜索集為48的條件。第二, 在聽覺刺激與視覺目標變化不一致呈現(xiàn)條件下, 為了使聽覺刺激與視覺干擾刺激的變化同步呈現(xiàn), 將本實驗中的線段變化間隔由實驗1中的50 ms、100 ms、150 ms三種改為100 ms一種變化間隔。

聽覺刺激材料同實驗1。聽覺刺激與視覺目標顏色變化之間的時間間隔(TTI：tone–target interval)有6種：(1)無聲音條件：不呈現(xiàn)聽覺刺激; (2) TTI = ?200 ms條件：聽覺刺激先于視覺目標顏色變化200 ms呈現(xiàn); (3) TTI = ?100 ms條件：聽覺刺激先于視覺目標顏色變化100 ms呈現(xiàn); (4) TTI = 0 ms條件：聽覺刺激與視覺目標顏色變化同步呈現(xiàn); (5) TTI = 100 ms條件：聽覺刺激晚于視覺目標顏色變化100 ms呈現(xiàn); (6) TTI = 200 ms條件：聽覺刺激晚于視覺目標顏色變化200 ms呈現(xiàn)。

3.1.3 實驗設計和程序

實驗采用2 (搜索集大小：36, 60) × 6 (視聽時間一致性：無聲音條件, ?200 ms, ?100 ms, 0 ms, 100 ms, 200 ms)兩因素被試內(nèi)實驗設計。實驗具體流程如圖4a所示, 與實驗1的實驗流程完全一致。正式實驗包括12組, 每種搜索集大小和視聽刺激時間一致性條件分別在不同組中呈現(xiàn), 每組有48個試次, 共576個試次。每組之前都有12個練習試次。組間允許被試休息, 整個實驗大約持續(xù)90分鐘。

圖4 實驗2流程和視聽刺激條件圖

注：圖4a為實驗2流程圖, 首先進行漂移校準, 校準后呈現(xiàn)中央注視點, 1000 ms后呈現(xiàn)搜索屏。搜索屏以視聽刺激條件中的無聲音條件為例, 視覺刺激以搜索集36為例, 包括35個干擾線段, 1個目標線段。圖4b是6種TTI (聽覺刺激與視覺刺激之間的時間間隔：tone-target-interval)條件, 其中黑色線段是指目標線段顏色變化; 灰色線段是指干擾線段顏色變化; 小喇叭是指發(fā)出聽覺刺激(詳情閱讀方法部分)。

3.1.4 數(shù)據(jù)分析

選取指標同實驗1。為了考察視聽時間一致性和搜索集大小對Pip-and-Pop效應的影響, 對所有指標都進行了2 (搜索集大小：36, 60) × 6 (TTI：無聲音, ?200 ms, ?100 ms, 0 ms, 100 ms, 200 ms)的重復測量方差分析。

3.2 結(jié)果與分析

數(shù)據(jù)剔除標準同實驗1。最終剔除試次占總試次的2%。

3.2.1 正確率

所有被試正確率均達到 98%以上, 正確率方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應不顯著,(1, 26) = 0.49,= 0.49; TTI主效應不顯著,(5, 130) = 0.89,= 0.49; 二者交互作用不顯著,(5, 130) = 1.64,= 0.15。各個實驗條件下的正確率均較高。

3.2.2 反應時

反應時方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應顯著,(1, 26) = 102.81,< 0.001, ηp2= 0.80, 進一步分析表明, 搜索集為60條件的反應時(4.61 s)顯著長于搜索集為36條件(2.82 s)的反應時; TTI主效應顯著,(5, 130) = 8.91,< 0.001, ηp2= 0.26, 進一步分析表明, TTI為0 ms (2.73 s)時, 反應時最短, 并顯著短于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(3.26 s,0.001)和100 ms條件(3.44 s,0.021)的反應時都顯著短于無聲音條件(4.40 s)的反應時; ?200 ms條件(3.85 s,= 0.174)和200 ms條件的反應時(4.60 s,= 0.744)與無聲音條件的反應時無顯著差異; ?200 ms條件的反應時顯著長于?100 ms條件(= 0.001)的反應時, 200 ms條件的反應時顯著長于100 ms條件(0.001)的反應時。

搜索集大小與TTI的交互作用顯著,(5, 130) = 3.96,= 0.002, ηp2= 0.13, 簡單效應分析發(fā)現(xiàn), 兩種搜索集條件下TTI主效應顯著：在搜索集為60條件下,(5, 22) = 17.26,< 0.001, ηp2= 0.80, TTI為0 ms (3.35 s)時, 反應時最短, 并顯著短于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(3.96 s,= 0.002)和100 ms條件(4.22 s,= 0.02)的反應時都顯著短于無聲音條件(5.65s)的反應時; ?200 ms條件(4.77 s,= 0.15)和200 ms條件(5.74 s,=0.921)的反應時與無聲音條件的反應時無顯著差異。?200 ms條件的反應時顯著長于?100 ms條件(= 0.001)的反應時, 200 ms條件的反應時顯著長于100 ms條件(< 0.001)的反應時。在搜索集為36條件下,(5, 22) = 8.30,< 0.001, ηp2= 0.65, 0 ms條件的反應時(2.11 s)也最短, 并顯著短于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(2.57 s)的反應時顯著短于無聲音條件(3.15 s,= 0.01), 100 ms條件(2.67 s)的反應時與無聲音條件無顯著差異(= 0.092); ?200 ms條件(2.93 s,= 0.372)和200 ms條件(3.47 s,= 0.489)的反應時與無聲音條件的反應時無顯著差異。?200 ms條件的反應時與?100 ms條件的反應時差異顯著(= 0.018), 200 ms條件的反應時與100 ms條件的反應時差異顯著(= 0.013) (見圖5a)。

3.2.3 眼動數(shù)據(jù)

(1)平均注視次數(shù)

平均注視次數(shù)方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應顯著,(1, 26) = 113.85,< 0.001, ηp2= 0.81, 進一步分析表明, 搜索集為60條件的注視次數(shù)(16.88次)顯著多于搜索集為36條件(10.31次)的注視次數(shù)。TTI主效應顯著,(5, 130) = 11.47,< 0.001, ηp2= 0.31, 進一步分析表明, TTI為0 ms (9.85次)時, 注視次數(shù)最少, 并顯著少于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(11.93次,< 0.001)和100 ms條件(12.65次,= 0.006)的注視次數(shù)顯著少于無聲音條件(16.46次)的注視次數(shù)。?200 ms條件(14.03次,= 0.082)和200 ms條件(16.64次,= 0.926)的注視次數(shù)與無聲音條件的注視次數(shù)無顯著差異; ?200 ms條件的注視次數(shù)顯著多于?100 ms條件的注視次數(shù)(0.001), 200 ms條件的注視次數(shù)顯著多于100 ms條件的注視次數(shù)(0.001)。

搜索集大小與TTI的交互作用顯著,(5, 130) = 5.11,< 0.001, ηp2= 0.16, 簡單效應分析發(fā)現(xiàn), 兩種搜索集條件下TTI主效應顯著：在搜索集為60條件下,(5, 22) = 19.33,< 0.001, ηp2= 0.82, TTI為0 ms (12.02次)時, 注視次數(shù)最少, 并顯著少于其他5種TTI條件(s < 0.001)。其次是?100 ms條件(14.43次,= 0.001)和100 ms條件(15.56次,= 0.01)的注視次數(shù)顯著少于無聲音條件(20.90次)的注視次數(shù); ?200 ms條件(17.27次,= 0.079)和200 ms條件(20.10次,= 0.943)的注視次數(shù)與無聲音條件的注視次數(shù)無顯著差異; ?200 ms條件的注視次數(shù)顯著多于?100 ms條件的注視次數(shù)(< 0.001), 200 ms條件的注視次數(shù)顯著多于100 ms條件的注視次數(shù)(< 0.001)。在搜索集為36條件下,(5, 22) = 10.19,< 0.001, ηp2= 0.70, 0 ms條件的注視次數(shù)(7.68次)也最少, 并顯著少于其他5種TTI條件(s< 0.001)。其次是?100 ms條件(9.44次,0.002)和100 ms條件(9.75次,0.019)的注視次數(shù)顯著少于無聲音條件(12.02次)的注視次數(shù); ?200 ms條件(10.79次,0.18)和200 ms條件(12.19次,0.902)的注視次數(shù)與無聲音條件的注視次數(shù)無顯著差異。?200 ms條件的注視次數(shù)顯著多于?100 ms條件的注視次數(shù)(= 0.018), 200 ms條件的注視次數(shù)顯著多于100 ms條件的注視次數(shù)(0.006) (見圖5b)。

圖5 實驗2結(jié)果圖

注：圖a、b、c、d分別為不同條件下的反應時(s)、平均注視次數(shù)(次)、平均眼跳幅度(度)、平均注視時間(ms)的結(jié)果。

(2)平均眼跳幅度

平均眼跳幅度方差分析結(jié)果發(fā)現(xiàn)搜索集大小主效應顯著,(1, 26) = 9.01,= 0.006, ηp2= 0.26, 進一步分析表明, 搜索集為60條件的眼跳幅度(4.59°)顯著大于搜索集為36條件(4.37°)的眼跳幅度。TTI主效應顯著,(5, 130) = 4.67,= 0.001, ηp2= 0.15, 進一步分析表明, TTI為0 ms (4.78°)時, 眼跳幅度最大, 并顯著大于其他5種TTI條件(< 0.021)。其次是?100 ms條件(4.49°,0.032)和100 ms條件(4.50°,0.003)顯著大于無聲音條件(4.25°)的眼跳幅度; ?200 ms條件(4.43°,0.055)和200 ms (4.45°,0.151)的眼跳幅度與無聲音條件的眼跳幅度無顯著差異; ?200 ms條件的眼跳幅度與?100 ms條件的眼跳幅度無顯著差異(0.545), 200 ms條件的眼跳幅度與100 ms條件的眼跳幅度無顯著差異(0.727)。搜索集大小與TTI的交互作用不顯著,(5, 130) = 2.13,= 0.066 (見圖5c)。

(3)平均注視時間

平均注視時間方差分析結(jié)果發(fā)現(xiàn)TTI的主效應顯著,(5, 130) = 4.39,= 0.001, ηp2= 0.14, 進一步分析表明, TTI為0 ms (245.04 ms)時, 注視時間最長, 并顯著長于其他5種TTI條件(s < 0.026)。100 ms條件(237.03 ms,= 0.031)和?100 ms條件(236.11 ms,= 0.036)的注視時間顯著長于無聲音條件(228.14 ms)的注視時間; 200 ms條件(237.25 ms,0.061)和?200 ms條件(234.59 ms,0.187)的注視時間與無聲音條件的注視時間無顯著差異; 200 ms與100 ms的注視時間無顯著差異(0.909), ?200 ms與?100 ms的注視時間無顯著差異(0.691)。搜索集大小主效應不顯著,(1, 26) = 1.42,= 0.25; 搜索集大小與TTI的交互作用不顯著,(5, 130) = 1.26,= 0.29 (見圖5d)。

3.3 討論

實驗2通過操縱搜索集大小和聽覺刺激與視覺目標的間隔時間, 考察視聽刺激時間一致性對Pip-and-Pop效應的影響。結(jié)果發(fā)現(xiàn), 與無聲音的基線條件相比, 聽覺刺激與視覺目標顏色變化之間的時間間隔(TTI)在0 ms, ?100 ms, 100 ms條件下, 搜索反應時都顯著變短, 搜索過程中的注視次數(shù)減少,平均眼跳幅度增加, 平均注視時間變長; 當TTI為?200 ms和200 ms時, 與無聲音條件無顯著差異。這說明TTI在?100 ms到100 ms產(chǎn)生了Pip-and-Pop效應, 其中TTI為0 ms時Pip-and-Pop效應最大, ?200 ms和200 ms兩種條件沒有產(chǎn)生Pip-and-Pop效應。實驗結(jié)果表明視聽刺激時間越一致, Pip-and-Pop效應越大。

研究結(jié)果表明, 反應時與TTI之間的關(guān)系呈U型曲線：TTI的絕對值越小, 反應時越短。TTI在?100 ms到100 ms產(chǎn)生了Pip-and-Pop 效應, 這與視聽整合的時間窗口一致(Lewald et al., 2001; Lewald & Guski, 2003)。并且在早期研究中發(fā)現(xiàn), 與視覺目標時間上同步的聽覺刺激會增加視覺刺激的感知強度(Stein et al., 1996), 所以0 ms條件下同步的聽覺刺激可能會增強對視覺目標的感知, 產(chǎn)生的Pip-and-Pop效應最大。而?200 ms和200 ms條件不在視聽整合的時間窗范圍內(nèi), 即使聽覺刺激存在, 但不能有效的與視覺目標進行整合, 所以沒有產(chǎn)生Pip-and-Pop效應。

在平均注視次數(shù)眼動指標中發(fā)現(xiàn)了與反應時相同的結(jié)果, 平均注視次數(shù)與TTI之間的關(guān)系呈U型曲線：TTI的絕對值越小, 平均注視次數(shù)越少; 平均眼跳幅度與平均注視時間結(jié)果也表明只有TTI在0 ms, ?100 ms, 100 ms條件下, 才會優(yōu)化搜索的眼動行為。這種在眼動行為上的優(yōu)化在以往研究中被認為是冰凍效應(freezing effect)所致, Zou等(2012)使用平均注視時間來量化冰凍效應。即無空間信息的聽覺刺激“冰凍”了眼動, 突然出現(xiàn)的聽覺刺激抑制了眼跳, 使眼跳延遲, 從而搜索過程中的平均注視時間變長, 那么被試就可以在更長的時間和更廣闊的空間內(nèi)通過增大眼跳幅度、減少注視次數(shù)對視覺目標進行搜索, 從而更精確地引導接下來的注視指向目標, 加快對目標的定位。此外, 由這種“冰凍”所引起的時間變長不僅可以提高目標在當前區(qū)域的搜索效率, 也可以快速拒絕目標不在的區(qū)域, 從而提高整體的搜索效率(Zou et al., 2012)。與以往研究結(jié)果不同的是, 本研究發(fā)現(xiàn)0 ms條件時的平均注視時間最長, 這說明聽覺刺激對視覺搜索的促進作用并不全是冰凍效應引起的。綜上表明Pip-and-Pop效應遵循時間一致性原則, 視聽刺激呈現(xiàn)時間越一致, 產(chǎn)生的Pip-and-Pop效應越大。

4 總討論

本研究采用動態(tài)視覺搜索范式, 通過兩個實驗考察視聽刺激空間一致性、時間一致性對Pip- and-Pop效應的影響。實驗1發(fā)現(xiàn)同側(cè)條件所產(chǎn)生的Pip-and-Pop效應最大, 雙側(cè)條件也產(chǎn)生了Pip- and-Pop效應, 對側(cè)條件沒有產(chǎn)生Pip-and-Pop效應;實驗2發(fā)現(xiàn)視聽刺激同時呈現(xiàn)所產(chǎn)生的Pip-and- Pop效應最大, 隨視聽刺激呈現(xiàn)時間間隔的增加Pip-and-Pop效應減弱。研究表明, 視聽刺激在空間、時間上越一致, 對Pip-and-Pop效應越大。

4.1 知覺負荷在視聽時、空一致性對Pip-and- Pop效應影響中的調(diào)節(jié)作用

本研究的兩個實驗都發(fā)現(xiàn)了搜索集大小對Pip-and-Pop效應的影響, 實驗1在平均眼跳幅度指標中發(fā)現(xiàn)了搜索集大小和視聽空間一致性存在交互作用; 實驗2在反應時和注視次數(shù)兩個指標中發(fā)現(xiàn)了搜索集大小和視聽時間一致性存在交互作用。前人研究表明, 在識別單個目標時增加干擾刺激數(shù)量, 意味著存在更大的認知負擔(Pluta et al., 2011), 那么研究中增大搜索集也就意味著增大了知覺負荷, 兩個實驗結(jié)果都表明搜索集大的條件所產(chǎn)生的知覺負荷和Pip-and-Pop效應大。

實驗1發(fā)現(xiàn)只有在搜索集為60條件下, 視聽空間一致性才會增加平均眼跳幅度。根據(jù)知覺負荷理論, 與無負荷或低負荷條件相比, 在高知覺負荷條件下被試需要集中所有注意資源參與到任務中(Lavie, 2005), 本研究中相比于其他兩個搜索集條件, 搜索集為60條件下被試投入了更多的注意資源, 所以產(chǎn)生的Pip-and-Pop效應最大。

實驗2發(fā)現(xiàn)在搜索集為36條件下反應時和注視次數(shù)兩個指標的聽覺刺激作用均有減小。在反應時和注視次數(shù)這兩個指標上, 搜索集為36條件下僅發(fā)現(xiàn)視聽刺激間隔在0 ms條件和?100 ms條件時對搜索有促進作用, 100 ms條件對搜索不再有促進作用。此外, 在Zou等(2012)使用搜索集為36的研究中表明, 反應時與眼動結(jié)果都發(fā)現(xiàn)無論視聽刺激呈現(xiàn)時間是否一致, 對搜索都有促進作用, 但時間條件之間沒有顯著差異(Zou et al., 2012)。其原因可能是所使用的搜索集較小, 相應的知覺負荷也小。已有研究表明知覺負荷影響聽覺刺激對視覺搜索的促進作用, 在搜索復雜而非簡單的視覺刺激時, 聲音的促進效果更強(Knoeferle et al., 2016), 那么在搜索集為36條件下, 視覺搜索任務簡單, 僅根據(jù)視覺目標的顏色變化也能快速搜索到視覺目標, 而在搜索集為60條件中, 只有同步的聽覺刺激與視覺目標整合吸引更多的注意, 才能更快的搜索到視覺目標。綜上兩個實驗結(jié)果都說明知覺負荷在視聽空間一致性和視聽時間一致性影響Pip-and-Pop效應中起到了調(diào)節(jié)作用。

4.2 Pip-and-Pop效應的產(chǎn)生原因

本研究表明視聽刺激空間一致性和時間一致性影響Pip-and-Pop效應, 這說明Pip-and-Pop效應遵循多感覺整合的兩個重要原則, 即實驗1研究結(jié)果符合多感覺整合的空間原則; 實驗2研究結(jié)果符合多感覺整合的時間原則。基于以往研究和本研究的結(jié)果可以推測Pip-and-Pop效應產(chǎn)生的原因至少有一部分是由多感覺整合所引起的。以往研究中對Pip-and-Pop效應的解釋除了多感覺整合以外, 也有研究者認為是oddball刺激吸引注意產(chǎn)生了Pip-and-Pop效應。Ngo等(2010b)研究發(fā)現(xiàn), 呈現(xiàn)視覺線索時對視覺目標的促進作用與呈現(xiàn)聽覺線索時對視覺目標的促進作用沒有顯著差異, 這表明無論刺激是單通道還是雙通道, 只要與視覺目標同時呈現(xiàn)的線索使視覺目標變成一個oddball刺激, 這種促進效應就能出現(xiàn)(Ngo & Spence, 2010b)。

那么本研究中所發(fā)現(xiàn)的Pip-and-Pop效應是否也可以用oddball刺激吸引注意來解釋呢？第一, 本研究中除了基線的無聲音條件外, 兩個實驗所有的條件都是通過視聽雙通道刺激呈現(xiàn)的, 所以即使本研究中與視覺目標同時呈現(xiàn)的聽覺線索使視覺目標變成oddball刺激吸引注意可以產(chǎn)生Pip-and- Pop效應, 但也無法排除視聽整合在其中的作用。第二, 本研究中的聽覺線索包含了有空間信息和無空間信息聽覺線索兩種, 以往發(fā)現(xiàn)oddball刺激吸引注意的視覺搜索研究中只有無空間信息聽覺線索, 二者情況并不一致。第三, 本研究中所使用的動態(tài)視覺搜索范式與以往發(fā)現(xiàn)oddball刺激吸引注意的視覺搜索范式不同。例如, 本研究中被試在動態(tài)和雜亂的干擾物中搜索視覺目標, 同步的聽覺線索可以讓視覺目標比干擾物更顯著, 也就是說, 讓視覺目標從周圍的干擾物刺激中“pop-out”, 從而提高搜索效率。而發(fā)現(xiàn)oddball刺激吸引注意的研究使用的是序列呈現(xiàn)的視覺搜索范式, 視覺目標的呈現(xiàn)時間非常短暫, 同步的線索以一種冰凍的方式, 允許被試在短時間內(nèi)對視覺目標進行搜索, 從而提高搜索效率(Ngo & Spence, 2012)。第四, 以往研究表明, 相比于多感覺整合, oddball刺激吸引注意能更好的解釋冰凍效應, 當注意力被oddball刺激吸引時, 會引起主觀時間變長(Tse et al., 2004)。本研究中只有實驗2發(fā)現(xiàn)了突然出現(xiàn)的聲音冰凍了眼跳, 從而通過平均注視時間變長來調(diào)節(jié)眼動。實驗1中并沒有發(fā)現(xiàn)平均注視時間變長, 原因可能是受到有空間信息的聽覺線索的影響, 被試可以通過空間信息來調(diào)節(jié)眼動, 并不需要“冰凍”來搜索視覺目標。

綜上四點原因, 我們推測Pip-and-Pop效應的產(chǎn)生原因有一部分是由多感覺整合所引起的, 但也不能完全排除或確定oddball吸引注意在其中的作用, 所以Pip-and-Pop效應的具體產(chǎn)生原因還有待實驗進一步探究。

5 結(jié)論

視聽刺激空間一致性、時間一致性對Pip-and- Pop效應具有調(diào)節(jié)作用。視聽刺激空間位置越一致, Pip-and-Pop效應越大; 視聽刺激呈現(xiàn)時間越一致, Pip-and-Pop效應越大。當前研究結(jié)果為Pip-and- Pop效應產(chǎn)生的原因是多感覺整合提供了證據(jù)。此外, 在未來的研究中應基于動態(tài)視覺搜索范式, 設置明確的視聽整合條件與oddball刺激吸引注意條件進行對比, 進一步實驗探究Pip-and-Pop效應的產(chǎn)生機制。

Chamberland, C., Hodgetts, H. M., Vallières, B. R., Vachon, F., & Tremblay, S. (2016). Pip and Pop: When auditory alarms facilitate visual change detection in dynamic settings.(1), 284?288.

Chastain, G., & Cheal, M. (1999). Time course of attention effects with abrupt-onset and offset single- and multiple- element precues.,(3), 411?436.

Erdfelder, E., Auer, T.-S., Hilbig, B. E., A?falg, A., Moshagen, M., & Nadarevic, L. (2009). Multinomial processing tree models:.(3), 108?124.

Escera, C., Alho, K., Winkler, I., & N??t?nen, R. (1998). Neural mechanisms of involuntary attention to acoustic novelty and change.,(5), 590?604.

Escera, C., Corral, M. J., & Yago, E. (2002). An electrophysiological and behavioral investigation of involuntary attention towards auditory frequency, duration and intensity changes.,(3), 325?332.

Faul, F., Erdfelder, E., Lang, A .-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences.,(2), 175?191.

Fister, J. K., Stevenson, R. A., Nidiffer, A. R., Barnett, Z. P., & Wallace, M. T. (2016). Stimulus intensity modulates multisensory temporal processing.,, 92?100.

Fleming, J. T., Noyce, A. L., & Shinn-Cunningham, B. G. (2020). Audio-visual spatial alignment improves integration in the presence of a competing audio-visual stimulus.,, 107530.

Giard, M. H., & Peronnet, F. (1999). Auditory-visual integration during multimodal object recognition in humans: A behavioral and electrophysiological study.,(5), 473?490.

Knoeferle, K. M., Knoeferle, P., Velasco, C., & Spence, C. (2016). Multisensory brand search: How the meaning of sounds guides consumers' visual attention.,(2), 196?210.

K?sem, A., & van Wassenhove, V. (2012). Temporal structure in audiovisual sensory selection.,(7), e40936.

Lavie, N. (2005). Distracted and confused?: Selective attention under load.,(2), 75?82.

Lewald, J., Ehrenstein, W. H., & Guski, R. (2001). Spatio- temporal constraints for auditory-visual integration.,(1-2), 69?79.

Lewald, J., & Guski, R. (2003). Cross-modal perceptual integration of spatially and temporally disparate auditory and visual stimuli.,(3), 468? 478.

Lunn, J., Sjoblom, A., Ward, J., Soto-Faraco, S., & Forster, S. (2019). Multisensory enhancement of attention depends on whether you are already paying attention.,, 38?49.

Mishler, A. D., & Neider, M. B. (2018). Redundancy gain for categorical targets depends on display configuration and duration.,(6), 393?404.

Mishler, A., & Neider, M. (2016). Evidence for the redundant signals effect in detection of categorical targets.,(12), 1024.

Ngo, M. K., & Spence, C. (2010a). Auditory, tactile, and multisensory cues facilitate search for dynamic visual stimuli.,(6), 1654? 1665.

Ngo, M. K., & Spence, C. (2010b). Crossmodal facilitation of masked visual target identification.,(7), 1938?1947.

Ngo, M. K., & Spence, C. (2012). Facilitating masked visual target identification with auditory oddball stimuli.,(2), 129?136.

Pariyadath, V., & Eagleman, D. (2007). The effect of predictability on subjective duration.,(11), e1264.

Perrott, D. R., Saberi, K., Brown, K., & Strybel, T. Z. (1990). Auditory psychomotor coordination and visual search performance.,(3), 214?226.

Pluta, S. R., Rowland, B. A., Stanford, T. R., & Stein, B. E. (2011). Alterations to multisensory and unisensory integration by stimulus competition.,(6), 3091?3101.

Slutsky, D. A., & Recanzone, G. H. (2001). Temporal and spatial dependency of the ventriloquism effect.,(1), 7?10.

Soto-Faraco, S., Kingstone, A., & Spence, C. (2003). Multisensory contributions to the perception of motion.,(13), 1847?1862.

Spence, C. (2013). Just how important is spatial coincidence to multisensory integration? Evaluating the spatial rule.,, 31?49.

Stein, B. E., London, N., Wilkinson, L. K., & Price, D. D. (1996). Enhancement of perceived visual intensity by auditory stimuli: A psychophysical analysis.,(6), 497?506.

Stein, B. E., & Stanford, T. R. (2008). Multisensory integration: Current issues from the perspective of the single neuron.,(4), 255?266.

Stevenson, R. A., Fister, J. K., Barnett, Z. P., Nidiffer, A. R., & Wallace, M. T. (2012). Interactions between the spatial and temporal stimulus factors that influence multisensory integration in human performance.,(1), 121?137.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.ences,(9), 400?410.

Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention.,, 208? 224.

Tsai, Y .-Y., & Yeh, S .-L. (2013). Freezing effect in tactile perception: Sound facilitates tactile identification by enhancing intensity but not duration.,(4), 925?932.

Tse, P. U., Intriligator, J., Rivest, J., & Cavanagh, P. (2004). Attention and the subjective expansion of time.,(7), 1171?1189.

van den Brink, R. L., Cohen, M. X., van der Burg, E., Talsma, D., Vissers, M. E., & Slagter, H. A. (2014). Subcortical, modality-specific pathways contribute to multisensory processing in humans.,(8), 2169?2177.

van der Burg, E., Olivers, C. N., Bronkhorst, A. W., & Theeuwes, J. (2008). Pip and pop: Nonspatial auditory signals improve spatial visual search.,(5), 1053?1065.

van der Burg, E., Talsma, D., Olivers, C. N., Hickey, C., & Theeuwes, J. (2011). Early multisensory interactions affect the competition among multiple visual objects.,(3), 1208?1218.

van der Stoep, N., van der Stigchel, S., & Nijboer, T. C. (2015). Exogenous spatial attention decreases audiovisual integration.,(2), 464?482.

van der Stoep, N., van der Stigchel, S., Nijboer, T. C. W., & Spence, C. (2017). Visually Induced Inhibition of Return Affects the Integration of Auditory and Visual Information.,(1), 6?17.

Vroomen, J., & de Gelder, B. (2000). Sound enhances visual perception: Cross-modal effects of auditory organization on vision.,(5), 1583?1590.

Yang, W., Chu, B., Yang, J., Yu, Y., Wu, J., & Yu, S. (2014). Elevated audiovisual temporal interaction in patients with migraine without aura.,(1), 44.

Zou, H., Müller, H. J., & Shi, Z. (2012). Non-spatial sounds regulate eye movements and enhance visual search.,(5), 123?129.

The impact of temporal and spatial consistency of audiovisual stimuli on Pip-and-Pop effect

TANG Xiaoyu, CUI Xinzhong, GAO Min, YUAN Mengying

(School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China)

Previous studies usually used the dynamic visual search paradigm to explore the Pip-and-Pop effect, which suggests that the Pip-and-Pop effect is influenced by multiple factors. But the impact of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect is still controversial. In the present study, we applied the eye movement technology to the dynamic visual search paradigm to systematically investigate the impact of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect. Based on the results of previous studies, we expected that the spatial and temporal consistency of audiovisual modulated the Pip-and-Pop effect. The more consistent the spatial location of audiovisual stimuli are, the greater the Pip-and-Pop effect will be. The more consistent the temporal audiovisual stimuli are, the greater the Pip-and-Pop effect will be.

Experiment 1 was a 3 (set sizes: 36, 48, 60) × 4 (spatial consistency conditions: ipsilateral, contralateral, bilateral, no sound) within-subjects design, recruited 24 participants (5 males; age range: 19～28 years; mean age: 22.5 ± 2.3 years). The visual search displays consisted of 24, 36, or 48 red (13.9 cd/m2) or green (46.4 cd/m2) line segments (0.57°×0.17°) on a black (0.4 cd/m2) background. The auditory stimulus was 1000 Hz pure tone (65 dB, 60 ms, including 5 ms fade-in and 5 ms fade-out time), presented through speakers on the left and right sides behind the screen. Each trial started with a drift calibration point. The drift calibration point would not disappear until the participant gazed upon this point. This was followed by a central fixation point of 1000ms, and finally a search screen. The participants were required to find the target line segment and judge whether the target line segment was vertical or horizontal by pressing the key (Z key or M key) as quickly and accurately as possible. Experiment 2 was a 2 (set sizes: 36, 60) × 6 (temporal consistency conditions: ?200 ms, ?100 ms, 0 ms, 100 ms, 200 ms, no sound) within-subjects design, recruited 27 participants (5 males; age range: 18～25 years; mean age: 20.7 ± 2.4 years). These temporal consistency conditions represent the tone sounded before (?200, ?100 ms), simultaneous with (0 ms), or after (100, 200 ms) the visual target event. The tone could also be absent (no sound). The experimental materials and procedures of Experiment 2 were identical to those in Experiment1.

Regarding the results in Experiment 1, compared with the baseline condition (no sound), the search response time was the shortest under the condition of ipsilateral, the mean fixation number was the least, and the mean saccade amplitude was the smallest, indicating that the search efficiency was the highest in the ipsilateral condition, the Pip-and-Pop effect was the largest in the ipsilateral condition. The bilateral condition was the second. The contralateral condition showed no significant difference in the above indicators compared with the no sound condition, indicating that no Pip-and-Pop effect was found in the contralateral condition. The results showed that the more consistent the spatial location of audiovisual stimuli were, the greater the Pip-and-Pop effect was. In Experiment 2, compared with the no sound condition, we found that the response time of the search was significantly shorter, the mean fixation number in search decreased, the mean saccade amplitude increased, and the mean fixation duration became longer under the conditions of 0 ms, ?100 ms and 100 ms. Compared with the no sound condition, conditions ?200 ms and 200 ms showed no significant difference in the above indicators. This indicated that the conditions of 0 ms, ?100 ms and 100 ms produced the Pip-and-Pop effect, and the Pip-and-Pop effect was the largest under the condition of 0ms, while the Pip-and-Pop effect did not find under the condition of ?200 ms and 200 ms. The results showed that the more consistent the temporal audiovisual stimuli were, the greater the Pip-and-Pop effect was.

In summary, the results showed that the more consistent the audiovisual stimuli were in space and time, the larger the Pip-and-Pop effect was. Therefore, the findings in the present study suggest that the temporal and spatial consistency of audiovisual stimuli modulates the Pip-and-Pop effect. The results provide evidence that the reason for the Pip-and-Pop effect is multisensory integration.

Pip-and-Pop effect, audiovisual spatial consistency, audiovisual temporal consistency, dynamic visual search, eye movement technique

2021-09-03

* 遼寧省教育廳高等學校自然科學類基本科研(面上)項目(LJKZ0987)資助。

唐曉雨和崔鑫忠同為第一作者。

高敏, E-mail: minmin19910420@163.com

B842