通道選擇性注意與通道分配性注意對視聽整合的影響

高玉林 劉思宇

摘要：視聽整合是將視覺與聽覺的信息融合成連貫、統一的知覺過程。前人的研究表明，選擇性注意力和分配性注意會對視聽整合效應產生較大的影響，其中將注意導向聽覺通道或者視覺通道被稱為選擇性注意，在一些任務中，選擇注意條件下視聽整合效應不明顯，但是在另一些較為簡單的任務中，視聽刺激同時出現會增強對被選擇通道的感知。同時注意視覺和聽覺刺激被稱為分配性注意，在分配性注意對視聽整合效應的促進作用要優于選擇注意。

關鍵詞：選擇性注意 分配性注意 視聽整合

1.引言

將視覺和聽覺通道獲得的感覺信息有效的合并為綜合?連貫?強健的知覺過程，被稱為視覺和聽覺信息的知覺整合，簡稱為視聽整合。先前研究發現，人類對同時提示的視聽覺刺激的反應時間要顯著快于對單獨提示的視覺或聽覺刺激的反應時間，并且準確率也有顯著的提高，這種現象被稱為冗余效應，這是由于視覺和聽覺的協同作用增加了檢測和識別環境中事件和對象的可能性。然而，視聽整合對于事件檢測的益處并不是穩定發生的，它取決于多種多樣的因素，在視聽覺的刺激中，由于人類認知資源的有限性，大腦只能選擇一部分信息進行高級認知加工，而注意在其中起著關鍵性的作用?知覺過程和注意過程并不是獨立的工作的，之研究者們著手研究這兩者之間是如何相互作用的，這有助于我們了解知覺與注意過程在大腦中是如何工作的。

有研究表明，將單通道視覺刺激、單通道聽覺刺激和雙通道視聽刺激隨機呈現在兩個橫向空間位置（左或者右）上，引導被試只注意其中一個位置（即選擇性空間注意），在這種條件下研究結果發現，被注意位置的視聽整合效應更大。Talsma等人（2005）使用ERP對這一現象進行了深入研究，結果表明被注意位置的雙通道刺激引起的ERP波形比單通道視覺刺激和單通道聽覺刺激引起的波形之和更大，而未被注意的位置兩者差異較小。這證明了選擇性空間注意對視聽整合的影響（D Talsma，&Woldorff， M. G.，2005;Senkowski， D，Talsma， D，Herrmann， C. S，& Woldorff， M.G，2005）。

然而，后續的發現通道選擇性注意對視對視聽整合聽整合的影響與空間選擇性注意有所不同，通道選擇性注意只關注被注意的通道而忽略不被注意的通道，通常被注意的通道信息加工會變強，而不被注意的通道信息加工會變弱（Beck&Kastner，2009）。日常生活中我們有這樣的經驗，比如在閱讀一本書時，常常會忽略聽到的聲音，在看電視劇時會同時注意聽到的和看到的刺激，這就是通道選擇或分配注意。一些關于選擇性注意的研究表明，當同時注意雙通道時，視聽刺激會比單感覺刺激反應時更短，準確性更高。但是在單通道選擇性刺激條件下，視覺刺激與聽覺刺激同時出現反而可能會產生抑制作用（Talsma等人，2007）。這一發現引起了研究者們的強烈興趣，本文將根據已有的研究嘗試對通道選擇性注意對視聽整合的影響進行綜述。首先闡述視覺選擇性注意對視聽整合的影響和聽覺選擇性注意對視聽整合的影響，其次闡述同時注意視聽覺刺激即分配性注意條件度視聽整合的影響，最后闡述此方向在認知障礙障礙方面的應用，并對研究未來進行展望。

2.通道選擇性注意對視聽整合的影響

2.1聽覺選擇性注意對視聽整合的影響

注意可以被導向聽覺特征。Talsma等人（2007）使用事件相關電位技術探究通道選擇性注意對視聽整合的影響，他們將目標刺激呈現在屏幕中央，設計了四種實驗條件，分別是只注意視覺刺激、只注意聽覺刺激、同時注意視覺刺激和聽覺刺激與同時不注意視覺刺激與聽覺刺激。實驗結果發現四種條件中，只有在同時注意視覺刺激和聽覺刺激的條件下才會發生視聽整合效應，尤其是早期的視聽整合，而在只注意聽覺的條件下未發生視聽整合效應。此外還有研究者使用多感覺辨別范式對通道選擇的性注意對視聽整合的影響進行研究，要求被試選擇紅色或者藍色的刺激（Laurienti等人，2004）。刺激可能以單聽覺或單視覺形式出現，或者同時以聽覺和視覺雙通道形式出現。聽覺刺激是對“紅色”和“藍色”這兩個詞的描述。視覺刺激是紅色和藍色的圓圈形圖片，在刺激出現前會呈現耳朵或者眼睛的圖案來提示被試注意哪種通道。結果證明了只有同時注意視覺通道和聽覺通道的情況下顯著的視聽整合效應才可能發生。選擇性注意單聽覺通道或者單視覺通道時，視聽刺激同時出現的條件下被試的反應沒有出現顯著的增強。這種現象的產生也許與多感覺抑制有關，即出現在不同位置的多感覺信息被整合到一個多感覺信息中的可能性會被降低。而通道選擇性注意可能是多感覺抑制效應的影響因素之一，由于只注意一種通道，被試會更加傾向于將不被注意的通道信息進行過濾而不是將注意和不注意通道的信息整合在一起，這種傾向增加了對雙通道刺激信息處理的成本。另外當只注意一個感覺通道時，不被注意的感覺皮層活動會受到抑制，導致較少的信息被用于整合，這可能是造成此現象的生理機制（Mozolic，J.L.，Hugenschmidt，C.E，Peiffer，A.M&Laurienti，P.J.，2008;Talsma等人，2007）。

然而，Li等人（2010）采用更簡單的GO/NO GO范式研究通道選擇性注意對視聽整合的影響，要求被試只對目標刺激做出反應，對標準刺激不做反應，結果表明在聽覺選擇性注意條件下，視聽刺激同時出現會增強對聽覺刺激的檢測，即出現了視聽整合冗余效應，并且ERP活動的潛伏期比以往其他的非通道選擇性注意研究發現的要晚，研究者認為通道選擇性注意可能導致了視聽整合效應的延遲，在聽覺選擇注意條件下，視聽整合發生在感覺加工后期階段（Talsma2007;Li Q ， Wu J，Touge T，2010;Frassinetti，F，Bolognini，N&E Làdavas，2002;Hugenschmidt， C. E，Mozolic， J. L，&Laurienti，P.J，2009）。與之前研究結果相似的是，在POS后200ms內即早期未發現視聽整合效應。Li Q等人（2009）使用ERP技術對聽覺選擇注意對視聽整合的影響進行探究，結果發現在POS后200ms內即感覺加工的早期階段未發現顯著的視聽整合效應，即聽覺和任務無關的視覺信息在感覺加工的早期沒有相互作用，但是在POS200ms后產生了顯著的視聽整合效應，這表明在聽覺注意任務中視聽刺激的跨通道交互作用發生在后期的認知過程階段。使用FMRI在生理學上對這一現象進行研究，結果發現對一種通道的刺激的選擇性注意可能會擴展到另一種通道中同步呈現的刺激，這可能時反映了通道選擇性注意條件下產生視聽整合的原因（Degerman， A. ， Rinne， T. ， Pekkola， J. ， Autti， T. ， Iiro P. J??skel?inen， & Sams， M等人，2007）。

2.2視覺選擇性注意對視聽整合的影響

注意也可以被導向一些特定的視覺特征。越來越多的研究證實了在選擇性注意的條件下，視聽整合效應主要發生在后期，即只有在分配注意條件下視聽整合效應才會在早期發生（Fort. A，Delpuech.C，Pernier.J& Giard.M. H，2002;Talsma 等人，2007）Talsma等人在2007年的研究中將刺激呈現在屏幕中央，要求被試只注意視覺刺激而忽略聽覺刺激，行為結果發現在視覺選擇性注意條件下視聽覺刺激同時出現時被試的反應時反而增加，準確率也不如視覺刺激單獨出現時的，然而對ERP結果進行分析卻發現，視覺選擇性注意的條件下在視聽刺激同時出現時，誘發了晚期的聽覺加工負波，即當注意力僅指向視覺時，對聽覺刺激也存在后期增強的加工，聽覺刺激和視覺刺激在后期會相互關聯。研究者認為這種關聯可能是由于視聽刺激在時間和空間上的一致性。

研究者對視覺刺激呈現在外周時的視覺選擇性注意對視聽整合的影響進行了研究，使用d’（擊中率和誤報率的標準分數之差）作為行為指標，結果發現在視覺選擇性注意條件下，與任務無關的聽覺信息的出現會增強對呈現在外周的視覺信息檢測的可能性，如Wu等人（2009）的研究要求被試只注意屏幕左邊或者右邊的視覺信息，對所有聽覺信息進行忽略，結果發現在感覺認知加工后期與任務相關的視覺刺激和與任務無關的聽覺刺激發生了相互作用，聽覺刺激的出現促進了對視覺信息的檢測。有研究者使用與視覺刺激同側或者雙側同時出現的聽覺信息來探究視覺選擇注意條件對視聽整合的影響，結果發現同側和雙側的聽覺刺激出現時，被試的反應時均快于視覺刺激單獨出現，也就是說同側和雙側的聽覺刺激都會增強視覺信息的檢測，然而使用ERP進行研究后發現同側和雙側的聽覺刺激對視覺信息檢測的生理機制是不同的，同側聽覺刺激增強視覺信號檢測來源于早期感覺加工和后期認知加工，而雙側的只來源于后期的認知加工。

越來越多的研究證明了，當聽覺刺激和視覺刺激在空間與時間上一致時，在只對一種通道選擇注意的條件下，也會產生對另一種通道的無意識加工（Driver和Spence， 2000;Wu， J.，Li， Q.，Bai， O.，&Touge， T，2009）.Buss等人（2005）的研究表明在視覺選擇性注意的條件下，與任務無關的聽覺刺激也會引起模式特異性皮質中的注意相關調節，這種調節被認為是反映了視聽整合。

3.分配性注意對視聽整合的影響

在考察選擇性注意對視聽整合的影響的研究中，研究者通常會在實驗中增加分配注意作為對比條件，分配注意就是要求被試同時注意視覺刺激和聽覺刺激，而在同時注意雙通道視聽刺激條件下被試的視聽整合效應優于選擇性注意條件這一結果也被研究者們反復證實。 Barutchu等人（2013）選擇1000Hz的純音與閃爍紅光的圖片分別作為聽覺目標刺激（AT）與視覺目標刺激（VT），并選用500Hz的純音和閃爍綠光的圖片作為不反應的聽覺干擾刺激（VI）與視覺干擾刺激（VI），這樣實驗條件就有三種干擾刺激組合（AI、VI、AIVI）和五種目標刺激組合（ATVI、ATVT、AIVT、AT、VT），可以各種注意條件下的視聽整合效應進行對比。實驗結果表明當同時以視覺刺激和聽覺刺激為目標即分配性注意時，視聽整合的效應是最佳的。

在視覺和聽覺選擇性注意條件下，視聽整合對于視覺或聽覺事件檢測的促進作用總是發生在后期，無論是行為結果還是認知神經學的結果都未發現選擇性注意條件下產生早期的視聽整合效應。然而大部分研究的結果都表明將注意同時分配到視覺刺激和聽覺刺激時視聽整合效應發生的更早（Talsma 等人，2007）。

越來越多的研究者使用ERP、fMRI等技術探究同時注意視聽覺刺激的分配行注意與視覺或者聽覺選擇性注意對視聽整合影響存在差異的生理機制。例如研究者選擇用ERP方法通過測量電極FCz、Cz和Pz的P50振幅來探究注意和視聽整合之間是如何相互作用的，結果發現同時注意視覺刺激和聽覺刺激的條件下P50的潛伏期顯著的小于視覺或者聽覺選擇性注意條件，并且視聽覺誘發的P50振幅顯著大于視覺刺激和聽覺刺激誘發的P50之和的現象也只在同時注意視聽覺的條件下存在（Talsma等人，2007）。也有研究者使用fMRI探究視覺選擇性注意、聽覺選擇性注意、視聽分配性注意對視聽整合的影響有何不同，結果發現在同時注意視聽覺刺激時，左右顳上葉皮層的注意相關調節作用強于視覺或者聽覺選擇性注意（Degerman等人，2007）。

這部分我們對比了視覺或者聽覺選擇性注意與分配性注意對視聽整合的影響的研究，對于視覺或聽覺選擇性注意，雖然存在爭議，但是綜合行為以及ERP等神經生理結果，我們可以支持這樣的假設：即當視覺和聽覺刺激在同樣的空間和時間出現時，對一種通道的注意會引起對另一種與任務無關的通道的注意，使得與任務無關刺激和與任務相關刺激產生相互作用，促進視聽整合效應，并且這個過程一般發生在認知過程的晚期。對于分配性注意即同時對視覺和聽覺刺激進行注意的條件，大部分的研究結果支持了只有將注意分配到視聽刺激上，視聽整合效應才能在更早的階段發生這一結論，并且比起選擇性注意，分配性注意條件下的視聽整合效應更為顯著，更能促進被試的行為表現，在ERP和fMRI等結果中相關振幅峰值也更高。綜上所述，選擇性注意和分配性注意兩種注意模式都可以對視聽整合加工進行調節，而其中分配性注意對早期的視聽整合效應更有益，選擇性注意對視聽整合效應的調節通常發生在晚期。

4.應用與展望

目前，關于選擇性注意和分配性注意對視聽整合影響的研究方法已經被研究者應用到對ASD自閉癥（Autism Spectrum Disorder）、AD阿爾茨海默癥（Alzheimer’s disease）等的診斷研究中，Jinglong Wu等人（2012）的研究發現，阿爾茨海默癥病人的視聽整合開始和最大獲益時間都比正常人晚。Magneé等人（2011）使用分散注意和選擇性注意的多感覺情緒任務對ASD的視聽整合效應進行研究，結果發現對照組在選擇和分配注意條件下都產生了視聽整合效應而ASD只在選擇性注意條件下產生了視聽整合效應，研究者認為這可能是由于ASD患者與正常人的注意機制不同，并且認為在ASD患者的感覺統合治療中加入注意的控制，可能比傳統訓練更有益。

另外雖然前人研究對選擇性注意和分配性注意對視聽整合影響進行了很深入的探討，但是在目前的文獻中仍然存在著有沖突和矛盾的結果，比如根據偏向競爭模型，被選擇通道的神經反應會加強，而被忽略通道的神經反應會被抑制，這可能會導致選擇性注意條件下不能產生視聽整合（Mishra. J&Gazzaley.A，2012），然而很多研究表明與任務無關的一種通道的信息會增強對另一種任務相關的信息的檢測，即產生了視聽整合冗余效應。目前的研究中關于產生這兩種不同結果的原因的探討較少，未來的研究可以從使用范式、行為結果結合認知神經結果去進行探究。

吉林省教育廳科學技術研究項目（JJKH20211101KJ）;

中央高校基本科研業務費專項資金資助（高低線索有效性條件下時間注意對視聽覺整合的影響機制研究，451210321096）;

奕陽教育研究院青年學者研究資助項目（371192001401）。