選擇性注意條件下人腦視聽覺空間信息處理機制研究

馮珍，楊菁菁

（長春理工大學 計算機科學技術學院，長春 130022）

信息時代，人們每天都會獲得各種各樣的信息指導正常的生活、工作和娛樂。大腦是人體進行信息分析處理的“處理器”，通過一定的信息處理機制對各感官獲得的信息進行分析，指導人體活動。其中，視、聽兩通道獲取的信息占比最大，視聽信息整合也因此成為腦信息學研究的重要內容。注意是人腦對客觀事物的指向和集中，注意功能決定了人腦對信息的選擇[1-2]。不同注意條件下人腦信息處理的機理不同。空間信息又是影響視聽信息整合的主要因素。

本研究采用選擇性注意行為學實驗的方式對人腦視聽覺空間信息處理機制進行研究，能保證被試把注意力集中到重要的刺激或刺激的重要方面，排除次要刺激的干擾，得到更有效的數據[3]。實驗要求被試判斷注意通道的刺激位置并做按鍵反應。對17名被試進行實驗，獲得各實驗任務下的反應時間及正確率，分析實驗數據，得到人對視聽兩通道信息處理之間相互影響的規律。結論將輔助人腦視聽覺信息整合的研究，對腦機接口技術、多傳感器數據融合、機器人技術、人機交互技術的發展都具有重要意義。

1 實驗介紹

1.1 被試的選擇

實驗選擇17名長春理工大學在校大學生作為被試（8男9女，平均年齡22.7歲），被試均為自愿參加實驗，身體狀況良好，沒有視覺聽覺方面的疾病；配合度良好，實驗前保證按時作息，充分了解實驗任務。

1.2 實驗刺激

實驗刺激共有8種，分別為：左側視覺刺激（VL）、右側視覺刺激（VR）、左側聲音刺激（AL）、右側聲音刺激（AR）、視覺左聲音左混合刺激（AL?VL）、視覺右聲音右混合刺激（ARVR）、視覺左聲音右混合刺激（ARVL）、視覺右聲音左混合刺激（AL?VR）。前4種（如圖1）為單通道刺激，后4種（如圖2）為雙通道刺激。

圖1 單通道刺激

圖2 雙通道刺激

聽覺刺激由Audacity 2.1.0聲音制作軟件制作，通過左右兩個音響提示；視覺刺激由MATLAB制作的gabor patch，通過19英寸顯示器顯示。使用presentation編寫實驗程序，實現刺激依隨機序列隨機出現，每個刺激持續時間為40ms，刺激間間隔為800～1500ms的隨機值。

1.3 實驗任務

（1）視覺判斷任務（Visual），即判斷圖片位置左右。被試注意隨機出現的視覺圖片刺激，當圖片出現在左側時按鼠標左鍵，圖片出現在右側時按鼠標右鍵；

（2）聽覺判斷任務（Auditory），即判斷聲音的位置左右。被試注意隨機出現的聽覺刺激，當聲音發出位置是左側音響時按鼠標左鍵，聲音由右側音響發出時按鼠標右鍵。

圖3 實驗裝置示意圖

1.4 實驗環境

實驗在光線可調節的隔音室中進行，確保被試能夠集中注意于實驗。視覺刺激背景為黑色，視覺圖片出現在固視點（顯示器中央的“+”）下4°的水平線上，聽覺刺激由左右音響發出。圖片出現位置及音響擺放位置為向左和右8°視角位置。被試下巴放在下頜托上，距顯示屏距離為110cm。

1.5 實驗流程

實驗前，向被試發送被試須知，便于被試簡單了解實驗內容、調整精神狀態。解答被試疑惑，確保被試充分了解實驗任務。帶領被試進入隔音室熟悉實驗環境，并做各實驗任務下的練習實驗，簡單統計被試練習實驗的數據，待正確率穩定后開始正式實驗。

每次實驗開始前，被試被告知實驗任務。實驗開始時，首先在屏幕中央呈現注視點“+”3000ms，注視點消失后視覺、聽覺、視聽混合覺刺激隨機出現，被試依據實驗任務作出反應。每組實驗持續約5分鐘，共4組，每名被試隨機進行各組實驗，實驗間隔允許被試休息活動。

2 數據結果

2.1 數據處理過程

數據處理整體過程如圖4所示。

圖4 實驗數據處理過程

2.2 個人結果整理與分析

對每個被試的實驗數據進行分別保存，隨后進行數據篩選、標準差計算、偏差數據剔除、均值及正確率計算等基本處理。將基本處理后的個人數據以實驗任務為單位匯總保存。

2.3 平均結果整理與分析

各實驗任務下對每名被試的數據進行反應時間和正確率進行平均值、標準差和標準誤差的計算，得到如下的數據結果。

圖5 Visual反應時間

圖6 Visual正確率

由圖5、6匯總的數據結果可以得出以下結論：判斷視覺刺激位置左右時，位置相反的聽覺刺激會使被試對該刺激的反應時間長于對單通道視覺刺激的反應時間，位置相同的聽覺刺激則會使被試反應時間略短于單通道視覺刺激的反應時間。被試在此實驗任務下的正確率比較均衡，沒有出現明顯差異。

圖7 Auditory反應時間

圖8 Auditory正確率

由圖7、8匯總的數據結果可以得出以下結論：判斷聽覺刺激位置左右時，單通道刺激與雙通道刺激反應時間的差異明顯，被試對包含位置相反圖片的混合刺激反應時間明顯長于對視聽位置相同刺激的反應時間，說明圖片刺激對被試的反應產生了干擾。被試在此實驗任務下的正確率也出現了明顯的差異，視聽刺激位置相反的混合刺激正確率明顯低于其他類型刺激的正確率，視聽刺激位置相同的混合刺激正確率最高。

2.4 SPSS分析

利用SPSS對匯總后的數據進行分別以單一通道刺激空間位置左右、視聽刺激位置是否一致、單/雙通道為依據的差異分析[4]，結合各組數據均值比較所得的結果進行科學的規律總結。

Visual反應時間SPSS分析結果顯示：ALVLARVR、ALVR-ARVL對比，p值分別為p=0.001、p=0.007，說明被試對雙通道刺激的反應時間左側和右側存在差異，結合反應時間平均數值可以發現，無論聽覺刺激位置與視覺刺激位置是否一致，對出現在右側的視覺刺激的反應均快于對左側位置刺激的反應時間，這與實驗設計右手按鍵且按右鍵及人的方位偏好有關[5]。

ALVR-ARVR的p值=0.015，說明被試注意視覺時，聽覺刺激對右側出現的圖片刺激影響更明顯。產生這一結果是因為視覺對位置左右的判斷是非常敏感的，尤其是在右側，加之在右側按鍵且鼠標按右鍵，所以視覺右側受聽覺刺激的影響更顯著。Visual正確率SPSS分析結果無明顯差異。

Auditory反應時間SPSS分析結果顯示：

ALVL-ALVR的p=0，表示視聽兩通道刺激同時存在時，視覺圖片位置與注意的聽覺刺激發出位置相同或不同對反應時間有明顯的影響。

AL-ALVL、AL-ALVR、AR-ARVR對比p值依次為p=0.047、p=0.001、p=0.02，說明視聽雙通道刺激與單獨聽覺刺激相比，前者反應時間在視聽刺激位置相同時明顯加快，而在視聽刺激位置不同時則偏慢。

Auditory正確率SPSS分析結果：ALVL-AL?VR、ARVR-ARVL分別為p=0.001、p=0.007，表示視聽混合刺激中兩通道刺激位置相同與相反時正確率差距明顯。

AL-ALVL、AL-ALVR、AR-ARVR、AR-ARVL結果分別為p=0.047、p=0.001、p=0.02、p=0.009，說明與單獨聽覺刺激的正確率相比，包含視覺刺激的混合刺激在位置相同和位置相反時均對被試對該刺激的反應產生了明顯的影響。結合正確率均值處理后的數據，得到位置相同的視覺刺激提高正確率、位置相反的視覺刺激拉低正確率的結論。

數據處理過程主要是對原始數據進行基本的數據過濾，剔除無效數據和異常數據，便于提升下一步分析的準確性；隨后進行均值、標準差、標準誤差的計算，分類匯總數據，進行簡單分析總結；接著利用SPSS數據統計分析方法對數進行科學的統計分析，得到更有說服力的數據，進而進行結論的說明和總結。分析過程中首先使用的excel進行前期的基礎處理，隨后進行柱形圖的繪制，更直觀地展示數據、總結規律，利用SPSS進行不同參考條件下的差異對比，分析得到最終結論[6]。

3 討論分析

3.1 注意視覺和注意聽覺的差別

實驗結果顯示，雙通道刺激對注意聽覺產生的影響比注意視覺的時候更明顯，這說明聽覺注意更加容易受到視覺刺激的影響，而聽覺刺激對視覺注意的影響則相對較弱。

可以發現，視覺在空間認知上更具優勢，所以對聽覺的空間判斷影響較大，即聽覺的空間方向認知上相對比較弱，所以視覺對其干擾比較大。體現在被試對位置一致的刺激的反應明顯快于對單獨聽覺刺激的反應，對位置不一致的刺激的反應則慢于對單獨聽覺刺激的反應，正確率也有相同的變化趨勢；注意視覺位置受聽覺刺激的影響則不明顯。

當兩個通道的信號如果都很強、都很容易、只依靠其中某個通道就可以完成實驗任務時，雙通道信息整合的效果相對不是很明顯[7]。聽覺通道判斷空間能力比較弱，給出一個輔助的視覺通道空間方位的信息的時候，就會更多的依賴于這兩個通道的信息一起作用，一致的時候就促進反應，相反的時候就阻礙了反應。

3.2 針對不同刺激形式結果的討論

雙通道刺激位置一致和不一致表現出的影響不同：一致的雙通道刺激會給注意一個正確的提示，使信息更有效地整合，表現為反應時間的加快和正確率的提高，不一致的雙通道刺激會誤導對注意通道刺激的判斷，信息整合也收到干擾，使反應時間變慢，正確率降低。

4 結論

本課題通過選擇性注意實驗研究人腦視聽覺信息處理機制，對視聽兩通道信息處理之間的影響規律進行研究。通過分析實驗數據得到了以下結論：視聽兩通道信息處理進行融合處理，且相互之間存在影響，視覺刺激在空間位置認知上要強于聽覺，因此從其他通道干擾的角度來看，視覺注意受聽覺刺激的干擾較小，表現在反應時間和正確率上沒有明顯的差別，聽覺相對視覺在空間位置的感知上較弱，因此容易受到來自視覺刺激的影響，使注意聽覺的情況下各種刺激的反應時間和正確率落差較大。

總結這些規律并加以現實意義，可以便捷人們的日常生活：例如，利用視聽信息處理之間的輔助作用，進行監控系統的可視可聽化，可以對監控內容進行更真實的反應；不同通道信息發出位置的差別可用于車輛停靠引導裝置，除了顯示屏視覺上的位置提示加上輔助的不同方位的聽覺警告提示，視聽信息共同提示將會起到更好的引導效果。研究腦電信號對規律進行驗證，可以為腦機接口技術提供理論依據，利用腦電信息的特征進行反向的控制，對實現思維控制機械的腦機接口技術具有重大意義。