音樂對語言加工的影響
——來自ERP 的證據*

王 星 李德高** 李 藝 宋丹貴

（1.曲阜師范大學文學院，曲阜 273165；2.曲阜師范大學音樂學院，日照 276827；3.浙江大學外國語言文化與國際交流學院，杭州 310030）

1 引 言

語言和音樂相似，較小的語言結構單位借助句法規則可以組合構成較大的語言結構單位，同樣，較小的音樂結構單位通過音樂句法規則也可以組合構成較大的音樂結構單位（Asano&Boeckx，2015）。音樂句法最重要的特征之一是建立在調性和聲基礎上的音高組織規則（張晶晶等，2020）。譬如，在和弦序列中，像“主和弦（tonic）-屬和弦（dominant）-主和弦”的結構構成完美終止（perfect cadence）。相反，如果不以主和弦結尾，就構成和弦句法違反。

研究表明，有形態變化語言的句子和和弦序列在句法加工上有神經資源共享性（Patel，2010）。漢語缺乏形態變化，那么，漢語句子和和弦序列加工之間是否也有神經資源共享呢？對這一問題做出回答，將有助于加深對音樂和語言句法加工關系的普遍性認識。

根據共享句法整合資源假說（shared syntactic integration resource hypothesis，SSIRH）（Patel，2003），音樂和語言共享用于句法整合加工的神經資源。如Hoch 等（2011）同步呈現有無句法違反的句子和有無和弦句法違反的和弦序列，結果發現，被試對句末有句法違反詞進行詞匯判斷作業時，如果匹配的不是主和弦，其反應時就顯著變長。同樣，李恒和曹宇（2020）以帶有主語或賓語關系從句的漢語句子和中國民樂片段為材料研究發現，音樂句法違反對句子加工有顯著干擾作用。Kunert 等（2016）發現，和僅句子是非花園路徑句條件相比，當和弦序列和句子同時出現花園路徑結構（見圖1）時，被試的和弦序列感知完整性評分顯著降低。

圖1 Kunert et al.（2016）中和弦序列舉例

除行為實驗研究證據外，采用ERP（event-related potential，事件相關電位）技術所取得的研究證據也支持SSIRH。譬如，和弦序列加工中，調外和弦會誘發反映音樂句法自動化加工的早期右前負波（early right anterior negativity，ERAN）（Koelsch et al.，2013）。Carrus 等（2013）同步呈現句子和音樂旋律，要求被試只關注語言刺激，結果表明，由于低預期音誘發的ERAN 占用了部分加工資源，句子句法違反誘發的左前負波（left anterior negativity，LAN）顯著減弱。不論給被試呈現有句法違反的和弦序列還是句子，都會觀察到P600，而且在兩種刺激條件下，P600 的潛伏期或頭皮分布都沒有顯著差異（Patel et al.，1998）。

同時，認知控制能力不同，音樂和語言共享的加工機制也會有所差異（Slevc &Okada，2015）。譬如，音樂訓練可以增強大腦額下回灰質的密度（James et al.，2014），有助于增加左右兩側弓狀束之間的聯系，進而增強言語的感知能力（Li et al.，2021）。因此，對同步呈現的語言和音樂刺激，受過音樂訓練的音樂人，其句法加工會在更大程度上受到音樂加工的影響。

為考察漢語和音樂句法加工資源共享性，本研究擬仿效Yang 等（2021），采用詞類范疇違反（syntactic category violation，SCV）的方法構造漢語句法違反句，并參考Koelsch 等（2005）的范式，分別向音樂人和非音樂人被試同步呈現音樂和語言刺激。音樂加工會影響SCV 誘發的P600，且音樂人會比非音樂人受到更大影響；語義違反所誘發的N400 不會受音樂加工影響。

2 方 法

2.1 被試

音樂人是有鋼琴等樂器訓練背景的26 名大學生（男生11 人），非音樂人是未曾接受音樂訓練的26 名大學生（男生7人）。非音樂人還接受了《蒙特利爾失歌癥成套測驗》（Montreal Battery of Evaluation of Amusia，MBEA，Peretz et al.，2003）。MBEA是一套包含旋律輪廓、音程和音階等6 方面的標準化測驗，是失歌癥篩查中廣泛應用的工具。如表1 所示，兩組被試在年齡（t(50)=0.86，p=0.395）和受教育年限（t(50)=0.73，p=0.470）上無顯著差異，在音樂訓練年限（t(50)=37.60，p＜0.001，Cohen's d=-13.37，BF10＞100）和每天平均聽歌時長（t(50)= 2.11，p=0.040，Cohen's d=0.59，BF10=1.69）上有顯著差異。

表1 被試信息表

被試均為右利手，視力正常或矯正視力正常，聽力正常，無腦外傷或遺傳病史。被試簽署實驗知情同意書并獲得適當報酬。實驗獲得曲阜師范大學生物醫學倫理委員會批準。

2.2 材料

首先確定60 個數量名結構（如，“一部手機”），請25 位大學生用7 點量表評定其熟悉度（1=非常不熟悉，7=非常熟悉），獲得熟悉度評分為6.84（SD=0.37）的30 個數量名結構。然后以這些數量名結構為句尾構建30 個正確句（如，“警察撿到了一部手機”）。再確定60 個動作含義動詞（如，“奔跑”），請25 名大學生用7 點量表評定動詞含義的動作性強度（1=動作性最弱，7=動作性最強），獲得評分最高的30 個動詞。這30 個動詞（M=4.41，SD=11.30；M=18.97，SD=4.02） 與正確句的句末名詞（M=6.89，SD=7.71；M=16.93，SD=4.10）在詞頻（t(58)=0.99，p=0.325） 和筆畫數（t(58)=-1.82，p=0.073）上無明顯差異。用這些動詞分別替換正確句的句末名詞構建30 個SCV 句（如，“警察撿到了一部奔跑”）。25 位大學生用7 點量表評定句子的可讀性（1= 非常難以讀懂，7=非常容易讀懂）。結果表明，正確句（M=1.16，SD=0.37）和SCV 句（M=6.60，SD=0.65）的可讀性評分之間差異顯著（t(58)=56.23，p＜0.001，Cohen's d=-10.29，BF10＞100）。為避免被試對同一句式的策略性加工，增加了60 個有違反和60 個無違反的填充句。填充句中也含有數量名結構，但它們在句中的位置不固定。填充句在句長和可讀性上與關鍵句相當（ps＞0.05）。

音樂表演專業具有副高職稱的在編教師編寫了30 個有和弦句法違反和30 個無和弦句法違反的和弦序列。如圖2 所示，前4 個和弦調相同，無句法違反和弦序列的結尾和弦是該調的主和弦；有句法違反和弦序列的結尾和弦是五度圈中距離至少三步以外調的主和弦。和弦序列選用了C 大調、G 大調和F 大調，每個調各有10 個有無句法違反的和弦序列。

圖2 和弦序列示意圖

和弦序列使用Sibelius 2019 打譜制作，以.mid 格式導出，并使用Cubase 10.5調至每分鐘108 拍的速度，再用Kontact 6加載音源，將和弦序列的音色設為大鋼琴，導出為.wav 格式文件。輸出音頻的采樣率為44100Hz，采樣位數為16bit，比特率為11411kbps。所有和弦序列都使用Adobe Audition CS6 將音量標準化為-3dB。

2.3 設計

采用2（被試類型：音樂人或非音樂人）×2（句子類型：SCV 句或正確句）×2（和弦序列類型：有無句法違反的和弦序列）三因素混合測量設計，后兩個變量為重復測量因素，因變量為被試在對句末詞加工上的ERP 成分（ERAN、N400 和P600）的振幅。

2.4 程序

被試佩戴耳機端坐顯示器前，眼睛直視屏幕中央，瞳孔距顯示器中央約80cm，水平視角為4°。顯示器中央先出現一個紅色注視點“+”，500ms 后逐詞呈現句子，前4 個詞的呈現時間為600ms，句末詞的呈現時間為1200ms。從第1 個詞開始，同步播放和弦序列：第1 至第5 個和弦的播放時間分別和句子第1 至第5 個詞的呈現時間相等。要求被試關注句子和忽略音樂刺激，就剛剛消失句子的含義正確與否在鍵盤上做出按鍵應答。問題應答結束，程序自動進入下一個試次。所有刺激偽隨機排序，相同類型刺激連續呈現的次數不超過2 次，相鄰的兩個句子不同。實驗分兩個組塊，每個組塊有120 個試次。兩個組塊之間被試短暫休息。要求被試在實驗過程中盡量保持頭部和身體不動，盡量減少眨眼。

2.5 數據采集與分析

EEG 數據通過NeuroScan 公司ESI-256 系統記錄，使用國際標準的10～20系統64 導銀/ 氯化銀（Ag/AgCl）電極帽在DC 模式下進行數據采集。所有電極點頭皮電阻小于5kΩ，采樣率為1000Hz。在線參考為鼻尖，離線分析轉為雙側乳突。使用EEGLAB 2020 和ERPLAB 7.0 在MATLAB 2020a 上對數據進行離線分析。在手動剔除壞段之后進行0.1～30Hz 的帶通濾波，去除50Hz 工頻干擾（Zhou et al.，2019）。采用Evoked ERP_ERO_v1.1（Zhang et al.，2020）工具箱進行ICA 分析，去除眼電。數據分段-200ms 至1000ms，即刺激前200ms 作為基線進行校正。最終對兩組被試的數據分別進行疊加處理。

根據對疊加總平均后波形圖的觀察分析和參考前人研究（Carrus et al.，2013），選取24 個電極點并分為4 個區：前部左側（F1，F3，F5，FC1，FC3，FC5）、前部右側（F2，F4，F6，FC2，FC4，FC6）、后部左側（CP1，CP3，CP5，P1，P3，P5） 和后部右側（CP2，CP4，CP6，P2，P4，P6）。

采用SPSS 22.0 對在句末詞上觀察到的ERAN（150 ～250ms）、N400（300 ～450ms）和P600（500～700ms）的平均振幅進行2（被試類型）×2（句子類型）×2（和弦序列類型）×2（部位：前部或后部）×2（半球：左半球或右半球）五因素混合測量方差分析。出現球形檢驗結果顯著時，對p 值進行Greenhouse-Geisser 校正，采用Bonferroni校正法進行多重比較，并用JASP 軟件進行貝葉斯因子分析（吳凡等，2018）。

3 結 果

音樂人和非音樂人對閱讀理解問題的應答準確率分別為0.94（SD=0.07）和0.95（SD=0.06）。如圖3 和4 所示，ERAN、N400和P600 都體現了來自操縱變量的顯著影響。

圖3 音樂人句法條件下總平均ERP 波形圖和腦地形圖

圖4 非音樂人句法條件下總平均ERP 波形圖和腦地形圖

對ERAN 分析表明，在大腦前部區域，半球主效應顯著（F(1，50)=21.51，p＜0.001，η2p=0.30，BF10=80.84），右半球（M=4.14μV，SE=0.40）比左半球（M=4.65μV，SE=0.44）的振幅更大。被試類型主效應顯著（F(1，50)=3.89，p=0.044，η2p=0.07，BF10=2.02），音樂人的ERAN 振幅（M=3.57μV，SE= 0.59）顯著大于非音樂人的ERAN 振幅（M=5.22μV，SE=0.59）。

對N400 分析表明，在大腦后部區域，句子類型主效應顯著（F(1，50)=17.52，p＜0.001，η2p=0.26，BF10＞100），SCV 句（M= 1.41μV，SE=0.41）比正確句（M=2.85μV，SE=0.51）誘發了振幅更大的N400。半球和被試類型交互作用顯著（F(1，50)=6.56，p=0.014，η2p=0.12，BF10＞100），簡單效應分析表明，音樂人在右半球（M=1.82μV，SE= 0.59） 比在左半球（M=2.54μV，SE=0.66）的振幅更大（F(1，50)=6.33，p=0.015，η2p=0.11，BF10=3.12）。

對P600 分析表明，在大腦后部區域，句子類型和和弦序列類型交互效應顯著（F(1，50)=5.49，p=0.023，η2p=0.10，BF10=41.21），SCV 句條件下，有句法違反（M=5.05μV，SE=0.0.52） 比無句法違反的和弦（M=4.31μV，SE=0.49）誘發了振幅更大的P600（F(1，50)=8.25，p=0.006，η2p=0.14，BF10=3.12）；在有（F(1，50)=93.96，p＜0.001，η2p=0.64，BF10=16.64）無（F(1，50)=79.84，p＜0.001，η2p= 0.61，BF10=35.67）音樂句法違反條件下，SCV 句（M=5.05μV，SE=0.52；M=4.31μV，SE=0.49）比正確句（M=2.52μV，SE=0.42；M=2.36μV，SE=0.48）誘發了振幅更大的P600。句子類型、半球和被試類型交互效應顯著（F(1，50)=7.58，p=0.008，η2p=0.13，BF10＞100），在正確句條件下，非音樂人（M=4.00μV，SE=0.82）比音樂人（M=1.50μV，SE=0.79）在大腦左半球的振幅更大（F(1，50)=4.82，p=0.033，η2p=0.09，BF10=4.01）。

4 討 論

與前人研究（Yang et al.，2021）一致，SCV 在晚期階段誘發了振幅更大的N400和P600；音樂對語言加工的影響僅發生在P600 上。

相比于正確句，被試在SCV 句上有振幅更大的N400，體現了他們對量詞和動詞間語義不匹配的加工（Huang & Schiller，2021）。N400 反映詞匯語義表征與呈現詞詞義的匹配程度（Lau et al.，2008）。如，在“警察撿到一部手機/奔跑”的閱讀中，被試看到“一部”時會根據現有語義信息已經激活“手機”的表征，“手機”的出現符合語義預期；“奔跑”的出現違反語義預期，導致N400 的振幅增大。與研究預期一致，N400并沒有受到來自音樂句法加工的影響。

在句法上，量詞要求后面出現一個名詞。SCV 誘發P600 的結果反映了量詞和動詞在句法層面上的加工（Levelt et al.，1999）。而且和只有SCV 條件相比，當SCV與和弦句法違反同現時，P600 的振幅顯著增大。這說明，P600 的振幅似乎受到了音樂句法加工的影響。即，與SSIRH 一致，在晚期加工階段，漢語數量名結構和和弦序列可能共享了用于句法整合加工的資源。但是，它們使用的是兩套性質相同而又相互影響的加工機制：當兩個領域同時出現句法違反時，相應的兩種句法整合加工就會相互促進（Roncaglia-Denissen et al.，2018）。

相比于非音樂人，音樂人在調外和弦上誘發了更大的ERAN，表明音樂訓練確實增強了其音樂句法意識，致使其音樂句法早期加工的自動化程度更高（Koelsch et al.，2002）。同樣，音樂人誘發了比非音樂人更小的P600，表明音樂人有更強的音樂句法意識，能分配更多的加工資源用于和弦序列句法分析（Patel，2003）。而非音樂人由于對音樂句法規則欠熟練，更傾向于采用整體感知的方式進行加工（Featherstone et al.，2013）。

從腦地形圖分布結果看，與非音樂人相比，音樂人的N400 和P600 成分都偏向于左半球。這是因為音樂加工更多地激活了大腦皮層左半球區域（Murayama et al.，2004）。音樂訓練使音樂人的語言信息編碼和整合能力加強（Li et al.，2021），對音樂句法有著更加清晰且敏感的表征（Koelsch et al.，2007），因而不自覺地對音樂句法加工投入更多的資源。

對音樂人比非音樂人誘發了更小P600 結果的另一種更為簡單的解釋是，音樂和語言刺激同時呈現，受實驗任務影響，非音樂人不注意音樂，所以語言響應更強，音樂響應更弱；相反，音樂人自發地更關注音樂，所以響應不同。不過，這種理解也許可以排除。首先，同語言技能發展一樣，人在日常音樂接觸中能發展關于音階關系的感知技能（Koelsch et al.，2000）。無論接受音樂訓練程度如何，成年人都能按照組成元素之間的等級關系來理解音樂（Bharucha&Krumhansl，1983）。其次，不論是句子句法違反還是和弦序列句法違反，加工都會誘發P600（Patel et al.，1998）。

毫無疑問，本研究在語言和音樂句法整合加工有神經資源共享性方面，提供了新的證據。但是，由于漢語中不存在有句法違反而語義正確的句子，因此，本研究考察句法加工時不能完全排除來自語義加工的影響。此外，本研究采用的音樂為西方調性音樂，研究發現，是否可以推廣到中國傳統音樂加工上，還有待進一步驗證。

5 結 論

漢語句子與和弦序列的句法整合加工之間似乎有神經資源共享，兩者使用了性質相同且相互促進的加工機制。同時，音樂訓練對語言和音樂句法整合加工資源共享性有調節作用，音樂人對音樂句法加工會比非音樂人投入更多的加工資源。