第二外語(yǔ)讀音處理時(shí)腦活動(dòng)差異的功能性磁共振成像研究

李修軍，郭啟勇，吳景龍

（1.長(zhǎng)春理工大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022；2.中國(guó)醫(yī)科大學(xué)附屬盛京醫(yī)院 放射科，沈陽(yáng) 110004；3.日本岡山大學(xué) 自然科學(xué)研究生院，岡山 700-8530）

語(yǔ)言是人腦所特有的一種高級(jí)功能，是人類社會(huì)信息傳遞的主要形式。如何讓計(jì)算機(jī)的中文處理達(dá)到人腦的水平，開(kāi)發(fā)更接近人類的智能機(jī)器，是人工智能領(lǐng)域的熱門(mén)課題。研究人腦的語(yǔ)音加工處理機(jī)制是實(shí)現(xiàn)人工智能的重要理論基礎(chǔ)和前沿研究。在語(yǔ)音加工處理研究中，語(yǔ)音控制與語(yǔ)音模式識(shí)別是其中重要的一部分，本研究將對(duì)中文和日文的讀音處理進(jìn)行深入研究。

目前，應(yīng)用功能性磁共振成像技術(shù)研究語(yǔ)言加工腦機(jī)制是應(yīng)用語(yǔ)言學(xué)和認(rèn)知神經(jīng)科學(xué)的熱點(diǎn)問(wèn)題和前沿研究。尤其像是對(duì)漢語(yǔ)-英語(yǔ)第二外語(yǔ)的研究已經(jīng)取得了部分科研成果［1-5］，但關(guān)于漢語(yǔ)-日語(yǔ)第二外語(yǔ)的研究才剛剛起步。功能磁共振成像技術(shù)能對(duì)大腦的結(jié)構(gòu)和活動(dòng)狀態(tài)進(jìn)行成像，進(jìn)而輔助醫(yī)療診斷的設(shè)備，和其他手段相比（比如腦電（ERP，Event-Related Potentials）等）具有高空間解像度的優(yōu)勢(shì)，能達(dá)到毫米級(jí)。本實(shí)驗(yàn)采用功能磁共振成像技術(shù)探討中日雙語(yǔ)被試第二外語(yǔ)讀音加工的腦機(jī)制。

第二外語(yǔ)教學(xué)中，常常發(fā)現(xiàn)這樣一個(gè)問(wèn)題，有些學(xué)生認(rèn)為英語(yǔ)入門(mén)難，學(xué)起來(lái)會(huì)越來(lái)越簡(jiǎn)單，而有些學(xué)生認(rèn)為日語(yǔ)卻是入門(mén)簡(jiǎn)單越學(xué)越難。原因是什么呢？原因之一是與語(yǔ)系有關(guān)。日語(yǔ)和漢語(yǔ)屬于同一語(yǔ)系，具有相似的特點(diǎn)。而英語(yǔ)對(duì)于中國(guó)人來(lái)說(shuō)則是完全陌生的語(yǔ)言。本研究被試為中日雙語(yǔ)者，即學(xué)過(guò)日語(yǔ)的中國(guó)人。近年來(lái)國(guó)內(nèi)外眾多語(yǔ)言研究者圍繞著這一科研課題進(jìn)行了大量的行為學(xué)實(shí)驗(yàn)和腦神經(jīng)影像學(xué)的研究［6-9］，并且得到了一些科研成果，這些成果對(duì)語(yǔ)言課堂教學(xué)提供了基礎(chǔ)數(shù)據(jù)和理論依據(jù)。

有關(guān)中-英雙語(yǔ)研究中，具有代表性的是Tan等人［3］用第二外語(yǔ)是英語(yǔ)的大學(xué)生和母語(yǔ)為英語(yǔ)的被試，研究了母語(yǔ)和第二外語(yǔ)腦功能的差異，并確定了部分中-英第二外語(yǔ)的特有腦區(qū)。但是英語(yǔ)為字符語(yǔ)言，漢字為象形文字，二者之間無(wú)論從形態(tài)上還是發(fā)音上都存在很大的差異。本實(shí)驗(yàn)將利用中日雙語(yǔ)被試，使用中文讀音判斷任務(wù)和日文讀音判斷任務(wù)對(duì)此內(nèi)容做深入的研究。

1 實(shí)驗(yàn)

1.1 被試

實(shí)驗(yàn)使用中-日雙語(yǔ)被試共計(jì)15人，其中男8人，女7人，平均年齡23.08歲，均為沈陽(yáng)中國(guó)醫(yī)科大學(xué)七年制本碩連讀學(xué)生，所有被試均符合身體健康，無(wú)精神類疾病，右利手，視力聽(tīng)力正常的條件。所有被試在實(shí)驗(yàn)前均進(jìn)行了日語(yǔ)水平1級(jí)測(cè)試并簽署了由中國(guó)醫(yī)科大學(xué)倫理委員會(huì)制定的《知情同意書(shū)》。

1.2 實(shí)驗(yàn)刺激

本實(shí)驗(yàn)刺激分為中文讀音相關(guān)刺激和日文讀音相關(guān)刺激（表1中只給出了中文刺激，日文刺激和其類似）兩種。被試將對(duì)兩種刺激分別進(jìn)行判斷。兩種刺激分別根據(jù)讀音配對(duì)成相同組和不同組，各24對(duì)，如成功（cheng gong）-進(jìn)攻（jin gong）為相同組，緊張（jin zhang）-放棄（fang-qi）為不同組。共組成48張圖片，作為控制刺激使用字號(hào)大小判斷刺激，使用字號(hào)為127和107的兩種非詞語(yǔ)刺激，圖片像素為245×245，顯示器分辨率采用1024×768，實(shí)驗(yàn)中使用的視角為8度。兩個(gè)刺激之間用一個(gè)“+”作為固視點(diǎn)，所有刺激均以黑底白字的形式呈現(xiàn)給被試。

表1 實(shí)驗(yàn)刺激圖

1.3 實(shí)驗(yàn)任務(wù)

在功能性核磁共振實(shí)驗(yàn)掃描時(shí)，所有的實(shí)驗(yàn)刺激通過(guò)反光鏡折射至被試眼部。在進(jìn)行序列掃描時(shí)要求被試頭不動(dòng)（頭動(dòng)超過(guò)1.5mm的被試將被剔除），根據(jù)提示語(yǔ)對(duì)屏幕中同時(shí)出現(xiàn)的兩個(gè)漢語(yǔ)單詞或日語(yǔ)單詞的讀音是否相同或者字號(hào)是否相同進(jìn)行辨別，相同時(shí)用左手拇指按鍵，不同時(shí)用右手拇指按鍵。四種實(shí)驗(yàn)刺激均隨機(jī)出現(xiàn)。刺激呈現(xiàn)時(shí)間均為2500ms，間隔時(shí)間為1500ms，一個(gè)組塊為24s。間隔的時(shí)候只提示注視點(diǎn)“+”。一共48個(gè)刺激，一個(gè)序列的時(shí)間就是大約6分鐘。然后為了制作個(gè)人的標(biāo)準(zhǔn)腦圖像和圖像對(duì)齊我們加掃了3D和T1圖像。

1.4 數(shù)據(jù)采集與分析

數(shù)據(jù)采集：本實(shí)驗(yàn)采用中國(guó)醫(yī)科大學(xué)附屬盛京醫(yī)院的Philips Intera Achieva 3.0T超導(dǎo)型MR掃描系統(tǒng)，刺激儀為深圳美德公司的SA9900視聽(tīng)覺(jué)刺激提示系統(tǒng)，應(yīng)用8通道SENSE頭線圈，層厚為3.5mm，TR為2s，TE為30ms。

數(shù)據(jù)分析：首先把所有文件統(tǒng)一放在一個(gè)文件夾里以便后面的數(shù)據(jù)處理，然后將原始數(shù)據(jù)的Dicom文件使用MRIcro軟件進(jìn)行數(shù)據(jù)轉(zhuǎn)換，轉(zhuǎn)換為Matlab7.5能夠識(shí)別的文件格式（即.hdr和.img格式）。接下來(lái)使用基于Matlab7.5的SPM5軟件（www.fil.ion.ucl.ac.uk）進(jìn)行圖像后期處理。后處理包括：一、前處理：（1）頭動(dòng)校正和圖像的配準(zhǔn)（Realign），（2）空間標(biāo)準(zhǔn)化（Normalize），（3）平滑化（Smoothing）；二、統(tǒng)計(jì)分析處理。在個(gè)人結(jié)果處理時(shí)，采用一般線性模型（General Linear Model，Y＝βX+E），得出對(duì)比圖像（具體結(jié)果后面有詳細(xì)說(shuō)明）。在平均結(jié)果處理時(shí)，采用隨機(jī)效應(yīng)模型（Random Effects Models），對(duì)數(shù)據(jù)分別進(jìn)行單樣本和雙樣本t檢驗(yàn)分析，閾值采用 p＜0.001（uncorrected）。將漢字讀音判斷任務(wù)與日語(yǔ)讀音判斷任務(wù)相減做比較得到二者的對(duì)比圖像。

1.5 實(shí)驗(yàn)結(jié)果

所有被試的fMRI腦成像平均結(jié)果如圖1所示，中日雙語(yǔ)被試在進(jìn)行日文讀音加工任務(wù)時(shí)激活了一個(gè)由多個(gè)腦區(qū)參與構(gòu)成的漢字讀音加工處理的腦神經(jīng)網(wǎng)絡(luò)，主要包括：視覺(jué)區(qū)（BA17/18/19/37），其主要功能是負(fù)責(zé)視覺(jué)信息的處理；顳葉（BA21/22/38），是多感覺(jué)處理區(qū)，比如聽(tīng)覺(jué)，觸覺(jué)等；頂葉（BA7/40），其主要負(fù)責(zé)時(shí)間及空間位置判斷；額葉（BA9/44/45/46），其主要負(fù)責(zé)讀音詞匯等信息的處理和認(rèn)知機(jī)能的處理（P＜0.001）。而在進(jìn)行中文讀音加工任務(wù)時(shí)，則激活了很少的腦區(qū)，主要集中在頂葉（BA7/40），這部分的功能主要負(fù)責(zé)時(shí)間及空間位置判斷（P＜0.001）。

圖1 中日雙語(yǔ)被試日文讀音和中文讀音判斷時(shí)各自的腦激活情況

圖2 中日雙語(yǔ)被試進(jìn)行日文與中文讀音判斷時(shí)差異性腦區(qū)的腦激活情況

如圖2所示，對(duì)于中日雙語(yǔ)被試，日文讀音判斷任務(wù)和中文讀音判斷任務(wù)相減，得到了二者差異性腦區(qū)，即日文讀音處理腦區(qū)。其中主要包括：右側(cè)額葉下回（BA44/45），右側(cè)顳葉（BA7/40），左側(cè)紡錘狀回（BA37）（P＜0.001，如表2所示）。

2 討論

本研究主要是利用中文與日文雙語(yǔ)被試，使用中文讀音判斷和日文讀音判斷兩種實(shí)驗(yàn)任務(wù)與字號(hào)大小判斷任務(wù)，通過(guò)功能性磁共振成像技術(shù)比較被試在判斷日文讀音和中文讀音任務(wù)中不同的腦激活情況，結(jié)果得到了中-日雙語(yǔ)被試在進(jìn)行日語(yǔ)讀音處理和中文讀音處理時(shí)的差異性腦區(qū)，然后根據(jù)這些特殊腦區(qū)探討中文與日文第二外語(yǔ)腦神經(jīng)機(jī)制。本實(shí)驗(yàn)中在進(jìn)行讀音加工任務(wù)時(shí)，激活了由多個(gè)腦區(qū)構(gòu)成的神經(jīng)網(wǎng)絡(luò)（見(jiàn)圖1），與以往對(duì)第二外語(yǔ)（中英文以及中日文）的研究結(jié)果均相近［3，6，10-13］。

中日雙語(yǔ)被試在第二外語(yǔ)讀音判斷時(shí)的腦神經(jīng)網(wǎng)絡(luò)如下：主要激活腦區(qū)為右側(cè)額葉下回（BA44/45），右側(cè)顳葉（BA7/40），左側(cè)紡錘狀回（BA37）。其中右側(cè)額葉下回（BA44/45）是布洛卡區(qū)，是公認(rèn)的語(yǔ)言處理腦區(qū)，本實(shí)驗(yàn)中此腦區(qū)的激活主要是語(yǔ)言的詞匯和音韻的處理機(jī)能，這和被試辨別語(yǔ)言的讀音處理相關(guān)。右側(cè)顳葉（BA7/40）是空間位置判斷腦區(qū)，本實(shí)驗(yàn)中主要可能是被試判斷漢語(yǔ)和日語(yǔ)在屏幕中的位置關(guān)系導(dǎo)致的激活。左側(cè)BA37是紡錘狀回，這個(gè)腦區(qū)的主要功能是物體的形狀處理，本實(shí)驗(yàn)中此腦區(qū)的激活可能和漢字或日文形態(tài)處理相關(guān)，即被試雖然是進(jìn)行讀音判斷，由于是視覺(jué)刺激的形式提示，所以此腦區(qū)也會(huì)有相應(yīng)的激活。

以上結(jié)果顯示，中日雙語(yǔ)被試組進(jìn)行日文讀音判斷和中文讀音判斷時(shí)腦功能存在差異，本文認(rèn)為這些差異性腦區(qū)為中-日第二外語(yǔ)讀音處理腦區(qū)，尤其是進(jìn)行中文讀音判斷時(shí)激活區(qū)域非常小，這可能是對(duì)于被試來(lái)說(shuō)任務(wù)過(guò)于簡(jiǎn)單，很容易就能判斷出來(lái)。有眾多研究者對(duì)母語(yǔ)和第二外語(yǔ)進(jìn)行了研究發(fā)現(xiàn)母語(yǔ)與第二外語(yǔ)存在巨大的差異，比如中國(guó)人雖然熟練的學(xué)習(xí)了英語(yǔ)（經(jīng)過(guò)測(cè)試分值較高者），但是和美國(guó)人相比其在英語(yǔ)加工時(shí)，并沒(méi)有激活美國(guó)人加工英語(yǔ)時(shí)的某些特定的腦區(qū)。但是日語(yǔ)和漢語(yǔ)屬于同一語(yǔ)系，均為象形文字，那么作為第二外語(yǔ)它們之間是否有相同的特定腦區(qū)呢？本實(shí)驗(yàn)給出了強(qiáng)有力的證據(jù)，驗(yàn)證了即使是同一語(yǔ)系的漢語(yǔ)和日語(yǔ)在進(jìn)行讀音判斷任務(wù)時(shí)也是有不同的激活腦區(qū)。這樣的結(jié)果告訴我們?cè)谶M(jìn)行第二外語(yǔ)課題教學(xué)的時(shí)候就要根據(jù)不同的外語(yǔ)采取不同的教學(xué)方法，比如日語(yǔ)和英語(yǔ)，只有這樣才能更加有效提高教學(xué)質(zhì)量。

3 結(jié)論

實(shí)驗(yàn)結(jié)果表明，中日雙語(yǔ)被試在進(jìn)行中文讀音處理和日文讀音處理時(shí)腦活動(dòng)之間存在差異，主要集中在以下腦區(qū)：右側(cè)額葉下回（BA44/45），右側(cè)顳葉（BA7/40），左側(cè)紡錘狀回（BA37）。

［1］何文廣，陳寶國(guó).語(yǔ)言對(duì)認(rèn)知的影響——基于雙語(yǔ)認(rèn)知“優(yōu)勢(shì)效應(yīng)”的分析［J］.心理科學(xué)進(jìn)展，2011，19（11）：1615-1624.

［2］王瑞明，鄧漢深，李俊杰，等.中-英雙語(yǔ)者語(yǔ)言理解中非加工語(yǔ)言的自動(dòng)激活［J］.心理學(xué)報(bào)，2011，43（7）：771-783.

［3］Tan L，Spinks J，F(xiàn)eng C，et al.Neural systems of second language reading are shaped by native language［J］.Hum Brain Mapp，2003，18：158-166.

［4］董奇，薛貴.雙語(yǔ)腦機(jī)制的幾個(gè)重要問(wèn)題及其當(dāng)前研究進(jìn)展［J］.北京師范大學(xué)學(xué)報(bào)：人文社會(huì)科學(xué)版，2001，4（166）：91-98.

［5］陳瑩.第二語(yǔ)言語(yǔ)音感知研究的理論基礎(chǔ)和教學(xué)意義［J］.外國(guó)語(yǔ)，2013，36（3）：68-76.

［6］Yokoyama S，Kim J，Uchida S，et al.Left middle temporal deactivation caused by insufficient second language word comprehension by Chinese–Japanese bilinguals［J］.Journal of Neurolinguistics，2009，22：467-485.

［7］許貴芳，呂勇，宋娟.第二語(yǔ)言語(yǔ)音獲得的影響因素及其腦機(jī)制［J］.現(xiàn)代生物醫(yī)學(xué)進(jìn)展，2008，8（9）：1725-1728.

［8］翟洪昌，任靜，肖勝勇，等.讀寫(xiě)分離的腦機(jī)制：來(lái)自fMRI的證據(jù)［J］.心理學(xué)報(bào)，2011，43（2）：132-142.

［9］Siok W T，Niu Z D，Jin Z，et al.A structural-functional basis for dyslexia in the cortex of Chinese readers［J］.Proceedings of the National Academy of Sciences，2008，105（14）：5561-5566.

［10］Pu Y，Liu H L，Spinks J A，et al.Cerebral hemodynamicresponse in Chinese（first）and English（second）language processing revealed by event-related functional MRI［J］.Magnetic Resonance Imaging，2001，19（5）：643-647.

［11］Perani D，Dehaene S，Grassi F，et al.Brain processing of native and foreign languages［J］.NeuroReport，1996，7：2439-2444.

［12］Li G，Cheung T，Gao F R，et al.Cognitive processing in Chinese literate and illiterate subjects：An fMRI study［J］.Human Brain Mapping，2006，27：144-152.

［13］Petersson KM，Reis A，Castro Caldas A，et al.Effective auditory-verbal encoding activates the left prefrontal and the medial temporal lobes：a generalization to illiterate subjects［J］.Neuroimage，1999，10：45-54.