古詩(shī)多媒體空間鄰近效應(yīng)的神經(jīng)基礎(chǔ)
——來(lái)自fNIRS的證據(jù) *

陳夏妮 章 鵬 嚴(yán)世振 賈麗娜 馬曉博 俞怡帆 金 花

(1 教育部人文社會(huì)科學(xué)重點(diǎn)研究基地天津師范大學(xué)心理與行為研究院，天津 300387) (2 鄭州大學(xué)體育學(xué)院，鄭州 450040)(3 天津商業(yè)大學(xué)法學(xué)院，天津 300134) (4 鄭州大學(xué)教育學(xué)院，鄭州 450001)

1 引言

空間鄰近效應(yīng)（spatial contiguity effect）是多媒體學(xué)習(xí)的重要原則之一，指的是書(shū)頁(yè)或屏幕上對(duì)應(yīng)的詞語(yǔ)和圖像鄰近呈現(xiàn)比分隔呈現(xiàn)能使學(xué)生學(xué)得更好（Mayer, 2005, 2014, 2020）。Mayer（2014）把多媒體定義為用文本（打印文本和口頭敘述）和圖像（動(dòng)態(tài)和靜態(tài)）來(lái)共同呈現(xiàn)的學(xué)習(xí)材料，本研究重點(diǎn)關(guān)注以印刷文本和靜態(tài)圖像共同呈現(xiàn)的學(xué)習(xí)材料。

空間鄰近效應(yīng)的學(xué)習(xí)效果常以保留成績(jī)、遷移成績(jī)和總成績(jī)?yōu)橹笜?biāo)；前兩個(gè)成績(jī)分別考察學(xué)習(xí)者對(duì)多媒體材料的識(shí)記能力、理解能力，總成績(jī)?yōu)楸Ａ舫煽?jī)與遷移成績(jī)之和。空間鄰近效應(yīng)在多個(gè)專業(yè)知識(shí)如機(jī)械（Mayer, 1989）、地理（Makransky et al., 2019）和物理等（de Koning et al., 2020）的學(xué)習(xí)中得到了證實(shí)。如Makransky等人使用“閃電雷暴的形成”多媒體材料，考察了78名在校大學(xué)生在整合格式和分散格式下的保留成績(jī)和遷移成績(jī)，結(jié)果顯示，整合格式下的遷移成績(jī)顯著高于分散格式，結(jié)果支持空間鄰近效應(yīng)。但上述結(jié)果都是基于無(wú)材料冗余（冗余指圖或文單獨(dú)存在都可以理解）的材料得到的。

而對(duì)于空間鄰近效應(yīng)的產(chǎn)生機(jī)制，目前尚未取得一致的認(rèn)識(shí)。這可能和不同理論的探測(cè)指標(biāo)差異和測(cè)量方法的敏感性較低有關(guān)。認(rèn)知負(fù)荷理論（Sweller et al., 1998）從認(rèn)知負(fù)荷變化的角度來(lái)解釋，認(rèn)為空間鄰近效應(yīng)的產(chǎn)生可能是因?yàn)椤罢细袷较碌耐庠谡J(rèn)知負(fù)荷更小”。實(shí)證研究中多使用心理努力量表（Paas & van Merri?nboer, 1994）來(lái)測(cè)量外在認(rèn)知負(fù)荷；結(jié)果在能觀察到空間鄰近效應(yīng)存在的22個(gè)研究中，僅有半數(shù)研究觀察到了認(rèn)知負(fù)荷的顯著差異（Schroeder & Cenkci, 2020），未能為理論提供有力的證據(jù)。認(rèn)知負(fù)荷測(cè)量的主觀性可能是結(jié)果不穩(wěn)定的主要原因。而多媒體學(xué)習(xí)認(rèn)知理論（Mayer, 2005）試圖從整合加工程度的角度來(lái)解釋，認(rèn)為空間鄰近效應(yīng)的產(chǎn)生可能是因?yàn)椤罢细袷较略黾恿苏霞庸ぁ薄Ｕ霞庸ぶ傅氖菑膬蓚€(gè)單獨(dú)表征（言語(yǔ)模型和視覺(jué)模型）向一個(gè)整合的表征轉(zhuǎn)變，即各自模型中的成分進(jìn)行相應(yīng)的匹配，并整合先驗(yàn)知識(shí)，然后輸出一個(gè)整合后連貫的心理模型的認(rèn)知加工過(guò)程（Mayer,2005, 2020）。相關(guān)研究主要以眼跳切換（包括圖-文、圖-圖、文-文之間的切換）為指標(biāo)反映整合加工（Johnson & Mayer, 2012; Makransky et al., 2019;Pouw et al., 2019）。但也有研究發(fā)現(xiàn)，無(wú)論是否存在空間鄰近效應(yīng)，整合格式下的眼跳切換均顯著高于分散格式（Cierniak et al., 2009; Johnson &Mayer, 2012; Pouw et al., 2019）。這提示，以眼跳切換為指標(biāo)得到的結(jié)果也難以解釋空間鄰近效應(yīng)下的整合加工。

腦電的α頻帶活動(dòng)被證明隨著任務(wù)難度的增加和語(yǔ)義記憶負(fù)荷的增加而下降（Puma et al., 2018）。Makransky等人（2019）試圖利用腦電技術(shù)從神經(jīng)活動(dòng)變化的角度來(lái)解釋空間鄰近效應(yīng)的產(chǎn)生機(jī)制。行為結(jié)果顯示，整合格式組的遷移成績(jī)顯著高于分散格式組，支持空間鄰近效應(yīng)；但兩組在各個(gè)電極點(diǎn)上的α頻帶活動(dòng)都沒(méi)有顯著差異。而如果按測(cè)試成績(jī)分組，成績(jī)差的被試在α頻帶的活動(dòng)更小，提示α值可以反映材料難度和內(nèi)源性認(rèn)知負(fù)荷的變化。該研究無(wú)法從神經(jīng)科學(xué)的角度解釋其產(chǎn)生機(jī)制，可能和腦電技術(shù)無(wú)法精確分離不同類型認(rèn)知負(fù)荷有關(guān)。

相比于腦電技術(shù)，功能性近紅外光譜成像技術(shù)（functional near-infrared spectroscopy, fNIRS）能夠有效探測(cè)認(rèn)知加工中神經(jīng)活動(dòng)的空間特征。而且，和功能性磁共振技術(shù)相比，fNIRS的無(wú)噪聲和不封閉的掃描環(huán)境能讓被試在更接近自然閱讀的狀態(tài)下完成數(shù)據(jù)采集，更具有生態(tài)效度和可行性。已有研究表明，較高的工作記憶負(fù)荷往往會(huì)在前額葉皮質(zhì)內(nèi)產(chǎn)生更大的激活（Csipo et al., 2021;Fishburn et al., 2014; Midha et al., 2021），尤其是背外側(cè)前額葉皮質(zhì)（Fishburn et al., 2014）；而工作記憶中更多的認(rèn)知加工，如更多的信息保持和操作（Kim et al., 2015），更多信息的整合認(rèn)知加工（Prabhakaran et al., 2000），會(huì)引起背外側(cè)前額葉皮質(zhì)或額極更大的激活（Hagoort et al., 2009;Hagoort & van Berkum, 2007）。這提示，通過(guò)fNIRS測(cè)量不同格式下認(rèn)知加工的神經(jīng)活動(dòng)空間特征，有可能揭示空間鄰近效應(yīng)的神經(jīng)基礎(chǔ)并驗(yàn)證兩種理論假設(shè)。

因此，本實(shí)驗(yàn)擬采用fNIRS，通過(guò)比較以不同格式呈現(xiàn)的存在冗余的學(xué)習(xí)材料加工過(guò)程中的前額葉神經(jīng)活動(dòng)差異，來(lái)考察多媒體空間鄰近效應(yīng)潛在的神經(jīng)基礎(chǔ)，并從神經(jīng)活動(dòng)變化角度去解析空間鄰近效應(yīng)的產(chǎn)生機(jī)制。

在學(xué)習(xí)材料上，本研究選擇符合文化傳統(tǒng)的古詩(shī)多媒體；而且，古詩(shī)多媒體是一種很好的圖文冗余材料的代表。古詩(shī)文本本身是可以理解的，古詩(shī)文本配圖會(huì)出現(xiàn)冗余；但另一方面，好的配圖能呈現(xiàn)出古詩(shī)的意境，使讀者更好地領(lǐng)會(huì)和理解作者所表達(dá)的意念。依據(jù)已有研究結(jié)果，本研究假設(shè)：（1）如果被試在整合格式下的測(cè)試成績(jī)（總成績(jī)、保留成績(jī)或遷移成績(jī)中任何一項(xiàng)或多項(xiàng)）顯著高于分散格式，說(shuō)明古詩(shī)多媒體空間鄰近效應(yīng)存在；（2）鑒于較高的認(rèn)知負(fù)荷往往會(huì)在前額葉皮質(zhì)內(nèi)產(chǎn)生更大的激活（Fishburn et al.,2014），如果學(xué)習(xí)階段前額葉的血氧變化在整合格式下小于分散格式，則說(shuō)明空間鄰近效應(yīng)的產(chǎn)生和前額葉的活動(dòng)減少有關(guān)，整合格式下學(xué)習(xí)者的認(rèn)知負(fù)荷小于分散格式，結(jié)果支持認(rèn)知負(fù)荷理論對(duì)空間鄰近效應(yīng)的理論假設(shè)；（3）鑒于閱讀過(guò)程中更多的整合加工會(huì)產(chǎn)生更大的額葉激活（Lau et al., 2008），如果整合格式下前額葉的血氧變化大于分散格式，則說(shuō)明空間鄰近效應(yīng)的產(chǎn)生和前額葉的活動(dòng)增加有關(guān)，整合格式下有更多的整合加工，結(jié)果支持多媒體學(xué)習(xí)認(rèn)知理論。

2 研究方法

2.1 被試

采用G*Power3.1軟件對(duì)研究所需被試量進(jìn)行計(jì)算，設(shè)定d=0.5，則需要34名被試以達(dá)到0.80的統(tǒng)計(jì)檢驗(yàn)力（power）。招募48名被試參與實(shí)驗(yàn)（男性26人，年齡范圍為18～22歲，平均年齡為19.63±0.82歲）。所有被試視力或矯正視力正常，無(wú)精神病或者神經(jīng)病史，無(wú)相關(guān)實(shí)驗(yàn)經(jīng)驗(yàn)。被試在實(shí)驗(yàn)前簽署知情同意書(shū)并在實(shí)驗(yàn)后獲得相應(yīng)報(bào)酬。

2.2 實(shí)驗(yàn)設(shè)計(jì)

采用單因素兩水平被試內(nèi)設(shè)計(jì)，自變量為學(xué)習(xí)材料呈現(xiàn)格式，分為整合和分散兩個(gè)水平。行為學(xué)因變量分別為被試的保留成績(jī)、遷移成績(jī)、總成績(jī)、認(rèn)知負(fù)荷（心理努力為認(rèn)知負(fù)荷主要指標(biāo)，學(xué)習(xí)時(shí)間為輔助指標(biāo)）；神經(jīng)層面因變量為學(xué)習(xí)階段的氧合血紅蛋白（HbO）的相對(duì)變化量。

2.3 實(shí)驗(yàn)材料

實(shí)驗(yàn)材料為8首古詩(shī)多媒體，有整合和分散兩種格式（見(jiàn)圖1）。實(shí)驗(yàn)采用的8首古詩(shī)詞（6首來(lái)自齊白石1910年創(chuàng)作的《石門(mén)二十四景圖》圖卷，2首為其它古詩(shī)）的材料難度、圖文匹配程度均經(jīng)李克特9點(diǎn)計(jì)分方式預(yù)評(píng)估。70名志愿者和69名志愿者分別在線完成了材料難度和圖文匹配度的評(píng)估。結(jié)果顯示，難度得分為4.25±0.29（3.75～5.94），說(shuō)明材料難度在中等水平；圖文匹配度得分為6.52±0.58，高于9點(diǎn)評(píng)分的中值5，視為圖文匹配程度較高，即圖像能夠反映詩(shī)詞內(nèi)容，并協(xié)助讀者理解詩(shī)詞文本。

圖 1 古詩(shī)多媒體學(xué)習(xí)材料示例

每首古詩(shī)多媒體的實(shí)驗(yàn)過(guò)程包括古詩(shī)學(xué)習(xí)、閱讀測(cè)試和評(píng)估3個(gè)部分。閱讀測(cè)試題6道，為與它前面出現(xiàn)的古詩(shī)內(nèi)容相關(guān)的選擇題（4選1）。其中保留測(cè)試題4道，如“這首詩(shī)的名字是什么？”；遷移測(cè)試題2道，如“這首詩(shī)抒發(fā)了作者怎樣的情感？”。評(píng)估題包括認(rèn)知負(fù)荷評(píng)估和熟悉度評(píng)估。認(rèn)知負(fù)荷評(píng)估采用心理努力量表（Paas &van Merri?nboer, 1994），如“在學(xué)習(xí)這首古詩(shī)時(shí)您需要付出心理努力的程度為”（1表示“非常輕松”，9表示“非常努力”）；熟悉度評(píng)估作為控制變量進(jìn)行測(cè)量，題目為“學(xué)習(xí)這首詩(shī)之前，您對(duì)這首詩(shī)熟悉嗎？”（1表示“非常熟悉”，9表示“非常陌生”）。被試從1～9個(gè)數(shù)字中選擇適合自己實(shí)際情況的數(shù)字作答。

不同版本的實(shí)驗(yàn)材料組合成2套，每套包括4首整合格式和4首分散格式的古詩(shī)，同一首古詩(shī)的不同格式不出現(xiàn)在同一套材料中。每套材料隨機(jī)分配給被試。

2.4 實(shí)驗(yàn)流程

實(shí)驗(yàn)程序采用E-Prime 2.0軟件編寫(xiě)，呈現(xiàn)刺激的顯示器為23英寸，刷新頻率為64 Hz，分辨率為1920×1080像素。古詩(shī)漢字為20號(hào)宋體加粗，和配圖以整合或分散的方式組合成為完整圖像（即古詩(shī)多媒體），分散格式圖像大小為1470×886像素，整合格式圖像大小為1109×886像素。材料以組塊形式呈現(xiàn)，一個(gè)組塊內(nèi)為同一格式的4首古詩(shī)，共2個(gè)組塊。組塊內(nèi)古詩(shī)完全隨機(jī)呈現(xiàn)，組塊順序在被試間平衡。

實(shí)驗(yàn)在安靜的近紅外實(shí)驗(yàn)室進(jìn)行。被試與電腦屏幕的水平距離為60～70 cm。正式實(shí)驗(yàn)開(kāi)始時(shí)，屏幕中央出現(xiàn)提示框，被試填入年齡等信息后進(jìn)入指導(dǎo)語(yǔ)頁(yè)面，隨后為3分鐘的閉眼靜息和靜息結(jié)束提醒。12 s間隔后，屏幕中央呈現(xiàn)1 s黑色的驚嘆號(hào)“!”，接著呈現(xiàn)需要學(xué)習(xí)的古詩(shī)多媒體，被試完成學(xué)習(xí)后按任意鍵呈現(xiàn)學(xué)習(xí)和測(cè)試之間的12 s間隔頁(yè)面和1 s的黑色注視點(diǎn)“+”，隨后呈現(xiàn)1道測(cè)試題及4個(gè)選項(xiàng)，被試按要求依次完成6道測(cè)試題和2道評(píng)估題。測(cè)試題和評(píng)估題均出現(xiàn)在屏幕中央，每次呈現(xiàn)1道，被試按鍵作答。選擇題采用字母鍵盤(pán)（A鍵為答案“A”，S鍵為“B”，D鍵為“C”，F(xiàn)鍵為“D”）；評(píng)估題作答通過(guò)右側(cè)數(shù)字小鍵盤(pán)1～9按鍵作答。當(dāng)屏幕出現(xiàn)3 s提示語(yǔ)“即將學(xué)習(xí)下一首古詩(shī)”時(shí)，表示進(jìn)入一個(gè)新試次。組塊中間有30 s的休息時(shí)間。正式實(shí)驗(yàn)前被試在另一臺(tái)電腦上進(jìn)行1個(gè)試次的練習(xí)，以便熟悉實(shí)驗(yàn)流程。

2.5 fNIRS數(shù)據(jù)記錄

使用美國(guó)NIRScout臺(tái)式近紅外腦功能成像系統(tǒng)（NIRx Medical Technologies LLC）實(shí)時(shí)記錄被試完成實(shí)驗(yàn)時(shí)大腦前額葉皮層的氧合血紅蛋白（HbO）、脫氧血紅蛋白（HbR）和總血氧（HbT）濃度的相對(duì)變化情況。該系統(tǒng)包括785 nm、830 nm兩種波長(zhǎng)，采樣頻率為7.81 Hz。根據(jù)Villringer和Chance（1997）的研究，前額葉皮層（PFC）被激活時(shí)，典型的血流動(dòng)力學(xué)反應(yīng)是：血流量增加，氧合血紅蛋白（HbO）增加伴隨脫氧血紅蛋白（HbR）輕微減少，以及總血紅蛋白（HbT）整體增加。有研究指出HbO對(duì)任務(wù)反應(yīng)更為敏感，信噪比相對(duì)較高，因此本研究只報(bào)告HbO這一指標(biāo)（楊海波 等,2019; Pinti et al., 2020）。

參考已有文獻(xiàn)對(duì)認(rèn)知負(fù)荷和整合加工腦區(qū)的定位（Fishburn et al., 2014; Kim et al., 2015; Xu et al.,2016），本研究把觀察腦區(qū)定為前額葉。采用國(guó)際10-20系統(tǒng)源位置兼容帽（Easycap）安置光學(xué)探頭，設(shè)置8個(gè)光源發(fā)射器和7個(gè)探測(cè)器，共組成20個(gè)有效觀測(cè)通道，覆蓋整個(gè)前額葉。發(fā)射器和探測(cè)器之間的平均距離為3 cm，通道布排見(jiàn)圖2。本實(shí)驗(yàn)以每個(gè)通道的中間點(diǎn)為該通道探測(cè)的主要腦區(qū)，并以此為圓心標(biāo)定每個(gè)通道的腦區(qū)，通過(guò)概率配準(zhǔn)的方法把fNIRS通道位置與MIN空間坐標(biāo)配準(zhǔn)，獲得與布魯?shù)侣謪^(qū)的對(duì)應(yīng)關(guān)系。覆蓋腦區(qū)主要包括：背外側(cè)前額葉皮層（主要包括額上回，BA9/46）；布洛卡區(qū)三角部分（主要包括額中回，BA45）；眶區(qū)（主要包括額眶回，BA11）；額極（主要包括額上回，BA10）。

圖 2 NIRS通道布排示意圖

2.6 fNIRS數(shù)據(jù)分析

首先，運(yùn)用nirsLAB軟件對(duì)個(gè)體數(shù)據(jù)進(jìn)行預(yù)處理，包括：設(shè)置刺激呈現(xiàn)時(shí)長(zhǎng)；刪除與實(shí)驗(yàn)無(wú)關(guān)的數(shù)據(jù)段；對(duì)信號(hào)的不連續(xù)性進(jìn)行矯正；去除尖峰偽跡；通過(guò)帶通濾波（band pass）的方法去除由動(dòng)作和呼吸造成的漂移和偽跡等與實(shí)驗(yàn)無(wú)關(guān)的頻帶。其次，再采用一般線性模型進(jìn)行任務(wù)效應(yīng)分析，求出學(xué)習(xí)階段整合格式和分散格式下的beta值，并以此作為相應(yīng)腦區(qū)激活的比較指標(biāo)（因變量）（雷震 等, 2021; 田媛 等, 2021; 楊海波 等,2019）。

3 結(jié)果

3.1 行為實(shí)驗(yàn)結(jié)果

7名被試因頭發(fā)過(guò)多或設(shè)備問(wèn)題造成信號(hào)不良的通道過(guò)多而被刪除，4名被試動(dòng)作幅度過(guò)大造成偽跡較多而被刪除，1名被試實(shí)驗(yàn)后自述一只眼睛弱視被刪除。此外，1名被試因?yàn)樗胁牧系氖煜ざ仍u(píng)分均在3個(gè)標(biāo)準(zhǔn)差以外被刪除。最后得到有效被試35人。

為了排除測(cè)試時(shí)間的影響，先對(duì)總測(cè)試時(shí)間進(jìn)行了配對(duì)樣本t檢驗(yàn)。結(jié)果發(fā)現(xiàn)，整合和分散格式下的總測(cè)試時(shí)間無(wú)顯著差異[47.21±10.29 vs.46.37±9.62;t(34)=0.60,p=0.555]。

整合格式和分散格式下的測(cè)試成績(jī)（保留成績(jī)、遷移成績(jī)、總成績(jī)）、認(rèn)知負(fù)荷（心理努力）及其輔助指標(biāo)（學(xué)習(xí)時(shí)間）的描述性統(tǒng)計(jì)值見(jiàn)表1。

配對(duì)樣本t檢驗(yàn)和Bootstrap檢驗(yàn)結(jié)果詳見(jiàn)表2。結(jié)果顯示，整合格式的保留成績(jī)和總成績(jī)顯著高于分散格式，但遷移成績(jī)和分散格式?jīng)]有顯著差異。兩種格式下以心理努力量表測(cè)得的認(rèn)知負(fù)荷的差異邊緣顯著，輔助指標(biāo)學(xué)習(xí)時(shí)間無(wú)顯著差異。

3.2 腦成像結(jié)果

通過(guò)Shapiro-Wilk法對(duì)各通道beta值進(jìn)行正態(tài)性檢驗(yàn)，發(fā)現(xiàn)部分通道數(shù)據(jù)不滿足正態(tài)分布，因此在對(duì)各通道整合格式、分散格式下的HbO濃度變化beta值進(jìn)行配對(duì)樣本t檢驗(yàn)的同時(shí)，采用Bootstrap檢驗(yàn)，并進(jìn)行FDR校正，校正后p＜0.05為顯著（Noble, 2009），以控制假陽(yáng)性結(jié)果。各通道詳細(xì)結(jié)果見(jiàn)表3（僅顯示差異顯著通道）。結(jié)果顯示：與分散格式相比，整合格式在通道7、8、9、10上HbO的beta值顯著增加，說(shuō)明整合格式下左側(cè)額極和雙側(cè)背外側(cè)前額葉皮質(zhì)有更高的激活（見(jiàn)圖3）。

圖 3 整合和分散格式下大腦皮層的活動(dòng)差異

表 1 測(cè)試成績(jī)、認(rèn)知負(fù)荷及其輔助指標(biāo)的描述統(tǒng)計(jì)結(jié)果（M±SD）

表 2 測(cè)試成績(jī)、認(rèn)知負(fù)荷及其輔助指標(biāo)的配對(duì)樣本t檢驗(yàn)和Bootstrap結(jié)果

表 3 整合格式和分散格式下HbO的beta值t檢驗(yàn)和Bootstrap結(jié)果

3.3 空間鄰近效應(yīng)和激活腦區(qū)相關(guān)分析

對(duì)差異顯著通道（通道7、8、9、10）整合格式、分散格式下的HbO濃度變化beta值和測(cè)試成績(jī)（保留成績(jī)、遷移成績(jī)、總成績(jī)）之間進(jìn)行相關(guān)分析，激活強(qiáng)度和測(cè)試成績(jī)的相關(guān)程度見(jiàn)表4。結(jié)果顯示：整合格式下保留成績(jī)和通道9（r=-0.37,p=0.029）、總成績(jī)和通道8、9（r=-0.34,p=0.048;r=-0.42,p=0.011）均存在中度負(fù)相關(guān)；分散格式下，上述通道和測(cè)試成績(jī)均不存在顯著相關(guān)，說(shuō)明整合格式下至少雙側(cè)背外側(cè)前額葉皮質(zhì)和整合加工有關(guān)。

表 4 差異顯著通道和測(cè)試成績(jī)的相關(guān)分析結(jié)果

4 討論

本實(shí)驗(yàn)利用fNIRS技術(shù)，以古詩(shī)多媒體為材料，探討了多媒體空間鄰近效應(yīng)的神經(jīng)基礎(chǔ)，并試圖從神經(jīng)科學(xué)的角度解析空間鄰近效應(yīng)的產(chǎn)生機(jī)制。結(jié)果發(fā)現(xiàn)，古詩(shī)多媒體學(xué)習(xí)存在空間鄰近效應(yīng)，且整合格式在左側(cè)額極和雙側(cè)背外側(cè)前額葉皮質(zhì)比分散格式有更強(qiáng)的激活，說(shuō)明這兩個(gè)區(qū)域至少和古詩(shī)多媒體空間鄰近效應(yīng)的發(fā)生有關(guān)。

隨著多媒體在教育領(lǐng)域的廣泛使用，多媒體材料對(duì)學(xué)習(xí)效果的影響引起了研究者的關(guān)注。研究表明，多媒體學(xué)習(xí)的效果優(yōu)于單一媒體（Mayer,2009），而遵循空間鄰近效應(yīng)原則的教學(xué)設(shè)計(jì)能產(chǎn)生更好的多媒體學(xué)習(xí)效果（王福興 等, 2020; Mayer,1989; Moreno & Mayer, 1999; Owens & Sweller, 2008;Purnell et al., 1991; Yum et al., 2021），本研究首次以古詩(shī)多媒體為材料得到了相同的結(jié)果，拓展了多媒體學(xué)習(xí)中產(chǎn)生空間鄰近效應(yīng)的知識(shí)類型。而且，已有研究多借助不存在圖文冗余的學(xué)習(xí)材料揭示空間鄰近效應(yīng)的存在（Schroeder & Cenkci,2018），本研究采用的古詩(shī)多媒體學(xué)習(xí)材料，文本本身是可理解的，圖文結(jié)合存在冗余。本研究結(jié)果說(shuō)明，即使存在圖文冗余，多媒體學(xué)習(xí)依然存在空間鄰近效應(yīng)，拓展了空間鄰近效應(yīng)的發(fā)生邊界。可能的解釋是，雖然學(xué)習(xí)材料存在冗余，但是相比于分散格式，整合格式下，圖像和言語(yǔ)的選擇和表征占據(jù)的認(rèn)知資源相對(duì)較少，有限的工作記憶容量里能夠分配出更多的認(rèn)知資源來(lái)進(jìn)行整合加工，因此可以提高學(xué)習(xí)成績(jī)（Mayer, 2005）。

更重要的是，本研究還觀察到，相比于分散格式，整合格式下左側(cè)額極和雙側(cè)背外側(cè)前額葉有更大的激活。這些腦區(qū)被發(fā)現(xiàn)和敘事理解中的整合加工（Mar, 2004）或是多模態(tài)信息的整合密切相關(guān)（Basso Moro et al., 2013; Jahani et al., 2017;Kim et al., 2015; Xu et al., 2016）。如Kim等人研究了額極和背外側(cè)前額葉皮質(zhì)在信息整合中的作用，研究設(shè)置了控制條件、簡(jiǎn)單任務(wù)和復(fù)雜任務(wù)。控制條件下，被試需要完成沒(méi)有顏色和位置整合的簡(jiǎn)單算術(shù)任務(wù)；簡(jiǎn)單任務(wù)和復(fù)雜任務(wù)條件下，被試均需要記住2個(gè)包含了位置和顏色整合信息的數(shù)字。結(jié)果發(fā)現(xiàn)，簡(jiǎn)單任務(wù)和復(fù)雜任務(wù)條件下，額極和背外側(cè)前額葉皮質(zhì)的神經(jīng)激活均大于控制條件，肯定了這兩個(gè)腦區(qū)在信息整合加工中的功能。另外，Xu等人發(fā)現(xiàn)處于背外側(cè)面的額上回是連接基于記憶的模擬系統(tǒng)和基于語(yǔ)言的語(yǔ)義系統(tǒng)的關(guān)鍵區(qū)域之一。如前文所述，以往研究通過(guò)眼動(dòng)追蹤的方式?jīng)]能得到支持多媒體學(xué)習(xí)認(rèn)知理論對(duì)空間鄰近效應(yīng)發(fā)生機(jī)制解釋的證據(jù)。基于腦功能的指標(biāo)可能更為敏感和精準(zhǔn)，本研究首次從神經(jīng)層面為多媒體學(xué)習(xí)認(rèn)知理論對(duì)空間鄰近效應(yīng)的理論假設(shè)提供了證據(jù)，但這一結(jié)果也需要更多的實(shí)驗(yàn)證實(shí)。

由于fNIRS技術(shù)本身的局限性，本研究只能探測(cè)到任務(wù)相關(guān)的大腦表層腦區(qū)的功能變化。空間鄰近效應(yīng)的神經(jīng)基礎(chǔ)有可能不局限于和整合加工有關(guān)的左額極和雙側(cè)背外側(cè)前額葉的激活增加。必須指出的是，本研究對(duì)空間鄰近效應(yīng)差異通道和測(cè)試成績(jī)的相關(guān)分析發(fā)現(xiàn)，通道8和9的激活和整合格式下的部分成績(jī)存在中等程度負(fù)相關(guān)，即激活越多反而成績(jī)?cè)讲睢＿@一結(jié)果又似乎和多媒體學(xué)習(xí)認(rèn)知理論中“整合加工越多成績(jī)?cè)胶谩钡睦碚摷僭O(shè)相矛盾。這一現(xiàn)象可能和腦功能的復(fù)雜性有關(guān)，但更精確的解釋需要更多的實(shí)證研究。此外，本研究中的被試為在校大學(xué)生，而古詩(shī)學(xué)習(xí)在基礎(chǔ)教育中更為重要，后續(xù)研究可以考慮以小學(xué)、初中、高中這幾個(gè)基礎(chǔ)教育階段學(xué)生學(xué)習(xí)古詩(shī)多媒體的行為特點(diǎn)及神經(jīng)機(jī)制，以驗(yàn)證本研究的結(jié)果，并進(jìn)一步考察兒童青少年與成人之間空間鄰近效應(yīng)的行為及神經(jīng)差異。

5 結(jié)論

本研究以存在冗余的古詩(shī)多媒體為學(xué)習(xí)材料發(fā)現(xiàn)，與分散格式相比，整合格式下學(xué)習(xí)效果更好，且背外側(cè)前額葉皮質(zhì)、左側(cè)額極有更大的神經(jīng)激活。結(jié)果證明古詩(shī)多媒體存在空間鄰近效應(yīng)，且背外側(cè)前額葉皮質(zhì)和左側(cè)額極的參與可能是古詩(shī)多媒體空間鄰近效應(yīng)的神經(jīng)基礎(chǔ)，為多媒體學(xué)習(xí)認(rèn)知理論對(duì)空間鄰近效應(yīng)的理論假設(shè)提供了新的證據(jù)。