多媒體學(xué)習(xí)中表征認知負荷的眼動指標研究

王國華 田梁浩 聶勝欣 朱珂 梁云真

[摘? ?要] 通過眼動設(shè)備進行認知負荷的測量已成為認知負荷測量的重要方法，盡管相當多的研究依賴眼動儀輸出的測量數(shù)據(jù)進行認知負荷表征，但究竟哪些眼動數(shù)據(jù)能夠準確表征學(xué)習(xí)者認知負荷狀態(tài)并沒有明確的指標。研究采用循證研究的元分析方法，對62篇國內(nèi)外實驗研究文獻進行量化分析，系統(tǒng)檢驗認知負荷對眼動各項指標的影響，探究可以表征多媒體學(xué)習(xí)中認知負荷狀態(tài)的眼動指標。研究發(fā)現(xiàn)：（1）納入研究的總效應(yīng)值為0.547（k=318），表明整體上眼動指標受認知負荷影響較大；（2）將不同測量指標作為調(diào)節(jié)變量分析，發(fā)現(xiàn)瞳孔直徑等15項具有較大效應(yīng)值的眼動指標能夠較好地表征學(xué)習(xí)者的認知負荷狀態(tài)；（3）在其他調(diào)節(jié)變量分析中，發(fā)現(xiàn)低于60Hz的采樣率更適用于多媒體學(xué)習(xí)中認知負荷的測量，而知識性質(zhì)和認知負荷來源不存在調(diào)節(jié)效應(yīng)。

[關(guān)鍵詞] 認知負荷； 多媒體學(xué)習(xí)； 眼動實驗； 眼動追蹤技術(shù)； 元分析

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 王國華（1988—），男，河南濮陽人。講師，博士，主要從事在線學(xué)習(xí)及認知狀態(tài)評估研究。E-mail：wgh19892008@126.com。

基金項目：2021年度教育部人文社會科學(xué)研究青年項目“多模態(tài)生理數(shù)據(jù)驅(qū)動的在線學(xué)習(xí)認知負荷測評模型及方法研究”（項目編號：21YJC880072）；2023年河南省教師教育課程改革研究重點項目“職前教師智能教育素養(yǎng)培養(yǎng)模式構(gòu)建與實踐應(yīng)用”（項目編號：A010）

一、引? ?言

認知負荷是描述學(xué)習(xí)者在處理具體任務(wù)時認知系統(tǒng)負荷量的多維結(jié)構(gòu)要素[1]。過高的認知負荷會導(dǎo)致學(xué)習(xí)者無法有效處理信息，從而影響學(xué)習(xí)效果。而適度的認知負荷可以激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和動力，促進學(xué)習(xí)的深度和廣度。認知負荷表征任務(wù)需求的方式與身體負荷表征能量需求的方式類似，需要消耗大腦的信息處理能力，所以很多研究者使用生理測量的方法來測量人腦的認知負荷[2]。生理測量法通過評估實驗對象進行任務(wù)時產(chǎn)生的生理指標變化來測量認知負荷[3]。

而在認知負荷研究中，非侵入式的眼動儀器也被廣泛應(yīng)用于認知負荷的測量[4]，但相關(guān)研究存在一些問題，首先，研究結(jié)論存在一定差異性，究竟哪些指標能夠有效表征多媒體學(xué)習(xí)中學(xué)習(xí)者的認知負荷？這是一個亟待解答的問題；其次，大多數(shù)研究者是在特定因素、技術(shù)條件下探討認知負荷的測量，研究結(jié)論適用場景單一，缺少共性的研究結(jié)論。因此，本研究將使用元分析法（Meta-analysis）有目的地整合國內(nèi)外使用眼動技術(shù)測量認知負荷的實驗與準實驗研究結(jié)果，力圖從整體上厘清眼動測量指標體系及其調(diào)節(jié)變量。

二、文獻綜述

（一）眼動指標相關(guān)研究

眨眼（Blink）相關(guān)指標是眼動追蹤實驗中的常用指標，包括眨眼次數(shù)、眨眼頻率、眨眼時間和眨眼間隔。Rosenfield等人在探究眨眼率與認知負荷之間的關(guān)系時發(fā)現(xiàn)，在認知負荷高的任務(wù)中，實驗對象的眨眼率顯著降低[5]。但是在Benedetto等人的研究中，15個實驗對象在進行單一駕駛?cè)蝿?wù)和雙重駕駛?cè)蝿?wù)時的眨眼頻率并沒有顯著差異[6]。

眼跳（Saccade）的常用指標包括眼跳幅度、眼跳峰值速度、眼跳距離、眼跳速度、眼跳范圍、返回眼跳、眼跳時長、眼跳次數(shù)、眼跳頻率等。近來的研究表明，眼跳運動能夠高效地反映人的信息處理能力，能夠連續(xù)不斷地接受刺激并作出強有力的反應(yīng)，是一種自發(fā)的適應(yīng)性眼動行為，學(xué)習(xí)者能夠快速調(diào)整視覺系統(tǒng)對刺激的處理和注意焦點，因此，學(xué)習(xí)者認知負荷越高，眼跳的頻率也會越高[7]。Salvucci等人研究發(fā)現(xiàn)，學(xué)習(xí)者在雙任務(wù)和主任務(wù)執(zhí)行過程中眼跳頻率并沒有顯著差異[8]。

瞳孔（Pupil）的眼動指標包括瞳孔的直徑或大小、瞳孔擴張、瞳孔面積標準差等。瞳孔大小之所以發(fā)生變化，是因為認知負荷的增加致使大腦需要更多的認知資源來完成任務(wù)，人就會不自主地控制瞳孔擴張以增加進入視網(wǎng)膜的光線量來提高視覺清晰度[9]。Krzysztof等人的研究也發(fā)現(xiàn)，通過觀察瞳孔大小在實驗過程中的變化能夠區(qū)分不同水平的認知負荷[10]。

注視（Fixation）的眼動指標包括注視次數(shù)、注視點個數(shù)、注視持續(xù)時間、總注視時間、注視時間占比、注視頻率等。Marquart等人的研究表明，隨著任務(wù)難度的增加，實驗對象的注視持續(xù)時間、總注視時間和注視次數(shù)均顯著增加，而注視點個數(shù)和注視時間占比則顯著減少[11]。但是在Savage的研究中，17位學(xué)生解答兩個不同難度水平的謎題時所測得的注視持續(xù)時間卻沒有顯著差異[12]。

另外，興趣區(qū)（AOI）分析雖然不是嚴格意義上的度量標準，但其定義了計算眼動指標度量標準的區(qū)域。這類分析是指選擇一個或多個顯示的刺激目標區(qū)域，并且專門在該區(qū)域提取一些眼動數(shù)據(jù)來進行統(tǒng)計學(xué)分析[13]。例如：選擇學(xué)習(xí)材料中的文本部分與圖片部分，分別統(tǒng)計實驗對象注視或停留在每個區(qū)域的時間、次數(shù)等視覺加工信息，最終就能夠得到關(guān)于該AOI的眼動指標。有研究表明，通過比較不同認知負荷條件下的AOI眼動指標，可以深入探究不同認知負荷水平下實驗對象的視覺加工特征和認知策略，進而揭示認知負荷對視覺加工和認知加工的影響機制[14]。然而，在Johnson等人的研究中，雖然AOI兩區(qū)轉(zhuǎn)換次數(shù)最終在兩種不同學(xué)習(xí)材料設(shè)計方式的圖文學(xué)習(xí)任務(wù)中呈現(xiàn)出顯著不同，但AOI注視比例和AOI注視時間卻沒有顯著差別[15]。

可見，雖然使用眼動指標測量認知負荷的研究數(shù)量眾多，但是究竟哪些眼動指標可以精準表征學(xué)習(xí)者的認知負荷狀態(tài)？這一問題存在一定的爭議，依然沒有明確答案。因此，本研究使用元分析方法對國內(nèi)外相關(guān)量化研究進行梳理與分析，以期找出能夠精確表征學(xué)習(xí)者認知負荷的指標集合，為相關(guān)研究提供借鑒。

（二）其他影響認知負荷測量的因素

有學(xué)者提出，程序性知識或認知技能的獲得與認知負荷存在直接的關(guān)系[16]。這是因為在關(guān)于學(xué)習(xí)者認知圖式的系統(tǒng)模型中，程序性知識的獲取和使用相比陳述性知識會更加充分地調(diào)用工作記憶，工作記憶中被觸發(fā)的基本單元的數(shù)量、工作循環(huán)的次數(shù)、條件匹配的數(shù)量等又恰恰表征了認知負荷的大小[17]。因此，相較于學(xué)習(xí)陳述性知識，學(xué)習(xí)者在學(xué)習(xí)程序性知識時需要進行更多的認知加工和更深入的思考，其認知負荷很有可能更加明顯地通過眼睛的生理行為表現(xiàn)出來。

從采樣所得的最直觀數(shù)據(jù)來看，眼動測量指標的基本單位大多與頻率相關(guān)。這說明眼動儀采樣的頻率很有可能從統(tǒng)計層面直接影響到測量指標的準確性。眼動儀的采樣頻率越高，獲得的眼動行為信息就越豐富[18]。高分辨率的眼動儀器能夠捕捉到微小的眼動行為，但由于人眼部神經(jīng)和肌肉的復(fù)雜性，某些微小的眼動行為可能并不是認知負荷測量所需的數(shù)據(jù)。因此，在測量認知負荷的實驗中，眼動儀采樣率并不一定越高越好。區(qū)分眼動儀采樣率高低的頻率界限為60Hz，因為在采樣技術(shù)進步之前，許多屏幕式和穿戴式眼動儀都以這種采樣速度運行，并且60Hz一直是攝像技術(shù)中最常見的頻率[19]。

此外，其他影響認知負荷的因素也是多種多樣的，已有相關(guān)實驗的因變量大致可以分為三類：第一，任務(wù)的難度和復(fù)雜度不同，所要求的認知資源和信息處理能力就不同，帶來的認知負荷也不同；第二，個體的認知能力、經(jīng)驗或知識水平不同，執(zhí)行任務(wù)所采用的認知策略和認知圖式自動化程度也會不同，對認知負荷就會產(chǎn)生影響；第三，學(xué)習(xí)材料組織結(jié)構(gòu)和呈現(xiàn)方式等因素同樣會對多媒體學(xué)習(xí)環(huán)境中的認知負荷產(chǎn)生影響[20]。這三種認知負荷來源經(jīng)常在實驗中被用作控制認知負荷水平的因變量，因此，實際研究中要特別注意認知負荷來源是否會對認知負荷在眼動數(shù)據(jù)上的表現(xiàn)造成影響。

綜上所述，本研究擬采用元分析方法系統(tǒng)梳理國內(nèi)外已有的實驗和準實驗研究結(jié)果，探討認知負荷對眼動設(shè)備各項指標的影響，主要擬解決以下兩個研究問題：（1）哪些眼動測量指標可以表征多媒體學(xué)習(xí)中的認知負荷；（2）在使用眼動指標進行認知負荷測量時還受到哪些變量的調(diào)節(jié)作用？

三、研究設(shè)計

元分析常用的效應(yīng)指標包括相關(guān)系數(shù)（Correlation，以下簡稱r）、均數(shù)差（Mean Difference）、加權(quán)均數(shù)差（WMD）和標準化均數(shù)差（SMD）等[21]。根據(jù)Rosenthal和DiMatteo的研究，用乘積矩相關(guān)性系數(shù)r作為效應(yīng)值比Cohen's d或Hedges'g等效應(yīng)值更能從實際重要性角度解釋研究結(jié)果[22]。因此，本研究將采用相關(guān)系數(shù)r作為效應(yīng)值以表征認知負荷對眼動儀各項測量指標的影響大小，使用元分析軟件（CMA 3.0）進行數(shù)據(jù)分析，同時運用Excel 2019作為編碼工具。根據(jù)元分析指導(dǎo)準則（PRISMA）的相關(guān)步驟及內(nèi)容開展元分析研究過程[23]，主要包括以下步驟：

（一）文獻檢索

為了保證原始文獻的質(zhì)量與數(shù)量，外文文獻的檢索選擇 Web of Science、EBSCO、Science Direct等權(quán)威英文數(shù)據(jù)庫，組合邏輯檢索語句為TS=（workload OR processing load OR cognitive workload OR mental workload OR physiological OR measurements） AND TS=（eye OR pupil OR blink OR fixation OR pupillary response OR pupillometry OR eye movement），再借助谷歌學(xué)術(shù)的文獻引文進行檢索補充。中文文獻通過中國知網(wǎng)數(shù)據(jù)庫搜索核心期刊、CSSCI期刊和學(xué)位論文，以“認知負荷（主題）AND眼動 + 快速眼動 + 眼球運動 + 注視眼動 + 瞳孔 + 眼跳 + 掃視（關(guān)鍵詞）AND多媒體學(xué)習(xí) + 多媒體教學(xué) + 計算機輔助學(xué)習(xí) + 電子學(xué)習(xí) + 在線學(xué)習(xí) + 虛擬學(xué)習(xí)（關(guān)鍵詞）”為檢索式。同時使用“滾雪球”的形式進行相關(guān)文獻的納入，中英文文獻發(fā)表時間均限定為1997年11月—2022年11月，一共得到286個檢索結(jié)果。將所有文獻導(dǎo)入EndNote文獻管理軟件，去除重復(fù)文獻后，共得到文獻256篇。

（二）文獻篩選及納入標準

本研究文獻納入標準如下：第一，主題必須包括多媒體學(xué)習(xí)領(lǐng)域認知負荷的測量；第二，研究方法應(yīng)是實驗研究或準實驗研究；第三，自變量和因變量分別為認知負荷和測量指標；第四，論文提供了完整的計算效應(yīng)值r的數(shù)據(jù)，如樣本量、方差分析相關(guān)值、ｐ值或直接提供相關(guān)系數(shù)r等。各研究之間樣本相互獨立，若樣本重復(fù)，則選取更詳細或更大樣本的研究。經(jīng)過篩選最終得到24篇中文文獻和38篇英文文獻，因大部分文獻包含多個眼動測量指標的數(shù)據(jù)，最終得到62篇文獻共318條數(shù)據(jù)，其中，實驗樣本共14045人。

（三）文獻編碼

提取62篇文獻的信息并進行編碼，編碼內(nèi)容涵蓋作者+出版年份、眼動指標、知識性質(zhì)（陳述性知識/程序性知識）、認知負荷來源（任務(wù)難易程度/學(xué)習(xí)材料設(shè)計方式/學(xué)生學(xué)業(yè)水平）、眼動儀采樣率（60Hz以下/60Hz及以上）、總樣本量、組間自由度、組內(nèi)自由度、計算所得的效應(yīng)值r，以及標準化后的Zr。研究涉及的學(xué)段和學(xué)科涵蓋基礎(chǔ)教育到高等教育的大多數(shù)學(xué)科，任務(wù)類型包含閱讀、搜索、解題、計算機模擬實驗等。表1為文獻信息的部分編碼匯總表。

（四）數(shù)據(jù)處理與分析方法

由于影響認知負荷測量結(jié)果因素的多元性和復(fù)雜性，以及不同研究所處的背景和地域存在較大差異，所以使用隨機效應(yīng)模型（Random Effects Model，簡稱REM）計算318個效應(yīng)值的綜合效應(yīng)值。又因效應(yīng)值r很可能呈現(xiàn)非正態(tài)分布，所以為了合并來自多項研究的效應(yīng)值，首先需要通過Fisher的r-to-Zr變換，將效應(yīng)值r轉(zhuǎn)換為Zr值來標準化每條數(shù)據(jù)的效應(yīng)值[28]。轉(zhuǎn)換之后根據(jù)各種調(diào)節(jié)變量合并研究結(jié)果，最后通過Fisher的r-to-Zr逆向變換計算效應(yīng)值結(jié)果和其估計的95%置信區(qū)間。

將318條眼動數(shù)據(jù)錄入CMA3.0軟件中運行分析得出，基于卡方檢驗進行的異質(zhì)性分析的結(jié)果非常顯著（Q=2987.08，I2=89.39%），卡方檢驗的自由度df=317，卡方臨界值p<0.05。根據(jù)Higgins界定異質(zhì)性高低的標準，I2＞75%，該結(jié)果說明這些通過方差分析得到的效應(yīng)值變異太大，不能僅用抽樣誤差來解釋[29]。因此，需要進行調(diào)節(jié)變量分析以識別導(dǎo)致研究之間異質(zhì)性的因素。

（五）發(fā)表偏倚檢驗

發(fā)表偏倚（Publication Bias）是指已發(fā)表的研究文獻不能完全代表實際研究總體的情況，從而引起的結(jié)果偏差[30]。在元分析中，如果出現(xiàn)較大水平的發(fā)表偏差，將會威脅到結(jié)果的有效性，因此，有必要對原始文獻進行發(fā)表偏倚檢驗。本研究使用了定性的漏斗圖方法（Funnel Pot）和定量的Egger回歸法來檢驗發(fā)表偏差。當所篩選的原始文獻沒有較大的發(fā)表偏差時，基于原始文獻效應(yīng)值繪制的漏斗圖將呈現(xiàn)為左右較為對稱的倒立型漏斗形狀，否則將出現(xiàn)明顯的左右不對稱。本研究所選的原始文獻效應(yīng)值形成的漏斗圖以Zr＝0.540為對稱軸，左右均勻分布，表明所選的原始文獻發(fā)表偏差可以接受，如圖1所示。同時，Egger回歸法的檢測結(jié)果顯示，t＝0.730，p＝0.233＞0.05，表明所選的原始文獻發(fā)表偏差不顯著，本研究的結(jié)果具有穩(wěn)健性。

四、研究結(jié)果和分析

（一）整體效應(yīng)分析

進行綜合效應(yīng)值分析時，采用未加權(quán)的效應(yīng)值進行分析將在很大程度上減少個別樣本量過大且變異性水平較高的研究對結(jié)果造成的影響（I2=19.87<25%），最終得到元分析的隨機效應(yīng)模型的綜合效應(yīng)值r=0.547（CI=[0.507，0.584]）。依據(jù)Cohen提出的標準，效應(yīng)值r在0.10～0.30之間被視為小效應(yīng)值，0.30～0.50之間被視為中等效應(yīng)值，而大于0.50則被視為大效應(yīng)值[31]。通過綜合檢查元分析中包含的所有研究，我們認為，認知負荷和眼動測量之間存在較高水平的相關(guān)關(guān)系，眼動儀各項指標受認知負荷的綜合影響較為顯著。

（二）測量指標的效應(yīng)分析

通過計算得到各文獻中每一項眼動指標的未加權(quán)隨機效應(yīng)模型的效應(yīng)值和置信區(qū)間，具體數(shù)據(jù)見表2。將得出的效應(yīng)值r與已知的基準比較，可以確定這些眼動指標受認知負荷的影響大小[31]。

效應(yīng)值水平最高的測量指標是“瞳孔大小變化”，效應(yīng)值r=0.759，CI=[0.615，0.854]，表明該測量指標的數(shù)值受認知負荷影響最顯著。然而就數(shù)值大小而言，“眼跳距離”的效應(yīng)值似乎更高（r=0.872），但由于該效應(yīng)值估計的95%置信區(qū)間包括0（CI=[-0.390，0.996]），所以不具有統(tǒng)計學(xué)意義；同樣，即使“眨眼間隔”的效應(yīng)值水平很高（r=0.677），但支撐該效應(yīng)值的樣本量太小（k=1），結(jié)果穩(wěn)健性不能得到保證，無法確定其是否能夠有效表征學(xué)習(xí)者的認知負荷。

除“眼跳距離”之外，還有一些測量指標估計的95%置信區(qū)間包含0。這些測量指標包括“眼跳峰值速度”“眼跳速度”“返回眼跳”“眼跳時長”“眼跳次數(shù)”“注視頻率”“水平注視位置”“垂直注視位置”“注視點垂直距離”“首次注視AOI的時間”“視線首次到達AOI的時間”“AOI訪問時間”，說明這些測量指標受認知負荷影響不夠顯著。除“眨眼間隔”之外，還有一些測量指標也因為樣本量不足需要進一步探索，如“眨眼時長標準差”“眼跳范圍”“眼跳頻率”“注視點注視時長標準差”“注視點水平距離”“注視點垂直距離”“AOI總訪問時間”“視野范圍和視覺熵值”。以上兩類指標被排除在有效測量指標之外。

將其余受認知負荷影響顯著的測量指標按照效應(yīng)值由大到小排序，處于大效應(yīng)值水平的依次是“瞳孔大小變化”“AOI停留時間”“總測試時間”“注視次數(shù)”“總注視時間”“瞳孔面積標準差”“眼跳幅度”“注視點個數(shù)”“AOI訪問次數(shù)”；處于中等效應(yīng)值水平的依次是“注視時間占比”“瞳孔大小”“注視持續(xù)時間”“眨眼時間”“AOI進出次數(shù)”“眨眼頻率”“眨眼次數(shù)”。

森林圖提供了可視化結(jié)果，能夠快速地觀察得出眼動指標測量認知負荷的能力[32]。將測量指標結(jié)果輸出為森林圖，顯示效應(yīng)值結(jié)果和對應(yīng)的95%置信區(qū)間，如圖2所示。

（三）其他調(diào)節(jié)變量的效應(yīng)分析

以任務(wù)的知識性質(zhì)作為調(diào)節(jié)變量，計算出陳述性知識對應(yīng)大的效應(yīng)值r=0.523（CI=[0.441，0.597]），程序性知識對應(yīng)大的效應(yīng)值r=0.572（CI=[0.492，0.642]）。通過比較效應(yīng)值發(fā)現(xiàn)，雖然程序性知識組的效應(yīng)值大于陳述性知識組，但是兩種類型的任務(wù)之間沒有顯著差異（Q=0.763，p=0.382>0.05）。

以眼球追蹤儀器的采樣頻率作為調(diào)節(jié)變量，計算出60Hz以下對應(yīng)大的效應(yīng)值r=0.733（CI=[0.565，0.843]），60Hz及其以上對應(yīng)大的效應(yīng)值r=0.530（CI=[0.470，0.586]），異質(zhì)性檢驗統(tǒng)計量Q=4.890（p=0.027<0.05），表明效應(yīng)值在高低采樣率之間存在顯著性差異。同時，比較效應(yīng)值發(fā)現(xiàn)，60Hz以下的低采樣率眼動儀的效應(yīng)值大于60Hz及以上的高采樣率眼動儀，說明低采樣率的眼動儀對認知負荷的改變更加敏感，更有可能適用于多媒體學(xué)習(xí)領(lǐng)域的認知負荷測量。

以認知負荷來源作為調(diào)節(jié)變量，計算出任務(wù)難易程度對應(yīng)大的效應(yīng)值r=0.561（CI=[0.483，0.630]），學(xué)習(xí)材料設(shè)計方式對應(yīng)大的效應(yīng)值r=0.506（CI=[0.399，0.599]），學(xué)生學(xué)業(yè)水平對應(yīng)大的效應(yīng)值r=0.587（CI=[0.439，0.704]），三個調(diào)節(jié)變量都具有較大的效應(yīng)值。比較效應(yīng)值發(fā)現(xiàn)，學(xué)生學(xué)業(yè)水平組的效應(yīng)值最高，其次是學(xué)習(xí)材料設(shè)計方式組，最低的是任務(wù)難易程度組，三者之間沒有顯示出顯著差異（Q=1.155，p=0.561>0.05），且都具有大效應(yīng)值水平，說明眼動實驗可以有效測量這三種不同來源的認知負荷眼動指標，具體內(nèi)容見表3。

五、研究結(jié)論

整體上，眼動儀各項指標受認知負荷的綜合影響較為顯著（總效應(yīng)值r＝0.547），其測量認知負荷的有效性得到確認。通過分析得出如下結(jié)論：

（一）具有高效應(yīng)量的眼動指標

本研究驗證了眼動儀部分指標測量認知負荷的有效性，得出了若干項具有大效應(yīng)值的眼動測量指標，瞳孔、注視、眨眼、AOI等相關(guān)指標更宜選取。

通過元分析發(fā)現(xiàn)，瞳孔相關(guān)測量指標尤其是“瞳孔大小變化”對認知負荷具有較強的敏感性，可能的原因是瞳孔的變化是不受實驗對象主觀控制的自主神經(jīng)系統(tǒng)的活動。在高難度任務(wù)中，由于任務(wù)的完成需要更多的認知資源和注意力，大腦會自發(fā)地通過增加瞳孔的大小和擴張速度來調(diào)節(jié)視網(wǎng)膜上光線的入射量，以提高視覺清晰度和視覺敏感度，從而更好地應(yīng)對任務(wù)要求。這種機制可以被解釋為大腦在高難度任務(wù)中對視覺系統(tǒng)的適應(yīng)性調(diào)節(jié)[10]。相反，在低難度任務(wù)中，由于任務(wù)的完成需要的認知資源較少，大腦對視網(wǎng)膜上光線的入射量的調(diào)節(jié)不需要那么明顯，因此，瞳孔反應(yīng)較弱[33]。同時，為了保證實驗數(shù)據(jù)的準確性，需要在實驗過程中控制適度的環(huán)境光線并確保被試者在整個實驗過程中保持相對穩(wěn)定的頭部姿勢和注視距離。

通過研究發(fā)現(xiàn)，注視相關(guān)測量指標尤其是“注視次數(shù)”對認知負荷具有較強的敏感性，可能是因為注視過程涉及視覺和注意力兩個認知過程，而這兩個認知過程都受到認知負荷的影響[34]。通過記錄實驗對象注視過程的時間、頻率、持續(xù)時間等指標，可以反映其在不同時間段內(nèi)的注意力變化以及視覺加工的深度和廣度、信息獲取和處理的速度等，這些信息可以幫助研究者更好地理解和分析認知負荷的復(fù)雜性，提高研究的可靠性和有效性[35]。因此，這種視覺和注意力的雙重效應(yīng)使得注視相關(guān)測量指標能夠提供更加精細和全面的認知負荷測量。

另外發(fā)現(xiàn)，“眨眼時間”“眨眼頻率”“眨眼次數(shù)”受認知負荷影響較大。和瞳孔的變化相似，眨眼也作為無意識的生理反應(yīng)與注意力和認知負荷密切相關(guān)。在認知加工的過程中，人們傾向于增加視覺固定的時間以減少干擾，這會導(dǎo)致眨眼頻率的降低，同時，隨著任務(wù)時間的增長，較低的眨眼頻率導(dǎo)致眼睛不能保持濕潤，不能及時調(diào)節(jié)視覺焦距和減少眼睛的疲勞感，其又會反作用于人們記憶和認知的表現(xiàn)[36]。同樣，因為視覺固定的增加，眨眼的時間可能會被壓縮以便更好地維持注意力和處理視覺信息，因此，眨眼時間在視覺需求增加時也會顯著減少[3]。

興趣區(qū)的眼動指標尤其是“AOI停留時間”也呈現(xiàn)出了較大的效應(yīng)值，說明通過劃分不同興趣區(qū)可以更充分地了解實驗對象的認知負荷水平和認知加工過程的變化情況。例如：當認知負荷增加時，實驗對象的注意力集中程度可能會下降，從而導(dǎo)致其注視興趣區(qū)的時間和次數(shù)減少，這些眼動指標的變化可以反映出不同任務(wù)難度下的認知負荷水平，并提供有價值的信息。所以通過分析AOI興趣區(qū)的相關(guān)眼動指標有助于研究者深入理解認知負荷對視覺加工的影響，并進一步探究認知負荷的相關(guān)機制。

其余的測量指標雖然樣本量充足，但是經(jīng)過分析被判定為不宜使用。例如：返回眼跳（眼跳侵擾）可能受到多種因素的影響，包括注意力的變化、情緒的波動、疲勞和認知策略的改變等。若研究必須使用這些指標，為了提高這些指標測量結(jié)果的穩(wěn)定性，研究者可以采用重復(fù)測量、限制參與者的行為、控制環(huán)境和使用適當?shù)臄?shù)據(jù)處理方法等進行控制。

（二）調(diào)節(jié)變量的作用

陳述性知識性質(zhì)和程序性知識性質(zhì)兩組之間雖然并未觀察到效應(yīng)值的顯著不同，但是兩者之間存在一定的差異性。通過對比文獻的研究細節(jié)發(fā)現(xiàn)，當任務(wù)的知識性質(zhì)是陳述性知識時，學(xué)習(xí)者的眼動行為更傾向于關(guān)注閱讀材料的表面特征，容易出現(xiàn)回讀、跳讀等現(xiàn)象，研究者也更愿意使用眼跳、眨眼等相關(guān)指標。相比之下，當學(xué)習(xí)者學(xué)習(xí)程序性知識時，他們的眼動行為更加關(guān)注步驟和順序，會更長時間地注視程序的步驟和細節(jié)，研究者對此更傾向于使用注視、瞳孔等相關(guān)指標。這很有可能造成程序性知識和陳述性知識觀察到的調(diào)節(jié)效應(yīng)不明顯，未來需要更多研究的測量指標結(jié)果來提高效應(yīng)值的統(tǒng)計功效和準確性。此外，本研究提取到的使用陳述性知識作為學(xué)習(xí)材料的研究相較程序性知識大多缺乏反饋功能，缺乏反饋可能會導(dǎo)致學(xué)生進行陳述性知識學(xué)習(xí)的認知負荷激增，縮小了與有系統(tǒng)反饋的程序性知識組的差異，從而影響實驗結(jié)果[37]。因此，在進行多媒體學(xué)習(xí)環(huán)境及任務(wù)設(shè)計中，要重視多媒體學(xué)習(xí)任務(wù)系統(tǒng)的反饋功能，以防此因素影響實驗結(jié)果。

在眼動儀采樣率調(diào)節(jié)變量分析中，60Hz以下采樣率與60Hz及以上采樣率的眼動儀效應(yīng)值水平有較大差異，60Hz以下采樣率的眼動儀可能更適合用于測量多媒體學(xué)習(xí)領(lǐng)域的認知負荷。雖然理論上更高的采樣率往往意味著眼動儀性能更好，能產(chǎn)生更多的數(shù)據(jù)，但是在實際使用中，必須要根據(jù)自身需求選取一定采樣率的眼動儀[19]。在分析中發(fā)現(xiàn)，使用高采樣率眼動儀的研究者傾向于捕捉眼跳幅度等與復(fù)雜的腦神經(jīng)科學(xué)相關(guān)的微眼跳指標[38]。雖然此類測量指標潛力巨大，目前的相關(guān)研究發(fā)現(xiàn)該指標處于大效應(yīng)值水平，但是高采樣率組實驗的效應(yīng)值顯著低于低采樣率組實驗的效應(yīng)值。

在認知負荷來源調(diào)節(jié)變量分析中，“任務(wù)難易程度”“學(xué)習(xí)材料設(shè)計方式”“學(xué)業(yè)水平”三者之間未呈現(xiàn)出顯著的效應(yīng)值差異，但是都具有大效應(yīng)值水平。這表明在通過眼動實驗測量認知負荷的實驗中，不管研究者是通過改變實驗組的任務(wù)難易程度，還是改變學(xué)習(xí)材料設(shè)計方式，抑或是根據(jù)學(xué)業(yè)水平劃分實驗對象，三種方式對不同組進行認知負荷的測量都是合理的。也就是說，在多媒體學(xué)習(xí)領(lǐng)域，眼動實驗可以有效幫助研究者測量受不同因素影響的認知負荷。

六、結(jié)? ?語

本研究聚焦多媒體學(xué)習(xí)環(huán)境中認知負荷的眼動測量指標及其調(diào)節(jié)變量的研究，通過元分析方法提取了若干具有較大效應(yīng)量的眼動測量指標，并對知識類型、眼動儀的采樣頻率、認知負荷來源等調(diào)節(jié)變量進行了分析。相關(guān)研究結(jié)論能夠為多媒體學(xué)習(xí)環(huán)境中認知負荷的有效測量提供依據(jù)與借鑒。雖然本研究中納入的研究總數(shù)量較大，但并不是每一組眼動指標變量都有足夠的樣本支撐其效應(yīng)值，這很可能是由于一些研究者只報告顯示出明顯統(tǒng)計學(xué)差異的測量指標，造成一些指標的有效性無法得到確認。因此，在后續(xù)的研究中需要設(shè)計認知負荷誘發(fā)試驗以誘發(fā)不同層次的認知負荷，并以此為基礎(chǔ)提取并構(gòu)建能夠有效表征學(xué)習(xí)者認知負荷的眼動指標，甚至是多模態(tài)測量指標。

[參考文獻]

[1] 王國華，聶勝欣，薛瑞鑫.多媒體學(xué)習(xí)中的認知負荷：測量方法與技術(shù)縱覽[J].電化教育研究，2022，43（4）：19-25，54.

[2] WICKENS C D， HOLLANDS J G， BANBURY S， PARASURAMAN R. Engineering psychology and human performance[M]. 4th ed. Boston， MA： Pearson Education Inc.， 2013：80-85.

[3] WIERWILLE W W， EGGEMEIER F T. Recommendations for mental workload measurement in a test and evaluation environment[J]. Human factors， 1993， 35（2）：263-281.

[4] ZHANG L， ZHANG J. Eye-tracking technology in psychological research： progress and prospects[J]. Advances in psychological science， 2019， 27（4）：655-666.

[5] ROSENFIELD M， JAHAN S， NUNEZ K， et al. Cognitive demand， digital screens and blink rate[J]. Computers in human behavior， 2015， 51：403-406.

[6] BENEDETTO S， PEDROTTI M， MININ L， et al， Driver workload and eye blink duration[J]. Transportation research part f： traffic psychology and behaviour， 2011，14（3）：199-208.

[7] TUYVEN E， VAN DER GOTEN K， VANDIERENDONCK A， et al. The effect of cognitive load on saccadic eye movements[J]. Acta psychologica， 2000，104（1）：69-85.

[8] SALVUCCI D D， GOLDBERG J H. Identifying fixations and saccades in eye-tracking protocols[C]//Proceedings of the 2000 Symposium on Eye Tracking Research & Applications. New York： ACM， 2000：71-78.

[9] KANG O E， HUFFER K E， WHEATLEY T P. Pupil dilation dynamics track attention to high-level information[J]. PLOS One，2014，9（8）：1-6.

[10] KRZYSZTOF K A， ANDREW T D， ANNA N， et al. Eye tracking cognitive load using pupil diameter and microsaccades with fixed gaze[J]. PLOS One， 2018，13（9）：1-23.

[11] MARQUART G， CABRALL C， DE WINTER J. Review of eye-related measures of drivers' mental workload[J]. Procedia manufacturing， 2015，3：2854-2861.

[12] SAVAGE S W， POTTER D D， TATLER B W. Does preoccupation impair hazard perception？ A simultaneous EEG and eye tracking study[J]. Transportation research part f： traffic psychology and behaviour， 2013，17（2）：52-62.

[13] ZAGERMANN J， PFEIL U， REITERER H. Measuring cognitive load using eye tracking technology in visual computing[C]//Proceedings of the Sixth Workshop on Beyond Time and Errors on Novel Evaluation Methods for Visualization. New York： IEEE，2016：78-85.

[14] GRANHOLM E， VERNEY S P. Pupillary responses and attentional allocation problems on the backward masking task in schizophrenia[J]. International journal of psychophysiology， 2004，52（1）：37-51.

[15] JOHNSON C I， MAYER R E. An eye movement analysis of the spatial contiguity effect in multimedia learning[J]. Journal of experimental psychology： applied，2012，18（2）：178-191.

[16] 辛自強，林崇德.認知負荷與認知技能和圖式獲得的關(guān)系及其教學(xué)意義[J]. 華東師范大學(xué)學(xué)報（教育科學(xué)版），2002，20（4）：55-77.

[17] NECHES R， LANGLEY P， KLAHR D. Learning， development， and production systems[M]// NECHES R， LANGLEY P， KLAHR D. Production system models of learning and development. Cambridge： The MIT Press. 1987：1-45.

[18] WIERTS R， JANSSEN M J A， KINGMA H. Measuring saccade peak velocity using a low-frequency sampling rate of 50 Hz[J]. IEEE transactions on biomedical engineering， 2008，55（12）：2840-2842.

[19] ANDERSSON R， NYSTR？魻M M， HOLMQVIST K. Sampling frequency and eye-tracking measures： how speed affects durations， latencies， and more[J]. Journal of eye movement research， 2010，3（3）：1-12.

[20] 李東.先驗知識、歸納水平、邏輯動畫和材料性質(zhì)對錄屏式微課學(xué)習(xí)的認知負荷與學(xué)習(xí)成績的影響[D].福州：福建師范大學(xué)，2017.

[21] 胡曉玲，袁民，趙凌霞.2002—2022年間我國學(xué)習(xí)主題元分析研究的質(zhì)量評價[J].電化教育研究，2023，44（1）：106-115.

[22] ROSENTHAL R， DIMATTEO M R. Meta-analysis： recent developments in quantitative methods for literature reviews[J]. Annual review of psychology，2001，52（1）：59-82.

[23] COBAN M， BOLAT Y I， GOKSU I. The potential of immersive virtual reality to enhance learning： a meta-analysis[J]. Educational research review， 2022，36（3）：1-19.

[24] 葉愛敏. 整合微視頻的數(shù)字化閱讀眼動行為研究[D]. 溫州：溫州大學(xué)，2016.

[25] ROP G， VAN WERMESKERKEN M， DE NOOIJER J A， et al. Task experience as a boundary condition for the negative effects of irrelevant information on learning[J]. Educational psychology review，2018，30（10）：229-253.

[26] TOKUDA S， OBINATA G， PALMER E， et al. Estimation of mental workload using saccadic eye movements in a free-viewing task[C]//2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. New York： IEEE， 2011： 4523-4529.

[27] YANG J， WANG S， TONG X， et al. Semantic and plausibility effects on preview benefit during eye fixations in Chinese reading[J]. Reading and writing，2012，25（9）：1031-1052.

[28] ONNASCH L， WICKENS C D， LI H， et al. Human performance consequences of stages and levels of automation： an integrated meta-analysis[J]. Human factors，2014，56（3）：476-488.

[29] HIGGINS J P T， THOMPSON S G， DEEKS J J， et al. Measuring inconsistency in meta-analyses[J]. BMJ， 2003，327（7414）：557-560.

[30] 衛(wèi)旭華.組織與管理研究中的元分析方法[M].北京：科學(xué)出版社：2021：48.

[31] COHEN J. A power primer[J]. Psychological bulletin， 1992，112（1）：155-159.

[32] SCHAEFER K E， CHEN J Y C， SZALMA J L， et al. A meta-analysis of factors influencing the development of trust in automation： implications for understanding autonomy in future systems[J]. Human factors， 2016，58（3）：377-400.

[33] HESS E H， POLT J M. Pupil size as related to interest value of visual stimuli[J]. Science，1960，132（3423）：349-350.

[34] VANNESTE P， RAES A， MORTON J， et al. Towards measuring cognitive load through multimodal physiological data[J]. Cognition， technology & work， 2021，23（3）：567-585.

[35] JACOB R J K， KARN K S. Eye tracking in human-computer interaction and usability research： ready to deliver the promises[M]// RADACH R， HYONA J， DEUBEL H. The mind's eye： cognitive and applied aspects of eye movement research. Amsterdam： Elsevier， 2003，2（3）：573-605.

[36] HAYES J， ALLINSON C W. Cognitive style and its relevance for management practice[J]. British journal of management， 1994，5（1）：53-71.

[37] CLARK R E. Media will never influence learning[J]. Educational technology research and development， 1994，42（2）：21-29.

[38] EBERHARD K M， SPIVEY-KNOWLTON M J， SEDIVY J C， et al. Eye movements as a window into real-time spoken language comprehension in natural contexts[J]. Journal of psycholinguistic research， 1995，24（6）：409-436.

Research on Eye-tracking Indicators for Cognitive Load Representation in Multimedia Learning

WANG Guohua1，? TIAN Lianghao1，? NIE Shengxin1，? ZHU Ke2，? LIANG Yunzhen1

（1.Department of Education， Henan Normal University， Xinxiang Henan 453000;

2.Intelligent Education Henan Collaborative Innovation Center， Xinxiang Henan 453000）

[Abstract] Measuring cognitive load through eye-tracking devices has become an important method for cognitive load measurement. Although many studies have relied on the measurement data output by eye-tracking devices to characterize cognitive load， there are no clear indicators of which eye-tracking data can accurately characterize the cognitive load status of learners. This study used a meta-analysis method of evidence-based research to quantitatively analyze 62 experimental studies at home and abroad， to systematically examine the impact of cognitive load on eye-tracking indicators and explore eye-tracking indicators that can characterize cognitive load in multimedia learning. It is found that： （1） the overall effect size of the samples included in the study is 0.547 （k=318）， indicating that eye-tracking indicators are significantly affected by cognitive load; （2） analyzing the different measurement indicators as moderating variables， it is found that 15 eye-tracking indicators with significant effect sizes， such as pupil diameter， can better characterize learners' cognitive load status; （3） in the analysis of other moderating variable， it is found that the eye-tracking device with a sampling rate below 60Hz is more suitable for the measurement of cognitive load in multimedia learning， while there is no moderating effect for the nature of knowledge and the source of cognitive load.

[Keywords] Cognitive Load; Multimedia Learning; Eye-tracking Experiment; Eye-tracking Technology; Meta-analysis