文章難度與呈現方式對多媒體閱讀的影響*
——基于H學院的眼動實驗分析

王 玨 張 屹 李智曄 宋 萍

（1.華中師范大學 教育信息技術學院，湖北武漢 430000；2.湖州師范學院 教師教育學院，浙江湖州 313000；3.湖州師范學院 馬克思主義學院，浙江湖州 313000；4.寧波學校裝備與電化教育中心，浙江寧波 315000）

多媒體閱讀的基本結構由頁面內容與多媒體元素通過一定的空間位置關系構成。教學人員在設計學習材料時，往往喜歡從個人的感性經驗出發，對要素之間的相互關系及其影響缺少客觀的實證依據，故大大降低了設計的有效性。Mayer[1]等系統地研究了多媒體及其呈現方式的閱讀效果，為閱讀界面設計提供了指導原則。隨著技術的發展，眼動設備性能日益提升，可以幫助人們實現對學習過程的精確、可視化追蹤，并用于對學習資源中由不同媒體表征引起的認知差異和相互影響進行深入的研究[2]，為學習資源的優化設計提供了科學依據。此外，閻國利[3]對傳統閱讀的心理認知進行了系統的眼動研究，劉世清等[4][5]在多媒體學習領域對界面的基本結構特征進行了研究。綜合相關文獻成果，可知多媒體閱讀中內容難易、呈現方式是影響眼動的重要因素[6][7][8][9]。具體來說，在呈現方式上，研究者主要針對教材[10]、課件[11]的插圖效應、教育網頁的結構特征[12][13]等進行了研究；而在內容難度上，研究者圍繞內容難易與界面大小[14]，內容難易與無插圖、黑白與彩色插圖三者對比[15]等方面進行了研究。但是，目前尚缺乏結合內容難易與呈現方式來考察對多媒體閱讀之影響的研究。為此，本研究在H學院進行了眼動實驗。

一 實驗設計

1 實驗目的

本研究以H學院相關專業的本科生為研究對象，選取文章難度、呈現方式為變量，通過眼動實驗法，分析這兩個變量在閱讀理解和眼動指標上的主效應及交互效應，從而為有效地設計多媒體閱讀材料提供實證依據與優化策略。

2 具體設計

①實驗設計：采用 2（文章難度）×3（呈現方式）的雙因素混合實驗。被試內變量為文章難度（進一步細分為易、難兩個水平），被試間變量為呈現方式（進一步細分為純文本、上圖下文、上文下圖三個水平）。

②實驗被試：隨機選取H學院小學教育專業、教育技術學專業、數學與應用數學專業的48名本科生作為研究對象。被試的母語背景均為漢語，視力（裸眼或矯正視力）均為正常，按被試間變量（呈現方式）分組。每個被試在實驗結束后檢查眼動數據，按數據采樣率≥80%選擇有效數據。最終，得到3組有效被試共42人（每組14人，其中男、女各7人）。

③實驗儀器：采用Tobii T120眼動儀，眼動儀集成于顯示器內。因此，在實驗過程中，被試無需帶上頭套或固定支架，以保證在自然閱讀的情況下進行實驗，從而采集到更精確的數據。

④實驗材料：包括4篇科普文章、2篇預備材料、2篇正式材料。在實驗材料設計上，本研究將文章難易等級分為極易、易、難、極難四級，而圖文關聯度分為極低、低、高、極高四級。實驗前經過兩輪閱讀評估不斷改進實驗材料，統計得到難文章的內容難度為難等級；易文章的內容難度為易等級，難易文章的圖文關聯度均為高等級。與此同時，本研究選用字數約750字的長文章作為實驗材料，以更好地反映真實的閱讀情境。在左右圖文布局上，長文章一般又可細分為圖片置于左右四個邊角位置。由于左右圖文組與上下圖文組劃分的文字區在本實驗中無法嚴格比對，故選取上圖下文、上文下圖與純文本三組呈現方式進行研究。

⑤實驗程序：由實驗員引導單個被試進入眼動實驗室進行實驗。實驗開始前，由實驗員向被試說明實驗要求，并進行視線校準。如果校準過程中出現無法排除的問題，則需要替換其他被試進行實驗。校準完畢后，實驗員向被試宣讀指導語：“這是一個關于閱讀的實驗。請你閱讀4篇科普類難易不同的文章。每篇文章按照先閱讀理解題目、再閱讀文本、最后做題的順序進行。重復以上步驟，直至完成實驗。”之后，實驗正式開始。

二 實驗分析

本研究使用Tobii T120眼動儀及其配套軟件Tobii Studio 3.3.1采集眼動數據，并采用SPSS 17.0軟件從閱讀理解指標、眼動行為指標兩個維度進行統計分析。

表1 閱讀理解指標的數據統計結果

1 閱讀理解指標分析

本實驗的閱讀理解指標包括閱讀成績和閱讀時間。每篇文章閱讀后各有5道單選題，其中識記題占20%，辨析、理解題共占80%。本實驗因各篇文章字數略有差別，特依據于鵬等[16]的研究成果，將百字閱讀時間作為閱讀速度的計算標準，計算公式為：閱讀時間/總文字數量×100（單位為秒）。三組有效被試參與混合實驗后，得到的閱讀理解指標數據統計結果如表1所示。

為進一步分析文章難度與呈現方式對閱讀效果的主效應及交互效應，本研究對相關數據分別進行了重復測量方差分析，結果如下：

（1）閱讀成績

呈現方式在閱讀成績上的主效應顯著〔F（2，39）=3.243，P=0.05〕。運用最小顯著性差異法（Least-Significant Difference，LSD）進行比較，本研究發現：兩個圖文組均與純文本組之間有顯著的差異（P<0.05），說明圖文組閱讀成績顯著優于純文本組；上圖下文組與上文下圖組之間的差異不顯著（P>0.05）。文章難度在閱讀成績上的主效應顯著〔F（2，9）=25.471，P<0.001〕。

文章難度×呈現方式在閱讀成績上的交互效應顯著〔F（2，39）=1.080，P<0.05〕。對交互項進行簡單效應分析，本研究發現：在文章難易水平上，當實驗材料為易文章時，上圖下文組與上文下圖組、上圖下文組與純文本組沒有顯著差異（P>0.05），而上文下圖組顯著優于純文本組（P<0.01）；當實驗材料為難文章時，三組均沒有顯著差異（P>0.05）。在呈現方式水平上，當實驗材料為上圖下文時，難、易文章沒有顯著差異（P>0.05）；當實驗材料為上文下圖時，易文章顯著優于難文章（P<0.001）；當實驗材料為純文本時，易文章顯著優于難文章（P<0.01）。

（2）閱讀時間

呈現方式在閱讀時間上的主效應不顯著（P>0.05），文章難度在閱讀時間上的主效應顯著〔F（2，39）=32.016，P<0.001〕，而文章難度×呈現方式在閱讀時間上的交互效應不顯著（P>0.05）。

2 眼動行為指標分析

由于眼動儀采集的眼動行為指標較多，故本研究根據實驗的重點，按照閱讀過程（分為對內容的初始表征、整合與理解、深入加工等階段）選取以下指標進行分析：首次注視時間（Time to First Fixation）——表征對內容的初期加工過程；注視次數（Fixation Count）、總注視時間（Total Fixation Duration）——表征對內容的整體理解過程；回視次數（Regression Count）——表征對內容的深入加工過程；瞳孔直徑（Pupil Dilation）——表征對內容處理的認知負荷等。同時，本研究采用Tobii Studio 3.3.1軟件劃分興趣區（Area of Interest，AOI），將其劃分文字區與圖片區，且各組比對的興趣區面積保持相等。

（1）首次注視時間

呈現方式在文字區的首次注視時間的主效應顯著〔F（2，39）=10.112，P<0.001〕。上圖下文組與上文下圖組、上圖下文組與純文本組的差異顯著（P<0.05），上文下圖組與純文本組之間無顯著差異（P>0.05）。文章難度在文字區的首次注視時間的主效應顯著〔F（2，39）=5.741，P<0.05〕。

文章難度×呈現方式在文字區的首次注視時間的交互效應顯著〔F（2，39）=6.104，P<0.01〕。對交互項進行簡單效應分析，本研究發現：①在呈現方式水平上，當實驗材料為上圖下文時，難、易文章有顯著差異（P<0.001）；當實驗材料為上文下圖或純文本時，難、易文章無顯著差異（P>0.05）。②在文章難易水平上，當實驗材料為易文章時，上圖下文組與上文下圖組、上文下圖組與純文本組均沒有顯著差異（P>0.05）；上圖下文組與純文本組有顯著差異（P<0.05）；當實驗材料為難文章時，上圖下文組與上文下圖組、上圖下文組與純文本組均有顯著差異（P<0.01）；上文下圖組與純文本組無顯著差異（P>0.05）。

（2）注視次數與總注視時間

呈現方式在文字區的注視次數、總注視時間的主效應均不顯著（P>0.05）；文章難度在文字區的這兩個眼動指標的主效應均顯著〔F（2，39）=40.761，P＜0.001〕、〔F（2，39）=43.926，P＜0.001〕，表明閱讀難文章對文字的注視程度遠高于閱讀易文章。文章難度×呈現方式在文字區的這兩個眼動指標的交互效應均不顯著（P>0.05）。

呈現方式在圖片區的這兩個眼動指標的主效應均不顯著（P>0.05）。文章難度在圖片區的這兩個眼動指標的主效應均顯著〔F（2，39）=4.238，P=0.05〕、〔F（2，39）=6.105，P＜0.05〕。文章難度×呈現方式在圖片區的這兩個眼動指標的交互效應均不顯著（P>0.05）。

（3）回視次數

Tobii Studio 3.3.1軟件提供訪問次數（Visit Count），故回視次數可看作是訪問次數－首次注視[17]。呈現方式在圖片區的回視次數的主效應顯著〔F（2，39）=5.592，P<0.05〕；純文本組無圖片，無需比對；上圖下文組的回視次數顯著多于上文下圖組。文章難度在文字區的回視次數的主效應顯著〔F（2，39）=12.882，P=0.001〕。

（4）瞳孔直徑

目前對瞳孔直徑的研究，相關文獻還較少[18]。Tobii眼動儀記錄左、右眼（PupilLeft和PupilRight）的瞳孔尺寸，本研究從Tobii Studio 3.3.1軟件中導出瞳孔直徑數據后，根據左、右眼代碼的有效性篩選數據；之后，對左、右眼的瞳孔尺寸計算整體均值（單位：毫米）后作統計分析，結果表明：呈現方式在瞳孔直徑上的主效應不顯著（P>0.05），文章難度在瞳孔直徑上的主效應不顯著（P>0.05），文章難度×呈現方式在瞳孔直徑上的交互效應不顯著（P>0.05）。

三 實驗結論

1 文章難度是影響閱讀理解指標和實驗選取的眼動行為指標的主要因素

本實驗結果表明，文章難度在閱讀理解指標和本次實驗選擇的各個眼動行為指標（瞳孔直徑除外）的主效應均顯著，易文章優于難文章——這與程利等[19]、閆國利等[20]的研究結果一致。在本次實驗材料選用的科普文章中，易文章沒有較難的名詞術語，對文章內容的加工相對簡單；而難文章存在多個較易混淆的名詞術語，需要深度的認知加工才能清楚地發現它們之間的差異。

2 呈現方式在閱讀成績、文字區的首次注視時間、圖片區的回視次數的主效應顯著

Zhao等[21]對文本、圖像理解中的閱讀方法進行研究后，發現文本在指導意義的處理中起主要作用，而圖片是信息檢索的外部表示。本研究發現，學習者借助視覺表意的圖片和語義策略的文本，運用雙重通道來表征并建構對內容的理解，且理解效果較好。此外，由于人的視線軌跡一般遵循從左往右、從上往下的順序，故圖片在上方處于視覺優勢區域，學習者在閱讀的初期和整個認知加工過程中對圖片的檢索顯著多于圖片在下方的位置。

3 文章難度×呈現方式在閱讀成績、文字區的首次注視時間的交互效應顯著

本實驗結果表明，易文章且為上文下圖組的方式，在閱讀成績上的得分顯著優于其它組，故針對易文章進行設計時，上文下圖在實驗的三組呈現方式中是較為優化的方式——這與曹衛真等[22]通過眼動實驗得出對于理工類大學生來說上文下圖的搭配方式更有助于其理解的研究結果相符。通過眼動儀繪制的眼動熱點圖（如圖1、圖2所示），可以發現圖文組的視線軌跡更趨向于連續、集中，能幫助學習者聚焦到重點內容進行意義建構。

圖1 純文本組熱點圖

圖2 圖文組熱點圖

此外，在呈現方式水平上，當實驗材料為上圖下文時，難、易文章在首次注視時間上有顯著差異，由此進一步說明，即使圖片處于視覺優勢位置，學習者閱讀易文章時仍會首先更多地定位于文本區域去獲取信息。在文章難易水平上，當實驗材料為易文章時，上圖下文組與純文本組有顯著差異；當實驗材料為難文章時，上圖下文組與上文下圖組、上圖下文組與純文本組均有顯著差異，說明當文章的難度變大時，有無圖片以及圖片放置在不同位置均會對首次注視的眼動行為產生顯著的影響。

4 呈現方式、文章難度在瞳孔直徑上的主效應和交互效應均不顯著

影響瞳孔直徑變化的因素有認知負荷、光線強弱、情緒變化等。因此，在實驗過程中需對光照進行控制，且實驗時間應小于視覺疲勞極限（20min）。從認知負荷因素來看，難、易文章造成的瞳孔直徑變化總體不顯著，原因可能在于：一是在實驗材料上，難易文章的級差不太大；二是在施測程序上，難文章放在易文章之后閱讀。王葵等[23]發現，隨著學習次數的增加，可降低對材料的認知加工難度。值得一提的是，在呈現方式水平上，由于圖片本身的屬性不會發生改變，故學習者受情緒的影響較小。

四 眼動實驗對多媒體閱讀材料設計的啟示

1 擴展多媒體學習的媒體表征形式，多通道、多工具支持內容建構

在閱讀過程中，難文章建構的心理模型比易文章要復雜得多，但這并不意味著設計多媒體閱讀材料時，要盡可能地降低文章難度。長期低難度的閱讀會使學習者對文本的解讀能力下降，眼動特征呈現同一化傾向[24]，也就是說，即使學習者閱讀不同的內容，也會產生相似的眼動特征，從而養成淺閱讀習慣。因此，如何對學習內容有一定的難度要求卻又能保持較好的理解效果，是一個有待解決的重要問題。為此，本研究建議：①增強學習內容的多通道感知。近年來隨著微視頻的出現，研究者開始探索對微視頻的眼動行為進行研究，如孫穎飛[25]研究視頻與字幕的空間布局對學習效果的影響，曹衛真等[26]研究視頻中畫面主體位置的布局等。隨著技術的發展，學習資源中融合虛擬現實、增強現實等技術，將進一步加強內容載體的多通道性、可理解性。②增強學習過程的多工具支持。如在閱讀方面加入做電子筆記、交互的功能，在內容方面實現快速檢索與分析，并能隨時隨地保存學習資源與路徑，以幫助學習者提升學習效果。

2 掌握多媒體元素的認知差異，分類設計呈現方式和閱讀方式

多媒體元素會引起認知差異，如有圖組顯著優于無圖組、圖文組的不同呈現方式會產生不同的認知差異。因此，研究者在進行圖文布局時，不僅要注重內容與圖片之間的連貫性、整合性等內隱要素的設計，還要考慮多媒體元素在界面中的位置，并據此合理劃分版面，對圖片大小、相對位置、清晰度、視覺沖擊力等顯性要素進行合理布局。此外，多媒體學習可分為瀏覽、檢索與深度閱讀模式[27]，基于此，易文章可被設計成瀏覽式閱讀模式，以通過快速閱讀掌握信息；難文章可被設計成深度閱讀模式，并遵循“簡化”原則，盡量刪減與閱讀無關的內容，如復雜的頁面框架、廣告呈現等；在難文章中還可建立檢索功能，通過檢索閱讀模式對重點語義內容進行術語解釋、信息推送等，以進一步提高查找、解釋信息的便捷性與針對性。

3 考慮多媒體結構間的交互影響，對不同的指標進行分類優化

目前，多媒體閱讀材料存在的問題是：不管文章的難度如何，都采用統一的方式呈現。但本研究發現，要想更有效地呈現信息，需考慮文章難度、呈現方式的交互影響。如在呈現方式上，對有顯著影響的指標給予強化設計，聚焦、凸顯可視化程度；而對不顯著影響的指標給予弱化設計，降低不必重點關注區域的可視化程度。通過對不同指標的分類優化，能有效減少多媒體學習資源的存儲量，故有利于解決學習資源日益增多而資源存儲空間日益不足的現實矛盾。

[1](美)理查德·E·邁耶著.傅小蘭,嚴正譯.多媒體學習[M].北京:商務印書館,2006:1-272.

[2]Gog T V, Scheiter K. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning & Instruction,2010,(2):95-99.

[3]閻國利.眼動分析法在心理學研究中的應用(修訂版)[M].天津:天津教育出版社,2004:1-420.

[4][8][12]劉世清,周鵬.文本—圖片類教育網頁的結構特征與設計原則——基于寧波大學的眼動實驗研究[J].教育研究,2011,(11):99-103.

[5][9][13]劉世清,周鵬.教育網頁的結構差異分析及優化設計——基于文本—動畫類教育網頁的實驗研究[J].教育研究,2012,(6):118-122.

[6][15][19]程利,楊治良.大學生閱讀插圖文章的眼動研究[J].心理科學,2006,(3):593-596、562.

[7][14][20]閆國利,伏干,白學軍.不同難度閱讀材料對閱讀知覺廣度影響的眼動研究[J].心理科學,2008,(6):1287-1290.

[10]陶云,申繼亮,沈德立.中小學生閱讀圖文課文的眼動實驗研究[J].心理科學,2003,(2):199-203.

[11]肖瑞雪,鄭權.多媒體課件中插圖對聽障兒童閱讀影響的眼動研究[J].現代教育技術,2013,(3):45-49.

[16]于鵬,焦毓梅.韓國大學生同文體漢韓篇章閱讀眼動研究[J].云南師范大學學報(對外漢語教學與研究版),2006,(5):34-38.

[17][24]彭偉.大學生慣性淺閱讀行為的基本特征與校正方法——基于網絡文本閱讀的眼動研究[D].寧波:寧波大學,2014:14、24.

[18]鄭玉瑋,王亞蘭,崔磊.眼動追蹤技術在多媒體學習中的應用:2005-2015年相關研究的綜述[J].電化教育研究,2016,(4):68-76.

[21]Zhao F, Schnotz W, Wagner I, et al. Eye tracking indicators of reading approaches in text-picture comprehension[J].Frontline Learning Research, 2014,(11):46-66.

[22]曹衛真,殷婷如,邢強,等.常見教學網頁圖文搭配方式對記憶效果影響的研究[J].電化教育研究,2012,(2):93-100.

[23]王葵,翁旭初.句子學習過程中的眼動特征[J].人類工效學,2006,(1):1-3、10.

[25]孫穎飛.MOOC視頻界面布局對學習效果影響的眼動研究[D].西安:陜西師范大學,2016:36-39.

[26]曹衛真,車笑瓊,祁祿,等.畫面主體位置布局的眼動實驗及對網絡視頻資源建設的啟示[J].遠程教育雜志,2013,(5):97-106.

[27]李智曄.多媒體學習過程的學習行為辨析[J].教育研究,2014,(11):126-130.