多媒體課件中插圖對聽障兒童閱讀影響的眼動研究

肖瑞雪　鄭權

[摘要]文章通過眼動實驗獲取了聽障兒童在閱讀圖文混排界面時的眼動信息與數據，據此結合認知心理學的相關理論分析插圖對聽障兒童文字閱讀效果的影響，得出結論：（1）左文右圖的布局方式更利于聽障兒童對文字信息的獲取；（2）聽障兒童在閱讀圖文混排界面時，注意力分配較為困難；（3）插圖會使聽障兒童在文字區域的有意注意受到干擾，閱讀過程有所減慢。

[關鍵詞]聽障兒童；多媒體課件；插圖：眼動研究

[中圖分類號]G420 [文獻標識碼]A [論文編號]1009-8097（2013）03-0045-05 [DOI]10.3969/j.issn.1009-8097.2013.03.009

一.問題的提出

隨著教育技術的蓬勃發展，多媒體課件已經廣泛應用于特殊教育的課堂上。聾校教師利用多媒體課件可以有機整合圖、文、聲、像等多種元素的優勢，有效地激發聽障兒童的學習興趣和學習積極性。目前，國內多媒體課件的數量繁多，但質量水平參次不齊，尤其缺乏一些針對不同群體的生理和心理特征專門設計、開發的資源。現有的關于聾教育多媒體課件的理論研究也僅是停留在課堂觀察和經驗總結層面，缺乏有效的、科學的實證研究。

聽障兒童聽力受損，主要通過視覺通道獲取外界信息，而眼動研究被認為是視覺信息加工研究中最有效的手段。目前在認知心理學領域，尤其在閱讀心理學領域，已經有眾多的眼動研究成果，但針對聽障兒童的研究少之又少，數字屏幕閱讀也成為研究的一個重點與盲點。隨著特殊教育信息化進程的不斷加快，探索聽障兒童的特殊認知規律，從而為其開發無障礙的數字化學習資源，已經成為現代教育技術研究的一個重要領域。

聽障兒童的思維發展與正常兒童一致，要經過動作思維、形象思維、抽象思維三個階段，但是由于聽力受損，聽障兒童的言語形成和發展較為遲緩，思維水平較長時間停留在形象思維階段，更多依賴具體事物進行思考，表現出很大的具體性、形象性。戴爾在“經驗之塔”理論中提出：學生學習知識是一個感性認識與理性認識相結合的過程，所以多媒體課件設計者總傾向于以圖文并茂的形式呈現教學內容。一些研究者認為插圖能幫助閱讀者更易進入學習情境并理解學習內容，另一些研究者認為插圖的存在束縛了學生自由想象的空間，本文暫不對此進行探究，而是把研究重點放在圖文結合的呈現方式是否會干擾學生注意力，影響學生的文字閱讀效果。

多媒體課件中的大部分插圖具有輔助性的說明作用，但也有部分插圖只是為了填充或美化畫面而不具有實質的意義。已有研究表明，聽障兒童注意的分配比較困難，很難在同一時間內把注意指向不同的對象；注意范圍較狹窄且穩定性差，如果屏幕中出現很多無關的圖片、動畫等干擾性因素，會影響注意的穩定性從而造成閱讀困難。本實驗的假設是：聽障兒童在閱讀圖文結合頁面時，注意力分配狹窄會導致閱讀困難；插圖在頁面中的位置變化會對閱讀過程產生影響。

二.實驗設計

1.實驗對象

聽障兒童組：從徐州特教中心隨機選取六年級學生6名，平均年齡為14.2+0.8歲。6名學生均為重度聾，不佩戴助聽器，智力正常，矯正視力均在1.0以上。

正常兒童組：從徐州解放路小學隨機選取六年級學生6名，平均年齡為12+0.6歲。6名學生智力正常，矯正視力均在1.0以上。

2.實驗儀器

瑞典公司生產的Smarteye5.4眼動儀設備。測量原理：角膜反射，采樣頻率60/120H。眼動儀連接到分辨率為1280*1024像素的17寸顯示器。

3.實驗材料

本實驗采用文字與相關插圖組合成的圖片作為實驗材料。文字內容節選自人教版七年級上冊語文課本中的《皇帝的新裝》，文章難度不大，沒有生僻字。由于文字內容是記敘性的，不需要輔以說明，所以圖片的作用僅是增加趣味性，吸引學生的注意力。為了避免圖片位置的放置對實驗結果產生干擾，A組圖片內容呈現方式為左圖右文，B組圖片呈現方式為左文右圖，每組各三張圖片，數據處理時取三組數據的平均值。

4.實驗設計

本實驗采用2*2析因設計，研究聽力水平（聽障和正常）和圖片位置（A組：左圖右文，B組：左文右圖）二因素對兒童文字閱讀過程的影響。具體實驗設計為：第1組：三名聽障兒童觀看A組圖片；第2組：三名聽障兒童觀看組B圖片；第3組：三名正常兒童觀看A組圖片；第4組：三名正常兒童觀看組B圖片。實驗過程記錄了被試的興趣區域、注視時間、注視次數、眼動軌跡圖等信息。A、B兩組各三張圖片，結果分析時取三張圖片所得數據的平均值。

5.實驗過程

為了保證實驗的信度，整個實驗過程分為練習和正式實驗兩個階段。練習過程：練習開始前對被試者進行眼校準，校準后告訴被試者身體要保持目前的姿勢。在與聽障兒童進行交流時，需要聾校老師的幫助，指導被試熟悉眼動儀的測試流程后進入正式實驗。正式實驗過程：（1）被試者按照練習過程中的注意點進行調整；（2）被試者清楚要求后自己按鍵開始測試（每組的3張圖片自動放映，時間間隔為30秒）；（3）閱讀3張圖片結束后按鍵跳出，主試者保存被試者眼動信息。

6.統計分析方法

在數據采集時，刪除單次注視時間低于0.1s的數據，使用SPSS18.0進行數據分析。對眼動指標的比較采用單因素方差分析，檢驗水準a=0.05。

三.研究結果

1.眼動指標的差異

實驗中獲得的眼動數據包括注視時間、第一次到達目標區域時間以及非注視總時間，具體結果如表1所示：

注視時間是指關注一個注視點所停留的時間，注視時間反映了閱讀者的注意力集中情況、材料的閱讀難度等。不同聽力水平兒童注視時間的差異有統計學意義，聽障兒童在文字區域的注視時間多于正常兒童，F=5.601，p=0.045；圖片位置的效應無統計學意義，F=1.955，p=0.200：兒童聽力水平和圖片位置的交互效應無統計學意義，F=0.014，p=0.908，如表l所示。

第一次到達目標區域的時間是指在區域內搜索目標時，第一次準確定位的時間，是衡量學習者學習效率的重要指標。不同聽力水平兒童第一次到達目標區域的時間差異不具有統計學意義，F=2.164，p=0.161：圖片位置的效應無統計學意義，F=0.414，p=0.529；兒童聽力水平和圖片位置的交互效應無統計學意義，F=0.342，p=0.567，如表1所示。

不包括空白的非注視總時間是指已經被眼動儀記錄，在每兩個注視點之間實現轉移的時間，即在眼動軌跡圖中，連接兩個注視點之間移動線上的時間總和。在注視點之間游離的時間越長，表明閱讀者的注意力不夠集中或閱讀速度較快，閱讀難度較小。不同聽力水平兒童非注視總時間的差異有統計學意義，F=15.732，p=0.005；圖片位置的效應無統計學意義，F=2.075，p=0.169：兒童聽力水平和圖片位置的交互效應無統計學意義，F=1.395，p=0.255，如表1所示。

2.眼動軌跡圖的差異

眼動軌跡圖是指將眼動信息用數據和圖形的方式呈現出軌跡視圖，能最具體、最直觀和最全面地反映眼動的時空特征。由圖1、圖2對比可知，聽障兒童對文字的關注時間更為持久，僅用少部分時間觀察圖片，而正常兒童則花費了一半的時間觀看圖片。聽障兒童的觀察具有一定的順序性，先觀看標題，再觀看文字最后觀看圖片，而正常兒童卻遺漏了標題，先觀察圖片再閱讀文字，之后又將視線轉到圖片區域。此處只列出了兩張具有群體代表性的圖片，反映了兩組被試的整體情況。

四.討論

1.插圖對被試閱讀效果的影響

（1）插圖對聽障兒童閱讀效果影響

Lvein依據文章中圖畫的功能，把圖畫分為裝飾、表征、組織、解釋和轉換五種。本實驗中插圖發揮的作用應為裝飾與表征，也是在語文閱讀材料中最常用的一種表現形式。本實驗的假設為：聽障兒童在閱讀圖文結合頁面時，注意力分配狹窄會導致閱讀困難。研究的結果表明，不同實驗組閱讀圖文結合頁面時的閱讀時間、閱讀速度和閱讀順序都有較大差異。聽障兒童在閱讀過程中需要更長的時間理解文字，所以給予圖片更少的關注，整體而言閱讀速度較緩慢且閱讀過程呈現明顯的順序性和規律性。

（2）插圖位置對被試閱讀效果的影響

在對文字區域注視時間、第一次到達目標區域時間的數據進行方差析時，頁面的主效應均不顯著，但由比較分析中的數據可知（參見表1）：被試在閱讀左文右圖頁面時在文字區域的注視時間較少，第一次到達文字區域的時間較快，且這種差異同時體現在正常兒童組與聽障兒童組。插圖的位置對被試閱讀過程的非注視總時間的主效應具有顯著性，由于當前人們的閱讀習慣為由上到下，由左向右，所以文字置于左側更利于閱讀者視線的迅速定位，進行高效的閱讀。

2.正常兒童與聽障兒童在不同興趣區的注視特征

本實驗中把圖文結合的頁面劃成了兩個興趣區，即文字區與圖片區，并通過實驗記錄了實驗者在每個興趣區的關注時間。聽障兒童閱讀頁面時，在文字區域停留了24s，而正常兒童僅停留了15s。造成此現象的原因并不是聽障兒童對文字更感興趣，而是在一定的閱讀任務下，他們對文字的有意注意明顯要強于圖片區域。在實驗后與被試的交流中，被試者普遍表示在實驗過程中集中精力、仔細閱讀文字內容的意識非常強烈，所以將大部分精力都放在了文字區域，并在完全理解文字內容之前刻意避免了對圖片區域的關注。而正常兒童在觀察頁面時雖然明白自己的閱讀任務，但是并沒有對自己產生強迫性的要求，閱讀過程更加隨性和自由。聽障兒童由于自身缺陷，閱讀能力與閱讀速度都顯著落后于正常兒童，所以聽障兒童在閱讀文字區域時更為困難，需要更多的注視次數和更長的注視時間對內容進行獲取和加工。

仔細觀察不同組別被試的眼動軌跡圖時可知（參見圖1、圖2），在30s的時間內，正常兒童在文字區域的注視次數較少，且眼跳距離和注視時間都顯著小于聽障兒童。觀察各個注視點的順序還可發現如下特點：正常兒童在開始閱讀頁面時，第一個注視點出現在圖片區域，即色彩鮮艷的圖片對正常兒童更有吸引力，隨后被試把注視點轉移到文字區域，此現象可能是出于對文字內容的好奇也可能是自身對閱讀任務的認知。在文字區域的第十個注視點后，被試的視線又轉移到圖片，第十七個注視點后，被試的視線又回到了文字區域，此種不斷反復轉移視線的過程在正常兒童被試組都有不同程度地出現，而在聽障兒童組情況卻完全相反。觀察聽障兒童眼動軌跡圖，被試的視線首先定位在標題，之后開始閱讀文字內容，在文字內容完全閱讀完畢，被試僅在剩余的時間內對圖片進行了觀察。這一狀況的出現與實驗前的預想完全相反。大量的研究都表明聽障兒童的注意力不易保持，更易受無關信息的干擾且對色彩鮮艷的圖片內容等更感興趣，而在本實驗中實驗結果呈現的事實卻與以上理論相悖。為了探究此現象的成因，需要對聽障兒童的心理特征進行分析。

3.聽障兒童心理特征對實驗結果的影響

Meadow指出，聽障兒童個性比較自我，易接受暗示，缺乏獨立、創造性。在接受實驗的6名被試中，平均年齡為14歲，正處于耳聾學生的中年級階段，具有正常少年后期的身體和生理發育特征，然而由于語言發展遲緩的影響所致，他們還帶有兒童階段的心理特征：好勝心強，不甘落后于他人，好學上進，但批判性不足。在實驗過程中，他們的這些特征也得到了很好的體現。在其他同學進行實驗時，他們對儀器和實驗材料充滿好奇，老師示意安靜時，他們立刻變得安靜。在參與實驗時，他們坐姿端正，不輕易移動，老師講的實驗須知都能牢記于心并盡力配合。觀察圖片時也嚴格按照老師要求的“仔細觀察圖片并閱讀文字內容”。而正常兒童在參與實驗時，整個實驗過程就頗多周折。被試者的平均年齡為12歲，好奇心強并善于表現，實驗要求中的每一點他們都會心生疑問，在實驗過程中也喜歡增加一些小動作，有些甚至會對其他正在實驗的同學故意進行干擾。

造成聽障兒童與正常兒童在實驗中表現差異的原因有許多，一方面是由于聽障兒童自身的生理和心理特點決定了他們更為自卑而謹慎順從，另一方面是因當前我國特殊教育與普通教育機制之間也存在很大差別。普通學校的班容量較大，每個班可以容納四五十人，每個學生都有機會去接觸大量的人群參加各類的活動，而特殊教育學校一般采用小班教育，每個班級的學生不超過20人，由于聽障兒童每個人的家庭背景、生理狀況都存在巨大差異，所以他們的溝通能力和自我表達的意愿在未成年前都顯著地落后于正常兒童。

4.聽障兒童認知特征對實驗結果的影響

（1）聽障兒童的視覺感知速度較快

從生物學的角度看，人具有生物自發的適應和補償功能，當機體的某一部分發生損傷時，整個機體的功能將重新組合，健全器官將在一定程度上代償受損器官的功能。前蘇聯學者施夫對聽障兒童與正常兒童的視覺反應時做了比較實驗，得出結論為聽障兒童反應速度快于正常兒童。在本實驗中，每隔30s圖片會進行自動切換，此時被試者就必須重新將視線定位到文字起點的位置。為了研究聽障兒童與正常兒童重新定位的速度，筆者將文字區域作為目標區域，并通過眼動儀記錄的數據考察了被試第一次到達目標區域的時間。

被試第一次到達目標區域時間的主效應不存在顯著差異，即每組平均成績沒有顯著差異。當舍棄均值對個體進行分析時，發現個體之間的差別十分顯著。聽障兒童組內的標準差大于正常兒童（參見表1），而標準差反映了數據的離散程度，也就是雖然實驗組與對照組之間的均值相差不大，但是在聽障兒童內部的數據差異比較明顯，離散程度較大。圖3為不同組別被試第一次到達目標區域時間的折線圖：

如圖3所示，正常兒童第一次到達目標區域的時間在0～0.5s之間，而聽障兒童的組內存在顯著差異，時間短的接近0s，時間長的竟達到3.5s，由此可證明聽障兒童的視覺敏感度確實要強于正常兒童，視線轉移速度也要顯著強于正常兒童，這與他們視覺補償的生理機制重要相關。而在此實驗中由于出現了圖片的干擾，聽障兒童的有意注意受到干擾，第一次到達目標區域的時間呈現出不穩定性。

（2）聽障兒童的注意力分配較困難

無意注意是沒有預定目的、也不需要努力而實現的注意，它的產生主要取決于客觀刺激本身的特點。無意注意在人們的學習和生活過程中都起著非常重要的作用。在本實驗中由于圖片的形狀、色彩等特征，其刺激性要強于文字，被試的第一個注視點出現在圖片區域非常正常，但是正常兒童受任務的驅動會很快將注意力轉移到文字區域，而聽障兒童的狀況卻不盡相同。有的被試有很強的自我控制能力，第一個注視點就在文字區域并能堅持閱讀，有的被試當第一眼看到圖片時，由于注意轉移能力的遲鈍導致需要花費較長的時間才能把注意力從一個對象轉移到另一個對象上去。這種現象在眼動軌跡圖中也能得到驗證。正常兒童閱讀文字能力較強，能在較短時間內完成文字閱讀，并能在文字與圖片區域輕松實現視線的轉移與注意的分配。聽障兒童注意的分配比較困難，很難在同一時間內把注意指向不同的對象，他們的注意轉移過程是間斷的并且需要較長的時間。聽障兒童獲得的感知形象往往缺乏系統性和完整性，這給聾教育多媒體課件的無障礙設計帶來許多啟發：頁面設計時可以通過一些動畫和圖片等幫助聽障兒童更充分的理解和吸收教學內容，但是不要出現太多與內容無關的元素，無關元素會引起聽障兒童的無意注意，且一旦引起注意需花費較長的時間才能實現注意力的轉移和回歸。同時，在穿插一些輔助性的元素時要盡量不打破原有內容的整體性，一旦打破就需要學習者花費時間與精力進行重新組織與排序，影響學習效果。當需要給文中添加圖片等元素時，要保證其與內容的相關性、教學性和簡明性。不要添加一些無關的裝飾性元素，由于本實驗中限定了觀察時間，當在沒有時間限制的時候，聽障兒童缺乏對整個界面整體的統籌概括能力，就會對整個畫面的元素進行細致的觀察，影響閱讀進度和效率。盡可能把一些有價值的元素放在文中的某個確定的方位，如果文中出現了文字包圍式的圖片等形式，聽障兒童的閱讀過程勢必會受到十分嚴重的影響。當然這只是出于科學的推斷，具體會產生怎樣的影響依然需要一系列更為精準的后續研究。

不包括空白的非注視總時間就是指已經被眼動儀記錄，但卻不是停留在注視點的時間總和，也就是眼動軌跡圖中視線轉移線上所花費的時間。根據數據分析顯示（參見表1），正常兒童的非注視總時間約為12s，而聽障兒童僅為7s。由之前的分析也可推斷，由于正常兒童閱讀能力較強，且注意力的分配能力較強，所以其眼跳距離較長，視線可以在不同的區域游移。而聽障兒童對文字的視覺加工難度大，注視時間較長，眼跳距離較小，所以非注視時間也就相應較短。

（3）聽障兒童的語詞加工能力發展較慢

Just和Carpenter在1980年發表了一篇文章題為《一種閱讀理論：從眼注視到理解》，他們以眼動指標考察了被試在閱讀時對詞語、句子和文章的加工情況并發現：在心里加工負荷較大的地方注視停留的時間較長。他們還提出了兩種眼動理論模型：直接假說模型認為閱讀者在閱讀文章時對每一個實義詞進行及時的解釋而非延遲進行；眼-腦假說即眼睛和大腦對詞語的加工過程是同步的，也就是說對某個詞的加工時間就是對該詞的總注視時間。然而真正的閱讀過程并不發生在閱讀者閱讀文字的過程中而是在識別文字過后的認知加工過程中。聽障兒童在閱讀過程中將大部分時間用于注視文字本身，也就是用于識別符號，而正常兒童識別文字沒有難度，在視覺游移的過程中，也就是在較長的眼跳持續過程中實現了對文字內容的理解和深層次的加工。

Mayer從信息處理模式的角度提出了視覺信息和言語信息需經雙重編碼才能輔助閱讀者建立文字和可視化信息的認知相關性，并提出了如圖4的模型。

此模型提出言語和聽覺經驗是通過不同的通道進行加工的，不同的通道構建了不同的模型再與先前經驗進行整合以促進對多媒體信息的加工和記憶。聽障兒童雙耳失聰，切斷了聲音的加工通道，對語詞的加工便只能通過視覺通道進行。當語詞和畫面都通過眼睛獲取并加工時就加重了閱讀者的認知負荷，阻礙學習的高效進行。所以在為正常兒童設計多媒體課件時，應輔之以解說詞幫助學習者構建言語模型，而在為聽障兒童設計時畫面的存在會在一定程度上干擾語詞組織的速度和精度。

五.結論與建議

閱讀是一個復雜的過程，夾雜著多種大腦的內部機制，表現在視覺上就有回視、眼跳、瞳孔大小變化等多種形式。實驗表明，正常兒童視線跳躍感強，視覺范圍較廣，對整個頁面內容把握能力較強。聽障兒童的視線有連續性，盡管觀察細致認真，卻缺乏對整體內容的把握，反映了聽障兒童認識事物缺乏整體性、概括性的認知特點。

閱讀過程中，聽障兒童在明確認知任務時能表現出較強的自控能力，但是在維持有意注意的過程中會耗費大量的精力，導致閱讀速度較慢，具體體現在注視次數增多、注視時間增長等方面。聽障兒童的視覺反應時間較短，能夠準確定位并快速到達目標區域，但當對無關圖片產生無意注意時，很難在短時間內實現注意力的合理分配和及時轉移。因此在聾教育多媒體課件制作的過程中，要避免與教學內容無關的動畫、圖片等干擾出現，以規避聽障兒童因長時間的無意注意對學習的效率和效果產生影響；另外還可選擇一些與教學內容顯著相關的元素放置在頁面上，但不能打亂重點教學內容的整體性。實驗證明：整體性、簡潔性和相關性依然是聾教育多媒體課件設計的基本取向。

編輯：小西