增強現實教育應用研究中的多模態學習分析

劉 瀟，王志軍，薛 彬

（1.天津師范大學教育學部，天津 300387；2.滄州交通學院計算機與信息技術學院，河北滄州 061100）

0 引言

在“增強現實（Augmented Reality，AR）+教育”的大背景下，“如何實現AR 學習的適應性設計”逐漸得到研究者的重視，解決這一問題的前提在于理解AR環境下學習發生的內在機理。以“測量、收集、分析和使用學生數據”為特征的多模態學習分析不僅有助于弄清和解釋學習的復雜性，還可用于預測和指導更有效地學習［1］。基于此，本研究著力探討AR 教育應用研究中多模態學習分析應用現狀并針對性地提出改進措施，以期通過優化學習分析的手段幫助研究者更好地揭示AR學習的本質。

1 多模態學習分析的研究基礎

1.1 多模態學習分析的基本概念

多模態學習分析（Multimodal Learning Analytics，MMLA）是指通過捕獲、融合和分析多種來源的數據，如自然交流過程中的講話、凝視、手勢、眼動、面部表情、皮膚電、腦電圖、心率等，以實現對學習行為、認知、信念、動機與情緒等多方面的客觀理解和深刻洞察［2］，其所涵蓋的內容不僅包括數據獲取，還應包含數據整合。

1.2 多模態學習分析中的數據整合

數據整合是多模態學習分析的核心和難點。穆肅等［3］在分析了相關研究后，將多模態學習分析中的數據整合特點歸納為數據多模態、指標多維度和方法多樣性。

（1）數據多模態。數據多模態體現了大數據時代數據類型的多元化。多模態數據采集構成了多模態學習分析的核心和關鍵，也為學習指標的分析奠定了基礎。從目前的研究看，多模態數據有不同的分類方法。本研究考慮到測試題是常用的評價依據，將多模態學習分析中的數據來源進行了歸納，見表1。

表1 多模態學習分析中的數據來源

（2）指標多維度。指標多維度體現了學習過程的復雜性。通過對不同學習狀態的建模，可精準刻畫學習者的學習特征，并在更深層次上探究和解釋學習者的學習規律。從目前的研究來看，多模態學習分析需包括行為、注意、認知、情感等諸多種類的評價指標。尹睿等［4］將這些評價指標歸納為知識狀態、認知狀態、情感狀態、交互狀態和綜合狀態，見表2。

表2 多模態學習分析中的評價指標

（3）方法多樣性。方法多樣性體現了分析技術的靈活性。利用不同方法對數據進行整合，能盡可能提高測量的準確性和信息的全面性，使得研究結論更具指導意義。就數據與指標之間的對應關系而言，從目前的研究來看，數據整合方式主要包括4 種類別：一對一、多對一、一對多、多對多和三角互證，見表3。

表3 多模態學習分析中的數據整合方式

2 “AR+多模態學習分析”的研究設計

2.1 “AR+多模態學習分析”的研究對象

本研究旨在對“AR 教育應用研究中的多模態學習分析應用現狀及改進措施”進行系統描述和解釋，重點探討在相關研究中的數據整合是否做到以及如何更好地做到“數據多模態”“指標多維度”和“方法多樣性”的三大基本要求，如圖1 所示。

圖1 AR教育應用研究中數據整合情況分析框架

問題1AR 教育應用研究中的多模態學習分析是否做到了“數據多模態”？

問題2AR 教育應用研究中的多模態學習分析是否做到了“指標多維度”？

問題3AR 教育應用研究中的多模態學習分析是否做到了“方法多樣性”？

問題4未來在AR教育應用研究中的多模態學習分析應如何達到理想狀態？

2.2 “AR+多模態學習分析”的研究方法

本研究采用系統性文獻綜述法進行。系統性文獻綜述法（Systematic Review Methodology）是人們借助互聯網，利用不同的數據庫和多種檢索與分析技術，全面而準確地掌握某一專題研究進展的標準化文獻研究方法［5］。它克服了傳統文獻綜述法主觀性強和存在難以避免的偏見等問題，在國際上較為普適和流行。

2.3 “AR+多模態學習分析”的樣本選取

（1）數據檢索。為廣泛搜集文獻，本研究按照表4 所示的檢索方式，共得到408 篇文獻。

表4 文獻檢索方式及結果

（2）確定納入和排除條件。為確保樣本文獻納入的準確性和文獻分析結果的可靠性，本研究制定如表5 所示的文獻納入/排除標準。

表5 文獻納入/排除標準

（3）文獻篩選和分析。結合表5 所示的文獻納入/排除標準，本研究共從408 篇文獻中篩選得出93篇符合要求的文獻，具體分布情況如表6 所示。

表6 選用文獻分布情況

（4）納入文獻分析框架設計。根據表1～3所歸納的內容，本文構建了如表7所示的文獻分析框架。兩名評判員需獨立逐篇分析文獻，在滿足條件的單元格內標記“√”。結果顯示，評判員完全同意的類目數為88、相互同意度約為0.95、編碼信度約為0.97 和信度大于0.90的標準，可直接采用主評判員的評判標準。

表7 文獻分析框架

3 “AR +多模態學習分析”的統計結果與問題解決方案

3.1 AR 教育應用研究中的多模態學習分析數據來源

表7 中“數據來源”維度的編碼結果如圖2 所示。

圖2 “數據來源”維度的編碼結果

圖2 顯示，在AR教育應用研究中，多模態學習分析的數據主要來自文本測量（91%）、物理空間（6%）和生理體征（3%），數字空間數據和環境空間數據在研究中尚未涉及。

（1）文本測量數據。包含測試題、調查問卷、調查量表和訪談工具等在內的文本測量數據獲取較為便捷，是傳統的評價依據，也是占比最高的數據來源。

“測試題”可用于衡量AR 學習效果，常應用于前測及后測階段。研究中的測試題一般可分為兩類：一類由研究者自主擬制，如Binhomran 等［6］自主設計了“前測-后測-延時測試”試卷；另一類為經典題目復用，如Baba 等［7］借用了2012 年開發的“21 世紀技能量規”（21CSS）。

“調查問卷”和“調查量表”在研究中被廣泛用于考查學習者的行為與態度，均由學習者自主填答完成。研究中運用最多的問卷與量表包括：Keller基于ARCS動機模型所編制的“教學材料動機量表”（IMMS）［8］和Davis基于“技術接受模型”（TAM）編制的“AR態度量表”（ARRQ）［9］等。

“訪談工具”具有較好的靈活性和適用性。為獲得更深入的有關學習者AR 學習的主觀信息，研究者普遍采用“半結構化訪談”形式，既了解學習者對AR學習的看法，也適當提出一些探索性問題。

（2）物理空間數據。“視頻錄像”通常通過攝像頭錄制和屏幕錄制兩種方式獲得，在研究中常被用于觀測學習者在AR 學習過程中的行為表現，具體包括積極性的變化、行動和互動方式、學習中遇到的困難等。

（3）生理體征數據。“眼動”和“心率”在AR 教育應用研究中運用較少。眼動，主要通過Tobii Pro Glasses、SIM Glass 等眼動追蹤設備獲取平均瞳孔直徑［10］、眨眼率、凝視次數、凝視時間和總注視時間［11］等指標數據；心率，不同于對認知過程的考查，葉強等［12］利用Polar Team Pro團隊心率儀評估了學習者在AR體育訓練過程中的運動負荷。

3.2 AR 教育應用研究中的多模態學習分析評價指標

表7 中“評價指標”維度的編碼結果如圖3 所示。

圖3 “評價指標”維度的編碼結果

圖3 顯示，在AR教育應用研究中，多模態學習分析的評價指標主要包括知識狀態（33%）、認知狀態（10%）、情感狀態（29%）、交互狀態（5%）和綜合狀態（23%），大致做到了指標多維度。

（1）知識狀態。“學習成績”占比較高，被較多的AR教育應用研究采用。學習成績，按測試發生時間節點，一般包括前測成績、即時后測成績、延時后測成績和補救測試成績；按測試題目性質，也可分為保持測試成績和遷移測試成績。

（2）認知狀態。“思維”涉及批判性思維、視覺思維和空間思維等方面內容。批判性思維一般可從決策支持的技能、推斷技能和澄清技能等進行綜合評價；視覺思維通常從視覺形狀識別、視覺關系感知和第三維度感知等維度進行評測［13］；空間思維通常涉及空間旋轉可視化能力等。但現階段關于AR學習中思維評價的研究相對較少。

“認知負荷”可體現工作記憶對信息進行存儲和加工的總量，一般包括由學習材料本身復雜性所引發的內在認知負荷、由教學程序設計不當而引發的外在認知負荷以及處理內在認知負荷所需要的關聯認知負荷。

（3）情感狀態。“態度”中暗含興趣和情感，較常被用于考查，態度一般包括兩類：一類是學習者對于學科知識的態度，如對科學的探究興趣、敏感度、責任感等［14］；另一類是學習者對于AR 技術的態度，如感知有用性、感知易用性、技術復雜性、使用滿意度、使用焦慮感［15］和行為意向等。

（4）交互狀態。“行為表現”通常通過觀察來發現。例如，Yildirim［16］觀察了七年級學生在課堂上使用AR卡片的動作，并將觀察結果作為推斷學習者是否具有科學學習興趣和動力的重要參考。

（5）綜合狀態。“學習動機”可反映學習者維持個體學習活動的內在心理力量，常通過基于ARCS 動機模型的IMMS工具、學習動機策略問卷（MSLQ）等來測量。

“綜合技能”主要用于評價學習者的21 世紀技能，如“創造力與創新”“批判性思維和問題解決”“協作與交流”“預測技能”和“溝通技能”等。

3.3 AR教育應用研究中的多模態學習分析數據整合方式

表7 中“數據整合方式”維度的編碼結果如圖4所示。

圖4 “數據整合方式”維度的編碼結果

圖4 顯示，在AR教育應用研究中，多模態學習分析的數據整合方式主要包括一對一（78%）、多對一（10%）、一對多（10%）和多對多（2%），“三角互證”維度未得到關注。

（1）一對一。“一對一”的數據整合方式在研究中占比最高。數據來源和評價指標一般都具有特定的匹配關系，如“測試題→學習成績”和“態度量表→態度”等。

（2）多對一。“多對一”的數據整合方式在研究中部分涉及，出現多個數據來源用于評價單個指標的情況，對研究數據做相互間的必要補充。如眼動指標中的“興趣區”可輔助情緒問卷判斷學習者學習時的情感狀態，“平均瞳孔直徑”和“眨眼率”則可輔助認知負荷量表判斷學習者學習時的認知狀態。

（3）一對多。“一對多”的數據整合方式在研究中部分涉及，出現一個數據來源用于評價多個指標的情況，主要集中于調查問卷的使用上。基于調查問卷題目設計的靈活性，很多研究者嘗試將多領域問題匯集在一張問卷中，通過一次填答得到較為完整的數據。

（4）多對多。“多對多”的數據整合方式在AR教育應用研究中偶有涉及，但占比較低。例如，Cook［17］綜合運用訪談工具和調查問卷來考查來自學習者的態度和動機等多方面的信息。

3.4 AR 教育應用研究中的多模態學習分析改進方向

3.4.1 數據來源“在線化”

學習者在AR學習過程中形成的差異性對于解讀學習結果具有關鍵作用。傳統的“文本測量工具”依然占據絕對優勢地位。文本數據通常是在學習者完成學習任務后取得，與學習者實時的認知加工并不同步，具有“離線”的特點。如果僅通過文本測量工具來獲取所需數據，可能會缺失一些重要的、客觀的信息。未來的AR 教育應用研究應加強“在線”評測工具的使用，具體包括：

（1）關注生理表征數據的采集和分析。以SIM Glass為代表的穿戴式眼動儀能實現對瞳孔直徑、注視時間和眨眼率等常用眼動指標的實時觀測，并以學習者視角記錄AR學習的全過程。后續研究應繼續深入挖掘各類眼動指標的評價潛力，同時積極輔之以腦電、心電和皮膚電等生理表征數據來實現對AR學習過程的全面考查。

（2）關注空間類數據的采集和分析。學習者在AR學習過程中會與物理、數字和環境空間產生信息與能量的雙向交流。后續研究應關注來自上述空間的數據與AR學習過程的內在關聯，強化不同模態數據之間的信息互補機制，有效實現AR 學習生態全貌的有機分解。

3.4.2 評價指標“高階化”

AR學習情境可幫助學習者調動已有經驗，并借助手勢、肢體動作等消解與降低知識、概念的抽象層次，促進其高階思維的發展。研究者多關注AR 技術對學習效果的影響以及學習者對AR 技術的情感態度，也愈發傾向于從多個維度綜合評價學習者的學習表現。現階段研究者對于“認知狀態”和“交互狀態”的關注度仍然較低，不利于從發展思維能力的層面對學習者做出科學評價。未來的研究應當做到：

（1）加強高階思維能力考查。檢測學習者是否達到學習目標，不能僅僅考量知識技能的掌握程度，還需判斷學習者是否形成相應的思維體系。目前的研究對于有益學習的高階思維關注較少，應加強考查力度。

（2）加強行為表現考查。學習者在AR學習中的行為表現是影響學習績效和思維能力的重要因素。研究者常用的視頻錄像是觀測學習者行為表現的重要數據來源，但只能對其外顯學習過程做客觀記錄，還需借用科學的編碼體系對視頻錄像中的行為進行深入分析。

3.4.3 整合方法“關聯化”

AR學習中的數據來源與評價指標之間存在若干錯綜復雜的非線性關聯，給數據整合方式的選擇帶來挑戰，“一對一”成為主流，“三角互證”則未涉及。這種僅用一種數據評價一個指標的方式容易造成結論片面，缺乏科學性。未來的研究應當做到：

（1）加大“多對多”數據整合方式的比重。將數據來源由單一的“文本測量工具”擴大到多源數據相結合，使得研究結論能由多源數據共同驗證，最大程度克服主觀傾向；充分利用采集工具的特性，盡可能用來源數據評價多個指標，減少資源浪費。

（2）嘗試“三角互證”在研究中的應用。三角互證能控制研究中存在的系統變異、外生變異和誤差變異，形成證據鏈以提升研究效度［18］。無論是質性還是量化研究，都應做到：廣泛收集多源數據、采用不同分析方法、允許多研究者參與、實現多種方法“取長補短”。

4 結語

AR教育應用研究正處于初級階段，關于AR環境下學習發生的內在機理，尚未有絕對權威的解釋。學習分析的作用在于打開AR“學習黑箱”，利用評價結果反推學習者內部認知加工機制、學習規律以及內外部相互作用的學習原理，揭秘學習本質，變“學習黑箱”為“學習白箱”［19］，充分發揮AR技術的教育潛力，推動AR技術在教育領域的大規模普及。

本研究發現，在當前的AR教育應用研究中，多模態學習分析的應用偏于簡單，不利于其“解密”功能的發揮。未來的研究應當努力做到數據來源在線化、評價指標高階化和整合方法關聯化。