學習中多模態大數據應用的思考*

徐鳳婷 曹衛真

（廣州大學 教育學院，廣東 廣州 510006）

一、引言

近年來，大數據、人工智能、腦科學、認知科學等技術融入教育教學中，產生了海量的教育數據，推動學習科學研究聚焦到學習個體的認知、行為、情感等方面。教育數據來源不再局限于傳統的經驗與觀察的單一模態，逐步發展為多模態大數據。基于多模態大數據融合，考量學習者的行為、生理變化、情緒狀態和認知心理，已然成為教育技術領域的研究課題。多模態大數據如何更好地服務于教育教學，是當前研究者們重點關注的問題。學習是一個較為復雜的過程，包括學習行為、學習內容、學習結果、學習反饋、學習體驗等。學習過程的復雜性分析對于學習科學領域的研究而言，是一項重大的挑戰。以多模態為分析視角，進而洞察學習者學習數據，能夠為教育工作者提供理解和區分不同層次學習過程的分析視角與新的研究思路。挖掘學習過程中的復雜性，試圖尋找學習要素的相關作用以及學習發展規律是多模態大數據賦能于教育教學的著力點。文章主要闡述多模態大數據內涵、特征及在學習中的應用等內容，力求推進多模態大數據在教育教學過程中的理論與實踐進程。

二、學習中的多模態大數據及其特征

（一）學習中的多模態大數據

學習者在學習過程中所展現的數據通常是多模態的，同一狀態可通過不同方式收集到多種形態的數據。文本、圖像、視頻、平臺日志、生物傳感數據等是真實教育環境中常見的模態[1]。現有研究表明，在多數學習情境下，單模態數據往往難以全面和客觀地解釋學習過程的特征與規律。多模態的分析效果比單模態更為理想，能夠更具體地展現與揭示學習過程的真實狀態，但具體需要分析哪些形態的數據則根據具體的教學場景進行分析與篩選。通過同步處理學習者在學習過程中不同模態的數據，例如生理數據、心理數據、行為數據等，突破傳統的以單模態數據而難以進行整體的邏輯關聯等問題，對學習環境中的相關數據進行挖掘，把握學習規律，使學習的結果更為全面與客觀，進而揭示學習者的認知加工過程。多模態大數據能夠臨摹學習者更為精準、全面、真實、客觀的學習路徑，突破以往的僅依靠觀察與經驗判斷的單一模態數據局限，利用數據進行多維度、多形態地描繪學習者學習過程畫像，刻畫學習者學習細節，揭示學習者的學習機理與狀態，幫助其了解自身的認知過程與心理狀態。多模態大數據指向復雜的教與學過程，能夠揭示數據與指標之間的復雜關系[2]。只有正確地了解多模態大數據背后所蘊含的深層次內涵，才能準確地把握學生的學習情況，客觀地提供給學習者有效的反饋。

（二）學習中多模態大數據的特征

大數據之“大”，并非在于其表象所呈現的“大容量”，而是在于分析數據的全面性與潛在的“大價值”[3]。大數據為多模態的選擇提供了可能，借助于多模態可以提高教學效率，提供多通道話語意義的表達方式[4]。多模態大數據是指采用兩種以上方式對學習過程中的同一對象數據或狀態數據進行采集和獲取的數據集。多模態大數據作為大數據的一個子集，具有大數據的一般特征。一般認為，大數據具有大容量（Volume）、強時效（Velocity）、多樣化（Variety）、高價值（Value）、可視化呈現（Visualization）的“5V”特性[5]。隨著學習技術與環境的創新，學習場景的多樣化使得教育數據變得更為復雜，海量的教育數據成為管理與決策的基礎，加之數據采集技術的迭代更新，多模態大數據凸顯出互補性、復雜性和多源性的特征。多模態大數據具有很強的互補性，即任一模態的數據均可以提供關于某一現象或過程的部分解釋，而從其他模態數據中則無法獲取這些信息[6]。多模態大數據的復雜性體現在現有的數據庫軟件工具難以處理這些數據，其復雜程度如同一張數據網絡，每一數據個體都可能呈現出不同的類型，加大了研究人員的數據分析難度。多模態大數據的多源性特征主要表現在不同模態的劃分原則不一致。從人的特征主體進行劃分，人的嗅覺、視覺、聽覺、觸覺等構成不同模態；從媒介表征形式進行劃分，分為音頻、視頻、文本、圖像等不同模態；從數據采集機制進行劃分，將多模態與多類傳感器進行互通，每類傳感設備采集的數據被視為一種模態，如表情、手勢、皮膚電、心率、腦電圖等。每一種數據源和數據呈現形式不同，共同構成多模態大數據集。對多模態大數據進行整合分析能夠全面收集與分析關于學習者學習過程中的多方面信息，以便更為系統地做出判斷。

三、學習中多模態大數據的應用

（一）支持多模態學習投入研究

學習投入是個體學習過程中能力、認知深度、思維靈活性和情感體驗的綜合表征，是學習者理解學習本質并沉浸其中的體現[7]，用來衡量學習者在學習過程中為實現學習目標而不斷努力的程度。主要是包含了學習行為投入、學習認知投入以及學習情感投入三大維度[8]。以多模態大數據作為多模態學習投入的分析基礎，需要在有效理論模型建構的基礎上對學習狀態進行解析。部分研究通過線上方式采集即時性的數據，以選擇性抽樣等方式來獲取特定時間點的學習投入狀態。然而，這將容易忽視學習者投入的連續特征信息，且難以收集到認知與情感方面的實時數據，一定程度上影響了對于整個學習過程的學習投入狀態的分析結果。需要注意的是，學習者學習過程的復雜性導致行為、認知和情感等方面數據會隨著學習者所處的學習環境而不斷發生變化。因此，為了保證學習過程數據的完整性，須收集到連續性數據，即對于同一階段或同一事件內的數據進行收集，以有效分析出學習者隨學習情境或時間的變化趨勢、學習投入子維度之間的關系及相互影響因素[9]。

當前融合多模態大數據的優勢以支持多模態學習投入的發展，成為教育研究者探索的問題。對于多模態學習投入的研究與關注的目的是收集學習者在不同學習情境、學習活動以及學習體驗等過程數據，對其學習投入狀態進行判斷，進一步探索如何提高學習者的學習績效問題，以促進個體的發展。借助于多模態大數據的基本融合、特征層的融合和決策層的融合，學習投入可以從生物數據（微秒）、認知數據（秒）、理性思維數據（秒到分）、社會交往數據（小時到月）等方面進行分析，學習投入水平的綜合表征為多模態學習投入建模提供了理論支持[10]。多模態學習投入以多模態投入數據為分析基礎，進一步把握學習者在不同學習情境中的學習投入情況。

（二）融合多模態學習分析研究

學習分析伴隨著MOOCs 的發展而逐漸進入教育領域。在教育大數據與人工智能等技術推動下，學習分析得到快速發展。學習分析是通過測量、收集、分析與報告學生及其學習環境的數據，以理解和優化學習及其產生的環境[11]。學習分析的主要對象是學生的學習，旨在通過挖掘與分析學生學習過程數據，理解學習者是如何學習的，發現潛在的問題，從技術、教學與社會等角度為學生提供適應性的學習服務，從而優化學生的學習路徑，提升學習績效。多模態大數據擴展了學習分析的研究范疇，突破以往的單一數據難以實現整體分析的局限，加快了挖掘教育數據背后的學習規律進程。多模態學習分析是橫跨多模態交互、機器學習、學習科學等領域所形成的新方向，它利用多模態數據分析復雜環境下的學習行為，以優化學習體驗[12]。

在國內外研究中，普遍認為教育數據挖掘是學習分析中的一大類，教育數據挖掘是利用特定的算法，通過學生與計算機網絡的交互和融合，自動分析各種原始數據，找出學習活動與學習結果之間的相關性，并自動預測學生的學習情況的一種方法或技術[13]。學習分析中的數據挖掘，需要將多模態大數據融入到具體的教育情境中進行分析與解讀。在智慧學習環境下，從知識結構、能力結構、情感態度、學伴關系以及學習行為五方面提煉出學習者在學習過程中產生的數據變量，進一步提高數據采集、預處理、清理、分析和挖掘的效率和科學性，實現了知識能力的評估、學習問題的診斷、學習危機的預警和學習行為的預測[14]。此外，一些研究者也基于學習分析技術對學生的行為數據進行監控，構建學習行為干預模型或系統，并將其應用于學習實踐中，為學生提供學習干預或預警[15]，推動教育管理動態化，從事后干預轉向事前預防。教育大數據視角下學習分析應用的共同點是對教育過程中的數據進行分析，對學習進行分析、預測和干預，精準識別學習者的狀態，以建模的方式對學習者特征進行描述，并對數據進行收集、分析與預測，形成良性循環。然而，至今為止，受數據采集技術、研究方法等方面的限制，不少研究者對于能否捕捉與采集到完整的多模態大數據，以開展精準的學習分析，從本質上理解人是如何學習的等問題還有待深入探討。

（三）促進自我學習的調節

自我調節學習是學習者自主驅動學習、自主選擇學習內容、自主調整學習策略、自主規劃學習時間、自主構建學習環境、自主評價學習進度的動態學習過程[16]。其作為一種學習策略，要求學習者須具備一定的認知、元認知和資源管理策略，以對學習者的學習進行計劃、監控及反思[17]，這對于利用多模態大數據的采集類型提供一定參考，從學習個體的認知、行為數據、動機以及態度中反映學習者的自我調節策略。學習是一個自我調節和動態發展的過程，是從外部反饋過渡到內部反饋的過程。借助于學習分析技術對學習者學習過程數據的分析與結果反饋，充分關注了每一位學習者的個體特征與發展，動態跟蹤學習進度，并給學習者提供了一個觀察與反思自我學習路徑的機會。

在傳統教學中，因無法及時采集到每一學習者個體的知識結構、學習能力、學習進度、學習興趣以及學習困難等層面的動態數據，教師主要是借助于主觀的經驗、觀察以及學習者群體的平均水平來設計教學方案和開展教學活動，在一定程度上難以避免存在偏差，從而忽視學習個體的特點與差異。多模態大數據提供了多角度、全方位、精準化的視角來獲取真實的學習情境數據，涵蓋了生理、心理、行為、情感等多種類型數據，進一步映射學習者的學習情況。充分利用學習者的多模態大數據，基于認知、行為及學習策略等方面的特點，通過個性化反饋或干預可以達到優化自我調節學習的目的。未來的研究中，應著眼于如何利用現有數據預測學習者后續的自我調節學習特征，或者利用實時數據獲取學習者即時的學習狀態，并在此基礎上提出適合學習者后續發展的學習策略，以幫助學習者最大限度地完成學習任務，培養自身的自我調節學習能力[18]。

（四）推動學習績效分析與測評

傳統的學習績效評價往往因難以收集或只收集到碎片化的評價數據而忽略了數據在績效測評過程中的應用，且因缺乏有效可靠的數據而過度依賴于主觀經驗的判斷與評價，進而導致學習績效結果的科學性不足。基于大數據的學習績效分析與評價，不再僅依賴于單一評價對象與單一的評價指標，而應盡可能將多模態大數據與具體教學情境相結合，滿足不同類型學習者的個性化需求，充分認識教育大數據在學習績效分析與評估中的應用價值，明確將數據作為學習者學習績效與成長狀態的重要指標。學習者是教育教學活動開展的主體，教師在這一過程中作為主導者角色，從某種程度上看，為達到學習目標，學習者必將有一定的學習參與與學習投入，這也意味著學習的參與投入指標是學習績效分析與測評的重要部分，提高學生的學習投入與參與度，將能幫助其學習績效的提升。此外，學習成績數據作為學習者學習過程中的重要部分，具有一定的綜合性與客觀性，也是學習績效測評不可忽視的要素。

數據本身并非最重要，而應重點關注數據背后蘊含的問題以及可能的解決方案。此外，還須根據具體的情境來制定學習績效的評估指標，將多模態大數據與評估指標進行對應，切實發揮數據的價值。作為教育工作者（包括管理者與教師等群體），應該要做多模態大數據的“數據脫盲者”[19]，不斷提高數據素養，需要知道如何通過數據作為根據來刻畫學生的學習路徑與進步程度，需要明確如何通過分析數據的概率預測，明白這一數據結果對學生而言意味著什么，如何引導與啟發學生以某一具體方式進行有效的改進。對學習績效進行分析與評估的目的是利用多模態大數據為學習者提供學習反饋服務，促進學習者優化學習進程，以實現“提質增效”。

四、多模態大數據的現實挑戰

（一）技術挑戰

當前，多模態大數據融入于教育面臨多方面的技術挑戰，一是數據捕捉、采集、處理與分析技術的挑戰，受限于當前軟硬件水平的發展以及學習過程數據的復雜性，離智能化、精準化、系統化地操縱數據目標還存在較大差距；二是數據冗余的問題，對于同一現象數據，多種采集方式的數據是否指向同一模態，是否過度收集多模態數據而影響結果的判斷等問題需要研究人員加以重視；三是目前大量數據庫還未實現互聯互通，大量與學習相關的數據，如學生基本信息、教師信息、資源數據、學習過程數據等分布在不同的系統中，增加了研究者的分析難度，分析結果的精準性受到一定影響；且由于多模態大數據具有復雜性和多樣性，當數據量很大時，研究者難以進行系統的分析。

（二）倫理挑戰

各類終端設備逐步接入網絡，為收集即時性、動態化的數據提供了可能，但這一過程也自然而然引發了倫理與道德問題。在獲取學習者學習過程的多模態大數據時，必然涉及到學習者的個人隱私數據，對這些數據進行分析是否需要經過學習者本人的同意；在開展研究之前是否擁有數據的使用權；對于獲取的數據是否進行匿名化后再進行分析；是否無節制地采集與使用數據；數據分析結果是否反饋給教育工作者以及學習者本人；分析結果不理想的學生是否會被貼標簽進行區別對待；數據存儲是否安全等問題需要重視。此外，并非關于學習者的所有數據都與學習活動有關，如何在促進教與學最大化程度下，減少大數據所帶來的倫理問題影響，這是研究者們正在面臨的且須不斷思考與解決的問題。

五、結語

多模態大數據為教育技術研究者提供了新的研究著力點，以更全面、客觀的視角去洞察不同學習情境下的學習過程。然而，多模態大數據的復雜性以及各模態數據與學習過程狀態之間對應關系的解析是當前基于多模態大數據探尋學習規律面臨的問題，研究者如何處理海量的數據與學習狀態兩者的關系，建立映射關系尤為關鍵。要突破這一問題還須借助于理論的支持，依據教育相關理論進行識別與挖掘學習者的學習過程數據，以促進對教與學質量水平的評估與改善。