面向混合學習的多模態(tài)交互分析機制及優(yōu)化策略

田陽 陳鵬 黃榮懷 曾海軍

[摘? ?要] “互聯網+教育”促進了混合學習的實踐應用。混合學習融合了物理空間、社交空間、資源空間等，這使得學習交互的內在機理成為學術界重點關注的議題之一，研究團隊嘗試從混合學習的多模態(tài)分析視角揭示混合學習交互內在機理。通過對混合學習的多模態(tài)交互特征分析，歸納出其特征為跨空間交互、同步與異步交互并存、多情境轉換、具身情感性、可表征等。結合混合學習運行規(guī)律，發(fā)現混合學習的多模態(tài)交互過程中可表征多模態(tài)和抽取多模態(tài)信息，并總結出多模態(tài)交互分析的主要流程為數據采集、加工與篩選、數據分析、數據表征可視化、反饋調節(jié)等。多模態(tài)交互信息經過可視化表征，將分析得到的結果經過儀表盤反饋給教師、學生，幫助教師和學生及時調整教與學的方法，并促進混合學習多模態(tài)交互策略的優(yōu)化。

[關鍵詞] 多模態(tài); 混合學習; 多模態(tài)交互分析; 學習分析; 優(yōu)化策略

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 田陽（1988—），男，黑龍江勃利人。博士研究生，主要從事互聯網教育應用、學習與社會交互等方面的研究。E-mail：tianyang001@yeah.net。

一、引? ?言

互聯網技術的教育應用所引發(fā)的課堂變革，促進了慕課（MOOC）、翻轉課堂、SPOC等教學形態(tài)的涌現，使得教與學的物理空間、資源空間、社交空間逐漸走向融合，尤其是教育大數據、云計算、人工智能、區(qū)塊鏈等新興技術在教育領域的運用，以及數據挖掘和學習分析等技術的應用，多模態(tài)融合協同成為可能。同時，在教學方式和方法層面，混合學習是一種能促進教與學過程中的物理空間、資源空間、社交空間協同的有效教學方法，實現線上、線下教與學的融合。但是面對復雜的物理空間、資源空間、社交空間的交互，混合學習的學習交互成為促進有效學習的關鍵問題，有待我們深入研究，尤其是混合學習的學習交互模式與方法尚未得到有效驗證，這對實現混合學習在教育領域的經濟和社會價值有著制約作用。本文通過分析線上線下混合學習的多模態(tài)交互模式，以期構建混合學習的多模態(tài)交互方法，從而形成富有成效的學習。

二、多模態(tài)交互

（一）多模態(tài)

模態(tài)本身是一種客觀存在的、可表征的符號系統，例如人的語音、表情、眼神、手勢、身體動作等經過轉碼后都可以稱為一種模態(tài)[1]。模態(tài)的價值在于其可以通過一些技術手段進行觀察和分析，然后基于多種模態(tài)綜合判斷，可用來衡量事物發(fā)展的情況，進而作出相關判斷或預測。克瑞斯（Kress）等人早先定義了多模態(tài)的概念，多模態(tài)是指“在符號產品或者事件中幾種符號模態(tài)的使用，促進人類感官與外界環(huán)境發(fā)生交互的符號系統”[2]。多模態(tài)的出發(fā)點是把語言及其意義的社會闡釋擴展到所有的呈現和交際模態(tài)——諸如圖像、文字、手勢、凝視、言語、姿態(tài)等[3]。多模態(tài)信息類似于語義網絡，但是它又并非單純地表達語義，語義網絡僅是模態(tài)的一種形式。多模態(tài)的概念十分復雜，原因就在于它涉及了多種模式的符號表征系統，包含視、聽、觸、味、嗅等[4]，往往這些符號表征系統不是單一使用，而是多個組合使用[5]。基于這種表征系統，將不可觀察或者很難觀察的符號特征編碼量化后變得可以分析，并基于相關的設備不斷采集和分析判定[6]。

多模態(tài)信息主要是用于人與人的交互、人機交互、機器與機器交互等方面。尤其是隨著第五代移動互聯技術（5G）的發(fā)展，將促進人與萬物互聯的同時，需要進行多模態(tài)交互[7]，多模態(tài)信息就顯得尤為重要，因為人與人的交互、人與機器、人與空間（物理空間、信息空間、人類社會）的交互需要多模態(tài)信息識別。近年來，大數據分析、人臉識別、語音識別、云計算、表情識別、體態(tài)識別技術的成熟和應用，強化了多模態(tài)信息的可用性。未來的教與學場景[8]中將會更多地聚合物聯網技術、人工智能技術、云計算技術、大數據分析技術、學習分析技術等，針對多模態(tài)的分析將成為一種常態(tài)。多模態(tài)的應用更多地體現在交互方面，通過模態(tài)感知、模態(tài)測量、模態(tài)分析、有源模態(tài)追溯、模態(tài)衍生等技術手段促進人與人的有效交互和深層次的理解，以及人與機器的交互等。對于多模態(tài)分析，以往僅僅憑借個體的感官采集信息，經過人的大腦加工判斷交互對象表征符號的含義，進而作出相關的回應性行動;如今隨著科學技術的使用，尤其是智能技術的應用[9]，更容易關注到多模態(tài)表征的細節(jié)內容，通過增加模態(tài)信息的顆粒度和種類，使得多模態(tài)分析的精度和準度大大提高。

（二）多模態(tài)交互

“交互”一詞在《漢語詞典》里的含義是互相、彼此;交替地。隨著時代的變化，交互一詞在計算機應用方面，它的含義變?yōu)閰⑴c活動的對象，可以相互交流，雙方面互動[10]。在教育領域，交互更多地強調師—生互動、生—生互動、生—機互動、師—機互動等，這種交互強調雙方的可溝通性、互惠性和目的性[11]。在交互的過程中，多種模態(tài)信息通過渠道傳遞給識別器（對于人來說，識別器是大腦;對于計算機來說，識別器可能是程序模式或人工智能模塊），經過識別后作出相關反應的過程。早期的多模態(tài)交互研究多應用于話語分析，話語分析從簡單的語言分析走向了對語音、表情、眼神、姿態(tài)等多種模態(tài)綜合分析的態(tài)勢，形成了基于多模態(tài)的話語分析研究[12]。

多模態(tài)交互是指參與交互的對象發(fā)出的語音、表情、眼神、體態(tài)、體溫等連續(xù)可表征的符號信息統稱，這些連續(xù)的表征符號信息是交往互動過程中參與者用于判斷、甄別、反應的基礎。多模態(tài)交互研究是從多模態(tài)的價值被挖掘伊始就進行的，多模態(tài)本身含有大量的信息和被表征的符號，通過對多模態(tài)信息的分析[13]，可以判斷多模態(tài)源的狀態(tài)和心理活動等。多模態(tài)交互不僅局限于話語分析，隨著情報分析技術的進步，通過采集面部表情、語音音色變化、眼睛視點、體態(tài)等多模態(tài)信息進行綜合分析[14]，結合心理學相關方面的研究，實現了對多模態(tài)交互的診斷[15]和掌控。

多模態(tài)交互將過去教與學過程中的交互途徑細化，它能關切到交互過程中兩個對象或者多個對象的情感變化、真實意圖、注意力程度、理解偏差等，通過更加豐富的信息顆粒度綜合判斷交互過程中的情境變化，促進交互者之間的深度理解，實現有效交互[16]。這在傳統的交互過程中是不可能體現出來的，傳統教與學的交互更多地強調師生之間、學生之間等的宏觀性質交互，例如通過語言、視聽等模式進行交互，課堂上的交互無外乎教師提問、學生回答;或者學生主動提問后教師進行回答的模式。遠程教育領域的互動更多的是進行在線提問，一般可以實現同步回答或異步回答，但往往體現于文本內容上[17]。這種交互容易忽略主動交互者的情感、重點關注內容、情境等，交互過程容易出現偏差或者誤解。

多模態(tài)交互分析屬于交叉學科概念，多模態(tài)交互分析是基于數據采集技術，將多種模態(tài)信息采集編碼，并結合大數據分析、學習分析、情感識別、情境感知等技術，聚合判斷交互情境中對象的生理、心理、認知、行為等方面的變化[18]，為教與學或社會互動提供深層次的理解，并為促進有效的教與學提供數據支持，以及進行決策判斷使用。它跨越了社會學、教育學、心理學等學科，自哈貝馬斯的交往行動理論[19]到交互學習理論[20]，再到心理學領域的交互分析理論[21]和班杜拉的社會學習理論[22]等，以及近年來備受關注的社會資本中提到的交往互動過程中的動機調用和互惠。遠程教育領域更為關注交互理論的發(fā)展，穆爾的交互自治理論、貝茨的雙向交流理論、基更的教學再整合理論、安德森的等效交互原理等得到了廣泛的研究和應用，近年來遠程教育學方面也更加關注聯通主義學習理論的交互作用，認為連接即是學習[23]。這些涉及交互與學習方面的研究，奠定了基于信息化技術手段進行多模態(tài)交互學習分析的理論基礎和實踐方向。

三、混合學習的多模態(tài)交互分析

（一）混合學習的多模態(tài)交互特征

混合學習的價值在于，它是一種行之有效的教學方式，通過學習形式的轉換，促進學習資源、交互方式、教學方法、學習方式等聚合使用，讓學習者能深刻理解學習內容，并將學習內容轉化為個人知識儲備[24]。混合學習在交互過程中有教師與學生之間的交互;其次是教師與教學設備的交互，這些教學設備主要是教室中的電教設備，涉及投影、音響、網絡、計算機等;再者，學生與學習設備的交互也是重要的交互環(huán)節(jié)，學生使用網絡、投票答題器、交互白板等參與課堂互動與線上學習等;最后是學生與學生之間的交互，學生與學生之間的交互體現在分組活動、協作學習、問題討論、社會交往等方面，尤其是學生進行在線學習時的同伴陪同機制將有利于調動學生學習的積極性[25]。混合學習的多模態(tài)交互恰好發(fā)生于這四類交互當中[26]，模態(tài)形式主要有文本、語音、視頻、圖片、圖像、語言、表情、眼神、體態(tài)、手勢、觸碰等（見表1），交互過程中的模態(tài)形式往往是多種模態(tài)組合出現，表現出多模態(tài)的特征。

混合學習的多模態(tài)交互也有其固有特征。線上線下相融合的混合學習本身具有跨越物理學習空間和網絡學習空間的特征[27]，多模態(tài)交互伴隨著混合學習的進行也同時發(fā)生于跨空間交互當中，這是混合學習多模態(tài)交互的主要特征之一。此外，線上線下相融合的混合學習使得多模態(tài)交互具有同步與異步交互的特征;混合學習的多模態(tài)交互發(fā)生于不同的學習場景當中，依賴于學習情境的變化而變化，多情境轉化也是混合學習多模態(tài)交互的特征之一[28]。混合學習多模態(tài)交互過程中參與的個體本身是有情感交流的，多模態(tài)信息中的表情、眼神、音色等都賦予了一定的情感特色，具身情感性也是混合學習多模態(tài)交互特征之一。混合學習多模態(tài)交互往往發(fā)生在特定的空間或場景中，本身可以被觀察和測量，大量的多模態(tài)信息被編碼成表征信息進行分析和判斷，多模態(tài)信息可表征也是其特征之一。

跨空間交互。混合學習多模態(tài)交互主要在線上的網絡學習空間和線下的物理學習空間進行，學生之間、教師與學生之間進行的交互行為也存在于社會生活空間中，尤其是社交行為，這充分體現了混合學習的多模態(tài)交互跨空間特征。

同步與異步交互并存。線上、線下相融合的混合學習過程中，普遍存在線上與線下的異步和同步學習現象，多模態(tài)交互便隨著這種同步與異步交互而發(fā)生。這種同步與異步交互具有一定的時效性和差異性，同步交互可以同時判斷多模態(tài)交互中個體的狀態(tài)和情緒、情感變化，異步交互如果不進行多模態(tài)交互分析，很難判斷交互者的情感狀態(tài)等的變化，這對交互是不利的，因此，在這種交互過程中，分析多模態(tài)交互信息將促進異步交互的良性發(fā)展。

多情境轉換。混合學習多模態(tài)交互依托于學習過程的多種學習情境中，多種學習情境的轉換使得多模態(tài)中的主要模態(tài)形式發(fā)生相關的變化，例如在教師講課模式中，多模態(tài)的主要形式是教師講課語音和相關課件等模態(tài)信息，到了分組討論的時候，多模態(tài)信息主要是學生交流的語言、表情、眼神變化等。

具身情感性。混合學習多模態(tài)交互過程更多的是人與人的交互，人的交互過程中臨場感與感情的涌現較為重要，尤其是學習情境中的臨場感能讓參與者涌現出豐富的情感表現，而這些情感表現可以通過分析體態(tài)、表情、眼神、聲音變化等多模態(tài)信息，掌握參與者的情感狀態(tài)、注意力集中程度等。

多模態(tài)信息可表征。混合學習過程中多模態(tài)信息具有可表征的特性，表情符號可以表征喜怒哀樂的個體情感狀態(tài)，聲音符號可以表征學習者的緊張與放松等狀態(tài)，體態(tài)符號可以表征學習者的生理舒適程度等信息。基于可被表征的多模態(tài)信息，可以綜合分析學習者的學習狀態(tài)。

（二）混合學習的多模態(tài)交互價值及應用

混合學習的多模態(tài)交互數據有著重要的應用價值，混合學習過程中會發(fā)生大量的交互信息，通過數據采集技術對多模態(tài)信息采集編碼和表征，分析教與學各個交互環(huán)節(jié)，促進富有成效的教與學。混合學習的多模態(tài)交互分析主要圍繞其特征展開各環(huán)節(jié)的數據采集和抓取，通過分析在線學習過程中的多模態(tài)交互數據和線下課堂教與學活動中的多模態(tài)交互數據，為整個教與學的過程提供數據支持和評價參考。這些數據采集主要是圍繞多模態(tài)交互過程中的表情、視點、語音、手勢、姿態(tài)等個體線下交互數據，以及個體在線上產生的多模態(tài)交互數據，這些數據有文本、語音、視點、觸點等數據。綜合分析這些多模態(tài)數據，將有利于實現教與學過程的可視化、知識建構路徑可選擇、用戶畫像分析、個性化學習、學習分析等[29]。當前多模態(tài)交互的數據采集和分析技術已經具備，主要通過攝像機和傳感器采集混合學習的過程數據。一方面是教師的教學數據、行為數據、交互數據等，另一方面是采集分析學生的行為數據、學習數據、社會交往數據、生理數據等。應用相關的大數據分析和學習分析技術，并加載相關的人工智能模塊，實現表情識別、情緒識別、注意力集中程度判斷等功能[30]。目前混合學習的多模態(tài)交互分析主要應用方面有用戶畫像分析、情境感知、個性化學習支持、語義感知網、學習診斷等。

學習者畫像分析。學習者畫像分析的主要功能是用來判斷學習者的學習習慣和評價學習者的知識儲備情況，并根據實際情況作出相關的學習方式或路徑設計，指導學習者進行有效的學習。混合學習多模態(tài)交互數據采集和分析，將更全面地、精準地分析學習者的學習行為、習慣、特征、知識儲備等，而過去通常采用單一模態(tài)數據與心理測評，以及試卷測試等的結果對學習者進行畫像分析。

情境感知。基于多模態(tài)交互的情境感知分析，將為課堂教學提供實時的學習情況和學習者的學習情緒，判斷學習者是否注意力集中等，幫助教師合理動態(tài)調整相關的教學計劃和教學方式。教師通過關注教學過程中的實時情境感知數據，及時調整相關教學內容和方法。

個性化學習支持。當前混合教學課堂人數眾多，教師很難關注某一個體的學習情況，但通過大數據、人工智能、學習分析等技術實現多模態(tài)交互分析，判斷個體的學習情況和進展，及時提供相關數據給予支持，并將學習路徑優(yōu)化，支持每個個體的學習歷程可視化等，對學習者的學習進行學習診斷，實現學習者的個性化學習。

語義感知網。當前語音識別技術的應用，助力于混合學習的多模態(tài)交互分析，通過實時的語音識別技術轉譯教師和學生的語音，展示相關關鍵詞的知識圖譜，為學習者提供知識點概貌和導航等信息，同時，提供與語義有關的圖片、視頻、文本內容等資料，進一步幫助學習者發(fā)散思維、拓展思路。

四、混合學習的多模態(tài)交互分析機制

（一）混合學習的多模態(tài)交互運行機理

混合學習的多模態(tài)交互分析主要關注教師和學生在教與學過程中產生的多模態(tài)信息，這些模態(tài)信息主要有表情、眼動、體溫、手勢、語音、體態(tài)、文本等。線下多模態(tài)交互更多的是教師、學生之間的面對面交流，而參與這些交互的多模態(tài)主要是以人的感官為主，多模態(tài)主要有表情、語音、體溫、手勢、體態(tài)、眼動。線上多模態(tài)交互過程主要體現為“人—機”交互，多模態(tài)主要有語音、文本、視頻、眼動、觸點（含鼠標）、計算機日志等。

混合學習是一個復雜的學習方式，跨越線上、線下兩大系統來組織教與學。交互是混合學習在這種復雜環(huán)境中有效運行的核心要素之一，混合學習在跨越兩大系統的同時，又涉及空間、時間、知識建構等基本要求，通過交互，使得混合學習各項要素和流程有效運行，并增強了混合學習的黏性。

混合學習的多模態(tài)交互促進教師與學生、學生之間有效交互和交流，促進知識的學習。混合學習的多模態(tài)交互的運行是在混合學習教學設計支持框架下進行的（如圖1所示），當前混合學習的最大特點是依托于線上、線下兩個學習空間融合促進學習。在混合學習運行過程中，學生通過線上學習獲取學習資源，并與教師和學伴等進行溝通交流，而這一過程中教師也為學生提供了線上學習指導和學習范疇的界定，發(fā)揮著教師主導的作用，這時候學生更多的不是直接研讀線上學習資源，而是要盡快理解教師的意圖和目的以及布置的任務，才能最好地發(fā)揮網絡學習空間的功效。通過對教師線上活動多模態(tài)信息的抽取，表征給學生，讓學生理解教師的意圖，進而調動學生的學習能動性。線下的教與學是混合學習的核心環(huán)節(jié)，這樣的過程中教師需要了解學生的學習情況和理解程度，尤其是學生作為學習主體，教師必須要全面了解學生的基本情況。在線下交互過程中抽取學生的多模態(tài)信息，表征給教師，幫助教師掌握學生的學習狀態(tài)和基本情況，便于教師及時調整相關教學策略。整體看，混合學習的多模態(tài)交互過程需要不斷調節(jié)，而這種調節(jié)依賴于多模態(tài)信息的獲取和分析，通過調節(jié)交互幫助教師和學生充分理解各方的意圖，達到“教師主導—學生主體”[31]、以學生為中心的混合學習目標。這些正是基于混合學習交互過程中的多模態(tài)數據的獲取與分析，并賦能于混合學習的反饋調節(jié)，實現了混合學習的多模態(tài)交互的妥善運行。

（二）混合學習的多模態(tài)交互分析機制

多模態(tài)交互的價值在于，分析其數據可以進行學習者畫像分析、情境感知、個性化學習支持、語義感知等。多模態(tài)交互依賴于互聯網技術支持的大數據分析、學習分析、模式識別、人臉識別、語音識別等在人工智能技術聚合下發(fā)揮出其應有的價值和作用。混合學習的多模態(tài)分析是一個復雜的系統，它是一個觀測和分析多模態(tài)數據用于支持教與學的工具性系統。多模態(tài)分析系統主要由多模態(tài)采集系統、數據存儲和轉碼系統、多模態(tài)分析處理系統、數據可視化表征系統、環(huán)境感知和調節(jié)等系統構成。多模態(tài)采集系統主要由多模態(tài)數據采集設備和存儲器構成，涉及傳感器、攝像機、紅外成像儀、環(huán)境溫度計等設備，并由采集存儲設備等共同構成了多模態(tài)采集系統;多模態(tài)存儲和轉碼系統主要功能是負責將采集的多模態(tài)數據進行轉碼和存儲，由于多種模態(tài)信息數據信源不同，必須將不同模態(tài)的信息經過數字化技術處理形成特定的編碼，實現數據標準的統一;多模態(tài)分析處理系統主要是依托于大數據、心理學、人工智能、教育學等學科交叉促進實施表情識別、微表情、情境感知、語音識別、學習分析等;數據可視化表征系統的主要職責是將多模態(tài)分析后的結果通過可視化技術表達出來，以通俗易懂的圖標和語言將這些分析結果和指導教與學的方法提供給教師和學生，讓他們盡快調整狀態(tài)和方法，改進教與學的方式或方法，進而提升教與學的成效;環(huán)境感知和調節(jié)系統的主要任務是負責將多模態(tài)分析的結果和提供的改進方法等轉達給教師和學生，通過智慧學習環(huán)境中控系統調節(jié)教學環(huán)境的舒適度、空間物理設備等。多模態(tài)交互分析的主要流程為數據采集、加工與篩選、數據分析、數據表征可視化、反饋調節(jié)。

綜合分析了混合學習多模態(tài)交互的運行模式和各系統的主要任務和職能以及工作流程后，不難看出混合學習的多模態(tài)交互分析機制（如圖2所示）。混合學習的多模態(tài)交互主要是關注學習者、教師、環(huán)境三者之間的交互過程產生的多模態(tài)交互數據，這些多模態(tài)數據主要有表情、語音、體溫、手勢、體態(tài)、文本、視頻、眼動、日志等模態(tài)。然后通過多種信息技術設備將各類模態(tài)數據采集起來，例如通過壓敏傳感器采集力度數據;通過溫度感知傳感器采集參與者的體溫變化數據;通過紅外成像設備感知參與者面部的精細變化;通過攝像機采集圖像數據等，也有研究建議通過便攜腦電設備采集腦波模態(tài)數據。采集后的數據經過特殊的編碼技術處理，轉化為可用于分析的數字化數據，然后通過大數據分析、學習分析等技術，并結合人工智能的應用，例如表情識別、語音識別、情境感知等技術，聚合進行多模態(tài)交互分析。最后通過可視化表征技術，將分析得到的結果經過儀表盤反饋給教師、學生和可控的智慧學習環(huán)境等，幫助教師和學生及時調整教與學的方法。

五、混合學習交互的優(yōu)化策略

（一）混合學習的多模態(tài)交互分析難點

混合學習的多模態(tài)交互分析的運行系統是一個規(guī)則系統，有其運行流程，整個流程操作起來會發(fā)現各個環(huán)節(jié)均有可能出現影響分析結果的問題。混合學習的多模態(tài)交互分析要經過數據采集、數據清洗、數據分析、數據表征和可視化、反饋調節(jié)等流程。數據采集主要是采集學習者、教師、設備等的多模態(tài)數據，采集數據又分為線上、線下兩類，每個類別中分別有不同模態(tài)的數據，這對多模態(tài)分析的技術要求較高，在沒有互聯網、大數據分析、人工智能、云計算等技術的支持下，是很難進行此類分析的;在多模態(tài)交互數據分析的過程中，又要使用多種新興技術，并且這些新興技術要聚合與協同使用，技術一旦出現偏差或故障，將造成整個系統的誤差，引發(fā)“蝴蝶效應”的出現。具體難點如下：

（1）技術壁壘。多種技術聚合使用，通用路由和標準有待界定，技術合理性一般需要因地制宜，尤其是混合學習的多模態(tài)交互分析過程中，采集數據、分析數據、數據清洗、數據存儲、數據表征等環(huán)節(jié)對技術要求較高。從采集數據開始，數據采集的顆粒度、精準程度決定后面分析工作的進展和效果;再到數據分析技術的使用，大數據和學習分析技術的應用，這對數據挖掘要求較高，尤其是能從多種模態(tài)的數據中挖掘出有深度、有價值的信息是當前大數據分析和學習分析的技術難點，復雜程度較高;最后在數據表征方面，數據表征的目的就是讓普通人理解相關數值和多模態(tài)參數的含義，需要降維處理，減少認知負荷等。

（2）教師信息化教學設計能力不足和對新技術應用理解不夠。當前很多學校都采用了高端的教育信息化設備，但是必須要確保教師能準確和有效地使用這些設備。此外，教師在教與學的過程中，有待打破傳統的教學設計思維，教學設計和課程管理已經發(fā)生了變化，教學設計各個環(huán)節(jié)理應考慮教育信息化的應用和作用，同時，課程管理過程中有多模態(tài)分析作為支撐，教與學過程中理應及時調整相關狀態(tài)和方法;最后，教育信息化過程中，很多新興技術融入了學校教育，產生了大量的新名詞、新參數、新教法等，這對教師采用教育信息化技術組織教與學的活動帶來了挑戰(zhàn)，恐怕教師對新技術名詞、新參數、新教法等理解不夠到位，造成教與學過程中教育信息化技術設備不能發(fā)揮出其應有的功效，甚至適得其反。

（3）學生運用信息技術學習的素養(yǎng)不足。當前很多學生都屬于“數字土著”一代，他們運用信息技術進行各項活動的能力較強;即使不是“數字土著”一代，經過多年的信息技術使用和熏陶，他們也具備了使用信息技術進行生活和社會交往的能力。但是，學生運用信息技術學習的素養(yǎng)卻不見得足夠。互聯網時代的學習方式和方法均發(fā)生了深刻的變化，尤其是網校、教育APP等依托于互聯網出現的教育載體，在逐漸迎合學生學習和生活習慣的同時，也在改變他們的認知方式，倒逼學習者發(fā)生互聯網學習認知現象。互聯網學習認知要求學習者具有一定的運用信息化手段學習的素養(yǎng)，培養(yǎng)一個人學會和養(yǎng)成一種持續(xù)學習的素養(yǎng)要經歷幾年甚至十幾年。

（4）師生情感表達差異。師生之間的年齡差異較大，這種年齡差異造成的情感表達差異也會明顯存在，混合學習的多模態(tài)交互分析有待衡量年齡差異造成的情感分析困難，尤其是人生經歷豐富和善于情感隱晦的教師，往往在表情識別方面給多模態(tài)分析帶來一定的不確定性;另外，師生之間的代溝問題容易造成交流溝通上的鴻溝，這對多模態(tài)分析帶來了挑戰(zhàn)。

（二）優(yōu)化策略

造成這些困難的原因主要來自內部和外部。內部調整主要是圍繞混合學習的多模態(tài)交互分析系統的技術路線改造進行，盡量減少噪音干擾和技術復雜程度;在外部層面，強化教師和學生對信息化技術應用培訓，增強他們對教育信息化的適應能力，以及強化他們的信息化學習素養(yǎng);同時，改造教與學的環(huán)境，使得教與學的環(huán)境便于學習交互等。

（1）減少混合學習的多模態(tài)分析鏈路，強化新興技術的聚合使用。混合學習的多模態(tài)分析是一個復雜過程，涉及的流程較長，尤其是多個流程都涉及轉換和分析，環(huán)環(huán)相扣，對于這種具有節(jié)點性質轉換的數據分析，容易造成誤差，而誤差又具有傳導性質，類似于“蝴蝶效應”，一旦開始出現了誤差，分析結果的誤差將可能被無限放大，最終結果就是造成全局失誤。因此，盡量減少混合學習的多模態(tài)分析節(jié)點，應用多種新興技術促進分析方式的聚合與協同。尤其是近年來人工智能引領的智能技術應用，混合學習的多模態(tài)數據采集階段直接可以進行表情識別、情感分析、情緒診斷、注意力分析等，將多模態(tài)分析中的采集與分析聚合在源頭。

（2）將物聯網技術融入混合學習環(huán)境當中，拓展獲取多模態(tài)信息的途徑。多模態(tài)分析的優(yōu)勢就在于能通過獲取多種模態(tài)信息分析混合學習過程中教與學存在的問題和學習程度等，為了提高分析的準確性和精準程度，一方面加大采集多模態(tài)信息的顆粒度，另一方面擴展多模態(tài)信息的信源。采用物聯網傳感技術，采集以往采集不到的生理模態(tài)數據、行為模態(tài)數據、微表情等微觀模態(tài)數據等，增加可供分析的信源，進而提高可分析數據的準確性。

（3）強化對教師和學生的信息化學習能力培養(yǎng)，增強他們的信息化領導力和學習力。強化對教師和學生的信息化學習能力培養(yǎng)，一方面加強對教師使用教育信息化設備培訓的力度，另一方面給學生開設相關課程，教學生如何利用信息化資源進行相關的學習，以及參與教學活動等。同時，信息化領導力是教師組織教學和學生參與學習的一種良好能力，加強對教師和學生的信息化領導力培養(yǎng)，主要通過開設相關課程、組織實踐活動、進行校內外經驗分享等方式進行。

（4）創(chuàng)建混合學習專用教學環(huán)境或教室，強化教與學過程中的交互友好性。混合學習的教與學模式已經得到了廣泛認可，因為這種教與學的模式能有效促進教學氛圍融洽并形成良好的師生關系。當前，大多數采用混合學習的課程均在傳統教室內進行，這種教室配置對于采集多模態(tài)數據帶來了一定的挑戰(zhàn)和困難，今后有條件的地區(qū)可以構建適用于混合學習的智慧學習教室，用于組織混合學習。混合學習專用教室的最大特點是便于師生進行實時溝通交流，能減少學生的緊張感和壓迫感，促進學生盡快進入相關的學習角色。

六、總結與展望

混合學習的多模態(tài)交互分析依賴于新興技術的支持，實現實時的表情識別、情境感知、情感計算、注意力集中程度分析、情緒診斷、學習力分析、認知差異分析等，這為實現大規(guī)模個性化學習提供了支撐和保障，也是在教學過程中解放教師，為教師更好地設計和組織教與學活動提供了便利。教師和學生可以根據混合學習的多模態(tài)分析所提供的教與學實時數據，對當前學習情況進行診斷和評價，及時調整相關的學習策略和方法，改進學習方式，實現有效的教與學。隨著人工智能技術的進步和發(fā)展，會有更多便捷的多模態(tài)分析技術誕生，也期待更多研究者關注多模態(tài)分析的教育應用，從而促進我國教育信息化良性發(fā)展。

[參考文獻]

[1] LAHAT D，ADALI T， JUTTEN C. Multimodal data fusion：an overview of methods，challenges，and prospects[J].Proceedings of the IEEE，2015（9）：1449-1477.

[2] KRESS，VAN LEEUWEN T.Multimodal discourse： the modes and media of contemporary communication[M]. London： Arnold Press，2001：20-22.

[3] JEWITT C.The routledge handbook of multimodal analysis[M].London and New York： Routledge，2009：14-24.

[4] 張琪，武法提.學習分析中的生物數據表征——眼動與多模態(tài)技術應用前瞻[J].電化教育研究，2016（9）：76-81，109.

[5] COHN N.A multimodal parallel architecture： a cognitive framework for multimodal interactions[J].Cognition，2016（146）：304-323.

[6] FENG D W. Metonymy and visual representation： towards a social semiotic framework of visual metonymy[J]. Visual communication， 2017， 16（4）：441-466.

[7] 祝智庭，俞建慧，韓中美，等.以指數思維引領智慧教育創(chuàng)新發(fā)展[J].電化教育研究，2019（1）：5-16，32.

[8] JEWITT C. Multimodality and literacy in school classrooms[J].Review of research in education，2008（32）：241-267.

[9] 黃榮懷.人工智能在教育有多少潛能可挖[N].中國教育報，2018-01-13（03）.

[10] 百度百科.交互[EB/OL].[2019-01-01].https：//baike.baidu.com/item/交互/6964417？fr=Aladdin.

[11] 田陽，馮銳.社會資本理論視域下MOOC課堂互動策略分析[J].中國電化教育，2014（9）：59-66.

[12] O'MALLEY J M， CHAMOT A U. Language learning strategies in second language acquisition[M]. Cambridge： Cambridge University Press，1990.

[13] LEE E， LIU X， ZHANG X. Xdigit： an arithmetic kinect game to enhance math learning experiences[J]. Retrieved February， 2012（14）： 2013.

[14] 宋愛國，田磊，倪得晶，等.多模態(tài)力觸覺交互技術及應用[J].中國科學：信息科學，2017， 47（9）：1183-1197.

[15] 龍宇飛，趙璞.大學英語聽力教學中元認知策略與多模態(tài)交互研究[J].外語電化教學， 2009（4）：58-62，74.

[16] GU Y.Learner emotion in classroom： a multimodal corpus linguistics approach[R]. Plenary speech at the magic of innovation： new techniques and technologies in language teaching. Russia： MGIMO University，2015.

[17] 桑新民.學習科學與技術[M].北京：高等教育出版社，2003.

[18] ANDRADE A. Understanding student learning trajectories using multimodal learning analytics within an embodied-interaction learning environment[C]// Proceedings of the Seventh International Learning Analytics & Knowledge Conference. Vancouver，British Columbia，Canada：ACM，2017：70-79.

[19] 王曉升.現代性視角下的社會整合問題——哈貝馬斯交往行動理論的啟示[J].武漢大學學報（哲學社會科學版），2018（6）：71-78.

[20] 陳麗.遠程學習中的信息交互活動與學生信息交互網絡[J].中國遠程教育，2004（5）：15-19，78.

[21] 孫穎，段琪.交互分析理論對改善人際交往困惑的應用[J].心理與行為研究，2011（2）：147-153.

[22] REED M， EYELY A C， CUDILL G. What is social learning[J]. Ecology and society， 2010，15（4）：299-305.

[23] 王志軍，陳麗.聯通主義學習的教學交互理論模型建構研究[J].開放教育研究，2015（5）：25-34.

[24] 田陽，杜靜，黃榮懷.面向混合學習的學習與社交協同策略探究[J].中國電化教育，2018（5）：8-14.

[25] PORTER W W，GRAHAM C R，SPRING K A，et al. Blended learning in higher education：institutional adoption and implementation[J]. Computers & education，2014（3）：185-195.

[26] DELIALIOGLO O.Student engagement in blended learning environments with lecture-based and problem-based instructional approaches[J].Journal of educational technology & society，2016（3）：310-322.

[27] 穆肅，溫慧群.適應學生的學習——不同復雜度的混合學習設計與實施[J].開放教育研究，2018（6）：60-69.

[28] 牟智佳，李雨婷，嚴大虎.混合學習環(huán)境下基于學習行為數據的學習預警系統設計與實現[J].遠程教育雜志，2018（3）：55-63.

[29] 余勝泉.人工智能教師的未來角色[J].開放教育研究，2018（1）：16-28.

[30] 黃榮懷，劉德建，劉曉琳，等.互聯網促進教育變革的基本格局[J].中國電化教育，2017（1）：7-16.

[31] 何克抗.從Blending Learning看教育技術理論的新發(fā)展（上）[J].電化教育研究，2004（3）：1-6.

[Abstract] "Internet + education" promotes the practical application of blended learning. Blended learning integrates physical space， social space， resource space， etc.， which makes the internal mechanism of learning interaction become one of the main topics in academia. This research team tries to reveal the intrinsic mechanism of blended learning interaction from the perspective of multimodal analysis. Through the analysis of the multimodal interaction features of blended learning， the features are summarized as cross-space interaction， synchronous and asynchronous interaction， multi-situational transformation， physical emotion， characterization and so on. Combined with the rules of blended learning， it is found that in the multimodal interaction of blended learning， the multimodal information can be represented and extracted. Moreover， the main processes of multimodal interaction analysis are data acquisition， processing and screening， data analysis， data characterization visualization， feedback adjustment， etc. After the multimodal interaction information is visualized， the results are fed back to teachers and students through the dashboard to help them adjust teaching and learning methods in time and promote the optimization strategy of multimodal interaction in blended learning.

[Keywords] Multimodal; Blended Learning; Multimodal Interaction Analysis; Learning Analytics; Optimization Strategy