多模態(tài)交互在教學中的應用

胡小強 桑小十

摘要：現(xiàn)代信息技術(shù)的高速發(fā)展，為人機交互帶來了新途徑，多模態(tài)交互成為人機交互史上的全新可能，也為其他領(lǐng)域帶來了新的活力。與此同時，新技術(shù)的產(chǎn)生與發(fā)展也對教育領(lǐng)域產(chǎn)生了巨大沖擊，研究以教學中的“多模態(tài)交互”為介入點，對多模態(tài)交互相關(guān)概念的界定進行闡述，接著分析了多模態(tài)交互技術(shù)在教學中的應用，并以物理力學實驗為例開展教學設計，將多模態(tài)交互技術(shù)進行有效融合，總結(jié)出多模態(tài)交互在教學中應用的優(yōu)勢，最后給出建議。

關(guān)鍵詞：多模態(tài)交互;教學設計;VR教學;虛擬實驗室;物理

中圖分類號：G40-057 ?文獻標識碼：A ?論文編號：1674-2117（2022）13-0089-05

● 教學中的“多模態(tài)交互”

1.多模態(tài)交互的概念

“模態(tài)”（Modality）最早是作為一種生物學的概念被提出來的，之后隨著科技的不斷進步與發(fā)展，逐漸被引申到計算機與人工智能領(lǐng)域，成為機器與現(xiàn)實物理事物之間聯(lián)系的一種理論通道。顧曰國教授認為模態(tài)是指人類通過感官跟外部環(huán)境之間進行互動的方式，用單個感官進行交互的叫單模態(tài)，用兩個的叫雙模態(tài)，三個以上的叫多模態(tài)。[1]在新技術(shù)時代，眼睛、鼻子、嘴、手和耳朵可以通過多模態(tài)交互技術(shù)變成鼠標和鍵盤，更準確地將信息傳達給計算機交互，擴大了交互的多樣性。多模態(tài)交互技術(shù)的實現(xiàn)就是這樣一個復雜的信息傳輸、分析、處理、呈現(xiàn)的過程。在這個過程當中，設備和用戶能夠達到隨時隨地進行聯(lián)合交互的效果，無論是聽覺、視覺、觸覺還是手勢通過多模式交互技術(shù)，用戶便可以在一個專門為它開發(fā)的接口上選擇不同類型的輸入設備（如鍵盤、鼠標、手寫筆、觸摸屏、語音等）的連接，可以確定訪問信息所使用的交互模式并與之進行交互。多模態(tài)交互技術(shù)在多種領(lǐng)域廣泛應用，目前運用得較多的領(lǐng)域包括教育、醫(yī)療、工程、娛樂、游戲、軍事、航空、航海等。

2.多模態(tài)交互技術(shù)在教學中的應用

多模態(tài)交互技術(shù)在教育領(lǐng)域有著廣泛的應用。在國家重大課題方面，由潘志庚教授作為首席科學家領(lǐng)銜的國家重點研發(fā)計劃項目“多模態(tài)自然交互的虛實融合開放式實驗教學環(huán)境”主要研究復雜實驗教學環(huán)境中的實時仿真、多通道感知（視、聽、觸、嗅）的同步呈現(xiàn)，研究探究式學習過程建模與行為量化評估等科學問題，開發(fā)新型的教學實驗，解決現(xiàn)有中學實驗課程中探究性弱、自主性差、精準性低、實驗成本高等系列難題。

多模態(tài)交互技術(shù)在教學中也有許多應用。例如，在科學教學中，其應用主要以科普為主，如在婦聯(lián)、科協(xié)、消防、地震局等部門的指導下，中山大學以及華南師范大學開發(fā)了一套“恩授”教育游戲，向兒童介紹科學、自然、衛(wèi)生等科學知識，其中融合了多模態(tài)、體感游戲等創(chuàng)新技術(shù)，在游戲中兒童需要眼、耳以及肢體的多種配合來進行操作，讓其以第一人稱的方式模擬進入地震、火災、溺水等虛擬的三維場景，在互動體驗中學習各種安全知識和自救技能，增強自我保護能力，保障生命和財產(chǎn)的安全。又如，在地理教學中，其應用主要是以視聽交互及手勢交互為主，以《地質(zhì)災害》一課為例，教師使用桌面VR一體機展示3D洪水現(xiàn)象并且進行拖拽，從各個角度展示，達到學習者的視聽交互。學習者可以通過手勢交互進行救災活動，如人群的驅(qū)散、挖通渠道、搬運石塊等。學習者在模擬環(huán)境中解決問題，將地理知識與實際生活聯(lián)系，化抽象為具體，提高了學習積極性，進而提高了教學效率。

● 多模態(tài)交互在教學中應用的優(yōu)勢

1.多模態(tài)交互技術(shù)能提升課堂交互性

過去，教師在研究教學設計問題時常采用非交互性的多媒體教學形式，主要包括教學學習科學系統(tǒng)中的口頭和視覺表現(xiàn)形式，這是屬于線性的過程，從信息獲取的角度來看，這種學習方式僅僅只是向?qū)W生的記憶中添加信息，教師的工作也僅是向?qū)W生呈現(xiàn)信息，學生的工作只有簡單的接收信息。但通過多模態(tài)交互技術(shù)會使教學的整個過程和效果產(chǎn)生明顯的不同。封虹虹認為，要尊重學生的主體地位，教師應該在教學中根據(jù)學生特征，因材施教盡享多模態(tài)教學。[2]打造虛擬應用場景進行交互式學習，可以在英語課堂中提升學生對課堂的關(guān)注度，進而使其對英語學習產(chǎn)生濃厚的興趣。在英語課堂中需要針對不同特點的學生，通過多模態(tài)交互技術(shù)、VR技術(shù)打造虛擬英語應用場景，實現(xiàn)虛擬視聽交互、人機交互，讓每位學生都能夠且愿意參與到課堂中進行學習。這種學習環(huán)境是高效互動的，因為它關(guān)注到每一位學生的學習節(jié)奏。

2.多模態(tài)交互技術(shù)能促進學生的有意義學習

有意義學習依賴于認知活動，如從一節(jié)課中選擇相關(guān)的信息，將其組織成一個連貫的結(jié)構(gòu)，并將新知識與現(xiàn)有知識相結(jié)合。非交互的環(huán)境不能促進行為的主動性，如果想通過簡單的演示文稿來設計一個能激發(fā)學生認知能力的演示文稿，那確實是一個挑戰(zhàn)。與之相比，利用多模態(tài)交互技術(shù)的交互式學習環(huán)境更有利于構(gòu)建學生的有意義學習。施建平認為，交互要達到“心物相融，啟智引思”，多模態(tài)情境要達到作用于多感官，能給學生帶來全身心的沉浸，使之在情境中思考。以《七律·長征》一詩為例，在學習“金沙水拍云崖暖，大度橋橫鐵索寒”這兩句時，學生無法通過簡單的多媒體課件和圖片了解為什么面對如此險境紅軍戰(zhàn)士會有“暖”意。為了讓學生真正理解當時的場景，可采用聲、光、電等多重交互技術(shù)搭建虛擬的金沙江和大渡河，使學生的視覺、聽覺與智慧設備進行交互，進入當時的作戰(zhàn)場景，親身體會當時戰(zhàn)斗的慘烈，從而感受紅軍的艱辛以及大無畏的精神，深刻了解紅軍長征精神。[3]

3.多模態(tài)交互技術(shù)能促進學生的學習興趣

多模態(tài)交互技術(shù)是一種具有視覺、聽覺、觸覺等多感知沉浸的技術(shù)，在教學中使用多模態(tài)交互技術(shù)，可以讓書本中的知識變得可以觸摸、互動、感知，讓學生在過程中有身臨其境的沉浸式體驗。讓學生具有沉浸其中的豐富感受以及自由度高的交互體驗，不僅有效提高了其學習主動性，更是給學生提供了大量的親身體驗、觀察、操作以及與其他學生協(xié)作學習的機會，促進了學生認知活動的開展以及知識的建構(gòu)。[4]有學者研究表明，在教育教學的過程中，通過單一模態(tài)學習的學習者的學習能力比通過多種模態(tài)共同學習的學習者的學習能力要差。心理學認為，單一個體情緒系統(tǒng)的發(fā)生機制和表達機制都屬于復雜的范疇，主要強調(diào)外界環(huán)境刺激和內(nèi)部生理、心理和其認知狀態(tài)對個體心理的情緒變化的共同作用。傳統(tǒng)的學習方式，常是教師的單線講授，學生被動吸收，整個過程無法刺激學生產(chǎn)生情緒變化，難以激發(fā)特定的大腦活動模式，學生難免會覺得學習枯燥無味。這也表明，單一模態(tài)的刺激難以提高學習者的情緒狀態(tài)。馬菁認為，多模態(tài)學習模式可以喚起學生學習英語詞匯的積極性，教師可以在課堂中運用多模態(tài)交互技術(shù)營造出兼具游戲性和娛樂性的學習環(huán)境，通過多種模態(tài)參與的渠道激勵學生參與到詞匯的教學中，引發(fā)學生對課堂的情感認知的深層共鳴。[5]通過多模態(tài)交互技術(shù)對利用多種智能傳感設備學習的學習者進行視覺、聽覺、觸覺、嗅覺等多種感官的刺激，提高學習者的情緒狀態(tài)，實現(xiàn)“認知—行為—情感—交互”的過程。[6]

● 基于物理力學實驗的教學設計

物理是一門注重實驗的自然科學基礎課程，物理實驗的操作環(huán)節(jié)是必不可少的，多模態(tài)交互技術(shù)可以通過視覺、聽覺、觸覺等多種模態(tài)進行交互打造虛擬實驗室，具有彌補實驗場地以及實驗設備的不足、打破空間和時間的限制、優(yōu)化已有教學和實驗模式以及優(yōu)化抽象物理現(xiàn)象的呈現(xiàn)等優(yōu)點。下面，筆者以物理力學實驗——牛頓第一定律實驗為例，通過多模態(tài)交互技術(shù)輔助進行教學設計。

1.基于學情設計教學目標

《牛頓第一定律》是人教版物理九年級《運動和力》中的內(nèi)容，其中主要包括三個方面：維持運動需要力嗎、牛頓第一定律以及慣性。本節(jié)課是在學生學習了運動學和力學初步知識的基礎上，首次將力和運動聯(lián)系起來，研究力和運動的關(guān)系和規(guī)律，是聯(lián)系運動和力的紐帶與橋梁，同時為后面力學知識的學習打下基礎。將多模態(tài)交互技術(shù)通過VR虛擬實驗室的形式運用到本節(jié)課的教學活動中，在傳統(tǒng)的虛擬實驗室中加入視、聽、觸交互，讓學習者能夠沉浸式地體驗實驗操作的整個過程。

基于此，將本節(jié)課的教學目標設計如下：

①知識與技能目標：知道牛頓第一定律的內(nèi)容;了解慣性的概念，會解釋簡單的慣性現(xiàn)象。

②過程與方法目標：學會利用VR頭盔與手套進行實驗操作，在師生互動、生生互動、人機互動中進行交流討論并得出實驗結(jié)論。

③情感態(tài)度與價值觀目標：使用VR設備進行多模態(tài)交互激發(fā)學習興趣以及好奇心;通過對實驗探究活動的參與，學習科學家實事求是、尊重自然規(guī)律、不迷信權(quán)威的科學態(tài)度，感悟科學規(guī)律獲得的過程要經(jīng)過許多科學家的不懈努力、培養(yǎng)科學的思維方法和科學探究精神。

2.設計實驗活動展開教學

①提出問題。教師播放多媒體課件，展示亞里士多德和伽利略的觀點，進行師生以及生生討論交流，提出實驗探究問題。

設計意圖：通過交流討論提出問題，培養(yǎng)學習者的探究能力、合作學習意識以及科學的思維方式。

②探索知識。學生帶著問題觀看教師實驗，教師在VR虛擬實驗室中，選擇表面粗糙、比較光滑和很光滑三種水平面進行實驗，得出實驗數(shù)據(jù)，讓學生總結(jié)和分析數(shù)據(jù)，并推理假設在完全光滑的水平面上會得到什么樣的數(shù)據(jù)。

設計意圖：學生很少接觸VR虛擬實驗室，教師首先進行實驗，為下一環(huán)節(jié)學生的實驗操作做示范，發(fā)揮學生的主體作用，讓學生自己分析實驗數(shù)據(jù)、得出結(jié)論、回答問題，引導學生進一步推理，激發(fā)學生在下一環(huán)節(jié)中動手操作的興趣，培養(yǎng)學生假設和推理能力。

③自主實驗。學生通過VR虛擬實驗室對教師演示實驗進行還原，得出自己的數(shù)據(jù)，通過所佩戴的VR手套進行觸覺交互來判斷每一個水平面的光滑程度，并進行實驗，在此基礎上，選擇表面完全光滑的水平面進行上述推理的求證并得出結(jié)論。

設計意圖：通過多模態(tài)交互技術(shù)和VR設備，可以將現(xiàn)實中僅能通過假設和想象來實現(xiàn)的現(xiàn)象具象化，讓學生通過實踐來學習這部分知識，突破重難點。

④總結(jié)實驗，教師總結(jié)講授牛頓第一定律和慣性。實驗設計過程如下頁圖所示。

● 多模態(tài)交互在教學設計應用中的建議

1.注重低成本多模態(tài)交互硬件的研發(fā)

在企業(yè)前期開發(fā)多模態(tài)交互技術(shù)的應用和設備時，研發(fā)的成本較高，導致市面上絕大多數(shù)多模態(tài)技術(shù)設備銷售價格普遍居高，很多學校和機構(gòu)因為資金問題無法承擔多模態(tài)交互技術(shù)設備高昂的價格，因此導致多模態(tài)交互技術(shù)無法在學校的教育教學中廣泛普及。同時，大多數(shù)的智慧軟件普遍存在通用性差、使用難度大、開發(fā)花費巨大且應用效果有限等問題。另外，從技術(shù)層面來說，新興的傳感應用技術(shù)、3D的物理建模技術(shù)、高速的圖形圖像處理、成像顯示、人工智能等開發(fā)智慧軟件普遍所需的相關(guān)技術(shù)，還有很多問題有待解決。[7]以上諸多問題都限制了多模態(tài)交互技術(shù)在中小學教學中的推廣應用與普及。因此，多模態(tài)的硬件設備只有得到廣泛的研究與開發(fā)，才能從根本上解決在教學中推廣和普及的問題。

2.鼓勵多模態(tài)交互教學資源的開發(fā)

目前，多模態(tài)交互技術(shù)才剛剛起步，硬件設施不完善，很多學校因為資金短缺沒有配齊多模態(tài)交互設備以及相應的智慧教室，且大部分中小學教師并未具備熟練使用新技術(shù)的能力，不知道應如何把多模態(tài)交互技術(shù)與教育教學進行融合并進一步開發(fā)相關(guān)的教學資源。[8]同時，服務于中小學基礎教育的教學資源比較少，以上種種原因造成多模態(tài)交互技術(shù)在中小學教學中難以進行實踐與應用。所以，教育部門可鼓勵教師積極參與到多模態(tài)交互教學應用資源的開發(fā)中，豐富多模態(tài)教學應用資源的深度和廣度。相信隨著多模態(tài)交互技術(shù)的不斷發(fā)展、新興技術(shù)的進步，將多模態(tài)交互技術(shù)應用于教學勢在必行。

3.拓展在實驗教學等方面的應用

目前，傳統(tǒng)實驗教學多是以實物課堂的形式為主，教師以一邊示范一邊講解的形式進行授課，教師做一步學生做一步，實驗過程變得零碎，有些實驗將理論教學和實驗操作分開，分多節(jié)課進行，導致理論知識與實踐操作在時間和空間上嚴重脫節(jié)。同時，在實驗過程中因為班級人數(shù)較多，學生在實驗中有不懂或者做錯的地方教師也無法及時指出并進行指導，而實驗器材的限制使得學生無法在預習以及復習階段進行實驗。此外，還有些實驗儀器面臨體積過大、價格過高等問題，有些實驗器材和材料難以準備，有些實驗無法確保安全性。針對這些問題，多模態(tài)交互技術(shù)運用到教學當中，通過視覺、聽覺、觸覺等多種模態(tài)融合AR/VR等技術(shù)，開發(fā)虛擬實驗室，不僅減小了時間和空間的差距，解決了傳統(tǒng)實驗中的耗材問題、安全問題等，還可以通過程序判斷有效避免學習者在實驗中操作失誤卻無法即時得到指正的問題，大大提高了實驗教學的教學效率。[9]

● 結(jié)語

現(xiàn)代教育技術(shù)的進步與發(fā)展、人們學習觀念的轉(zhuǎn)變以及教育教學大環(huán)境的改善，為多模態(tài)交互技術(shù)進入教學帶來了基本的便利條件。目前，我國的多模態(tài)交互技術(shù)與教學融合的研究雖然尚處于起步階段，但相信隨著社會的不斷進步、技術(shù)的不斷研究與發(fā)展，以及在教學中不斷加深的實踐研究，多模態(tài)技術(shù)將會逐漸趨于成熟，多模態(tài)教學也將會日漸成熟，在不久的將來成為教學中不可或缺的一部分，給教學注入新的生機與活力。

參考文獻：

[1]顧曰國.多媒體、多模態(tài)學習剖析[J].外語電化教學，2007（02）：3-12.

[2]封虹虹.大學英語視聽課堂多模態(tài)教學模式構(gòu)建路徑[J].淮北職業(yè)技術(shù)學院學報，2021，20（01）：51-53+66.

[3]施建平.小學語文教學中多模態(tài)學習情境的創(chuàng)設[J].語文世界：教師之窗，2021（03）：4-5.

[4]陳璟.虛擬現(xiàn)實技術(shù)在基礎教育中的應用及對策分析[J].普洱學院學報，2020，36（06）：130-132.

[5]馬菁.探析多模態(tài)教學模式在高中英語詞匯教學中的運用[J].校園英語，2021（05）：175-176.

[6]王一巖，王楊春曉，鄭永和.多模態(tài)學習分析：“多模態(tài)”驅(qū)動的智能教育研究新趨向[J].中國電化教育，2021（03）：88-96.

[7]胡建平，黃國政.Leap Motion體感技術(shù)在教育中的應用現(xiàn)狀及問題分析[J].福建廣播電視大學學報，2016（05）：23-28.

[8]李瓊?cè)A，羅敏.多模態(tài)視角下農(nóng)村小學英語口語教學的問題診斷及對策研究——以湖北省B小為例[J].湖北師范大學學報：哲學社會科學版，2019，39（01）：138-142.

[9]何珊.VR技術(shù)在物理實驗教學模式創(chuàng)新中的應用[J].蘭州石化職業(yè)技術(shù)學院學報，2021，21（01）：61-63.

作者簡介：胡小強（1970—），男，漢族，江西南昌人，碩士，江西科技師范大學教育學院副院長，研究方向為虛擬現(xiàn)實技術(shù)在教育中的應用、現(xiàn)代教育技術(shù)等;桑小十（1997—），女，漢族，山東臨沂人，碩士，江西科技師范大學教育學院（通訊作者），研究方向為多模態(tài)在教學中的應用。