體感交互學習資源研究與開發

郝雷

摘要：體感交互技術是人機交互歷史上的一次革命。在教育應用方面，體感交互學習開始進入課堂，取得了較好的影響。本文對國內外體感交互學習資源建設進行了分析，并介紹了南京市體感交互學習資源的研發背景、研發思路、建設目標、技術支撐及研究成果等，以期能夠充分發揮體感交互技術在教育中的應用。

關鍵詞：體感交互技術；體感交互學習；資源研發

中圖分類號：G434 文獻標識碼：A 論文編號：1674-2117（2016）21-0096-03

國內外體感交互學習資源建設現狀述評

體感交互技術是當前教育信息化研究應用的十大關注技術領域之一。在教學中，體感交互學習具有多媒體視聽性和人機交互便利性等特點，它能夠高效構建學習情境，融合信息感知，提供一種寓教于樂的信息化教學方法，并有助于支撐創新教學模式的實踐探索。

近幾年，國內外各科研及教學單位的技術開發者都在積極地研究拓展體感交互學習的應用，并取得了一定的進展。目前，體感交互學習研究主要集中在兒童體感游戲、孤獨癥兒童康復訓練等方面的技術可行性和零散案例建設，其中微軟公司開發的各種游戲體感軟件已進入家庭。這些產品和研究均表明體感交互學習具有實際使用價值及廣闊的應用前景。然而，對其在各教學應用場景、各學段、各學科中應用的研究，卻尚未進入一定深度和廣度的資源體系建設階段。下面，筆者對南京市展開的體感交互學習資源的研究與開發進行分析與總結，以期能夠充分發揮體感交互技術在教育中的應用。

體感交互學習資源的研究與開發

1.研發背景

2014年，南京市電化教育館制訂了《〈南京市教育信息化兩年行動計劃（2014—2015年）〉行動方案》，方案中的六大行動工程之一“基于網的教育”行動工程明確指出南京市要大力開展新技術、新媒體的研究與實驗，并圍繞中小學部分學科課程，在全市建設新技術教育應用體驗中心（基地），逐步形成探索和推廣的機制。

在此背景下，南京市電化教育館開始了新技術在教育教學中的應用研究，體感技術被納入研究之列。南京市第五幼兒園、南京市光華東街小學、南京市攝山中學、南京華之聚信息科技有限公司開展了體感交互學習資源在幼兒園、小學、中學中的開發與建設。筆者作為團隊成員之一參與了體感交互學習資源的研究與開發。

2.研發思路

本項目的總體研發思路是針對不同學段及不同學科，有側重地進行體感交互學習資源的開發建設。首先，從資源體系架構層面，綜合考慮應用場景、學科、學段等因素。其次，體感交互學習資源建設緊扣學習指導綱要，發揮體感交互和測評兩大技術特色，瞄準實際需求點，明確教學目標，選定適切題材，以游戲互動為形式，強調學生自主探究、參與度和趣味性。最后，通過“試用—反饋—論證”，提煉體感交互學習的不可替代的應用規律，總結其教育價值和使用效益，從而為體感交互學習資源建設路線圖提供必要的案例和理論支撐。

研究表明，在學前教育領域，體感游戲不僅能夠為幼兒提供視聽與動作的多維度綜合刺激，符合兒童學習感知和生理心理特點，潛移默化地培養走、跑、鉆、爬、跳等動作技巧、音律舞蹈訓練、常識認知、觀察表達能力及其他適齡教學目標，而且能夠促進兒童探索環境、理解世界、游戲與交流、表達自我、解決問題。

在基礎教育領域，體感交互技術在創設情境及行為測評方面擁有顯著優勢，能夠彌補常規教學手段的某些局限性。教學者可以圍繞特定的教學目標（如安全自護和感統訓練等），采用“情境引導+自主行為+智能測評融合”的智能交互功能，實現教學流程和效果測評，從而更好地激發學生的自主學習興趣，養成自我管理意識及良好的認知思維習慣。此外，針對高年級小學生和初中生身心發育階段特點，教育者可以弱化體感交互學習的低齡游戲化形式，強調學習輔助及效果測評工具屬性。同時，體感技術還可用于體育或類似的教學場景，提供學生動作姿態的定量捕捉和測評數據，以信息化手段和數據來驅動教學方法創新。

3.建設目標

體感交互學習的研究推廣需要豐富和持續的資源體系支撐。首先，需要針對場景、學科和學段的若干維度，歸納總結案例經驗，建立體感交互學習資源建設的創新性、可行性、適切度、不可替代性、性價比等標準。其次，通過內容開發、案例建設、效果評估、標準論證的螺旋上升式的、循序漸進的研究過程，構建科學均衡的資源體系架構，提供資源建設路線圖和內容開發指導，并加速實現其規模推廣態勢。

根據體感交互學習自身的特點，研究團隊從架構和內容兩方面構建體感交互學習資源體系，其內容為：①確定幼兒園、小學和初中學段體感互動學習適切開發的題材；②制作系列體感交互學習軟件；③研究體感交互學習應用開發流程和使用環境參數；④建設應用案例，形成使用輔導材料和視頻資源；⑤通過案例回顧、效果測評、文獻調研、專家論證，建立資源建設路線圖。

4.技術支撐

體感交互學習需要技術的支撐及硬件的保障。筆者所在的研究團隊聯合專業技術團隊，采用了國際領先的Kinect體感開發軟硬件平臺、Unity3d跨平臺游戲引擎、數字媒體動畫創意制作、OpenCV計算機視覺開源平臺及若干自研圖形、圖像和信號處理算法等手段來開發體感交互學習軟件、課件和游戲等資源。

當然，僅僅依靠這些技術手段還是遠遠不夠的，還必須具有界面的藝術設計和接受學習內容策劃方面的專家指導，才能夠為資源開發提供全面高效的技術支撐。

5.階段性成果

項目執行兩年來，筆者所在的項目團隊針對體感人機交互技術手段在若干學習場景下的可行性及適用性進行了研究探索，從體感安全自護模擬訓練、幼兒情境扮演游戲、體能技能訓練游戲、感統交互訓練和體育測評等五個系列構建了體感交互學習資源體系，并開發了配套的軟件和課件資源。經過試用和迭代改進，這些軟件和課件滿足了基本的使用要求，并在開展各項研究和展示的活動中獲得了一定的好評。

（1）體感安全自護模擬訓練

針對學生在學校、家庭和社會中可能遇到的各種險情場景，項目團隊通過技術模擬，構建了安全的代入式學習環境，由學生自主探究，以對應動作驅動虛擬場景的發展及動作因果的反饋，從而實現體感交互模擬演練。展開生命教育，培養學生的生存技能，強化逃生及安全自護意識。

目前已開發的資源有：①火場逃生資源：針對虛擬的校園火警突發情況，由學生動作驅動的體感模擬逃生訓練軟件，具有練習和游戲模式；②交通安全資源：學生在虛擬三維街道場景內學習過馬路常識的體感模擬練習軟件。

上述的資源均已在試點學校取得了較好的應用效果。接下來，項目團隊還將繼續開發諸如逃生路線演練資源，家庭和商場等公共場所的火場和地震逃生演練游戲、防暴恐襲擊訓練等社會實踐和安全自護系列的資源。

（2）幼兒情境扮演游戲

項目團隊從幼兒發展五大領域中選取合適的題材，構建了虛擬情境，讓幼兒以角色動作進行互動扮演游戲。

目前已開發的資源有：①虛擬場景角色扮演游戲（小紅帽郊游記、三只小豬、雪地狂歡等）；②實景視頻和虛擬道具融合的交互游戲（超級舞者、職業換裝扮演、兒童實像與虛擬玩偶互動游戲等）；③實景人物摳圖融合虛擬場景的交互體驗游戲（海底星空、世界大觀等）。

（3）體能技能訓練游戲

該系列資源屬于融合體質、體能和技能學習目標的體感游戲。游戲通過屏幕虛擬場景動態引導學生運動、統計動作數據，從而實現隨時隨地可運動的游戲化體育應用形態。

目前已經開發的資源有：龜兔賽跑、踢足球（小學版、幼兒版）、保齡球（體驗、拋擲方向）、貓接蛋（側向走停折返跑）、體感彈球（側向折返+上肢運動）、打地鼠（手眼協調）、切水果（手眼協調）、太空Boom（體質+反應）等。

（4）感統交互訓練

針對特殊兒童的特點，項目團隊利用體感交互技術的優勢，結合人與器械、人與計算機的多重交互，輔助腦癱、唐氏綜合癥、孤獨癥等感統及官能康復訓練，提供測評數據。

目前已經開發的資源有：沉香救母感統平衡木和8字環訓練軟件資源（結合小學語文教材內容），并已在開展特殊兒童隨班就讀的南京市光華東街小學進行了常態化的應用。

（5）體育測評系列

體育測評具有依托體感（人體位置、姿態追蹤和三維空間測距）技術實現對學生的動作進行捕捉、檢測、指標判定及結果反饋的定量、定標測評功能。

目前已經開發的資源有：單杠引體向上、跳繩等體質鍛煉測評軟件。

反思與展望

兩年來，南京市的體感交互學習資源建設取得了一些成績。項目基本達成了預期的階段性開發目標，驗證了體感技術在游戲活動、安全自護、智障個性化訓練、體育測評等應用場景的技術可行性和場景適用性，也取得了諸多的應用需求點的信息和思路，并初步地應用了資源開發成果。

但與此同時，項目團隊也更加具體、深刻地認識到了一些有待改進的領域和挑戰，一是，資源的應用領域：以幼教為主，其他學段的應用建設也需要加強，特別是特教領域具有一定的開發前景；二是，需要充實界面美術開發隊伍，加快開發速度和質量；三是，需要更多地融合其他相關技術補充體感技術的局限性；四是，需要更多地摸準體感應用場景的不可替代性；等等。

在接下來的研發周期，項目團隊將進一步明確體感資源研發項目的定位，開發目標將更具體、更準確。將進一步思考如何更好地與課程相融合，并創新性地開發基于國家課程、地方課程和校本課程的輔助教學資源。同時，充分發揮體感交互技術不可替代性的特點，在安全教育、體育測評、隨班就讀等方面發揮積極的作用；充分與其他技術有機融合，從完整性、課題化、課程化、移動化等方面入手，開發出集二維碼、APP、微課、可攜帶設備、可穿戴設備于一體的綜合性資源。