自然人機交互在“非遺”傳承教育中的應用研究

付麗麗?樓小龍?李欣怡?張羽皓哲?吳迪

摘 要：以“皮影”和“木偶”兩類“非遺”表演藝術為研究對象，并以Microsoft Kinect、Leap Motion等體感控制設備和交互技術為手段，提出了一種基于自然體態和手勢感知交互的數字化“非遺”體驗新形式和文化傳承教育新手段。通過一個60人規模的教學對比實驗證明了基于自然人機交互技術的“非遺”體驗教學模式有利于激發青少年對傳統文化的學習興趣和探索欲，最終有助于提高青少年對中國傳統文化的傳承熱情和創新意識。

關鍵詞：自然人機交互;非物質文化遺產;數字化體驗;傳統文化教育;數字化教學

中圖分類號：TP311;G40-057 ? ? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2022）06-0128-05

Application Research on Natural Human-Computer Interaction in the Intangible Cultural Heritage Inheritance Education

FU Lili1， LOU Xiaolong1，2， LI Xinyi1， ZHANG-YU Haozhe1， WU Di2

（1.School of Humanities， Arts and Digital Media， Hangzhou Dianzi University， Hangzhou? 310018， China; 2.Wenzhou Research Institute of Hangzhou Dianzi University， Wenzhou? 325011， China;）

Abstract： This paper takes two types of“intangible cultural heritage” performance arts including “shadow play” and “puppet” as the research objects， and uses Microsoft Kinect， Leap Motion and other motion sensing control equipment and interaction technologies as methods， proposes a new method of digital “intangible cultural heritage” new experience form and new cultural inheritance education method based on the interaction between natural posture and gesture perception. Through a 60-person teaching comparison experiment， it is proved that the “intangible cultural heritage” experience teaching mode based on natural human-computer interaction technology is conducive to stimulating teenagers ‘interest in learning and exploring traditional culture， and ultimately helps to improve teenagers inheriting enthusiasm and innovation consciousness of Chinese traditional culture.

Keywords： natural human-computer interaction; intangible cultural heritage; digital experience; traditional cultural education; digital teaching

0? 引? 言

非物質文化遺產，簡稱“非遺”，是人類歷史文明中流傳下來的一種主流藝術形式，也是弘揚和傳承中華優秀傳統文化和民族精神的重要承載物，對于宣傳和增強中華文化的影響力具有很高的價值[1]。但是在經濟全球化發展以及外來文化沖擊的大背景下，“非遺”被逐漸忽視并淹沒在文化大雜燴中。特別是對于“00后”“10后”等青少年群體而言，由于缺少主動認知和直觀感受的體驗和過程，對“非遺”及其傳統文化內容十分陌生[2]。在當前形勢下，“重視‘非遺的現代化復現，并在青少年一代中延續和傳承其文化價值”[3]成為傳統文化保護領域重點關注的一個問題。如何更好地使“非遺”內容在青少年一代中被廣泛接受并進行延續和傳承？本文認為“基于直觀體驗的教育傳承”是最好的方式之一。雖然傳統的幻燈播放、音視頻內容觀閱以及通過網頁、電視媒體等多形態知識閱讀等方式可以建立起對“非遺”的直觀認識，但是這種靜態的知識接受和認知建立過程缺少對內容的參與感，受眾的興趣度并不高[4]。

在數字信息技術蓬勃發展并不斷升級完善的背景下，以“體感交互”“虛擬現實”（virtual reality，簡稱VR）為代表的“沉浸式”自然人機交互技術成為一類創新載體并不斷應用在影視娛樂、教育培訓等領域[5]。“娛樂+教育”（Edutainment）[6]成為一種新的教育模式被提出并引起廣泛關注，在認知教育、體驗式教學等方面展現出巨大優勢與潛力。本文選擇“體感交互”這一誕生于數字娛樂領域的自然人機交互技術作為載體，將其應用在“非遺”文化的體驗式教學活動中，并通過與傳統教學手段的效果對比來論證自然人機交互技術在“非遺”文化傳承與教育中的應用價值，為發展新媒體時代體驗式教學創新手段與文化傳承教育創新模式提供參考。F1FE5913-3AD1-4A50-9F86-65BD14EBA964

1? 自然交互技術在文化傳承教育中的應用價值

1.1? 自然交互技術特點

以“體感交互”為代表的自然人機交互技術具有高度沉浸性（immersion）、豐富交互性（interaction）和想象性（imagination）等特點，是其區別于傳統交互技術的主要特征[7]。“體感交互”通常以Microsoft Kinect[8]、Leap Motion[9]等非接觸式多維圖像傳感器為基礎，結合圖像識別與目標追蹤算法，實現自然體態和手勢操作的人機互動[10]。對比一般的鼠標鍵盤交互和觸摸屏交互方法，“體感交互”具有操作自然性更高、上手更容易、適用人群和場所更廣泛等優勢[11-13]。

1.2? 基于自然人機交互技術的文化傳承與體驗式教學優勢

“非遺”及其傳統文化內容的傳承教育是一個抽象理解的過程，傳統教育缺少將以上抽象理解過程進行具象化處理并提供直觀體驗的手段。基于“體感交互”技術的體驗式教學為直觀感受“非遺”背后的傳統文化和藝術形式提供了一種有效途徑。以最能代表我國“非遺”文化的兩類藝術表演形式——“皮影戲”和“木偶戲”為例，兩者同屬舞臺道具表演且表現方式相近，因此容易被現代人混淆[14]。在傳統的知識傳播與授學方式中，青少年群體對于兩類“非遺”藝術形式與歷史文化，特別是關于兩者異同點的理解缺乏直觀認識。但是，以“體感交互”為代表的自然人機交互技術則為青少年群體直觀感受這兩種“非遺”藝術的差異化提供了便利。概括起來，自然人機交互技術在“非遺”文化傳承與青少年教育中的應用價值有兩方面：

（1）提供仿真體驗和直觀操作感受，為文化認知提供跨時空的便利條件。現代人對“非遺”文化的認知通常來源于信息閱讀和表演觀看，與“非遺”文化的直觀體驗還有一定距離。而基于自然人機交互技術的虛擬仿真手段為“非遺”文化的直觀體驗提供了很大便利性[15]。

（2）增強傳統文化的表現形式，為文化復現和價值延伸提供更多可能性。基于自然人機交互技術的虛擬仿真應用不僅賦予用戶參與“非遺”文化體驗的真實感，還為“非遺”作品的現代化升級和創新表現提供延伸空間。以“川劇變臉”為例，自然人機交互技術不僅可以創造一種數字化變臉的快捷方式[16]，還可以將這種悠久而古老的“非遺”藝術元素植入現代動畫與影視特效創作中，構建數字媒體時代的“非遺”新形態。

2? “非遺”數字化開發與體驗設計

研究選取“皮影戲”和“木偶戲”作為研究對象，通過體態與手勢感知的自然人機交互技術實現傳統文化藝術表現形式的仿真體驗教學應用。在上述應用中，“非遺”不再只是停留在書本或博物館中的靜態文物，更成為了一種被直觀操作和感受的文化載體和教學平臺。針對青少年群體的認知學習特征，在面向該群體的文化傳承與教育中應注重興趣的引導和動手體驗的結合[17]。具體包括充滿趣味的文化與教育相結合的內容以及新穎的操作體驗方式。

2.1? 基于ASUS Xtion深度相機的“皮影戲”自然交互系統設計

“皮影戲”，又叫“影子戲”或“驢皮影”，是發源于中國民間戲劇的一種古老藝術表演形式[14]。在挖掘“皮影戲”文化背后的創造性價值時發現，這種通過道具進行角色二維動作控制的互動方式具有豐富的創造性，使其成為現代“逐幀動畫”的雛形和重要參照物[18]。本文通過體感交互技術將“皮影戲”中的角色控制方式轉換為體態控制方式，以廣受青少年群體喜歡的體感游戲形式展開對“皮影戲”文化和作品的體驗式學習。設計內容有：

（1）內容設計。從《白蛇傳》《紅燈記》《牛郎織女》等十多個經典劇目和橋段中選取10個“皮影戲”角色作為交互對象。對每個角色進行二維形象繪制并按照頭部、上軀干、上臂段、下臂段、雙手、下肢段、雙腳等14個部位進行劃分管理，形成皮影形象素材數據庫。并通過Processing可視化編程環境實現數字化“皮影互動”軟件程序交互界面。該交互程序與軟件界面如圖1所示。

（2）操作體驗方式設計。研究將ASUS Xtion RGB-D深度相機作為體感交互設備，通過OpenNI自然交互框架[19]所提供的人體骨骼識別與追蹤技術實現用戶與皮影的體感互動應用。上述自然交互技術可以實現對人體13個關節點位置的三維空間位置識別與追蹤;繼而將關節點位置與皮影角色中的關節點位置進行綁定，實現對皮影角色的體感驅動。由于人的體態動作是三維運動數據，而皮影角色的動作是在二維界面上顯示與控制的，因此在程序設計中將深度相機提取到的人體關節深度坐標映射到皮影角色的姿態控制中[20]，實現原理如圖2所示。

為了兼顧上述應用在故事性和交互體驗上的趣味性，研究組選取《白蛇傳》《杜十娘傳》《紅燈記》《牛郎織女》等傳統皮影故事作為創作基礎，將其中的代表性橋段和人物形象進行數字化創作和程序對象化，并通過射擊、回合擊打、裝扮、找茬等各類游戲機制和玩法進行趣味包裝，形成不同的數字體驗應用。

2.2? 基于Leap Motion的“木偶戲”自然交互系統設計

“木偶戲”，又被稱為“傀儡戲”，是興起于中國漢唐時期的另一種表演雜耍藝術[14]。因為源于特定的歷史發展時期和文化背景，“木偶戲”這一傳統文化在現代化傳承與保護中也存在嚴峻的挑戰，表現為其表現形式落后單一不受現代人喜歡、傳承人隊伍培育落后等[1]。本文將“木偶戲”的傳統表演形式與自然手勢交互技術結合，為實現“教娛融合”的非遺文化傳承與青少年傳統文化教育提供新途徑。設計內容有：

（1）內容設計。從《大鬧天宮》《嫦娥奔月》《花木蘭》等經典“木偶戲”橋段中選取十個木偶人物，通過3Ds Max軟件實現人物三維建模和材質貼圖，以及基本的三維場景設計。通過Processing平臺進行交互界面的開發，并實現三維角色和場景數據的導入，實現角色切換、視角轉換、角色互動過程錄制等基本的界面交互功能。軟件交互界面與使用環境如圖3所示。F1FE5913-3AD1-4A50-9F86-65BD14EBA964

（2）操作體驗方式設計。采用Leap Motion傳感器作為自然手勢捕捉設備，將操作者手指的細微動作進行捕捉并通過運動放大算法轉換為虛擬木偶的提線操作。通過Leap Motion傳感器能高精度識別運動手勢中的各個手指關節點的三維空間坐標并形成時序變化的坐標集，將上述變化的手指關節點坐標映射至木偶角色各個關節點提線位移中，實現原理如圖4所示。

在上述運動映射與轉換過程中，由于手指運動相對于木偶提線動作幅度而言過于細微，因此在映射過程中通過一個數值介于1.0和18.0之間的動態轉換因子（Dynamic User-Display Ratio， 簡稱UD）[21]將手指關節點的運動變化轉換為木偶的提線位移。手指關節點的瞬時移動速度決定轉換因子數值大小，移動速度越大則轉換因子數值越大。

3? “非遺”數字體驗與教育傳承應用實踐

3.1? 應用效果測評實驗

實驗從當地小學招募60名年齡分布在9歲～12歲之間的學生作為研究對象并隨機分為A、B兩個組，每組各有30名學生且年齡分布和性別比例無明顯差異。前期測試發現，兩組學生在學習能力和對“非遺”文化的知識儲備方面無明顯差異。實驗通過組間對比測試進行，分別對A、B兩組學生開展體驗式教學和傳統電化教學活動。針對A組學生，先進行1個課時關于“皮影戲”和“木偶戲”傳統文化介紹，配以幻燈片展示教學，然后進行1個課時的互動體驗教學活動。體驗內容與平臺為“皮影互動”和“數字木偶”互動體驗系統。將30位學生分為5個小隊，各個小隊同時進行“皮影互動”和“數字木偶”的探索體驗過程。在上述過程中，穿插進行操作體驗方式和關于兩類“非遺”文化的講解。針對B組學生，前面1個課時的課堂教學與A組保持一致，后面1個課時則通過5段關于”皮影戲”和”木偶戲”的影視資料進行觀閱學習。

在上述教學活動結束后1小時內，對A、B兩組學生發放“課堂學習專注度”測評問卷并在限定時間內完成問卷回收。在教學活動結束1周后，針對兩組學生開展“學習效果與知識轉化”測評并回收測評結果。上述兩項測試均采用5點Likert量表打分方式，測評內容如表1所示。

3.2? 應用效果分析與討論

實驗回收有效問卷120份，包括60份“課堂學習專注度”問卷和60份“學習效果與知識轉化”問卷。統計結果如圖5所示。在“課堂學習專注度”問卷測評中發現，接受過體驗教學的A組學生在各項問卷描述打分中普遍高于B組學生：體驗式教學使學生對“非遺”課程內容更感興趣（p=0.012）;體驗式教學更有助于學生對課程內容的理解（p=0.003），也更受學生喜歡（p=0.009）;在體驗式教學輔助下，學生對兩類非遺文化的理解也更為深刻（p<0.001）。有超過70%的學生在測評后的反饋中表示愿意花更多的時間來研究數字技術環境下的“非遺”互動作品。

上述結果表明數字人機交互技術作為一種親民的體驗手段為傳統藝術形式的仿真和復現提供便利，使當代青少年能夠更近距離地理解和認知中國傳統“非遺”藝術。基于自然體態和手勢動作識別的人機交互技術使普通用戶與數字影像內容的互動接觸以一種更貼近原型態的方式進行;同時，數字化人機交互方式又跳脫出傳統藝術表演物理態的諸多限制，通過數字程序的增強優化手段表現出傳統藝術不具有的特殊表現力。例如，通過程序的優化設計算法可以將操作者的動作以一種更適合的方式被轉譯為虛擬角色動作;通過程序的動畫設計功能還可以在皮影表演的基礎上增加數字特效。

對“學習效果與知識轉化”測評結果統計分析發現，在課程開展一周后A、B兩組學生對課程內容的記憶深度沒有顯著差異。但是A組學生對于體驗式教學模式留有更深印象（p=0.005）;同時，在自然交互體驗式教學模式增益效果下，學生對“非遺”文化有更深入理解（p=0.017），對“非遺”文化的熱愛程度也明顯高于對照組（p=0.002）。在關于“非遺”傳統文化知識水平測試中，A組相比B組學生有較高得分。上述結果表明，體驗式教學模式相比傳統的電化教學更有助于激發青少年學生的學習與探索興趣，對于學生理解和內化傳統文化知識內涵也有增益作用。在實驗后期的用戶體驗反饋中發現，實驗組60%以上比例的學生認為在接觸了“皮影互動”和“數字木偶”體驗教學系統以后對這兩類“非遺”藝術有了完全不一樣的理解。例如，有的學生原先把傳統皮影和木偶表演看成是一類技術含量很低的傳統手工技術。但是通過數字化形式的親身參與體驗，他們開始接受這類傳統藝術的精妙和操作難度，并開始對表演中涉及的光影成像知識和動作控制原理產生學習和探索興趣。在這種親身體驗的過程中，青少年對于“非遺”文化的藝術魅力及其反映出來的中國傳統民間智慧產生興趣。

4? 結? 論

將自然人機交互技術應用在“非遺”文化傳承與數字化教育實踐中，為青少年群體提供了一種"教娛融合"的沉浸式知識學習與探索新模式。本文以“皮影戲”和“木偶戲”這兩類“非遺”藝術為代表，展示了用體感交互技術實現“非遺”藝術數字化互動體驗的實現過程，使“非遺”文物被更近距離、更真實地了解和體驗。通過教學對比實驗發現，相比傳統的幻燈片講解結合影視觀閱教學模式，互動體驗式教學更有利于激發學生的學習興趣并增強學生對傳統文化的理解力和探索欲，最終更有利于知識內化并激發青少年對“非遺”文化的傳承熱情和創新意識。

參考文獻：

[1] 劉魁立.非物質文化遺產及其保護的整體性原則 [J].廣西師范學院學報，2004（4）：1-8+19.

[2] 申茂平.非物質文化遺產的教育傳承及其實現途徑 [J].教育文化論壇，2009，1（1）：49-53+77.

[3] 計衛舸.“非遺”資源思想政治教育價值的發現與利用 [J].中國高等教育，2011（2）：38-40.F1FE5913-3AD1-4A50-9F86-65BD14EBA964

[4] 曾真.基于沉浸體驗的互動影像在非遺推廣中的應用 [J].藝術科技，2017，30（4）：32-33.

[5] REN F J，BAO Y W.A Review on Human-Computer Interaction and Intelligent Robots [J].International Journal of Information Technology and Decision Making，2020，19（1）：5-47.

[6] MA M H，OIKONOMOU A，JAIN L C.Serious Games and Edutainment Applications [M].London：Springer，2011.

[7] 黃超.自然人機交互相關技術研究與系統實現 [D].上海：上海交通大學，2010.

[8] IZADI S，NEWCOMBE R A，KIM D，et al.KinectFusion：Real-time dynamic 3D surface reconstruction and interaction [C]//International Conference on Computer Graphics and Interactive Techniques，Vancouver：SIGGRAPH，2011：1.

[9] ADHIKARLA V K，SODNIK J，SZOLGAY P，et al.Exploring Direct 3D Interaction for Full Horizontal Parallax Light Field Displays Using Leap Motion Controller [J].Sensors，2015，15（4）：8642-8663.

[10] YEO H S，LEE B G，LIM H.Hand tracking and gesture recognition system for human-computer interaction using low-cost hardware [J].Multimedia Tools and Applications，2015，74（8）：2687-2715.

[11] MEWES A，HENSEN B，WACKER F，et al.Touchless interaction with software in interventional radiology and surgery：a systematic literature review [J].International Journal of Computer Assisted Radiology & Surgery，2016，12（2）：291-305.

[12] 李清水，方志剛，沈模衛，等.手勢識別技術及其在人機交互中的應用 [J].人類工效學，2002（1）：27-29+33.

[13] AGARWAL R，SAMPATH H A，INDURKHYA B.A Usability Study on Natural Interaction Devices with ASD Children [C]//International Conference on Universal Access in Human-computer Interaction：User & Context Diversity.Berlin：Springer，2013：447-453.

[14] 江玉祥.皮影·木偶戲的傳承與保護 [J].四川戲劇，2011（1）：79-81.

[15] 朱幸爾.面向設備作業虛擬仿真的人體動作和手勢識別交互技術研究 [D].浙江：浙江大學，2018.

[16] 吳賢星，趙杰煜，沈明炘.人機交互中的人臉信息曲波分析 [J].中國圖象圖形學報，2010，15（9）：1309-1317.

[17] 靳玉樂，李葉峰.中小學生學習效能的水平、演變規律及啟示 [J].教育研究與實驗，2017（1）：58-63.

[18] 陳亞偉.現代動畫造型對傳統皮影造型的借鑒方式初探 [J].藝術科技，2012，25（4）：78.

[19] CHO O H，LEE W H.Gesture Recognition Using Simple-OpenNI for Implement Interactive Contents [J].Lecture Notes in Electrical Engineering，2012，179：141-146.

[20] SHI Y，YING F T，CHEN X，et al.Restoration of traditional Chinese shadow play-Piying art from tangible interaction [J].Computer Animation and Virtual Worlds，2013，25（1）：33-43.

[21] CASIEZ G，VOGEL D，BALAKRISHNAN R，et al.The Impact of Control-Display Gain on User Performance in Pointing Tasks [J].Humancomputer Interaction，2008，23（3）：215-250.

作者簡介：付麗麗（2000—），女，漢族，浙江杭州人，本科在讀，研究方向：體驗設計、新媒體藝術;通訊作者：樓小龍（1988—），男，漢族，浙江義烏人，講師，博士，研究方向：計算機輔助教育信息技術、人機交互技術與體驗式教學;李欣怡（2000—），女，漢族，浙江杭州人，碩士在讀，研究方向：計算機輔助設計與圖形學、新媒體藝術;張羽皓哲（1998—），男，漢族，浙江溫州人，碩士在讀，研究方向：人機交互與人因工程;吳迪（1963—），男，漢族，浙江杭州人，院長，教授，碩士，研究方向：傳統藝術數字化、數字媒體藝術。

收稿日期：2022-02-04

基金項目：浙江省哲學社會規劃課題（19NDQN301YB）;浙江省自然科學基金項目（Q19F020010）;溫州市科技計劃項目（S20180018）;杭州電子科技大學教改項目（YBJG201956）F1FE5913-3AD1-4A50-9F86-65BD14EBA964