基于投影的中國歷史教育圖冊交互系統

江南大學數字媒體學院 周天旭 沈培芳 黃新穎 張乃嘉 香佳慧 夏鴻斌

0 引言

兒童教育一直是社會關注的焦點。隨著二孩政策的實施，中國的兒童數量將在近十年內得到提高，如何在互聯網浪潮之下教育孩子已經成為家長、社會最為關心的問題。而歷史教育作為當前教育制度下不可或缺的部分，以其特有的文化性價值對兒童起到了文化啟蒙，人格奠基的作用。但是，現有的以傳統書籍和多媒體教學作為主要形式的教育方式，因其內容形式單一，難以激發兒童學習歷史的興趣，教育成果甚微。據調查發現，目前市場上的教育軟件數目可觀，但因其承載于智能設備，存在娛樂誘惑過多、長時間使用會損傷兒童視力等問題，利用率相對較低。而書籍作為傳統的教育載體，因其固態化、不可變性和表現形式單一逐漸在兒童教育市場失去主流地位。

該設計利用攝像頭投影儀的互動投影系統[1][2]，成本較低，利用空白書冊呈現可視化的歷史知識， 保留紙質書觸感的同時，通過交互式游戲化被動知識輸入為主動感官接收，解決了歷史教育難以滲透的問題。

1 交互系統圖冊內容設計

該設計以無錫歷史為切入點，聚焦在宋至近現代歷史時期的集市演變過程，并融入該歷史階段的動植物變遷、傳統美食文化發展等要素。主要表現形式為互動游戲，旨在進一步提升交互趣味性，提高參與度，化被動知識輸入為主動感官接收，從接收到理解，進而應用，最終形成可持續知識學習系統。由于圖冊設計面向用戶主要是3-8歲兒童，而兒童認識客觀世界是從感知覺開始的，因此，該設計注重感官體驗，實現視覺、聽覺、觸覺三位一體，符合兒童認知特性。通過明麗色彩對比激發兒童視覺認知，結合聲效及觸覺互動體驗，做到知識立體化，動態化，準確把握兒童用戶的真正需求。

1.2 視聽教育

圖冊以無錫特有蠶貓為主要角色，構造主人公夢境世界。通過蠶貓夢中游歷見證無錫歷史發展過程，實現從現代至古代的自然過渡，增強兒童角色代入感。

1.3 多語言學習

圖冊設置特色板塊，能夠進行多種語言，包括中、英、日、西語輔導講解學習（圖1）。運用語音識別技術，能夠對兒童的學習狀態進行分析，并設計個性化的多語言沉浸式學習方案。

圖1 多語言學習

1.4 圖鑒教育

圖冊穿插圖鑒形式，列舉歷史發展中京杭大運河無錫段水生物、昆蟲和特色飲食，還原無錫歷史自然場景。通過觸摸事件，傳值到顯示對應文字信息，同時放大圖片。結合多樣化的娛樂游戲形式，帶給兒童樂趣與知識。

1.5 游戲學習

實踐知識游戲 我們設計了精加工游戲讓兒童了解并學會應用米的生產流程。

兒童利用手指控制米的移動方向，正確選擇米的加工路徑通關進入優化生產流程（歷史演變進入新朝代）。

錯誤選擇加工路徑，將進入誤選的農作機械，觸發關于此機器的游戲，學習其操作，鞏固知識。例如魔法驢游戲通過喂養驢，鼓勵驢拉磨，兒童可以從中學習整個磨面過程。

自然生物知識游戲 設計還原各種自然生物，如鳥、蟲、魚等形象（圖2），我們設置多種游戲模式，鞏固加深知識印象。如消除游戲，先后點擊信息點與圖片，數據處理設備接收兩次點擊動作后，對應即輸出連線成功消除。通過簡單測試鞏固知識，完善知識系統。

圖2 魚類圖鑒內容

2 系統設計與實現

2.1 系統框架

以空白書冊為光學成像媒介，采用實時動作捕捉對使用者進行手勢識別及觸點感知，輸出交互式游戲情境，產生一系列動作反饋（圖3）。

2.2 系統實現

2.2.1 開發平臺及工具

Unity3D 圖冊利用Unity3D 搭建游戲場景，實現手勢觸控操作，控制音效及三維動畫。作為多平臺的綜合型游戲開發工具，該游戲引擎開發的圖冊內容可發布至Windows、Mac、Wii、iOS 、Android等多平臺，用戶家庭可以靈活選擇互動投影系統數據處理端，例如不同系統的手機、計算機等，極大改善了設計延展性和普適性。

C#腳本語言 游戲場景應用C#腳本語言。C#綜合了VB簡單的可視化操作和C++的高運行效率，可調用由 C/C++ 編寫的本機原生函數，源代碼的可移植性高，提高軟件開發效率的同時也將降低了開發成本，便于維護。

Box2d圖冊運用開源物理游戲引擎Box2d，其集成了大量的物理力學和運動學的計算，并將物理模擬過程封裝到類對象中，開發過程中調用引擎中相應的對象用于模擬剛性物體運動和碰撞[3]，從而為兒童提供仿真的游戲環境和交互體驗。

圖3 中國歷史教育圖冊設計技術架構圖

2.2.2 交互設計關鍵點

框標頁碼追蹤 該設計利用開源，跨平臺的計算機視覺框架reacTIVision，通過攝像頭實時跟蹤存儲頁碼的框標（圖4），進而兒童可以通過切換書冊頁碼，實現內容切換。基本原理如下：首先將源圖像幀用自適應閾值算法轉換成黑白圖像，圖像被分割成黑白交替的樹（區域鄰接圖）；然后在該圖中搜索唯一的左深度序列，其已經被編碼到框標中。最后，搜索到的樹序列被匹配到一個預設的字典來檢索一個唯一的ID號碼，高效計算標記的中心點及其方向。通過實施有形用戶界面（TUIO）協議的OSC消息對基準點的存在，位置，方向和身份進行編碼，并將這些數據傳輸到客戶端應用程序（圖5）[5]。

圖4 存儲頁碼的框標例圖

圖5 操作仿真圖

目錄數據存儲 圖冊以書架喻為目錄，掉落書冊喻為其中章節。兒童可以點擊任意書冊直接進入相應游戲場景。亦可通過翻頁進入。目錄頁存儲用戶使用數據，目錄頁的章節順序實時動態變化（圖6）。初始狀態的章節順序按默認設定安排，隨后，按用戶使用頁碼頻次決定距離中心視覺點的遠近，此處應用人機交互數學模型菲茲定律（ID=log2（A/W+1））[5]，次數最多的頁碼對應元素置于圖冊絕對中心位置，其余同理排列，最小化任意一點到用戶目標位置的距離，從而提升交互體驗。

圖6 目錄

數據處理及輸出顯示 數據處理端為具備計算處理能力的計算機或其他移動智能設備。根據輸入的觸點位置坐標及框標對應標簽，通過程序輸出聲音 、顯示搭建的游戲場景。并采用音箱為圖冊提供聲音維度的輸出，在提供觸覺反饋的同時，豐富感官輸入[6]。

2.2.3 硬件設計與系統搭建

系統組成包括圖冊繪本，交互投影一體機（投影儀、攝像頭、支撐設備、亞克力板、Touch Foil）（圖7）。

連接電腦設備或其他移動智能設備，打開系統，可投影繪本。攝像頭捕捉書本位置、頁碼變化，傳輸信息至系統，即可根據兒童行為進行內容變換，實現實時交互。

圖7 交互投影一體機樣機

3 總結

該設計將數字媒體技術與藝術緊密聯系，形象還原歷史事件，利用軟件開發實現交互游戲場景。通過攝像頭投影儀的交互系統，以傳統紙質書本為介質，在保留紙質觸感及閱讀體驗之時，實現了歷史知識可視化。通過追蹤技術，檢測畫冊的當前位置與書頁信息，實時改變投影內容，精準計算兒童指尖坐標，對兒童在畫冊上的行為作出反饋，使兒童形成感官認知輸入學習。與其他教育類互動設備相比，其考慮到兒童與家長的雙方需求，具有更大的市場競爭力，也更容易被教育行業所認同。

同時，未來的知識內容設計將通過改變畫冊主題向地理、生物科學等領域拓展。這種交互式的信息獲取方式，也將擁有更高年齡段的適用人群。脫離智能手機和電腦，以一種結合多媒體技術的方式回歸紙質書，擴大相關知識的傳播面，從而整體提升國民知識素養。

[1]Raskar R,Welch G,Low KL,et al.Shader lamps: Animating real objects with image-based illumination[M]//Rendering Techniques 2001,Springer Vienna,2001:89-102.

[2]Amano T.Projection based real-time material appearance manipulation[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2013:918-923.

[3]Nikensasi,P.,Kuswardayan,I.,& Sunaryono,D.(2012). Rancang bangun permainan edukasi matematika dan fisika dengan memanfaatkan accelerometer dan physics engine Box2d pada android.Jurnal Teknik ITS,1(1).

[4]Kaltenbrunner M.2009.reacTIVision and TU IO:a tangible tabletop toolkit. Proceedings of ACM ITS’09.

[5]Nieuwenhuizen,K.,& Martens,J.Advanced modeling of selection and steering data:Beyond fitts’ law.International Journal of Human -Computer Studies,94(Complete),35-52.doi:10.1016/ j.ijhcs. 2016.03.009

[6]羅立宏,劉丹云.互動投影中國畫藝術實踐[J].美術大觀,2017(10):78-79.