基于增強現(xiàn)實技術(shù)的電子書分析
——以“AR涂涂樂”為例

孫錦 王慧君

實踐案例

基于增強現(xiàn)實技術(shù)的電子書分析
——以“AR涂涂樂”為例

孫錦 王慧君

（河南大學(xué) 教育科學(xué)學(xué)院，河南 開封 475004）

從“虛擬現(xiàn)實”到“增強現(xiàn)實”的發(fā)展實現(xiàn)了現(xiàn)實世界與虛擬世界的結(jié)合，“神筆馬良”不再是傳說。增強現(xiàn)實技術(shù)不斷被應(yīng)用到社會各個領(lǐng)域，改變著人們的生產(chǎn)生活方式，應(yīng)用此技術(shù)設(shè)計開發(fā)的電子書也給傳統(tǒng)紙質(zhì)圖書帶來了挑戰(zhàn)。本文在對增強現(xiàn)實技術(shù)特點及增強現(xiàn)實技術(shù)在教育中應(yīng)用進行闡述的基礎(chǔ)上，以“AR涂涂樂”3D互動圖書為例，從增強現(xiàn)實電子書的特點、產(chǎn)品設(shè)計與技術(shù)實現(xiàn)等方面做了較為詳細的分析，以期為增強現(xiàn)實電子書的研究和應(yīng)用提供借鑒。

增強現(xiàn)實技術(shù)；電子書；AR涂涂樂

隨著互聯(lián)網(wǎng)普及，信息全球化勢不可當。科學(xué)的不斷發(fā)展推動著技術(shù)的變革，將虛擬情境與現(xiàn)實結(jié)合起來的想法引起了人們的關(guān)注。早在20世紀60年代，美國就開始研究增強現(xiàn)實技術(shù)，隨著國外研究高潮的不斷迭起，我國的部分高校、研究所也加入研究中并取得成果，增強現(xiàn)實技術(shù)開始被越來越多的人認識并逐漸得到重視。2011年《地平線報告》中就已提到增強現(xiàn)實和基于游戲的學(xué)習(xí)，并預(yù)測其會對教育領(lǐng)域產(chǎn)生重要影響[1]。截至2017年3月，在中國知網(wǎng)中以“增強現(xiàn)實”為主題詞進行專業(yè)學(xué)術(shù)檢索，檢索到2000余篇期刊文章和672篇博碩論文，從2010年開始文獻數(shù)量呈現(xiàn)快速上升趨勢，且多數(shù)研究分布于計算機和教育領(lǐng)域，可見增強現(xiàn)實技術(shù)在未來教育中將發(fā)揮重要作用，增強現(xiàn)實技術(shù)正在成為教育領(lǐng)域教學(xué)研究的一大熱點。

一、增強現(xiàn)實技術(shù)及其特點

（一）增強現(xiàn)實技術(shù)的內(nèi)涵

增強現(xiàn)實[2]（Augmented Reality,簡稱AR）是近年來隨著虛擬現(xiàn)實技術(shù)的發(fā)展而產(chǎn)生的新技術(shù)，是虛擬現(xiàn)實(Virtual Reality,簡稱VR)中的一個分支，涉及計算機圖形學(xué)、人機交互技術(shù)、模式識別、計算機視覺等多個領(lǐng)域。

眾多專家學(xué)者研究增強現(xiàn)實技術(shù)，并結(jié)合特定研究范疇對其下定義。北卡羅來納大學(xué)的羅納德?阿祖瑪（Ronald Azuma）教授將增強現(xiàn)實歸納為虛擬與現(xiàn)實融合、即時互動和三維注冊三部分內(nèi)容；保羅?米爾格拉姆(Paul Milgram)和岸野文郎(Fumio Kishino)提出了現(xiàn)實—虛擬現(xiàn)實連續(xù)體，他們將真實環(huán)境和虛擬環(huán)境分別作為連續(xù)體的兩端，位于它們中間的被稱為“混合實境”。其中靠近真實環(huán)境的是增強現(xiàn)實，靠近虛擬環(huán)境的則是擴增虛境[3]。以上的定義中均提到了虛擬與現(xiàn)實的結(jié)合，由此認為增強現(xiàn)實技術(shù)是指將現(xiàn)實世界中難以體驗到的實體信息（視覺、聽覺、觸覺等），通過模擬仿真等技術(shù)將其疊加到現(xiàn)實世界，從而被人類所感知，達到超越現(xiàn)實環(huán)境的沉浸式體驗[4]。其中仿真技術(shù)將計算機等專業(yè)設(shè)備作為基礎(chǔ)工具，調(diào)用提前制作完成的系統(tǒng)模型使物體以虛擬形式呈現(xiàn)，達到高度還原效果。增強現(xiàn)實在此技術(shù)基礎(chǔ)上將虛擬物體與真實場景結(jié)合，旨在達到視覺、聽覺、觸覺等全方位感官的增強，使用戶沉浸其中，實現(xiàn)與現(xiàn)實的交互。

（二）增強現(xiàn)實技術(shù)的特點

虛擬現(xiàn)實為用戶提供了完全虛擬的環(huán)境，而增強現(xiàn)實將虛擬環(huán)境融入周圍現(xiàn)實場景中，實現(xiàn)互動體驗，具備虛實結(jié)合、交互性強、效果立體化的特點。

1.虛實結(jié)合

增強現(xiàn)實技術(shù)將虛擬與現(xiàn)實相結(jié)合，使用戶可以直接感知。與虛擬現(xiàn)實不同，增強現(xiàn)實技術(shù)將真實存在的場景與疊加在場景上的虛擬化物體結(jié)合，經(jīng)過光學(xué)投影等一系列技術(shù)處理實現(xiàn)真實場景中融入虛擬立體圖形的效果，為使用者帶來沉浸式體驗。虛實結(jié)合是增強現(xiàn)實技術(shù)的核心特征，也是能夠反映其本質(zhì)的獨具特色的特征。

2.交互性強

增強現(xiàn)實技術(shù)實現(xiàn)了人機交互，使用此技術(shù)的人通過操控移動設(shè)備中的識別標志，顯示設(shè)備上就會對應(yīng)出現(xiàn)虛擬物體，在此基礎(chǔ)上實現(xiàn)了人、機器和界面的有機結(jié)合。用戶向計算機輸入指令，計算機進行后臺處理后將結(jié)果輸出，用戶即可觀看到結(jié)果。通過人的操縱還可以變換界面呈現(xiàn)效果，更強調(diào)了人機互動的這一過程，交互性在其中也有明顯的體現(xiàn)。

3.效果立體化

增強現(xiàn)實技術(shù)通過特定設(shè)備或物體識別特定標志，虛擬物體接收繪制信息從而呈現(xiàn)出立體化物體，其中主要是依據(jù)不同的識別標志，根據(jù)現(xiàn)實場景的位置，將預(yù)先做好的立體效果疊加到現(xiàn)實場景中即可。這種立體化效果將抽象的平面內(nèi)容更加直觀地以立體化形式呈現(xiàn)出來，變抽象為具體，方便人們理解。

二、增強現(xiàn)實技術(shù)在教育中的應(yīng)用

目前，增強現(xiàn)實技術(shù)已在軍事、醫(yī)學(xué)、商業(yè)、教育、航海訓(xùn)練等領(lǐng)域開始了嘗試性應(yīng)用并取得了一定成效。教育與AR技術(shù)的結(jié)合為學(xué)習(xí)者創(chuàng)設(shè)空間立體材料的同時推動了技術(shù)與教學(xué)的深度融合，使其無論作為教學(xué)內(nèi)容還是作為教學(xué)工具都能促進知識的吸收內(nèi)化，帶來教育領(lǐng)域的創(chuàng)新發(fā)展[5]。目前，AR技術(shù)在教育領(lǐng)域中的應(yīng)用主要體現(xiàn)在以下幾個方面。

（一）基于AR的課堂教學(xué)

增強現(xiàn)實技術(shù)教育應(yīng)用以情境學(xué)習(xí)理論與沉浸理論為理論基礎(chǔ)[6]，以建構(gòu)主義學(xué)習(xí)理論指導(dǎo)知識的獲取與吸收，強調(diào)個人體驗的重要性。基于AR技術(shù)的課堂教學(xué)強調(diào)利用AR技術(shù)創(chuàng)設(shè)學(xué)習(xí)情境，將學(xué)習(xí)資源疊加到真實情境中進行教學(xué)，使用AR教具變抽象經(jīng)驗為具體經(jīng)驗，通過個人真實體驗建構(gòu)知識體系，達到知識的理解內(nèi)化效果。例如考夫曼（Kaufman）教授在教學(xué)過程中利用名為Construct 3D的AR教具將復(fù)雜抽象的空間幾何圖形以三維立體形式呈現(xiàn)，他指出，AR教具的運用在提高師生興趣的同時提高了學(xué)生的學(xué)習(xí)效率，對于學(xué)習(xí)效果的提升也是顯而易見的[7]；蔡蘇等人以增強現(xiàn)實學(xué)習(xí)環(huán)境為基礎(chǔ)提供了基于AR課堂教學(xué)的典型案例[8]，為基于AR的課堂教學(xué)提供了范本，隨著技術(shù)的推進，AR技術(shù)普及課堂近在眼前。

（二）基于AR的技能培訓(xùn)

基于AR的技能培訓(xùn)，為高校學(xué)生，特別是技術(shù)導(dǎo)向相關(guān)專業(yè)的學(xué)生開展工作實踐提供了便捷直觀的操作指導(dǎo)。工程專業(yè)的學(xué)生可以使用AR技術(shù)識別零部件，模擬組裝專業(yè)設(shè)備；相關(guān)人體教學(xué)AR應(yīng)用可以幫助深刻理解人的身體構(gòu)造，在醫(yī)學(xué)培訓(xùn)中推廣此類應(yīng)用有利于提高認知的準確度。AR頭盔、谷歌眼鏡等可穿戴技術(shù)的出現(xiàn)也為技能培訓(xùn)提供了物質(zhì)條件和設(shè)備基礎(chǔ)。

（三）基于AR的移動學(xué)習(xí)

AR技術(shù)應(yīng)用于移動手持設(shè)備中，將手機鏡頭獲取的現(xiàn)實信息傳送至計算機，由計算機反饋的附加信息對現(xiàn)實場景進行補充和擴張，滿足了隨時隨地個性化學(xué)習(xí)的需要。移動學(xué)習(xí)突破了空間局限，能夠在任何時間、任何地點學(xué)習(xí)。增強現(xiàn)實技術(shù)與移動設(shè)備固有特點相結(jié)合，將虛擬物體呈現(xiàn)于真實世界中，為移動學(xué)習(xí)實踐提供技術(shù)支持，推動了探究性學(xué)習(xí)的發(fā)展[9]。除此之外，多人使用具備AR技術(shù)的移動設(shè)備模擬部分學(xué)習(xí)環(huán)境，分角色扮演并在已創(chuàng)設(shè)的情境中開展交互活動，提高學(xué)習(xí)參與度的同時增強了學(xué)習(xí)者的問題解決能力。

（四）AR教學(xué)產(chǎn)品開發(fā)

隨著AR研究的推進和技術(shù)的發(fā)展，越來越多基于增強現(xiàn)實技術(shù)的教學(xué)產(chǎn)品被設(shè)計開發(fā)出來。謝爾頓（Shelton）等人利用AR教具講授九大行星，使位于立體空間的行星真實地出現(xiàn)在眼前，提高了教學(xué)互動和教學(xué)效果[10]。AR教育游戲的出現(xiàn)與寓教于樂理念相契合，提高了學(xué)生的動手能力，如早教游戲《熊貓博士》，兒童可迅速將自我角色融入，建立與其他動物的互動聯(lián)系，在合作交流中探索世界。除此之外，AR卡片、AR電子書的出現(xiàn)對傳統(tǒng)紙質(zhì)書籍帶來了挑戰(zhàn)，AR電子書利用攝像機標定、三維注冊等技術(shù)實現(xiàn)虛擬與現(xiàn)實的結(jié)合[11]，例如實現(xiàn)與恐龍互動的I Dinosaur（《恐龍》）書籍[12]，以及新開發(fā)的用于兒童認物識字的“AR涂涂樂”等。

三、以“AR涂涂樂”為例分析增強現(xiàn)實電子書

AR技術(shù)應(yīng)用于教育領(lǐng)域并設(shè)計開發(fā)出一系列促進教與學(xué)的學(xué)習(xí)產(chǎn)品，其中典型產(chǎn)品當屬AR電子書。“AR涂涂樂”就是一款新開發(fā)、具備代表性的增強現(xiàn)實電子書，在此主要從增強現(xiàn)實電子書的特點、紙質(zhì)圖書設(shè)計、應(yīng)用程序設(shè)計及三維模型設(shè)計等方面對“AR涂涂樂”進行分析。

（一）“AR涂涂樂”的特點

“AR涂涂樂”是針對學(xué)齡前兒童設(shè)計開發(fā)的一款增強現(xiàn)實電子書，手持終端學(xué)習(xí)者通過涂鴉、掃描、跟讀、互動等完成識字認物的學(xué)習(xí)。此款A(yù)R電子書需要紙質(zhì)書籍與移動終端（手機、平板等）結(jié)合使用，手機掃描書本上的二維碼下載安裝應(yīng)用程序（APP），打開軟件激活后即可開始學(xué)習(xí)。從紙質(zhì)書籍使用角度，學(xué)習(xí)者可根據(jù)自己的喜好進行涂鴉，發(fā)揮想象力將物體的線條和輪廓涂上顏色，家長依據(jù)其表現(xiàn)為學(xué)習(xí)者打分并將空心星星涂色，書本上配圖旁的文字可供學(xué)習(xí)者識別閱讀。從APP使用角度，學(xué)習(xí)者打開軟件選擇相應(yīng)書籍即可進入學(xué)習(xí)。將手機攝像頭對準紙質(zhì)書籍上的圖片，正確識別后移動端屏幕上出現(xiàn)圖片中物體的立體化效果，點擊屏幕可與三維物體進行互動，比如點亮蠟燭、打開車門等。

（二）整體設(shè)計

“AR涂涂樂”通過在移動設(shè)備上下載APP，掃描紙質(zhì)書籍標識后出現(xiàn)立體三維圖形實現(xiàn)交互式學(xué)習(xí)。對這款增強現(xiàn)實電子書的整體設(shè)計分析從紙質(zhì)圖書設(shè)計與制作、APP設(shè)計與開發(fā)及三維模型設(shè)計與實現(xiàn)三方面來具體闡述。

1.紙質(zhì)圖書的設(shè)計與制作

“AR涂涂樂”配套使用的紙質(zhì)圖書針對學(xué)齡前兒童特征設(shè)計開發(fā)。學(xué)齡前兒童注意力不能夠長時間集中，相對于文字學(xué)習(xí)更傾向于閱讀圖文并茂式學(xué)習(xí)材料。針對其學(xué)習(xí)特點，“AR涂涂樂”紙質(zhì)圖書中字體設(shè)計比較大，采取少字數(shù)、大行距模式，圖畫設(shè)計色彩鮮艷，對比度高。頁面中印制有動漫人物或動物等圖形的輪廓，兒童可以根據(jù)自己的喜好填充顏色，這個顏色決定了立體效果圖中物體的顏色，有利于激發(fā)孩子的想象力，提高動手能力。書中中英漢字結(jié)合，符合雙語教學(xué)目標。每一頁右下角設(shè)置有以星星為代表的評價模塊，家長可以根據(jù)孩子的表現(xiàn)為五顆星涂色打分，如圖1所示。

圖1 紙質(zhì)圖書

增強電子書在特定位置會有識別標志的出現(xiàn)，以便用移動設(shè)備對其進行掃描。書中圖案的布局也經(jīng)過精心編排，需要與呈現(xiàn)的三維模型相對應(yīng)，將紙質(zhì)圖書與立體圖形以最優(yōu)化布局呈現(xiàn)出來，發(fā)揮最大虛實結(jié)合效果。

在紙質(zhì)圖書的制作過程中，主要是利用Photoshop和Adobe Illustrator軟件對圖畫進行制作和編輯，將制作完成的圖畫印制出來并裝訂成冊,且保證書本紙質(zhì)較厚，不易折壞或磨損。

2.應(yīng)用程序設(shè)計與開發(fā)

增強現(xiàn)實電子書是將紙質(zhì)圖書中的識別標志與移動設(shè)備中的攝像掃描對應(yīng)起來從而實現(xiàn)立體化效果的過程。針對此案例，移動終端支持平板電腦、手機等，ios系統(tǒng)及Android系統(tǒng)均可。整個過程通過移動設(shè)備的攝像頭捕捉圖書中的標記，識別圖案，根據(jù)圖案搜索出服務(wù)器中已制作好的三維立體圖形，將三維立體模型與圖書中的圖案融合起來，將活靈活現(xiàn)的場景呈現(xiàn)在移動設(shè)備屏幕上，并且可以操作屏幕中的立體模型，實現(xiàn)多角度呈現(xiàn)、放大縮小等動畫效果。

在APP圖標設(shè)計上，呈現(xiàn)出立體化小恐龍拿鉛筆的圖片，生動形象。點擊圖標打開此軟件，主頁面色彩搭配和諧，動漫人物和小動物對應(yīng)著幾本書呈現(xiàn)在屏幕上，兒童可以根據(jù)已購買的圖書選擇對應(yīng)的模塊進入學(xué)習(xí)，“分享”圖標可將此軟件推薦給更多人，“團隊”和“更多”是對這款軟件的開發(fā)背景及同類增強現(xiàn)實電子書的介紹。

點擊進入掃描頁面后，會出現(xiàn)掃描框，這也就是標志掃描的地方，一般距離圖書20—40厘米，在光照適中并穩(wěn)定的環(huán)境下對準紙質(zhì)圖書中的識別標志進行掃描。左下角支持中英文轉(zhuǎn)化，可選擇語言類型，右上角的相機按鈕可以在出現(xiàn)立體三維圖形的同時截取畫面，留下神奇瞬間，如圖2所示。

AR應(yīng)用程序采用ActionScript 3.0為開發(fā)語言，F(xiàn)LARToolKit作為跟蹤類庫，Papervision3D作為三維框架，3D MAX和Collada分別作為模型制作和轉(zhuǎn)換調(diào)用[13]。ActionScript 3.0是一種面向?qū)ο蟮木幊陶Z言，為程序?qū)崿F(xiàn)奠定互聯(lián)網(wǎng)編程基礎(chǔ)，結(jié)合FLARToolKit增強現(xiàn)實開源庫，利用Papervision3D將3D效果引入Flash平臺，使用3D MAX制作出逼真的立體三維動畫。后期聲音的制作需要使用Adobe Audition工具輔助實現(xiàn)。

圖2 掃描頁面

3.三維模型設(shè)計與實現(xiàn)

三維模型主要利用3D MAX及Unity等軟件進行前期制作，采用位圖貼圖的方式，為模型的各個角度圖片上色，同時由于模型的調(diào)用需在網(wǎng)絡(luò)環(huán)境下進行，為提高其調(diào)用速率，在保證模型逼真度的前提下要進行適當?shù)膲嚎s處理以減小文件的大小。圖書中的識別標志與攝像裝置結(jié)合的瞬間將提前制作好的存儲在云端的三維模型調(diào)用呈現(xiàn)，現(xiàn)實與模擬融合在一起，給學(xué)習(xí)者以真實感，如圖3所示。

圖3 增強現(xiàn)實效果

四、結(jié)語

增強現(xiàn)實技術(shù)在教育領(lǐng)域的應(yīng)用為教與學(xué)提供了新思路，作為其代表性產(chǎn)品，增強現(xiàn)實電子書突破了紙質(zhì)書籍的局限，為學(xué)習(xí)者提供模擬真實的直觀學(xué)習(xí)材料，促進了知識的獲取與吸收。“AR涂涂樂”通過移動終端簡單便捷的掃描即可將平面化物體“躍然紙上”，多種互動形式激發(fā)了學(xué)習(xí)者的學(xué)習(xí)興趣，使其在與立體化“伙伴”交流中學(xué)習(xí)知識、認識世界。當然，增強現(xiàn)實電子書處于發(fā)展階段，不論是3D模型的逼真度還是互動效果都存在不足，需要在后期的研究及制作中進一步完善。隨著智慧課堂和數(shù)字化學(xué)習(xí)的推進，增強現(xiàn)實電子書作為新興學(xué)習(xí)媒體將會對課堂環(huán)境、教學(xué)模式乃至教育領(lǐng)域帶來顛覆性影響。

[1]地平線報告[R].上海：SHANGHAI EDUCATION，2011．

[2]趙超.界面設(shè)計——從人機關(guān)系走向人際關(guān)系[J].裝飾，2002，(4)：20.

[3]張萍.基于虛擬現(xiàn)實藝術(shù)的軟件界面設(shè)計研究[D].湖南：湖南師范大學(xué)，2010.

[4]姚遠.增強現(xiàn)實應(yīng)用技術(shù)研究[D].杭州：浙江大學(xué)，2006.

[5]王德宇，宋述強，陳震.增強現(xiàn)實技術(shù)在高校創(chuàng)客教育中的應(yīng)用[J].中國電化教育，2016，(10)：112-115.

[6]胡智標.增強教學(xué)效果 拓展學(xué)習(xí)空間——增強現(xiàn)實技術(shù)在教育中的應(yīng)用研究[J].遠程教育雜志，2014，(2)：106-112.

[7]Kaufmann,H.The potential of augmented reality in dynamic geometry education[C]//12th International Conference on Geometry and Graphics,Salvador,Brazil，August 6-10，2006：35-49.

[8]蔡蘇，宋倩，唐瑤.增強現(xiàn)實學(xué)習(xí)環(huán)境的架構(gòu)與實踐[J].中國電化教育，2011，(8)：114-119.

[9]程志，金義富.基于手機的增強現(xiàn)實及其移動學(xué)習(xí)應(yīng)用[J].電化教育研究，2013，(2)：66-69.

[10]Shelton B,Hedley N.Using Augmented Reality for Teaching Earth-Sun Relationships to Undergraduate Geography Students [C]//Augmented Reality Toolkit.The First IEEE International Workshop,Darmstadt,Germany，September 29，2002：1-8.

[11]韓存齊.無標識增強現(xiàn)實電子書系統(tǒng)研究與實現(xiàn)[D].武漢：華中師范大學(xué)，2014.

[12]蕭冰，王茜.增強現(xiàn)實技術(shù)在兒童科普讀物中的應(yīng)用研究[J].科技與出版，2014，(12)：108-110.

[13]許山杉.增強現(xiàn)實電子書的開發(fā)[D].上海：華東師范大學(xué)，2011.

（責(zé)任編輯 喬磊）

An Analysis of Electronic Books Based on Augmented Reality Technology—A Case Study of the AR School

SUN Jin,WANG Huijun
(School of Education,Henan University,Kaifeng,Henan,China 475004)

The development of technology from Virtual Reality (VR) to Augmented Reality (AR)makes the combination of the real world and the virtual world a reality,which makes the "Legend Painter Ma Liang" no longer a legend.The AR technology has been increasingly used in various fields of the society,changing people’s way of life.E-books developed on the basis of the AR technology have brought challenges to the traditional paper books.Based on the analyses of the characteristics of the AR technology and its use in education,this paper took the 3D interactive books used in the AR School as an example to elaborate on the AR e-books regarding their characteristics,product design,and technology realization etc.It is hoped that the results of the study may offer some references for the research on and the application of the AR e-books.

Augmented reality technology;E-book;AR school

G4

A

2096-0069（2017）03-0061-05

2017-04-11

2017年度教師教育課程改革研究項目“農(nóng)村中小學(xué)教師網(wǎng)絡(luò)研修的現(xiàn)實困境與突破路徑”（2017-JSJYYB-012）

孫錦（1993— ），女，河南開封人，河南大學(xué)教育科學(xué)學(xué)院教育技術(shù)學(xué)研究生，主要研究方向為信息化教學(xué)；王慧君（1966— ），女，河南新鄉(xiāng)人，河南大學(xué)教育科學(xué)學(xué)院教授，博士，教育技術(shù)學(xué)碩士生導(dǎo)師，主要研究方向為教師教育、信息技術(shù)與課程整合。