王 璞
(上海海事大學圖書館 上海 201306)
1990年,美國波音公司的Caudell與同事在設計一個輔助布線系統時提出了“Augmented Reality”這個概念。“Augmented Reality,AR”中文翻譯成“增強現實”,我國臺灣地區則譯為“擴增實境”。AR技術是在虛擬現實技術基礎上發展起來的一種新興技術,用計算機產生的附加信息對真實世界的景象進行信息增強或擴張。AR技術具有將真實場景同虛擬物體加以融合的特性,從而增強用戶對現實環境的認識、理解并進行交互。
傳統的AR技術已經應用在工業、醫療、教育、娛樂、軍事等領域,但受限于硬件設備,還沒有進入到普通民眾的日常生活。近年來,隨著移動互聯網技術的發展完善,智能手機性能的顯著提高,已經能夠滿足AR技術的軟硬件需求。移動AR技術為廣大移動互聯網用戶帶來了全新的應用體驗,國外已有大學、圖書館、博物館等機構利用定位、識別、融合等多種技術,借助移動互聯網,為用戶提供智能手機上的移動AR服務。
AR可以算是“Virtual Reality(虛擬現實)”技術的一個分支,虛擬現實是創造一個全新的虛擬世界,強調用戶的沉浸感受,而AR則是強調虛實融合。AR技術把虛擬的圖像和文字信息與現實生活景物結合在一起。
1994年,保羅·米爾格拉姆(Paul Milgram)和岸野文郎(Fumio Kishino)提出了現實——虛擬連續統一體(Milgram's Reality-Virtuality Continuum)[1]。他們將真實環境和虛擬環境分別作為連續統一體的兩端,位于它們中間的被稱為“混合實境(Mixed Reality)”(見圖1)。其中靠近真實環境的是增強現實,靠近虛擬環境的則是增強虛擬。
Azuma在1997年寫了一篇關于AR技術的綜述文章,介紹了AR技術在醫療、制造與維修、機器人、娛樂業和軍事等方面的應用情況[2]。Azuma突破了基于傳統的頭戴式顯示器的AR技術概念的限制,給出了更為寬泛的AR系統的三個基本特征的描述:(1)Combines real and virtual(結合虛擬與現實);(2)Interactive in real time(實時交互);(3)Registered in 3-D(三維定位)。
Azuma所描述的AR技術是指借助計算機圖形技術和可視化技術產生現實環境中不存在的虛擬對象,并通過傳感技術將虛擬對象準確“放置”在真實環境中,借助顯示設備將虛擬對象與真實環境融為一體,并呈現給使用者一個感官效果真實的新環境。因此AR系統具有虛實結合、實時交互、三維定位的特點。
雖然AR技術已經發展了幾十年,但由于技術及設備條件限制,僅應用在少數行業,并沒有進入大眾的視野。隨著近幾年移動互聯網的快速發展,各種軟硬件環境的完善,AR的概念出現了新的外延。2009年,開始出現基于移動互聯網和智能手機的增強現實應用程序(AR App)。在以3G網絡為代表的高速移動互聯網迅速發展的同時,智能手機的硬件性能越來越強并配置了功能豐富的硬件模塊,包括GPS、傳感器、陀螺儀、電子羅盤等。與此同時,移動互聯網上出現了以Layar、Wikitude、Junaio為代表的匯集AR應用的平臺,吸引眾多的用戶體驗種類豐富的AR應用。與傳統AR應用的固定場景不同,基于移動互聯網和智能手機的AR應用,可稱之為移動AR應用。
利用智能手機上的AR應用程序,用戶能夠在某個特定的地點和時間,獲取到與真實場景相關的虛擬情景信息,AR具有高度的實時性和相關性,從而極大改善用戶的信息搜尋體驗。智能手機上的AR應用場景一般是這樣的:開啟AR App,將手機攝像頭對準AR特征目標(室外可以是建筑、風景等具有地理位置信息的標志物,室內是AR標記物),AR App在實時的物理場景上覆蓋上計算機生成的圖象和各種信息資源,用戶可以在各種類型的虛擬資源中進行選擇、查看。為了實現這種混合現實,智能手機配備了用于地理定位的GPS,確定方向和角度的電子羅盤,用于垂直運動的加速計以及真實場景融合虛擬信息的校準系統。
《Horizon Report(地平線報告)》是國際新媒體聯盟組織(New Media Consortium)和美國高校教育信息化協會(EDUCAUSE)共同研究發布的年度成果。該報告重點揭示未來五年內對美國高等教育領域內的教學、學習產生重大影響的信息技術、關鍵趨勢和重要挑戰。張屹在分析歷年報告內容的基礎上得出研究結論:以移動設備和移動計算技術為基礎支撐的智能化移動學習將成為未來高等教育信息化發展的重要趨勢[3]。2010年的地平線報告認為:AR技術在未來的情境式學習中有巨大的潛力,能幫助學習人員獲得非比尋常的學習體驗,具有整合及發現多重信息的能力[4]。2011年的地平線報告認為:AR技術在2~3年內會得到大范圍的應用,AR技術可以為學習者提供情境性的實時學習體驗,幫助學習者探索現實世界中信息間聯系的本質[5]。
移動AR技術在國內的互聯網應用仍處于起步階段,在教育領域的研究與應用也比較少,但國外的移動AR應用已經有了長足的發展。下面就移動AR技術在國外文化教育領域的應用現狀做一些案例介紹。
Liestol在文章中介紹了使用移動AR技術來輔助進行歷史學和建筑學課程的教學實踐[6]。學生們在古代建筑遺址前,使用AR App,可以觀看使用仿真技術修復的古建筑的原先的樣貌,并可以查看古建筑的相關歷史信息。同時,用戶留言和標注功能增強了交互性,學生可以互相查看評論和網絡外部資源并進行交流,增強了學習效果。Liestol認為使用AR技術的情境學習方法不僅適用于古建筑研究,同樣也適用于那些需要探究歷史發展脈絡的學科領域。融合了虛擬與現實的AR教學手段為學生們帶來了深刻的感受,有利于知識的記憶和理解。
荷蘭阿姆斯特丹市立博物館開展了一項名為“ARTours”的項目,使用移動AR技術,提升展品的展覽效果,促進文化傳播與交流[7]。參觀者在參觀展品的同時,使用手機可以實時獲取展品的背景信息,包括作者生平、展品介紹,其他人的評論等。同時,博物館通過和旅游局的合作,開發“增強旅行”的AR App。觀光客在荷蘭的著名歷史景點,能夠通過手機實時查看由博物館提供的歷史照片、繪畫作品等信息,并提供豐富的背景信息介紹。
從19世紀開始,美國費城開始用照片記錄城市的變遷,并建立了費城城市圖片檔案。目前,公眾可以通過“費城歷史(http://www.philadelphiahistory.org/)”這個網站查看約200萬張費城歷史圖片。2010年,費城歷史記錄局與Azavea公司合作開發了一個手機AR App。游客在參觀費城的建筑或者歷史景點時,使用該手機App,可以實時查看景點的歷史照片和重要事件等相關信息[8]。
WolfWalk是美國北卡羅萊納州立大學(NCSU)圖書館研發的一個智能手機App,利用大學檔案館的館藏照片,為用戶展示校園內的地標性建筑、景點、設施的歷史圖片和資料[9]。除了傳統的Google地圖導航式應用,WolfWalk還使用了新穎的AR和地理定位技術。當師生在校園漫步時,用手機攝像頭對準某建筑,即可以實時獲取有關該建筑和地點的歷史圖片、重要事件等信息,同時,用戶還可以查看所在位置附近的重要校園設施。無論是本校的師生還是訪客,都能通過WolfWalk便捷、高效地了解北卡大學校園歷史變遷。在校園導覽系統里使用了AR技術的學校還有美國哥倫比亞大學[10]、英國埃克塞特大學[11],中國的臺灣大學[12]、輔仁大學[13]等。
英國JISC“移動圖書館社區支持項目”開發的AR App-SCARLET:利用AR技術促進對特藏的研究和教學(The impetus for Special Collectionsusing Augmented Reality to Enhance Learning and Teaching)[14]。該項目借助AR技術,幫助學生們學習和研究古代文獻資料,在保護古籍的同時,也讓學生充分接觸到原始文獻,并附加展示豐富的網絡資料。AR技術讓學生在接觸原稿的同時,通過在原稿周圍附加上數字圖片、在線學習資料以及圖書館的相關學術信息,豐富學生的信息來源,提升學生的學習體驗。AR技術讓整個學習過程更有交互性,學生通過查看相關元數據、圖片和文獻二次閱讀,建立了一種以探究為基礎的學習模式,加深了對原始文獻的理解。
通過對以上移動AR應用案例的介紹,可以看到AR技術在建筑研究、博物館展覽、增強旅行、校園導航以及古籍閱讀等方面的試驗性探索。那么,對于現代圖書館,移動AR技術將會有哪些方面的應用潛力,本文結合已有的研究和實例,從五個方面進行闡述和展望。
美國邁阿密大學AR研究小組的Brinkman教授領導開發了一個用于書架整理的AR應用程序[15]。這款名為ShelvAR的App通過手機攝像頭讀取粘貼在書脊上的二維碼標簽里的內容,可以判斷讀取范圍內圖書的位置是否正確。手機屏幕上可以實時顯示一排虛擬的標記,如果有亂架的圖書,在書脊上會顯示紅色標記“×”,而位置正確的圖書則是綠色標記“√”。手機屏幕上會出現一個箭頭指示亂架的圖書應該往哪個方向移動并指示影像有效范圍內的移動距離[16]。ShelvAR不僅可以進行高效率的書架整理,還可以完成藏書清點任務。目前,該軟件可以一次掃描大約80冊書的范圍,但是對于厚度很薄的圖書則效果不佳(無法粘貼標簽),因此該技術不適用于兒童圖書館。ShelvAR在美國大學與研究圖書館聯合會2011年會上做了展示,獲得了圖書館員的廣泛關注。
雖然ShelvAR目前還沒有大范圍的普及應用,但它利用AR技術實現的圖書排架功能還是讓圖書館員眼睛一亮。AR技術不僅能夠幫助圖書館員整理書架,依靠粘貼在書架和圖書書脊上的二維碼,還具備了將印本圖書資源與數字資源進行鏈接、集成揭示的融合功能[17]。讀者在瀏覽書架的同時,通過掃描書架上的二維碼,實時查看與當前架位相關的館藏數據庫資源。對于粘貼在書脊上的二維碼,則可以包含更多的信息,即可以鏈接館藏電子書,也可以指向外部的電子書數據庫,同時也可以利用圖書館的自動化管理系統的數據。例如:可以通過Z39.50協議獲取一本圖書的流通次數信息,幫助讀者判斷資料的受歡迎程度。
AR技術不僅能夠幫助圖書館員排架,借助二維碼,還能實現印本資源和數字資源的集成展示。同時,AR技術簡化了用戶信息檢索行為,增強了用戶的信息體驗。在未來相當長的一段時期,大多數圖書館都保持著印本館藏和數字館藏的復合圖書館形態,利用移動AR技術促進信息資源的融合和集成是一個新的技術思路。
從“SCARLET”項目給我們的啟示,AR技術不僅可以用來促進古籍圖書的研究與利用,同時,也可以應用在普通的印刷本圖書上。借助智能手機和AR技術,傳統紙本圖書在展示自身印刷內容的同時,還能夠顯示圖片、聲音、動畫和視頻等多種形式的多媒體內容,為讀者提供不同凡響的交互式閱讀體驗。讀者利用手機里的AR App,通過攝像頭讀取書本里的標記物,手機屏幕上將顯示特定的數字化增強內容。例如:Billinghurs利用AR技術設計了一套兒童圖書Magic Book,它將書本內容制作成動畫并且以AR的形式迭加在書本上的相應單元里,彌補純文字的單調與版面配置的限制[18]。北京師范大學現代教育研究所團隊研發了一種AR技術圖書——“未來之書”。讀者使用手機識別圖書上的標記,就能觀看虛擬的三維場景,享受到虛實融合的立體閱讀體驗[19]。
應用了AR技術的多媒體圖書,突破了原有圖書的內容和形式的限制,借助手機等終端設備,不僅具有豐富多樣的信息表現形式,還擴展性地為讀者提供了實時獲取互聯網相關數字資源。隨著制作成本的降低和技術的成熟,圖書的AR技術應用在教育領域有著光明的發展前景。
隨著經濟的快速發展,國內新建圖書館的館舍體量越來越大,動輒數萬平米建筑面積的圖書館已經比比皆是。當代圖書館多為大開間的設計,功能布局分散,圖書館需要高效率的指引系統。傳統的圖書館館舍指引方式包括房間標記牌、建筑平面圖以及人工指引等。隨著以Google地圖為代表的電子地圖技術和地理位置服務(LBS)技術的快速發展,已經有很多大型圖書館開發了圖書館電子地圖導航系統。LBS應用結合移動AR技術,能夠為用戶提供實時的路徑指向,用戶體驗更加鮮活、生動。
室外的結合LBS的移動AR應用,一般依靠高速無線網、GPS、電子羅盤等設備,確定建筑或景點的地理位置和方向,并在物理場景上疊加相關信息。目前已經實現了如WolfWalk這樣比較成熟的應用范例,可用于校園內主要建筑的導航。而大型建筑的室內定位則可通過Wi-Fi網絡三角定位、Wi-Fi指紋識別、QR碼識別或者RFID技術來實現。從實現成本的角度考慮,類似于QR碼這樣的二維碼識別技術可作為當前的過渡技術方案,在圖像識別技術成熟之前是即經濟又可靠的選擇。圖書館使用QR碼標識系統來對現實場景進行標記和定位,讀者通過手機拍攝QR碼標記,獲得相關的地圖指引和導航信息[20]。利用圖書館的LBS服務,當讀者在館內使用手機搜索到一本圖書時,LBS系統根據讀者的當前位置,為讀者提供前往目標圖書的指引行進路線,幫助讀者快速找尋到資料。
美國Quest Visual公司于2010年底開發了一款使用AR 技術的光學字符識別(OCR)翻譯軟件“Word Lens”[21]。用戶開啟App后,只要將攝像頭對準要識別的文字(可以是圖書、雜志、菜單、路標等等),手機屏幕上馬上就會浮現翻譯之后的語言文字。“Word Lens”包含了識別、翻譯、替代的功能,使用非常簡便,它利用OCR技術識別文字,再通過字典進行查找翻譯,然后使用AR技術將翻譯過的文字覆蓋在原有文字上,而攝像頭對著的場景不會發生任何變化。目前該軟件僅支持英文與西班牙文、法文和德文等少數幾種語言的互譯。
美國伊力諾依大學厄本那香檳分校研發了一款使用了OCR技術的移動AR應用程序[17]。利用該軟件,學生使用手機攝像頭掃描教學大綱、參考書目、課外作業、圖書章節等文字內容,能夠實時顯示圖書館推薦的相關館藏學術資源。學生不僅能夠在手機上瀏覽與保存圖書館推薦的館藏資源,還能夠將推送結果發送到指定的E-mail或者Facebook等社交網絡平臺與其他人分享內容。使用了OCR技術的AR應用程序,不僅能夠幫助學生理解閱讀內容,還幫助學生高效率的擴展學習資源。對于有語言障礙的學習人員,借助“Word Lens”這樣的實時翻譯軟件,學習非英語類的學術資料將會有更高的效率。
瑞典的兩家科技公司TAT和Polar Rose合作,曾經在兩年前推出過“TAT Augmented ID”這個利用人臉識別技術的AR手機應用程序。“TAT Augmented ID”通過識別用戶的臉部特征來確定用戶的身份,并進而獲取用戶公布在Facebook等社交網絡上的Profiles資料信息,了解用戶的動態、專業、特長、興趣等[22]。目前人臉識別技術多用于安全性要求較高的行業,隨著技術的進步和成本的下降,會逐漸在更多的民用領域得到發展普及。人臉作為唯一的目標對象在某種意義上也是可以識別的編碼,利用人臉識別的AR技術,圖書館能夠快速的辨識入館的重點讀者身份,從而及時獲取讀者的學術職務、學科背景、研究方向、新動態等公開信息資料,并為用戶及時提供相關的館藏學術資源,提升圖書館個性化服務的水平。
在當前飛速發展的移動互聯網產業環境下,移動AR服務以其強調虛實結合的用戶體驗獲得了眾多商家和用戶的矚目,移動AR系統具有較強的實用性和可行性、廣泛的應用前景和巨大的商業價值。AR技術在智能手機中的應用,使信息的搜索不再局限于輸入關鍵詞的搜索,基于空間地理位置和識別技術的信息搜索服務將會使學習信息的搜索及獲取變得更加直接和方便。移動AR技術在教育以及圖書館信息服務領域中有著廣泛的應用前景,但目前仍處于起步階段,還有許多問題有待研究解決。隨著相關技術的不斷進步,移動AR技術在圖書館中的應用將會迎來蓬勃發展。
[1]Paul M,Fumio K.A Taxonomy of Mixed Reality Visual Displays[J].IEICE Transactions on Information Systems,1994,(12).
[2]Ronald T.Azuma.A Survey of Augmented Reality[EB/OL].[2013-07-16].http://www.cs.unc.edu/~azuma/ARpresence.pdf.
[3]張屹,朱莎,楊宗凱.從技術視角看高等教育信息化——歷年地平線報告內容分析[J].現代教育技術,2012,(4):16-20,39.
[4]Johnson L,Levine A,Smith R,Stone S.The 2010 Horizon Report [EB/OL].[2013-07-13].http://www.nmc.org/pdf/2010-Horizon-Report.pdf.
[5]Johnson L,Smith R,Willis H,Levine A,Haywood K.The 2011 Horizon Report[EB/OL].[2013-07-16].http://www.nmc.org/pdf/2011-Horizon-Report.pdf.
[6]Liestol,G.Learning Through Situated Simulations:Exploring Mobile Augmented Reality[EB/OL].[2013-07-20].http://net.educause.edu/ir/library/pdf/erb1101.pdf.
[7]Margriet S,Hein W.Augmented Reality and the Museum Experience[EB/OL].[2013-07-25].http://www.museumsandtheweb.com/mw2011/papers/augmented_reality_and_the_museum_experience.
[8]Deborah B.From Internet to iPhone:Providing Mobile Geographic Access to Philadelphia's historic photographs and other special collections [J].The Reference Librarian,2011,(52):47-56.
[9]NCSU Libraries WolfWalk[EB/OL].[2013-08-05].http://www.lib.ncsu.edu/dli/projects/wolfwalk.
[10]Columbia University Virtual Tour[EB/OL].[2013-09-06].http://undergrad.admissions.columbia.edu/visit/virtual-tours.
[11]Exeter University Layar Augmented Reality Browsing[EB/OL].[2013-09-06].http://www.exeter.ac.uk/students/life/layar/.
[12]臺灣大學校園互動式地圖[EB/OL].[2013-09-06].http://map.ntu.edu.tw/.
[13]Te-Lien Chou,Lih-Juan ChanLin.Augmented Reality Smartphone Environment Orientation Application [J].Procardia-Social and Behavioral Sciences,2012,(46):410-416.
[14]SCARLET Team.Special Collections using Augmented Reality to Enhance Learning and Teaching:a case study [EB/OL].[2013-09-10].http://mlibraries.jiscinvolve.org/wp/case-studies/scarlet-case-study/.
[15]Miami University Augmented Reality Research Group[EB/OL].[2013 -09 -15].http://www.users.muohio.edu/brinkmwj/ar/.
[16]Audrey W.Awesome Augmented Reality App Could Save Librarians Hours[EB/OL].[2013-09-15].http://re adwrite.com/2011/03/27/awesome_augmented_reality_a pp_could_save_librarian.
[17]Jim H.Mobile Augmented Reality Applications for Library Services[J].New library World,2012,(9/10):429-438.
[18]Billinghurst M,Kato H.Collaborative Augmented Reality[J].Communications of the ACM,2002,45(7):64-70.
[19]蔡蘇,宋倩,唐瑤.增強現實學習環境的架構與實踐[J].中國電化教育,2011,(8):114-119.
[20]Daniel W.First steps towards handheld augmented reality [C].Proceedings of the 7th International Conference on Wearable Computers,2003.
[21]WikiPedia Word Lens [EB/OL].[2013-10-25].http://en.wikipedia.org/wiki/Word_Lens.
[22]Sarah P.Augmented ID:Augmented Reality Facial Recognition for Mobile [EB/OL].[2013-10-25].http://readwrite.com/2009/07/09/augmented_id_augmented_reality_facial_recognition#awesm=~olaahAWvwB2QL9.