AR技術在美術類書籍數字化呈現中的應用

摘 要 AR技術在書籍數字化呈現中的應用較多關注童書與醫書，鮮見美術類書籍。通過梳理AR技術在美術類書籍中的應用范圍，分析美術類書籍二維與三維全景AR數據采集方法，提出美術類書籍AR可視與可聽內容的設計，建議設計師參考認知負荷與眼動追蹤理論，為美術類書籍數字化AR呈現，在素材數據的采集、處理、展示與利用方面提出可行性建議。

關鍵詞 AR技術;美術類書籍;采集;呈現;陶瓷

引用本文格式 孫曉燕. AR技術在美術類書籍數字化呈現中的應用[J].創意設計源，2019（6）：17-21.

The Application of AR Technology in Digital Presentation of Art Books

SUN Xiaoyan

Abstract The application of AR technology in the digital presentation of books， more attention to children's books and medical books， rarely art books. Through combing the AR technology in the application of art books， 2D and 3D panoramic analysis of art books AR data acquisition method， put forward the art books AR visual and audible content design， digital AR present for art books， in the material data acquisition， processing， display and utilization in feasible suggestions are put forward.

Key Words AR technology;Art books;Acquisition;Present;Ceram

[基金項目] 本文系2018年度河南省軟科學研究計劃項目“河南省建設全國重要文化高地的對策研究”（項目編號：182400410220）;2018年度河南省教育廳人文社會科學研究項目“基于AR技術的河南陶瓷文化遺產保護方法轉型研究”（項目編號：2018-ZZJH-104）;2019年度河南省高等學校青年骨干教師培養計劃（項目編號：2019GGJS091）階段性成果。

引言

AR（Augmented Reality，簡稱AR）書籍與VR（Virtual Reality，簡稱VR）書籍是目前出版行業針對大眾閱讀方式的改變而探索出的轉型產品，這種體驗式的全新閱讀方式使讀者在閱讀過程中接受信息的途徑更加多元化。AR書籍與VR書籍的區別在于，前者是對真實環境提供信息的補充，后者則是引領讀者進入一個完全虛擬的世界。近年來增加現實技術不斷發展，形成了魔鏡技術（See Through）和空間增強技術 （Spatial Augmented），這兩種技術途徑在文化遺址展示中均有運用。[1]

有關AR技術在書籍出版中的應用，較多案例是關注兒童書籍（圖1）、醫學書籍等，鮮見美術類書籍。現有美術類書籍數字化多注重二維的視角呈現，而作品對場景的呈現、不同媒材的制作工藝、多視角的觀察體驗是現有數字類書籍不能實現的。2017年國家出臺《關于實施中華優秀傳統文化傳承發展工程的意見》指出當下迫切需要深入挖掘中華優秀傳統文化價值內涵，進一步激發中華優秀傳統文化的生機與活力;《國家文物事業發展“十三五”規劃》提出“多措并舉讓文物活起來”，本文以此為契機，展開AR技術在美術類書籍內容設計中的探討。

一、美術類書籍出版現狀

（一）美術類書籍出版資源

繪畫、雕塑、工藝美術、建筑、書法篆刻等視覺文化研究類書籍越來越多地被考古、文博、拍賣、教育、科研院所等行業利用。美術類書籍的特點如下：針對特定的讀者群，利潤空間大;發行量小，銷售周期長。若使美術類書籍能夠引起數字出版的長尾效應，就必須使其對受眾具有強烈的吸引力。在大數據應用環境下，用戶終端的所有信息例如：何時、何地、選擇性閱讀的內容、單頁停留時間等均可用以研究受眾閱讀行為習慣與偏好，精準確定受眾知識獲取需求，深度開發主題性、專業性較強的數字出版產品。

（二）AR技術在美術類書籍數字化呈現中的應用范圍

AR技術可以完善和豐富人們探究藝術領域的方法，讓公眾也有可能接觸到那些本身易損的文獻資料。以下分別從繪畫、雕塑、工藝美術、建筑、書法這五個方面進行分析。

繪畫：大眾對繪畫的認知較多停留在傳世卷軸畫，由于古書畫的紙張、絹綾、顏料為有機質，對環境的要求較高（溫度、濕度以及光照），傳世的著名卷軸畫多為后世摹本。今天我們可以看到的唐朝之前的繪畫大多為壁畫、帛畫及漆木器上的圖像。AR技術可以將這部分的圖像完整展示出來，以補充早期繪畫資料的不足。

雕塑：現有書籍的雕塑插圖展示角度單一，面對一件雕塑品一般只會選擇其視覺效果最好的角度進行展示。例如甘肅武威出土的銅奔馬（圖2），其側面形象地展示了駿馬風馳電掣的奔騰氣勢，被用于中國旅游的標志。但對于觀者來說，應從各個角度全面觀察才能客觀地理解作品內涵，正面的銅奔馬會給讀者不一樣的視覺體驗，但這部分信息一般都被省略掉了。

工藝美術：工藝美術的傳世品與出土物較多，我國先秦時期的古籍《考工記》已經提出了工藝美術的評價標準“材美工巧”，材料好、工藝好。古代優秀的工匠和上等的材料都被官府壟斷，今天我們能在博物館里看到的優秀工藝美術作品只呈現出制品的完成狀態，AR技術可以將藝術品的材質優選、造型特征以及制作工藝過程還原出來，使公眾對作品的認知進一步加深。

建筑：空間是建筑的主角，建筑提供給人們的除了室內空間，還包括紀念碑、廣場、橋梁等室外空間。AR技術可以將建筑與人的比例進行反轉，使觀者站可以以自主選擇的視角進行觀察。

書法：中國人對書法的推崇從古至今從未間斷，公眾驚嘆于傳世書法作品的骨法用筆，但對于沒有研習過書法的普通大眾來講，只看最終作品而無法得知運筆的起收、順逆、提按、遲速、藏露以及對筆鋒的掌控，特別是運筆中腕、肘、指的變化與字體的關系。AR技術可以將作品書寫過程中的運筆過程還原出來，一方面為書法研習者提供學習參考，另一方面也可為普通大眾提供知識普及。

二、美術類書籍AR數據采集

美術類書籍AR數據采集是指將文獻和文物等進行高質量、無損壞的掃描。采集方案的制定與采集技術的選擇是AR技術呈現質量的關鍵所在，廣泛而全面地從源頭獲取高質量的數據是美術類AR書籍長期而艱巨的任務。

（一）二維數字化采集

二維數字化采集技術主要是針對古籍、畫稿、圖冊、平面紋理等二維文物對象提出的。[2]但囿于設備、技術與成本，美術書籍數字化采集主要采用二維手段，對于普及類書籍勉強夠用。但隨著人們閱讀評價標準的日益提高以及讀者深度閱讀需求的增加，二維數字化采集技術顯得杯水車薪。

（二）三維全景數字化采集

三維激光掃描技術主要是利用掃描儀，通過三維掃描測量技術，采集物體的空間坐標、尺寸以及紋理影響等數據。[3]在不接觸、無損害的前提下，通過掃描獲取的數據為后期的三維重建提供了重要的數據支撐。三維掃描的優勢體現在：對于封閉的器物，在不破壞器物的前提下，即可獲取其內部結構與工藝信息。其弊端是：后期處理數據時，掃描點云與文物自身的紋理不能自動匹配，后期處理數據時工作量較大。例如壁畫的三維掃描中就不能找到足夠的匹配點，繼而影響紋理貼合的精準度。再如陶瓷類制品表面的釉色與紋理效果非常豐富，但反光度高，在進行三維數字化采集過程中會出現數據缺失的現象。

三、美術類書籍AR可視內容的設計

在AR出版物中敘事設計的元素主要有紙質內容中的文本、圖片和AR內容中的聲音、模型和動畫。[4]135美術類書籍則偏重將素材AR的音頻、視頻、360°場景與模型動畫等鏈入紙質媒體之中。

（一）素材本體可視內容的呈現

二維呈現的主要有繪畫、書法等平面形態的素材;三維呈現的主要有工藝美術品、建筑、雕塑等立體形態的元素。AR呈現的途徑是通過材料、造型與工藝來完成。利用3D模型結構的呈現是AR表現的主要優勢，可滿足觀者平移、縮放、旋轉等多視角觀察的需求，在不切割器物的前提下，制作準確的平、剖面圖。國家文物局支持項目——陜西歷史博物館藏品圖冊是美術類書籍較早涉足AR呈現的案例（圖3），紙質圖冊僅提供實物圖與線圖，語音旁白與紙質書籍的文字內容也相對應，但未提供平、剖面圖，知識擴展度有限。

以陶瓷器為例，鈞瓷是我國北方產瓷區的重要品類，器型古拙、釉色多變，其獨特的窯變釉工藝延續至今，連年作為國禮贈與各國政要。鈞瓷制品的AR可視內容可從材料、器型、工藝、窯址四部分入手。

材料：陶瓷是由泥土、水與火構成的藝術，大型瓷窯均采用就地取材的原則。歷史上，由于森林植被的萎縮與燃料的減少，一些著名瓷窯相繼衰敗。AR技術可利用3D模型將制瓷材料取用、物候的變化與自然環境的變遷向觀者展示陶瓷在歷史脈絡中的興衰軌跡。

造型：鈞瓷AR展示的重點是器型、釉色與裝飾。古代鈞官窯制品主要以花盆、尊、瓶為主，今天的鈞窯制品為融入現代生活，在器型上與其他瓷窯相日漸趨同，但“鈞瓷無雙”的窯變釉色仍然使其具有極高的辨識度。鈞瓷以重器型與釉色輕紋飾著稱，今天的鈞瓷制品常用裝飾手法以模印、鏤、印塑等技法為主。AR展示中可利用3D模型進行手工拉坯、修改模型等交互體驗，讀者既可以仿制古鈞瓷傳統器型，又可進行含有流行元素的現代鈞瓷創新設計。

工藝：工藝包括原料制備、坯體成型、坯體干燥及素燒、施釉、燒成等。用AR展示中3D模型交互式動畫來實現讀者與鈞瓷燒造工藝流程的互動，讀者可隨個人喜好自主選擇手工拉坯的造型、調配釉料、模印與貼塑的零件等，打造個性化定制鈞瓷制品。

窯址：1999年《巴拉憲章》提出“具有文化重要性的場所豐富了人類的生活，在社會和景觀，過去與現實體驗之間建立了深刻而富有靈感的聯系。全力保護并利用這些場所，同時盡可能不對其做出任何改造，以保存其文化重要性。” 我國北方古代瓷窯因戰亂頻繁、年代久遠，有些瓷窯僅存基址，窯爐結構多已衰敗不堪（圖4），裝燒工藝也僅憑后世推測。AR技術將窯址考古發現的瓷窯基址、窯具標本修復重建，為復原古窯場布局提供數字支持。憑借AR技術揭露歷史時期地層堆積，解析地層瓷片與窯具標本（圖5、6），為古陶瓷的分期呈現提供思路。AR技術不但可以重現地區窯址的時空分布和單個窯場的基本布局，又可將瓷窯衰落與窯場轉移進行勾連。歷史遺跡的衰敗與現代文明的發展相互碰撞，我們必須為今天與后世的人們保護這些具有文化重要性的場所。

（二）素材對場景的呈現

素材對場景的呈現主要指出土環境與展陳環境。在考古發掘過程中對遺跡空間形態與地層的關系通常采用照片建模的技術進行展現，有利于復現器物的發掘過程，實現歷時性研究。AR展示除了要完成器物本體的呈現，還應注意到器物在遺跡中的位置以及遺跡器物之間的組合關系，這對于研究器物的禮儀與社會功能提供了重要的佐證。

展陳環境是指器物在博物館空間中的呈現，這時的器物已經離開了發掘地，利用AR技術可實現器物古今處境的切換。相較于傳統的線性陳列展，主題性展覽因其清晰的問題意識、專業的學術支持越來越受到觀眾的歡迎，AR空間呈現既要考慮縱向歷史脈絡，更要注意以器物為立足點，勾連出文化碰撞所產生的對抗與融合的關系。

四、美術類書籍AR可聽內容的設計

AR可聽內容包括語音旁白、背景音樂、配合模型或動畫使用的音效、讀者與虛擬角色進行互動的聲音等。[4]135

（一）古代樂器聲音呈現

2016年9月北京大學賽克勒考古與藝術博物館《華夏遺韻——中原古代音樂文物展》展示了從新石器時代到春秋時期的古代樂器，是較為系統的呈現。樂器是作為文物靜置在展柜中，觀者并不知道這些樂器的音色、音域以及合奏的音效是什么樣的，相關的圖錄與著述中也都沒有立體的呈現。觀者只能通過觀察樂器的結構、紋飾與組合，遙想鐘罄齊鳴，一場聽覺的盛宴無奈地轉換成視覺的游歷。AR出版物可以立體展示不同媒材古代樂器的模型音色以及與虛擬樂器組合的互動。以青銅編鐘為例，AR技術可以通過模型，展示不同大小與類型的銅鐘（鈕鐘、镈鐘、甬鐘）正鼓音與側鼓音的音色與音階。讀者既可實現廟堂雅樂的自主演奏，又可通過模型完整聆聽華夏遺韻的金聲玉振。

（二）古代繪畫“活化”的聲音呈現

中國古代繪畫根據所繪內容的不同分為人物、山水與花鳥三科，近年來一些科研院所與展陳機構已經開始進行典藏品的活化，從2014年末中國國家博物館《乾隆南巡圖》長卷數字展示到2018年故宮博物院《清明上河圖3.0》超高清數字互動技術、4D動感影像展示，沉浸式的交互體驗已經成為古代繪畫“活化”的重要訴求。繪畫中的聲音也是我們理解畫意的重要途徑。以宋本《清明上河圖》為例，AR敘事中背景音樂可根據畫卷首、中、尾三段章節進行設定，中國古代繪畫中內容的聲音設定除了考慮人物、山水與花鳥的音效外，還應注意古畫中通常伴有大量器用與陳設的圖像，這些圖像為我們了解古代的物質文化帶來了便利，在聲音內容的設定中可考慮將不同材質的器皿、家具、服飾、舞蹈、樂器的音效引入AR聲音呈現。

五、認知負荷的合理性

1988年澳大利亞著名心理學家約翰·斯威勒提出“認知負荷”理論（Cognitive Load Theory）。認知負荷是人在處理需要完成的具體任務時，通過信息加工產生的心理資源總量。[5]從認知負荷角度對AR美術類書籍數字化呈現進行分析，過量的認知負荷會導致受眾注意力低下、學習效率降低等問題。

（一）認知負荷

認知負荷分為內在認知負荷與外在認知負荷兩種類型。

內在認知負荷（Intrinsic Load）由學習材料確定，其影響因素包括學習材料性質和元素交互性水平。[6]86學習材料或者學習者發生變化就會使內在認知負荷發生變化。例如：如果使用AR美術類數字書籍的是美術史家，那么與普通大眾相比，內在認知負荷元素交互性降低。

外在認知負荷（Extraneous Load）的影響因素是學習材料的呈現方式。外在認知負荷會干擾受眾的學習，AR美術類數字書籍的設計人員要努力降低或消除其冗余信息的影響。冗余信息包括用多種形式提供的相同信息（如供聆聽或閱讀的文字），或不必要的裝飾性信息（誘人的細節、與文字有關的動畫等）。[6]87當冗余效應產生時，設計師應盡量減少信息源，適度利用AR視覺與聽覺雙通道混合呈現。

（二）眼動追蹤技術

眼動追蹤技術是一項重要的心理測量技術，在教育領域，眼動數據的測量可以反映學習者的認知過程、閱讀理解機制和視覺加工過程，是學習狀態的第一手資料。[7]影響認知負荷的三項眼動指標分別為注視時間（Fixation Time）、注視點個數（Fixation Count）與瞳孔直徑（Pupillometry）。眼動指標與認知負荷的關系如表1所示。

AR設計師應參考認知負荷與眼動追蹤理論下的用戶感官質量與行為模式研究，遵循適度顯示的原則，考慮使用終端的屏幕空間顯示因素，合理控制AR可視內容的呈現數量，為受眾提供舒適、高效的學習體驗。

結語

美術類書籍AR內容設計的關鍵在于素材數據的采集、處理、展示與利用，難點在于素材數據的獲取、處理與重建。素材視覺化的虛擬展示是美術遺產有效保護的途徑，也是傳承古代工藝、審美、知識與信仰的全新渠道。在適度原則的前提下開展美術類書籍AR應用探索，為讀者打開認識中國藝術與文化的窗口。

參考文獻

[1]康麗娟.增強現實在文化遺址展示中的運用研究[J]裝飾，2018（3）：97-99.

[2]黃俊，楊曉飛.博物館數字化科普平臺建設[J].文物保護與考古科學，2014（4）：117-121.

[3]姚婭，宋國定.三維重建技術在考古中的應用與探討[J].文物保護與考古科學，2017（10）：96.

[4] 張燕翔，張偉偉.增強現實出版物的敘事設計研究[J].科技與出版，2018（6）.

[5]Sweller J. Cognitive load during problem solving： Effects on learning[J]. Cognitive Science， 1988（2）：257-285.

[6]陳歐昊，杰夫·伍爾科特，約翰·斯維勒.基于認知負荷理論設計慕課[J].張恩銘，盛群力，譯.數字教育，2019（8）.

[7]薛耀鋒，李卓瑋.基于眼動追蹤技術的在線學習認知負荷量化模型研究[J].現代教育技術，2019（7）：59-65.

孫曉燕

河南工業大學