移動端AR多媒體作品的交互設計語匯研究

張雯 付琳 周睿

關鍵詞：增強現實技術 交互設計 移動端AR多媒體作品 用戶體驗 虛擬影像

引言

從多媒體藝術設計這一行業誕生至今的40年里，多媒體藝術設計隨著媒體時代的發展經歷了四次的革新浪潮，從最早的線下以光盤為載體的時代，到第一次互聯網風暴，多媒體藝術與網絡結合的線上表現形式，再到移動互聯網時代的到來，多媒體藝術與移動媒介的結合，到如今人工智能時代的到來，多媒體藝術與各類終端、傳感器、交互技術的結合。但無論多媒體作品的承載終端如何變化，發布形式是什么，表現方法是什么，多媒體藝術設計的核心始終是交互設計，即為了傳遞信息創建和表達的交互式應用體系。當前AR技術的廣泛商業應用，促使多媒體交互設計語匯發展改變，呈現了更真實的交互表現。尤其是與移動端結合，物理世界與信息世界聯系得更加緊密，這將是下一代智能交互與顯示平臺的主流方式。

一、從技術驅動的媒介交互體驗嬗變

用戶通過與多媒體交互系統之間的互動引發作品發生變化，從而感受變化帶來的體驗。用戶與作品之間的關鍵或根本都是交互行為的設計，即用戶使用什么樣的動作觸發熱區產生變化，而行為帶來的體驗是能引起使用者愉悅和滿意的。這個過程可以分解為使用者發生行為，行為之后觸發變化，變化之后產生的心理感受，這三部分是多媒體交互設計的全過程。隨著人工智能技術的發展，各種交互技術如虛擬現實技術、增強現實技術、體感捕捉技術、語音識別技術、圖像識別技術等融入，使多媒體交互行為回歸本真，交互方式趨于空間化，交互體驗更加真實、新奇和豐富，實現了綜合感官的體驗感受。

增強現實技術在移動端設備上的應用就叫移動增強現實技術。隨著移動設備的計算處理能力、高性能攝像頭、GPS、網絡通信、陀螺儀、傳感器等技術的提升，很好地實現了移動端虛擬影像呈現、實時定位、即時交互、信息傳輸等功能，為增強現實在移動端的應用提供了技術支持。當前增強現實應用主要是視覺增強現實，核心在于虛擬信息和真實世界在物理空間中的匹配以及可視化。以智能手機為代表的移動端設備，是視覺增強現實技術天然的開發載體，這是移動端得天獨厚的硬件優勢。移動端AR多媒體作品，將數字端的虛擬的景象與真實的環境進行疊加，增強用戶與數字虛擬對象的真實交互感受，極大豐富了多媒體作品的交互表現，提升作品的交互體驗感，是目前多媒體交互設計的重要技術應用。

二、移動端AR多媒體作品的交互特點

（一）以內容為先，交互表現要適合作品內容

上個世紀90年代比爾蓋茨提出“內容為王”，優質的內容是吸引用戶最本質的要素。一部優秀的多媒體作品首先要有完整的內容，內容是文化，是靈感的來源，“形式追隨內容”。交互設計是多媒體藝術的核心特點，但交互表現不能脫離作品內容，一定是從作品內容出發，設計適合內容的交互形式，這樣才能更好地傳遞作品信息。例如移動端交互游戲最常用形式是“找不同”“拼圖”“比大小”“接東西”等，一部介紹動植物的面向兒童的科普類多媒體作品，應用“拼圖”游戲來熟悉和體驗作品內容是較為合適的。但不是任何主題、不同受眾人群都適合這樣的交互形式，如若是一部面向書畫愛好者的介紹中國畫藝術的多媒體作品，以上的交互形式就不適合了。

增強現實技術也是一樣，要以更有效地傳遞信息，提升交互效果為目的，而不是為了應用而應用。增強現實技術是將虛擬景象與真實場景疊加融合而增強交互體驗的真實感，其過程充滿了自然的肢體交互行為、即時性的交互過程和沉浸式的體驗感，因此增強現實技術適合空間體驗感強、行為交互多和感官體驗強烈的作品。例如我院多媒體藝術設計專業師生自主研發的移動端交互作品《怪哉》，這是一部介紹中國志怪文化的作品，以唐代志怪小說《酉陽雜俎》為內容依托，以解密式游戲推動故事情節的展開。作品在實體空間設置道具，通過增強現實交互方式解密每一個環節，使情節和交互方式完美結合，讓用戶沉浸在志怪文化的氛圍中，體驗了光怪陸離的鬼怪世界（如圖1）。

（二）增強現實技術提升多媒體作品的交互體驗

增強現實技術給用戶帶來了打破時間、空間的限制，創建了虛擬與真實結合的立體空間，增強了虛擬對象的真實性，讓用戶在這個空間中隨時隨地的與虛擬對象進行即時互動，以最自然的交互方式與之互動，以最便捷的方式獲取信息的設計體驗。

1. 打破界屏幕的顯示方式

增強現實技術利用攝像頭、傳感器、實時計算和匹配技術，將虛擬的景象出現在一個真實的環境中，使用戶在物理世界里與虛擬對象進行互動，打破了數字信息在屏幕內的顯示方式，打破了時間、空間的限制。雖然這個“立體空間”不是完全真實的物理空間，是透過數字端顯示屏幕看到的真實空間，增強現實技術是將虛擬對象與數字端設備開啟的攝像頭所顯示的物理空間進行位置匹配，但就是因為這個實時顯示的“真實空間”，增強了虛擬對象在真實空間的感覺，使觀者產生感覺聯想，在心理上產生如同真實空間的交互體驗感。這是視覺增強現實類產品最基本和突出的特點，如圖2所示，用戶通過IKEA Now App選擇一款家具，打開手機攝像頭取景家庭環境的某個區域，被選好的家具就會放置在家里的真實環境中。

2. 回歸自然的交互行為

人工智能時代的交互特點是回歸本真、自然的交互方式，肢體的、語音的、視覺的甚至嗅覺的。增強現實技術打破屏幕的顯示狀態，已經將交互行為引向了空間，肢體行為是其主要的交互方式。用戶以肢體方式與虛擬對象在“立體空間”進行即時互動，增強了身臨其境的交互體驗感。例如目前已經很成熟的AR繪本、AR卡片、AR玩具、博物館AR展品、AR拍照等，產品形式是通過圖像識別將虛擬對象在立體空間顯示，用戶在三維空間中與之進行肢體交互（如圖3）。

3. 沉浸心流的交互感受

增強現實技術是一種全新的人機交互技術，其增強現實的交互體驗感是其立命之本，虛擬影像與真實空間的結合都是為了給用戶帶來更加真實的交互體驗感。增強現實空間中的交互方式和交互反饋的自然化表現，使用戶高沉浸性的感受其中，多種感官感知功能被綜合調動，實現了用戶交互意圖與多通道感官體驗的結合。例如作品《怪哉》中，AR在真實空間中將觸發后的反饋與環境、音效結合起來，使用戶沉浸在虛擬與真實帶來的緊張和刺激中（如圖4）。5C8F148E-E448-4D93-B607-8796433F5E33

4. 實體端與軟端的融合

從技術上來說基于識別技術的增強現實，識別虛擬影像第一步要有能觸發增強現實影像顯示的機制即圖形識別，通過掃描圖案、二維碼等來調出虛擬影像。這個觸發為設計增添了一個實體端設計，一般作者會根據作品主題，設計圖像信息或者三維實物。而實體端設計不僅成為了軟端的觸發點，反過來又為作品增加了實體交互過程或者新的交互環節。作品《怪哉》中將真實道具作為軟端增強現實的識別端，而這些真實道具，使作品具有實物交互過程，通過鑰匙打開寶盒，找到三枚錢幣等這樣的過程，增加了作品的沉浸體驗感，使用戶在志怪文化的氛圍中不斷饒有興趣的尋找答案（如圖5）。

三、多媒體AR交互語匯重構

AR技術的三大特點是三維注冊（跟蹤注冊技術）、虛擬現實融合顯示、人機交互。其工作原理概括來說就是通過攝像頭和傳感器采集數據，將虛擬景象與真實場景中的相對位置進行匹配，用戶再通過AR設備進行人機交互，實現增強現實的交互操作。其中AR技術的核心是三維注冊，要實現虛擬信息和真實場景的無縫疊加，就要將虛擬信息與真實環境在三維空間位置進行匹配，這包括虛擬對象在真實空間的位置定位和使用者在物理空間中的位置跟蹤。跟蹤注冊技術首先通過檢測需要“增強”對象的輪廓和物體特征點，自動生成二維或三維坐標信息，同時通過圖像采集模塊采集真實環境的數據，將虛擬對象坐標系與真實場景數據進行坐標系對齊，并進行虛擬場景與現實場景的融合計算。

由于以上技術特點，增強現實技術最大的交互表現就是虛擬現實融合顯示特點，而空間化的顯示狀態也使交互行為趨于自然，信息顯示的立體可視化。當前視覺增強現實技術已經很成熟，而隨著各種傳感器和交互技術的發展，增強現實技術在視覺顯示上會追求更高的準確性和自然化，并且語音、肢體、眼動甚至腦動等交互行為也會加入其中，交互反饋和信息呈現將更加自然、真實和即時，增強現實技術將全方位調動用戶感官、多通道融合性的體驗和感受AR交互。

四、以AR交互語匯為核心的移動端多媒體設計實踐

（一）作品選題介紹

《小小折紙家》是我院師生自主開發的一部面向兒童的，介紹折紙藝術的移動端AR作品。折紙是一項傳承已久的民間藝術，也是一款適合兒童動手的手工游戲。偉大的教育家蘇霍姆林斯基說“兒童的智慧在手上”，折紙正式通過手的動作來開發孩子的智力。這個過程不光鍛煉了動手能力，還發揮了孩子豐富的想象力，是一項很好的鍛煉和開發兒童大腦的寓教于樂的手工技藝。

《小小折紙家》作品界面以Low Poly的復古未來派風格設計，交互設計上的最大特點是增強現實技術的應用。折紙藝術實操性極高，尤其一些造型復雜的折紙，傳統的圖文介紹方式要想將這個過程展示清楚是比較困難的，因此作品首先借助數字媒體的圖、文、聲、像的多媒體方式，動態的展示方式能比較清楚的展現折紙的過程。在此基礎上借助增強現實技術，“增強”數字端折紙影像顯示的真實性，在真實空間中立體的顯示折紙視頻和三維造型的動物，讓用戶更加清晰、直觀、身臨其境地觀看到折紙的每一個步奏，如同在眼前發生的一樣。同時還將移動端應用和實體端繪本結合，實體端繪本是軟端增強現實的識別端，也是一本相冊，還能將實物折紙通過攝像頭抓取識別于軟端“回憶錄”中保存，完美地將虛擬數字端與實體繪本結合。

（二）作品受眾介紹

作品以6-9歲兒童為受眾對象。通過問卷調查法和訪談法定量和定性的分析兒童的心理特點和對增強現實產品的期望。本課題共發放30份問卷和訪談了15名兒童，得出以下結論。

（1）這個年齡的兒童處于語言表達、行為能力的黃金發展期，在心理上開始具有極強的自我意識，期望能獨立完成和自己做主，甚至是非常期望能不受家長的制約，去獨自面對世界，這也是他們好奇心和探索心理的表現。

（2）這個年齡的兒童已經具有一定的閱讀能力和表達意識，希望自我探索和自主參與，他們可以理解和操作作品內容，并且一定的難度設置對他們來說更具吸引力，新技術的交互體驗也會讓孩子們更興奮。

（3）兒童期望數字技術可以帶來神秘而新奇的交互體驗，增強現實的虛擬形象的“真實化”顯示是兒童期望的方式。

（4）對于數字化虛擬的形象，兒童期望能與之進行互動，這會讓兒童更加驚奇和喜愛。

（三）作品軟端交互流程

創作數字端應用系統的第一步是規劃信息構架，信息框架是對作品內容的順理和歸納，是作品交互流程的依據。作品選擇動物為折紙對象，分為“動物園”“我的動物園”和“回憶錄”三部分。“動物園”板塊里又分為7個動物場館，按類型將動物分布在各類場館內，點擊動物即可跳出兩個選項，一為基本的圖文展示其折紙過程，二是每個動物對應的增強現實折紙視頻教程。孩子跟隨教學完成折紙之后，方可解鎖下一個折紙內容。而折好的折紙可以進行拍照拾取保存到“回憶錄”板塊中，同時也會出現在“我的動物園”中，如圖6。

（四）作品軟端界面設計

作品界面是Low Poly的復古未來派風格，這種風格很適合表達折紙藝術，色彩鮮亮，符合兒童審美心理。作品設計了場景式界面，虛擬了一個動物園場景，將動物按類型分布在園區中（如圖7-8）。園區場景和每個動物都以三維軟件創建（如圖9），立體的Low Poly形象給人以唯美、逼真的效果。三維動物可以在這個虛擬立體空間中漫游，這種動態變化的視覺效果很容易吸引兒童的注意力，并且三維模型的創建是增強現實交互設計實現的基礎。

（五）AR交互的實體端設計

實體端繪本的設計不僅是AR交互的觸發端，也很好地發揮了實體端本身的作用提升作品的交互體驗感。首先以實體端繪本書作為移動端增強現實的識別端，通過掃描實體端繪本中的動物形象，觸發動物的增強現實顯示;第二，實體端繪本的真實互動感是數字端不可比擬的優勢，兒童親手翻閱書本的過程是最自然的閱讀狀態，兒童折好折紙之后，把這些動物折紙保存在這本繪本中，如同相冊一樣是一種永久的真實的記憶;最后還能將折紙通過攝像頭抓取識別于軟端“回憶錄”中保存，很好地將虛擬數字端與實體繪本結合，取長補短，良好的交互體驗性也增強了作品趣味性（如圖10）。5C8F148E-E448-4D93-B607-8796433F5E33

（六）作品增強現實交互效果設計

進入作品二級界面動物園區中，點擊動物形象，跳出選擇“視頻教學”按鈕，此時會出現一個掃描界面，兒童在繪本上找到相應的動物，鏡頭對準其掃描會自動識別出相應的動物模型，在真實空間中可以看到一個增強現實的三維動物模型，隨著手指點擊方向左右行走，兩指擴展即隨之放大縮?。ㄈ鐖D11）。再點擊此動物即可進入增強現實折紙視頻（如圖12），兒童可以看到折紙的每一個步驟，向左滑動查看下一步，向右滑動是向前翻看一步。

增強現實技術的應用是本作品最大的交互特點，它充分抓住了兒童注意力，吸引兒童好奇心和探索心理，使作品具有極強的視覺直觀性和交互體驗感。

（七）作品增強現實交互技術實現

作品中增強現實技術的應用有三個層次，第一，三維動物形象在真實空間中的立體呈現。第二，折紙視頻過程在真實空間中的立體呈現。第三，兒童跟隨視頻完成的折紙作品，通過軟端識別又可保存于軟端系統中。

從技術上來說，識別虛擬影像第一步要有能觸發增強現實影像顯示的機制即圖形識別。作品借用了實體端繪本中的動物形象，以這些圖像作為識別通道，掃描圖形而觸發虛擬影像，通過屏幕可以看到在真實空間出現的虛擬三維動物。并可以與這些虛擬形象進行放大、縮小以及轉變行走方向的交互變化。折紙視頻的觸發是通過點擊設置好的“視頻教學”按鈕，將折紙過程按照步驟錄制成一段段有透明通道的視頻，實現增強現實視頻顯示，再通過點擊下一步來觀看完整視頻。最后軟端的反拾取就是打開攝像頭進行圖像拍攝，再合成到數字端場景中。

落實到軟件上來說，作品中場景和動物造型的三維模型是通過三維軟件C4D創建，增強現實技術是通過軟件Unity實現。三維模型在導入Unity軟件時通常會出現“穿層”問題，這需要在三維建模軟件中設定模型層級，并且修改其軸心問題，導成FBX格式再導入Unity中。而制作會走動的動物的時，為了減少“穿層”問題，我們更多會應用3D MAX軟件來制作，應用骨骼插件“CAT”，這個插件里有很多現有的動物骨骼預設，將動作與動物模型進行綁定，通過調整盤骨將動物模型與骨骼對齊。折紙步驟視頻是通過視頻拍攝和視頻剪輯軟件進行編輯。當增強現實的模型和步驟視頻制作完成，接下來就要實現增強現實交互設計了。在制作之前需要在Unity里下載一個插件“Vuforia”，這個插件是專門制作增強現實交互設計的。首先需要一個被識別物和一個識別出來的內容，這次的識別物是繪本上的動物圖片，所識別出來的內容是動物模型和折紙視頻。在Vuforia中創建AR Camera，在素材里面添加Vuforia Image，將識別的內容文件導入工程里面，再創建Emptp將動物模型文件和視頻文件拖入到Emptp的屬性里，即可完成增強現實制作。

（八）作品總結

作品《小小折紙家》是一部面對6-9歲兒童的移動端應用和實體端繪本相結合的AR交互作品。作品最大的設計特點是增強現實交互設計，通過“增強”的虛擬影像來提升作品的交互體驗感，并與實體端繪本完美結合，為受眾提供了極好的參與感和交互體驗。是一部內容完整，界面視覺良好，交互表現有深度的優秀的數字媒體作品。

結語

增強現實技術使真實環境和虛擬對象實時的疊加到同一個畫面或空間存在，兩種信息相互補充、疊加，打破空間、時間的限制，讓用戶隨時隨地獲取和查看信息，體驗虛擬與真實的融合。移動增強現實是增強現實技術熱門的應用方向，隨著智能手機用戶群的不斷擴大，移動增強現實產品市場也會越來越大。毫無疑問，增強現實技術將會是實現未來人工智能時代的重要技術基礎，而移動互聯網和增強現實技術的結合將為人類迎來一個線上線下無縫銜接的全新體驗。5C8F148E-E448-4D93-B607-8796433F5E33