語音交互技術在傳統藝術文創產品設計中的應用
——以《清明上河圖》AVG游戲設計為例

王妍，范瑀堯

哈爾濱工業大學建筑學院互動媒體設計與裝備服務創新文化和旅游部重點實驗室，哈爾濱 150001

習近平總書記指出，中國傳統思想文化“體現著中華民族世世代代在生產生活中形成和傳承的世界觀、人生觀、價值觀、審美觀等，其中最核心的內容已經成為中華民族最基本的文化基因。這些最基本的文化基因，是中華民族和中國人民在修齊治平、尊時守位、知常達變、開物成務、建功立業過程中逐漸形成的有別于其他民族的獨特標識”[1]。因此，從傳統藝術中汲取優秀的文化基因，對傳統藝術經典進行數字化開發和設計，將實體媒介載體中的傳統經典藝術轉化為數字文化創意產品，使文化精神與功能產品有機結合，為中國傳統藝術注入新的活力，有助于傳承、傳播傳統文化精粹，提升民族文化自信。例如，2010 年上海世博會所展示的多媒體版《清明上河圖》，作為古典名畫與數字技術相融合的杰出范例，開創了《清明上河圖》數字化創新設計的先河，在世界上產生了重要影響，也大大提升了國人的民族自豪感。2018 年5 月，由鳳凰衛視和故宮博物院聯袂打造的《清明上河圖3.0》高科技互動藝術展演，以高科技4D 球幕體驗、360 度環繞的全息立體空間還原長卷風貌，多維度、最大化地營造了觀展的沉浸感和互動性。高科技的設備加上全手工描線勾勒保證了每一個人物及動作的神韻不被丟失，最大限度還原了畫作的質感與美感[2]。中國傳統藝術向文創產業的邁進，既順應了科技迅速發展的大趨勢，同時也是對文化自信、建設社會主義文化強國的堅定支持。因此，通過電子游戲等文化、藝術與數字技術高度融合的數字藝術形式，運用自然化、智能化交互技術等高科技手段，對傳統文化藝術進行開發式保護、傳承和傳播，有利于傳承中國傳統文化的優越性，提升民族自豪感，增強文化自信心。

一、語音交互技術在傳統藝術文創產品開發中的價值

語音交互技術作為21世紀的主要技術之一，可以讓用戶以一種直接、便捷的方式與設備進行交互，擁有輸入更為高效、表達更加自然、感官占用更少、信息容量更大的優點。以語音為主、其他AI技術為輔的語音交互已經成為了現下最受歡迎的交互方式之一[3]。語音技術的出現使得當代的產品設計發生了極大的改變，目前，市場上利用語音交互技術開發的產品數不勝數。例如Siri作為蘋果公司在iPad、iPhone等移動設備上使用的語音助手，可通過語音交互的形式實現為用戶讀取短信、導航路線、查詢天氣、設置鬧鐘等功能[4]。語音交互技術在游戲領域中的運用也已初露頭角。例如，由Outfit7 公司研發的手機寵物類應用游戲《會說話的湯姆貓》可稱為語音交互游戲的經典之作，用戶可與虛擬寵物“湯姆貓”進行互動，將其復述的話語上傳至網絡平臺[5]。國內近期推出的騰訊黑鯊游戲手機帶來了業界首創的語音操控功能，玩家可通過語音來控制指定的游戲事件，從而獲得多維度的游戲操控體驗。《王者榮耀》近年來也加入了語音交互功能，玩家可直接通過語音發出指令或呼叫隊友，從而先人一步、贏得游戲[6]。但是目前來看，語音交互技術在中國傳統藝術的數字文創產品設計中的運用尚少，因此探索運用語音交互技術，以經典的傳統藝術作品為內容基礎進行文創產品的創新設計，不僅可以豐富文創產品的形式，創造商業價值，而且能夠促進中國傳統藝術的保護與傳承，弘揚博大精深的華夏文明[7]。

二、語音交互技術在傳統藝術文創產品設計中的應用

以《清明上河圖》AVG游戲設計為例，從游戲創意思路、美術設計、語音交互技術實現、用戶體驗4 個方面進行具體論證，從而驗證語音交互在傳統藝術文創產品設計中的可行性。

（一）基于語音交互技術的《清明上河圖》AVG游戲創意思路

1.游戲的內容創意——以《清明上河圖》為游戲架構

首先是基于《清明上河圖》宏大生動的畫作建構游戲故事題材背景。《清明上河圖》融入了散點透視的構圖方式和兼工代寫的筆法，用色也十分淡雅。畫面長而不冗，一氣呵成，將汴梁城市東南角繁華熱鬧的景象描繪得栩栩如生。無論是寧靜曠遠的田園風光，還是繁華熱鬧的汴河兩岸，抑或車水馬龍的城中集市，均生動真實地再現了近千年前北宋都城汴梁的一派繁華景象，完美地再現了北宋年間的太平盛世[8]。縱觀全畫，遠郊、舟橋、集市及各色人物徐徐展開，共有810余人、90 余頭牲畜、28 艘船、20 輛車、8 頂轎子以及房屋130余棟[9]。畫卷上對人物細節的刻畫入木三分，貼近群眾的市井生活，既還原了真實的歷史情景，也在很大程度上展示了當時汴梁百姓不同的生活層次與社會地位，生動而詳實地描寫了汴梁城內外的清明盛世，從不同角度反映了北宋政治與經濟的發展狀況。宏大生動的畫面適宜聯想、生發出合理的游戲故事情節、敘事邏輯和游戲交互場景。

然后是基于《清明上河圖》古樸精美的畫風設計游戲界面視覺效果。《清明上河圖》畫卷長528 cm，高24.8 cm，具有強烈的視覺沖擊與中國古典藝術美的韻味。作為舉世聞名的古畫和中華文明的象征，其藝術造詣已達到了爐火純青的境界。畫中線條簡約、刻畫準確、表現生動，為后世留下了一座巨大的藝術寶庫[10]。將《清明上河圖》的藝術風格運用在游戲美術設計中，在潛移默化中傳遞中國傳統文化藝術的審美影響力。

2.游戲類別的選擇——以AVG游戲為機制

之所以選擇AVG 游戲類別，是因為AVG 作為冒險類游戲，玩家通過控制游戲中的虛擬角色進行游戲任務的推動，并一步步地產生一個交互性的故事，解開游戲的謎題，是一類交互性強、吸引力強、開放性強的游戲。其最大的特色在于，以探險、收藏、解謎為游戲玩家的任務，故事情節設置環環相扣、妙趣橫生，玩家通過探索自我決定游戲進程[11]。AVG游戲平臺兼容性強，無論是在電腦端還是在手機端，均能找到大量與平臺相匹配的游戲，并且AVG游戲對客戶感知性與用戶參與度均有較高的要求[12]。目前，我國的AVG游戲以文字游戲居多，如《隱形守護者》，其傳播渠道兼具融合特色，打造了以游戲平臺和視頻網站交錯脈絡、多元渠道合力引流的傳播矩陣，引領多領域多平臺進行資源碰撞，在擴大受眾范圍的同時形成聯動效應，極大地提高了傳統文化藝術的傳播影響力[13]。又如《繪真·妙筆千山》，作為中國風解謎游戲，制作團隊通過自研的NeoX引擎和特定的游戲技術開發平臺，結合手繪、3D建模與獨特的渲染技術，使游戲中的水紋、山石、云海靈動，以游戲的形式給古老的繪畫作品注入新的內涵，使傳統藝術煥發活力與生機。因此，基于語音交互技術的、以《清明上河圖》原畫為基礎的AVG 游戲設計，是對中國傳統文化藝術的數字文創設計的有益探索。

3.游戲交互的關鍵技術——語音交互技術

語音是人與人溝通交流的最直接、最自然的方式。《清明上河圖》AVG 游戲以語音交互的形式為主，輔以收集物品、小游戲的功能，構成邏輯清晰的游戲框架。

語音交互作為《清明上河圖》AVG 游戲的最大特色，在游戲中占比最大，將語音交互的獨特之處運用到游戲機制設計中可大幅度提升游戲的可玩性。游戲中，玩家通過與指定NPC進行“交談”可從NPC口中獲取前往下一關的線索。此外，個別關卡涉及支線劇情，需要玩家根據給定的提示說出自己的選擇；系統通過對玩家說出的短句進行識別從而開啟不同的劇情走向。在一些關卡加入物品的收集機制，玩家通過在場景中尋找關鍵物品來開啟下一段劇情，該功能一定程度上可增加游戲的難度，提升游戲的可玩性。此外，游戲的個別關卡會加入以語音交互為基礎的小游戲，例如破解密碼鎖、許愿放孔明燈等，能夠對游戲整體起到錦上添花的作用，進一步提升游戲的趣味性。

（二）基于語音交互技術的《清明上河圖》AVG游戲設計與實現

1.游戲結構與游戲框架設計

首先是游戲劇情與敘事結構。以《清明上河圖》場景展開為敘事結構，按照地點展開，以“郊外—汴河—街市”作為劇情的主線（見圖1），通過主人公的視角游歷汴梁風光。劇情撰寫貫徹著高度貼近原畫作的原則，玩家在體驗的過程中也有強烈的代入感。而支線劇情的加入可增加游戲難度，保證游戲的可玩性與趣味性。游戲結構見圖2。

圖1 劇情主線場景設計——“郊外”、“汴河”、“街市”

圖2 《清明上河圖》AVG游戲結構

圖3 《清明上河圖》AVG游戲的UI框架基礎

圖4 場景——珠寶商鋪

圖5 場景——農舍內景

圖6 場景——放孔明燈

故事情節的設計大量借鑒了張擇端原畫作中的場面與內容，增強了游戲的沉浸感與代入感。劇情的設定大致如下。學生（玩家扮演）偶然間因一場夢境回到了北宋年間，歷經艱難險阻后終于得知了古畫背后的秘密。后來他潛心于對北宋歷史文化的研究，在故事的結局成為了研究《清明上河圖》的著名學者。劇情所表達的中心思想即為隱藏在古畫之中的秘密——不僅展現北宋時期整體的社會風貌，而且暗示了事物并非一成不變的客觀規律；但歷史興衰更替的過程總會留下其存在的痕跡，正如《清明上河圖》一樣，在歲月的洗禮中萬古長青。

然后進行UI框架設計。《清明上河圖》AVG游戲的UI框架，不但可以將“打開”、“關閉”、“頁面跳轉”等管理問題集中化，還可以將功能邏輯分散化。MVC框架作為實現UI框架的基礎，能夠將游戲各個部分的業務邏輯集中到一個部件里面，使得玩家在進行交互時，系統內部不需要重新編寫業務邏輯。游戲框架中各部分功能見圖3。

2.游戲界面風格設計

1）視覺風格設計。《清明上河圖》AVG游戲美術設計以張擇端《清明上河圖》為藍本，參考了張擇端所使用的繪畫技巧，采用傳統工筆畫與卡通簡筆畫相融合的風格，在符合當下大眾審美的同時又能夠保證濃厚的中國風，為玩家帶來良好的視聽體驗。游戲畫面整體色彩偏向于中國古代紙張的顏色，為畫面整體營造了久遠的年代感，符合游戲劇情發生于北宋年間這一總體設定。個別場景的色彩參考了中國工筆畫的特點，重寫實，用色較為明艷張揚；黑夜場景的顏色整體偏暗，但卻使得整個游戲的色彩變化和視覺層次更加豐富，見圖4—6。游戲道具的選擇遵循與歷史年代背景相契合的原則。玩家在游戲中收集使用的物品多為北宋年間常見的物件，例如銅錢、木制風車、玉佩等，將玩家帶入北宋時期較真實的市井生活，可增強游戲的沉浸感與真實性。素材設計添加宣紙紋理的質感，可增強游戲畫面風格的年代感。

2）界面要素設計。符合古人閱讀習慣。游戲界面設計使用北宋時期瘦金體的字體，融入了卷軸、宣紙、印章等中國風元素，很大程度上增強了玩家的沉浸感，見圖7—10。游戲主界面美術設計運用了水墨畫暈染的效果，通向二級界面的按鈕均以紅色印章的形式展現，見圖11。“開始游戲”二級界面見圖12，按鈕以卷軸的形式展現，極具濃厚的中國風格。此外，語音按鈕設計采用了古代印章的外觀，融合了便于大眾理解的麥克風標識，達到傳統與現代的高度結合，見圖13—14。

圖7 木制風車

圖8 玉佩

圖9 孔明燈

圖10 銅錢

圖11 游戲主界面

圖12 “開始游戲”二級界面

圖13 物品收集界面布局

3）音樂風格選擇。采用與故事背景相吻合的中國風音樂能夠增加玩家在游戲中的沉浸感。隨著劇情的發展，音樂的節奏逐漸加快，而在語音識別關卡會停止音樂的播放。背景音樂的加入豐富了游戲的聽覺層次，為玩家帶來身臨其境之感。

3.語音識別與游戲交互設計

《清明上河圖》AVG游戲最大的創新點就在于，玩家可采用語音的形式實時與角色進行互動，并完成解開密碼、判斷劇情走向等功能。

3.1 語音識別技術的實現

百度語音包中海量的數據信息使得百度語音能夠對語音進行精準識別。調用百度語音只需要在百度語音官方平臺創建一個語音識別API，得到該API 的APP ID、API Key和Secret Key，并在Unity2D中新建一個交互類，將以上數據定義為字符串。

圖14 語音交互關卡界面

語音識別主要通過將語音數據存取在數組中來實現。首先需要檢測設備的麥克風是否處于錄音狀態，在Start()函數中獲取token 后檢測電腦上第一個錄音設備的名稱，檢測成功后即可開始錄制。當錄制結束后再次向http 獲取post 請求，進而成功獲取到服務器返回的json數據并解析。通過將audioclip中的錄音數據存儲到數組中，將數組中每一個變量與數據庫中的數據進行比對，從而識別出最終結果。語音識別的流程見圖15。

該游戲中，玩家可與角色對話，通過詢問相關問題獲取下一關的信息。利用if-else條件判斷語句將上一個步驟中識別到的數據與給定字符串相對比，根據判斷結果接收玩家不同的回答。玩家與角色進行對話的邏輯框架見圖16。此外，依照上述語音識別的原理，玩家在游戲中還可通過語音完成其他的交互形式，例如解密碼鎖、破解推理游戲、許愿放飛孔明燈等。多樣的交互形式也可增加游戲的可玩性與趣味性。

3.2 基于GUI技術的交互設計

圖15 語音識別的步驟

圖16 語音判斷劇情走向示例——關卡“與牧羊女對話”

圖17 游戲關卡——破解密碼

GUI 作為圖形接口，允許用戶使用鼠標等輸入設備操作界面上的不同選項，以選擇即將執行的任務。GUI 技術在該游戲中應用廣泛，過場動畫的播放就依賴于Canvas下的Raw Image組件。在Add Component中為圖片添加Video Player 組件，將mp4 文件賦給Video Clip，即可將視頻渲染至Raw Image 中，實現視頻的播放功能。視頻播放結束后自動跳轉至其他場景，只需對當前的視頻播放狀態進行判斷。

GUI技術同樣可以實現物品的背包系統與拖拽功能。首先要為被拖拽到的物體添加碰撞盒，并對拖拽物體到碰撞盒之間的距離進行判斷。若物體被拖拽到碰撞盒區間內，則物品拖拽結束，調用LoadScene()函數實現場景之間的切換。

圖18 游戲關卡——拼圖

在實現了上述語音識別功能及物品的拖拽功能后，《清明上河圖》AVG游戲的所有功能就完成了。從語音識別的準確度來看，無論是書面語還是口語化的表達都能獲得準確的識別結果。從游戲語音交互關卡的實現效果來看，玩家可以輕松地與角色進行對話，實現對不同支線劇情的解鎖。游戲關卡見圖17—18。

三、語音交互游戲的用戶體驗分析

（一）焦點小組訪談

針對《清明上河圖》AVG游戲的用戶體驗分析，采用焦點小組訪談法，隨機選取10名在校大學生并對其進行訪談，從而保證數據的全面性與分析結果的客觀性。

圖19 小組成員對《清明上河圖》的了解程度

圖20 小組成員平均每周玩游戲的時間

圖21 小組成員對AVG游戲的了解程度

圖22 小組成員對《清明上河圖》AVG游戲的體驗評估

訪談開始時，主持人對10位小組成員的背景進行調研，每一位成員依次匯報自己對《清明上河圖》的了解程度、平均每周玩游戲的時長以及對AVG游戲的涉獵深度。從小組成員對《清明上河圖》的了解程度來看，其中7 人在之前對《清明上河圖》的了解程度都在“不太了解”到“非常不了解”之間，而只有1人對《清明上河圖》了解較多。從小組成員對游戲的了解程度來看，有4人為資深游戲玩家，其平均每周在游戲上花的時間超過了8 h，其中1人甚至每周玩游戲的時間高達40 h 以上；而其余6 人每周玩游戲時間在1 h 以下，對AVG游戲了解甚少。調查結果見圖19—21。

10位成員在體驗過該游戲后，分別對游戲劇情與《清明上河圖》相關聯程度、畫面風格美觀程度、界面布局合理程度、語音識別清晰程度、游戲可玩性程度、體驗游戲前后對《清明上河圖》認識的深入程度進行了評定。評定結果見圖22。

（二）分析與結論

小組成員體驗游戲后，所有人均認為，語音交互相較于傳統操作方式更加新穎獨特，亮點突出，交互性更好；且語音識別的準確度較高，操作簡便。其中7人認為語音交互的形式相較傳統操作更為便捷、智能，對游戲整體的體驗有很大的提升作用。與NPC 實時對話更是游戲中的一大特色，通過交互操作破解劇情的方式保證了游戲的可玩性。

此外，小組成員認為游戲劇情與張擇端的《清明上河圖》聯系緊密，融入了大量畫中的情節，玩家可從劇情中直觀地感受到北宋年間汴梁百姓的生活狀況。所有人均認為畫面設計精美，傳統古樸的畫風能夠使體驗者仿佛置身畫中，賞心悅目；無論是游戲的場景設計還是素材設計，都與張擇端原作高度吻合，較好地反映出《清明上河圖》中不同階層人群的特征及生活方式。該游戲使之前對《清明上河圖》了解甚少的成員對北宋時期的市井生活與《清明上河圖》背后的歷史藝術價值有了宏觀的認識；而對于之前對《清明上河圖》了解較多的成員來說，該游戲使他們以一種生動有趣的形式重新認識了這幅流傳近千年的古畫。

在體驗后大家也總結了存在問題與優化措施。小組成員中的4人認為語音交互的單一性使得游戲交互形式的多樣化受到了限制，且語音交互的部分過多，游戲形式稍有單調，玩家的耐心會隨時間降低。因此可在游戲關卡中設置語音交互的不同難度等級并添加其他交互形式，以提升游戲的趣味性。此外個別成員認為，大量改編劇情會削弱游戲反映的歷史真實性，因此需進一步挖掘北宋時期的社會風俗并推敲劇情。場景的頻繁切換使得音樂的連貫性有待加強，可通過更改音樂的播放模式實現音樂流暢播放。

四、結語

本文以基于語音交互技術的《清明上河圖》AVG游戲設計為例，以古畫《清明上河圖》為基礎進行數字文創產品設計，建構游戲劇情并設計游戲畫面風格，再通過將語音數據存儲在數組中并調取百度語音包的數據庫進行識別，結合GUI 技術的事件響應監聽完成了運用語音交互技術的《清明上河圖》AVG 游戲開發實驗。《清明上河圖》AVG游戲作為一款語音交互游戲的DEMO，將語音交互技術運用到傳統藝術文創產品的制作中，拓寬了傳統藝術文創產品的設計思路，提升了文創產業的發展潛力。用戶體驗研究表明，《清明上河圖》AVG游戲提升了《清明上河圖》原畫的認知度和審美影響力。隨著人工智能的不斷發展，語音交互技術將會更加成熟、人性化，其在文創產業內的應用領域勢必更加廣泛。相信在不久的將來，語音交互技術必定會在傳統藝術的數字文創產品設計領域大放異彩。