基于音頻增強現實的博物館交互式引導模型*

蔡子麗

(武漢博物館，武漢 430021)

0 引 言

隨著信息技術的發展，越來越多的軍事訓練、教育、博物館等行業開始嘗試應用數字技術為用戶提供更優質的服務，其中，上下文感知音頻引導、虛擬現實(Virtual Reality，VR)、增強現實(Augmented Reality，AR)等交互式數字技術是目前用于提升用戶體驗的研究熱點[1-2]。音頻增強現實(Audio Augmented Reality，AAR)技術[3-4]作為增強現實技術的組成和延伸，通過給現場受訓和用戶人員耳邊合成出帶有距離、方位和高度感的音源，能明顯增強沉浸感，也能最大限度地減少用戶與環境交互所需的注意力，為用戶提供隱式信息服務[5-6]。目前，這一技術正受到越來越多的關注，已逐步應用于電話會議、遠程控制和視頻游戲等領域[7-8]，并開始推廣至實景訓練、路線引導類應用[9-11]。

在軍事訓練中，音頻增強現實技術的使用主要體現支持真實場景下單人專項訓練和多人協同訓練。如街頭巷戰訓練，音頻增強現實系統會根據某一受訓人員在復雜環境下猶豫不決、選擇狙擊位置能力弱的特征，在其四周不同巷子中分波次產生不同威脅等級的槍械聲音或其他聲響，促使受訓人員迅速判斷主要威脅，并通過聲音位置的引導，循聲前往正確的狙擊位置。完整的音頻增強現實技術必須包括三個方面：一是真實場景精確建模和人員實時定位；二是場景內人員特征描述；三是音源模擬和引導。以上三項內容對應了音頻增強現實交互式引導模型的三個組成部分，即場景模型、訪客模型和導航模型。博物館導覽場景具有明確的引導目標，同時具備參觀人數多、人物行為特征數據易采集、導覽模型驗模結果易比較的特點，便于開展音頻增強現實交互式導覽模型的建模和驗證。相關研究結果中物理環境建模方法可直接用于軍事訓練增強現實場景構建，基于語義的音頻引導模型能較好地適配基于科目目標的訓練引導任務，因此，博物館實驗背景下音頻增強現實交互式引導模型研究對虛擬軍事訓練系統具有一定的普適性。

國外已有的博物館音頻導覽系統主要利用射頻識別(Radio Frequency Identification，RFID)、紅外、攝像頭等多種手段檢測游客在博物館建筑內的位置，進而根據游客位置信息提供增強現實音頻服務[12-14]。該類應用系統在交互模式上比較單一，只能在固定位置播放預先設置的音頻內容，無法根據用戶的交互行為動態調整音頻引導內容，難以滿足大規模人群多樣化應用需求。針對此問題，本文提出一種可用于博物館導覽的音頻增強現實交互式引導模型，通過對場景、用戶、導航過程三方面的定義實現音頻信息的自適應推送，能夠結合用戶個人資料、行為特征、歷史參觀等信息匹配發現個人興趣偏好，進而利用音頻增強現實設備引導用戶在參觀博物館展覽時靠近其感興趣的展品，同時支持跟蹤用戶行為，動態調整興趣特征參數，達到提供個性化的音頻信息服務的目標。

1 博物館交互式引導模型

博物館音頻增強現實交互式引導模型由場景模型、訪客模型和導航模型三部分組成。其中，場景模型主要描述了博物館內環境信息，包含物理層、虛擬層和語義層，分別描述空間位置、區域劃分和交互內容等要素；訪客模型主要描述反映游客參觀興趣偏好的相關信息，包含靜態先驗模型和動態行為模型；導航模型通過建立訪客興趣特征來描述展品與訪問者興趣的匹配程度，并定義了自適應算法支持根據訪客在參觀過程中的行為軌跡動態調整訪客興趣特征，以便向用戶推薦更符合其需求的音頻內容。

1.1 場景模型

場景模型通過物理層、虛擬層和語義層三個層次來描述博物館場景信息，如圖1所示。

圖1 場景模型層次圖

物理層主要用于描述博物館的物理環境，它包含了場館和展品基于物理空間的所有位置信息，是后續進行虛擬層區域劃分的基礎。

虛擬層是基于物理層的擴展，將博物館展覽空間劃分為多個基本區域的集合，一個基本區域與一個展品對應，每個基本區域在位置信息的基礎上增加音頻內容和交互規則信息。其中，交互規則主要規定了物理空間中交叉覆蓋位置上各基本區域的層次關系，作為共享位置上音頻導航的基本參數。實際應用中可根據博物館展覽需求對基本區域的基本屬性進行配置，進而組合成不同類型的應用場景。

語義層通過一組語義標簽來描述各基本區域內展品信息，每個展品對應的語義標簽集合是后續進行用戶興趣匹配計算的基礎。語義標簽可基于展品相關文檔資料，通過文檔主題生成模型(Latent Dirichlet Allocation，LDA)[15]進行自動抽取。

1.2 訪客模型

訪客模型用于記錄游客參觀興趣偏好的相關信息，作為導航模型中興趣匹配計算的基礎數據，包含基于其個人資料的靜態先驗模型和基于訪客關于展品(移動、停止、聚焦)及音頻內容(播放、停止、循環)等動作的動態行為模型。其中，先驗模型主要用于設置訪客初始興趣偏好，行為模型主要用于推斷訪客動作所表達的意圖，進而發現用戶興趣變化。

1.2.1 先驗模型

訪客的先驗模型包括訪客年齡、語言、對博物館感興趣的領域(包含博物館類型、展品類型)等特征信息。當訪客到達博物館時，通過證件信息或面部識別信息確認用戶身份，提取用戶數據庫中的模型數據即可用于設置訪客初始興趣偏好。

對于多次參觀博物館的訪客，先驗模型中的博物館興趣特征可基于觀眾之前參觀博物館過程中記錄關注的展品及收聽的音頻內容等歷史軌跡信息自動提取；對于首次參觀博物館或歷史數據缺失的訪客，也可以通過紙質或語音問卷的形式獲取用戶興趣數據，進而建立先驗特征。

1.2.2 行為模型

訪客的行為模型首先定義姿勢來推斷訪客在參觀過程中所做動作表達的意圖，部分姿勢數據還可以用于推斷訪問者所在的區域，以及訪問者所看到的展品。姿勢是一種基于規則的動作序列描述模型，一組特定的動作序列表示訪客一種意圖。以否定姿勢(表示不)為例，該姿勢被描述為伸出食指從左到右的快速運動，為與普通擺動作區別以防止誤識別，其識別規則為食指在單位時間段內擺動次數超過閾值，因此，在識別該姿勢時，需要通過食指運動的偏航角顯著程度辨別擺動動作，并計算次數以確定是否識別為否定姿勢。計算過程如圖2所示，其中I、t分別是初始偏航角(歐拉角)和時間；x是一個計數器，用于計算用戶從一側到另一側改變食指方向的次數。

圖2 否定響應動作捕捉計算流程

基于基本姿勢模型，可以定義應用場景上下文，同一上下文中的姿勢模型默認會成組出現，因此在規則設計時需要便于傳感器區分，進而根據姿勢對音頻內容進行調整。對于博物館導覽應用場景我們定義了兩種典型的上下文，即正常訪問上下文和控制音量上下文。

(1)正常訪問上下文

在這種上下文中，定義了三種姿勢來控制音頻內容。肯定姿勢會播放與訪客面前展品相關的基本區域音頻內容；否定姿勢會停止基本區域音頻內容；循環姿勢會將當前音頻內容存放在播放列表中，在沒有新指示的條件下反復播放。

(2)控制音量上下文

在這種上下文中，定義了兩個姿勢用于控制音量：手掌掌心向上抬升后靜止1 s表示增大音量；手掌掌心向下滑靜止1 s表示減小音量。

1.3 導航模型

導航模型首先根據訪客先驗模型對展品相關音頻內容的語義標簽進行打分(0～1的數字)，反映其與訪問者興趣的匹配程度，據此為每位觀眾建立個性化的興趣模型，然后在參觀過程中根據觀眾的行為，動態計算展品及相關音頻內容與觀眾興趣的匹配程度，進而動態規劃觀眾行程，通過音頻導航引導觀眾，并確定推送展品相關音頻的優先級。導航模型中最重要的是自適應過程，該過程通過不斷計算每個展品音頻內容與訪問者興趣相對應的分數來更新用戶興趣特征，計算過程如下：

任何得分超過給定閾值的音頻內容都將被添加到對應用戶的引導列表中；相對地，任何分數低于該閾值的音頻內容都將從列表中刪除。

設V作為訪客，給定一個展品O，AZ表示O所在的基本區域，S表示AZ基本區域內的一個音頻內容，Tags(O)=to1,to2,…,ton是描述展品O的語義標簽，Tags(S)=ts1,ts2,…,tsn描述音頻內容S的語義標簽，Nto是展品語義標簽的數量,Nts是音頻內容語義標簽的數量，則Score_interest(V,AZ)表示用戶V對基本區域AZ的興趣分數，Score_interest(V,O)表示用戶V對展品O的興趣分數，Score_interest(V,S)表示用戶V對音頻內容S的興趣分數，Score_interest(V,t)表示用戶V對標簽t的興趣分數，Score_interest0(V,t)表示用戶V對標簽t的初始興趣分數。

通過分析用戶填寫的先驗特征(第1.2節)，可以自動確定初始標簽興趣評分Score_interest0(V,t)。假設展品和音頻內容各占觀眾對基本區域AZ興趣分數的50%，且分數的最小值和最大值分別設置為0和1，則Score_interest(V,AZ)可表示為

通過對生產、消費和進出口所需資本和勞動的分析，說明2007年我國的經濟的比較優勢是勞動力，我國出口了勞動密集型產品，而進口了資本密集型產品。

Score_interest(V,AZ)=

(1)

式中：用戶V對一個展品的的興趣得分Score_interest(V,O)定義為該展品所有相關語義標簽興趣分數的均值，音頻內容興趣分數Score_interest(V,S)定義為該音頻內容相關語義標簽興趣分數的均值:

(2)

(3)

訪客V對于某個展品興趣分數的增加或減少是通過計算其在該展品前逗留的時間平均值和標準差來決定。假設訪客在展品前逗留的時間符合正態分布，如果訪客在某展品前逗留時間長度大于平均時長且距離超過一個標準差以上則增加訪客對該展品的興趣分數；反之，如果訪客在某展品前逗留的時間小于平均時長且距離超過一個標準差以上則降低訪客對該展品的興趣分數。同時，定義絕對逗留時間閾值k,如果訪客逗留時間超過給定閾值k，即使逗留的時間小于平均時長且距離超過一個標準差以上也不降低興趣分數。

在用戶參觀期間，如當前基本區域內任意展品或音頻內容興趣分數增加，該展品或音頻內容所對應語義標簽的興趣分數也增加，計算方法如下：

(4)

同樣，如果當前基本區域內任意展品或音頻內容興趣分數減少，則對應標簽的興趣分數也相應減少：

(5)

[0,μ-f×σ]：興趣分數低于閾值且在原有導航路線中的基本區域將從導航路線中移除。

[μ-f×σ,μ+f×σ]：興趣分數在平均值附近的基本區域狀態不變。

[μ+f×σ,1]：興趣分數高于閾值且不在原有導航路線中的基本區域將添加到導航路線中。

2 實驗評估

2.1 實驗設計

為驗證博物館交互式引導模型的可用性，筆者基于武漢博物館真實環境進行了實驗測試。本次實驗將武漢博物館官方音頻解說內容作為對比對象，實驗參與者被分為兩個不同的組，一組體驗官方音頻解說設備，一組體驗基于博物館交互式引導模型原型系統設備，采用了主客觀結合的評價方法對系統效能進行分析。其中，客觀評價通過設備日志采集數據，基于實驗參與者在參觀過程中穿過的基本區域數量，以及在每個基本區域上花費的時間進行分析；主觀評價通過調查問卷分析參與者的主觀感受。

2.1.1 實驗場景模型設置

實驗在《歷代文物珍藏》廳內進行，在該展廳中挑選10件展品作為測試對象。對于每件展品設置兩個圓形基本區域與之關聯：外層基本區域稱為擴展區域，在該類區域中播放展品相關引導音頻內容；內層基本區域稱為獨占區域，在該類區域中播放展品相關描述音頻內容。展廳基本區域布局如圖3所示，其中紅圈表示獨占區域，藍圈表示共享區域。

圖3 展廳基本區域布局示意圖

與展品相關引導音頻內容是該展品內容背景音(如鎏金佛坐像的背景音為佛教音樂、玉臥牛的背景為田園自然聲音等)，展廳中擴展區域相交的共享區域中，參觀者可以聽到多個展品的引導音頻，用于引導參與者發現其感興趣的展品。展品相關描述音頻內容與博物館官方語音導覽內容對應。基于各展品的介紹文檔采用文檔主題生成算法，對每個展品生成不少于5個語義標簽，用于興趣匹配計算。

2.1.2 實驗訪客模型設置

在開始之前，游客被要求填寫一份初始問卷，需要填寫性別、年齡、聯系人、是否具有自助語音導覽經驗和武漢博物館參觀經歷等基本信息，同時需要在所有語義標簽中選擇不少于10個感興趣的標簽，基于問卷反饋數據創建訪客先驗興趣特征。

在博物館天花板上設置多個深度攝像頭，用于持續捕捉跟蹤訪客動作。原型系統根據姿勢識別結果動態調整用戶興趣特征，向訪客推送適當的音頻內容。每個訪客參觀時間限定為10 min，然后由參觀者填寫一份包含25個問題的書面問卷。

本次實驗共有18人參與體驗，分別為9名女性和9名男性，年齡在25～63歲之間，平均年齡41歲。

2.2 實驗結果與討論

基于原型系統設備日志數據，筆者對每個參與者三項指標進行評估：在獨占區域花費的總時間、在共享區域花費的總時間和訪問的展品數量。為了比較官方語音導覽和引導模型原型系統兩者實驗結果的差異性，對兩組數據進行了方差分析。通過比較，體驗兩個系統的參與者在獨占區花費的總時間存在顯著差異(方差分析結果F=5 090，P=0.041)。同樣,在共享區域花費的總時間也存在顯著的差異(方差分析結果F=4.762，P=0.048)，但訪問的展品數量之間的差異并不顯著(方差分析結果F=1.475，P=0.246)。

圖4展示了訪客平均耗時的實驗結果，可以看到體驗博物館交互式引導模型設備的參與者在獨占區域花費的平均持續時間約為7 min 15 s，而對于體驗官方語音導覽設備的參與者，這個時間不超過5 min 32 s。該結果說明博物館交互式引導模型設備能吸引觀眾花更多的時間收聽文物音頻內容。同時，體驗博物館交互式引導模型設備的參與者在共享區域花費的平均時間為2 min 15 s。對比官方語音導覽設備組該平均持續時間約為4 min 8 s。該結果可以解釋為博物館交互式引導模型設備能更方便地引導游客參觀感興趣的展品，減少無目的駐足時間。

圖4 基本區域內用戶平均耗時

問卷共有25個問題，主要對易用性、展品定位準確性及趣味性等三個方面來比較，其中易用性比較結果如表1所示。

表1 易用性評分結果

從反應性、滿意度、理解性和易學性四個方面對兩者的可用性進行了評價。通過總結這四個易用性標準可知，博物館交互式引導模型在四個方面都占有優勢。

其他相關結果如圖5所示，可見所有體驗博物館交互式引導模型的參與者都能很容易地定位展品(甚至有66%的人感覺非常容易)。參與者發現，內容聲音空間化對他們定位展品有很大幫助。同時，100%的測試者發現博物館交互式引導模型設備很有趣，其中40%的人覺得非常有趣，只有50%的自助語音導覽設備用戶覺得它很有趣。

圖5 主觀評價實驗結果

3 結 論

本文提出了一種用于博物館參觀的音頻增強現實交互式引導模型，其目的是通過空間化音頻內容和自適應機制，引導用戶在參觀博物館展覽時靠近其感興趣的展品，并提供個性化的音頻信息服務。該模型由場景模型、訪客模型和導航模型三部分組成。以武漢博物館為例研究，對原型系統及其特性進行了實驗評估。評價結果表明，該系統具有良好的實用性，能更容易地定位展品，并增加觀眾對展品的興趣，為博物館導覽提供了一種更為個性化、信息量大、趣味性強的方式。