基于增強現(xiàn)實技術的虛擬氣象裝備移動可視化與交互方法研究

雷曉妹 雍 玖 王陽萍 雍 芳

1(甘肅省氣象局 甘肅 蘭州 730020) 2(蘭州交通大學 甘肅 蘭州 730070) 3(甘肅省人工智能與圖形圖像處理工程研究中心 甘肅 蘭州 730070) 4(四川大學 四川 成都 610065)

0 引 言

近年來,隨著新一代人工智能技術的快速發(fā)展,氣象保障設備的信息化建設隨之迅猛發(fā)展,各氣象臺站相繼配備了氣象衛(wèi)星廣播數(shù)據(jù)接收、自動觀測站、新型氣象雷達、風洞、溫濕度監(jiān)測儀等氣象信息化裝備,但是氣象裝備的維護與操作工作關鍵在于維護與操作技術、操作人員、外界因素的穩(wěn)定。因此,通過研究氣象裝備管理、可視化與應用,全面掌握新設備的操作、維護,才能實現(xiàn)氣象保障設備的信息可視化,使氣象設備能充分有效地發(fā)揮其在氣象裝備管理、應用中的功能和作用。

增強現(xiàn)實(Augmented Reality,AR)是將計算機建立的虛擬物體信息疊加在真實的現(xiàn)實場景中,通過三維注冊技術來實現(xiàn)對真實場景的增強[1-2]。基于人工標識的AR系統(tǒng)注冊方法利用視覺標識跟蹤庫ARToolkit和ARTag中的四邊形黑白標識。雖然標識容易被檢測和識別,但是易出現(xiàn)追蹤區(qū)域受限、不穩(wěn)定并且在復雜的環(huán)境下注冊效果不佳等問題[3]。而基于自然特征點的注冊技術不需要在真實環(huán)境中放置可識別的標識,并且可以增強跟蹤穩(wěn)定性以及擴展跟蹤范圍[4],但是目前三維注冊技術中由于目標跟蹤識別對于尺度和光照變化的魯棒性較低,導致增強現(xiàn)實系統(tǒng)跟蹤注冊誤差較大,甚至無法完成虛擬信息疊加。因此,通過改進待注冊位置環(huán)境變化時自適應跟蹤算法,利用尺度自適應跟蹤、光照自適應跟蹤及光照和尺度自適應跟蹤算法,降低運動目標模型跟蹤誤差,為實現(xiàn)氣象裝備交互可視化提供技術支撐。

通過構建真實的三維氣象裝備模型和交互環(huán)境[5],基于改進自適應跟蹤算法的增強現(xiàn)實三維注冊,在移動端將AR人機交互、三維全景漫游、音視頻多媒體元素三者結合,研究虛擬氣象裝備移動可視化與交互方法,提高虛擬氣象裝備保障及操作的可視化和信息化水平,讓工作人員通過人機交互可視化系統(tǒng)不受時間和地域的限制快速學習新的技術和設備,達到快速認知了解氣象裝備結構以及工作原理的目的。

1 虛擬氣象裝備移動可視化與交互

基于增強現(xiàn)實技術的虛擬氣象裝備移動可視化與交互方法主要由增強現(xiàn)實交互、三維全景漫游、音視頻講解三個模塊組成,具體如圖1所示。

圖1 基于增強現(xiàn)實技術的虛擬氣象裝備移動可視化 與交互方法

增強現(xiàn)實交互主要包括三維建模和AR系統(tǒng)交互可視化的兩個部分:(1) 三維建模通過建立相關的氣象裝備3D模型,對模型渲染、貼圖、優(yōu)化及加入動畫[6]。(2) AR跟蹤注冊將實現(xiàn)對現(xiàn)實世界中培訓教材、宣傳冊、操作手冊中添加相關的標識,利用移動終端或PC進行三維注冊、人機交互等操作[7-8]。增強現(xiàn)實交互模塊采用Unity3D引擎和改進Vuforia插件進行研發(fā),但是Vuforia插件在環(huán)境尺度和光照發(fā)生劇烈變化時無法及時有效地跟蹤到待注冊位置信息,因此本文將采用改進自適應跟蹤算法與Vuforia插件結合實現(xiàn)待注冊區(qū)域的特征跟蹤、檢測、投影位置變換,最后集成發(fā)布到移動端。而三維全景漫游通過構建出氣象裝備三維全景空間,讓氣象裝備操作人員可上下左右任意角度觀看氣象設備及現(xiàn)場整體運行環(huán)境。此外,音視頻講解具有信息量大、表現(xiàn)力強、直觀性好等優(yōu)點,可讓使用者能夠更加深入、便捷地對設備進行了解。

2 增強現(xiàn)實交互模塊

增強現(xiàn)實交互模塊如圖2所示主要分為增強現(xiàn)實三維注冊、模型建立及導入、交互功能添加三部分。增強現(xiàn)實三維注冊通過利用AR開發(fā)工具對待注冊標識圖像進行特征點檢測,并將數(shù)據(jù)特征集儲存,并且AR SDK利用攝像頭對現(xiàn)實世界待注冊標識圖像進行捕捉,然后將捕捉的圖像轉換為適合OpenGL渲染格式,然后利用追蹤模塊調用數(shù)據(jù)庫信息,對檢測的特征點實時跟蹤;模型建立及導入部分通過將之前建立的3D氣象裝備模型疊加,最后將3D氣象裝備模型渲染疊加到攝像頭采集的標識圖,最終將真實還原的3D氣象裝備模型呈現(xiàn)到移動設備和工作人員的面前,實現(xiàn)對現(xiàn)實世界的增強;交互功能添加主要是人機設備的交互,目的是與虛擬氣象裝備的可視化交互操作。

圖2 增強現(xiàn)實交互模塊

2.1 三維模型建立

3D模型構建是氣象裝備可視化的關鍵,通過采用插件豐富、拓展能力出眾、兼容性能較好的3dsMax作為氣象裝備建模的工具[9],需要利用減少面數(shù)和線條數(shù)等方法對虛擬氣象裝備模型優(yōu)化。圖3為建立的氣象雷達三維模型。

圖3 氣象雷達三維模型

2.2 Frame Marker與待注冊位置修改

將Vuforia中的Frame Marker不需要單獨制作標記,大小可調節(jié),并且其邊界區(qū)域是以二進制的格式編碼成的唯一的ID,導致還原Marker的ID對AR設備處理能力要求較低。圖4為Frame Marker的案例模板,圖5為雷達設備的待注冊區(qū)域塊。圖6為將待注冊區(qū)域塊疊加至氣象雷達維護與維修相關的培訓資料。

圖4 Frame Marker模板 圖5 Frame Marker內容修改

圖6 修改待注冊區(qū)域塊結果

2.3 改進自適應跟蹤算法的增強現(xiàn)實三維注冊

增強現(xiàn)實技術的核心是三維注冊,三維注冊方法的優(yōu)劣決定增強現(xiàn)實系統(tǒng)性能[10]。本文采用如圖7所示的基于自然特征點識別的三維跟蹤注冊方法,主要包括特征檢測和注冊跟蹤兩大模塊,通過特征點的檢測、描述、匹配、剔除誤匹配點,同時通過攝像機的標定和虛實匹配完成對現(xiàn)實模塊的增強。但是在環(huán)境尺度和光照發(fā)生劇烈變化時目前已有跟蹤注冊方法無法及時有效地跟蹤到待注冊位置信息,因此,本文將采用自適應跟蹤算法改進Vuforia插件進行AR系統(tǒng)的跟蹤注冊。

圖7 基于自然特征點的三維跟蹤注冊方法

2.4 目標變化時自適應跟蹤算法

(1) 運動目標跟蹤模型。對于基于自然特征點的注冊方法而言,通過跟蹤算法以運動的某個模型為目標(帶注冊位置),并且相鄰幀運動目標位移不大,可采用二階常速模型來描述目標運動規(guī)律,因此可采用矩形表示目標輪廓,具體參數(shù)描述為:

P=[x,y,hx,hy]

(1)

式中:矩形的中心分別為x和y;矩形的長或寬分別為hx和hy。運動目標位置狀態(tài)可表示為:

(2)

(3)

式中:ΔT為采樣周期;Wt是高斯白噪聲;t為變量。

(2) 目標尺度自適應跟蹤。可采用Chamfer距離方法[11]評價矩形目標位置相似程度,若當前幀圖像的二值圖為It,矩形模板二值圖為T,距離圖像為DIt,根據(jù)文獻[12],可知目標位置之間Chamfer距離計算公式為:

(4)

式中:在當前幀圖像中的中心位置和長寬為矩形模板T(Xt);T中像素值為“1”的像素數(shù)為|T|;k為T中第k個像素值為“1”的像素數(shù);DIt(k)為T放于DIt上時,T中第k個像素值為“1”的像素位置下DIt中的灰度值。運動目標圖像的二值圖像、三維立體散點圖和距離圖像分別為圖8(a)、圖8(b)和圖8(c)。則有Chamfer距離后定義尺度觀測似然函數(shù)為:

(5)

(a) 二值化處理圖像

(b) 三維立體散點圖

(c) 距離圖像圖8 三種圖像狀態(tài)

(3) 目標光照自適應跟蹤。通過采用帶空間位置信息的光照直方圖方法,將光照信息在RGB空間劃分成m=8×8×8等級,僅考慮運動目標區(qū)域內光照分布情況。若Xt為運動目標狀態(tài),目標區(qū)域中心為x=(x,y),目標區(qū)域內像素位置為xi=(xi,yi),i=1,2,…,nh,nh為目標區(qū)域內像素的總數(shù),半徑為h=(hx,hy),則目標區(qū)域內光照分布可表示為[13]:

u=1,2,…,m

(6)

式中:Delta函數(shù)為δ;xi處像素在直方圖上光照等級索引的映象為b(xi);直方圖中光照等級索引為u;權值函數(shù)為k(·),則有:

(7)

式中:r為輸入像素變量特征。由于矩形模板與位置目標相似度越高,則為真實目標可能性越大,則當像素離目標中心越遠,k(·)函數(shù)賦予該像素點較小權值。

(8)

(9)

得到兩種目標模板分布間Bhattacharyya距離后,有光照觀測似然函數(shù)為:

(10)

2.5 目標自適應跟蹤

(1) 目標自適應跟蹤信息融合。提高目標跟蹤的魯棒性可利用光照和尺度融合信息描述運動目標觀測信息,當目標狀態(tài)為Xt時,運動目標觀測似然函數(shù)為:

p(Zt|Xt)=αpc(Zt|Xt)+βps(Zt|Xt)α+β=1

(11)

式中:pc(Zt|Xt)和ps(Zt|Xt)為光照和尺度觀測似然函數(shù)。兩種特征信息融合時的權重為0≤α,β≤1。權值α大表示光照信息在跟蹤期間可靠,反之亦然。因此可利用模糊邏輯根據(jù)前期跟蹤結果自適應調節(jié)α和β權值的大小,實現(xiàn)光照和尺度變化時信息間的自適應融合。

(2) 目標自適應跟蹤權值調節(jié)。模糊邏輯主要由模糊規(guī)則、模糊化、模糊推理、解模糊四部分組成。通過采用單點模糊化、乘積推理和重心解模糊,并定義為:

其中:Rj為第j條模糊規(guī)則;L為模糊規(guī)則數(shù),e=(e1,e2,…,el)和u分別為模糊邏輯輸入和輸出。

若模糊邏輯輸入為當前幀目標光照和尺度信息的可信度,則模糊邏輯輸出為下一幀光照信息權值α,根據(jù)式(11)可得到尺度信息權值β,光照和尺度信息的可信度可根據(jù)式(10)和式(5)得到ec和es,并將α模糊化為{ST,VS,SR,S,M,B,BR,VB,BT},ec和es模糊化為{SR,S,M,B,BR}。其中:ST為很小;VS為小;SR為較小;S為微小;M為中等;B為微大;BR為較大;VB為大;BT為很大。圖9為輸入和輸出變量的隸屬度函數(shù),表1為模糊規(guī)則,則對跟蹤期間不可靠的特征信息模糊邏輯賦予較小權值,反之亦然。

(a) 輸入變量ec和es的隸屬度函數(shù)

(b) 輸出變量α的隸屬度函數(shù)圖9 隸屬度函數(shù)

表1 模糊規(guī)則表

2.6 改進目標自適應跟蹤的注冊結果及分析

將待注冊區(qū)域塊的疊加圖像(圖6)打印并錄制相關的視頻,圖10為運動目標原始跟蹤,圖11為在目標位置變大或變小時尺度自適應跟蹤的結果,圖12為在目標位置光照變亮或光照變暗時光照自適應跟蹤的結果,圖13為在目標位置變大和環(huán)境變亮、目標位置變大和環(huán)境暗、目標位置變小和環(huán)境變亮、目標位置變小和環(huán)境變暗時光照和尺度自適應跟蹤的結果。

圖10 運動目標原始跟蹤

(a) 目標位置變大 (b) 目標位置變小圖11 尺度自適應跟蹤

(a) 環(huán)境變亮 (b)環(huán)境變暗圖12 光照自適應跟蹤

(a)目標位置變大和環(huán)境變亮(b)目標位置變大和環(huán)境暗

(c) 目標位置變小和環(huán)境變亮(d)目標位置變小和環(huán)境暗圖13 光照和尺度自適應跟蹤

對圖11-圖13中尺度自適應、光照自適應、光照和尺度自適應分別做3次實驗,并對相對應的變化情況進行中心位置x和y軸方向上的誤差采集并取平均值,分別用MDx、MDy和MD表示。表2為在第50、100、150幀時相對應的運動目標自適應方法跟蹤誤差。表3為在第50、100、150幀時相對應的運動目標自適應方法跟蹤注冊過程中特征提取、圖形檢索、特征匹配、矩陣求解的時間。

表2 運動目標自適應方法跟蹤誤差 單位:mm

表3 運動目標自適應方法跟蹤注冊時間 單位:ms

由表2可知,尺度自適應跟蹤、光照自適應跟蹤、光照和尺度自適應跟蹤對于運動目標模型的跟蹤誤差低,并且運動目標自適應方法跟蹤平均誤差基本都保持在2.5 mm以內,使得候選目標與目標矩形模板,更加適用于虛擬氣象裝備AR系統(tǒng)Vuforia SDK環(huán)境的三維跟蹤注冊中,而對于比較精細的操作,可通過移動交互指令操作控制模型的位置,并且將移動設備放置于待注冊位置的正上方即可完成相對應的操作。因此,本文方法對于提高AR系統(tǒng)的穩(wěn)定性和魯棒性具有重要作用。

如表3所示,在第50、100、150幀時相對應的運動目標自適應方法跟蹤注冊過程中特征提取、圖形檢索、特征匹配、矩陣求解的平均時間分別為2.98 ms、1.34 ms、3.60 ms、11.13 ms。其中特征提取時間基本上在3 ms左右,特征匹配時間基本上在3.5 ms左右,而隨著幀數(shù)的增加,圖形檢索、矩陣求解的時間呈現(xiàn)上升趨勢,這與圖像跟蹤信息的增加有重要關系。因此,本文注冊方法可以達到實時要求。

最后,可將虛擬氣象裝備模型、標識圖像、改進Vuforia SDK環(huán)境的Adaptive Tracking Algorithm、AR Camera、Frame Marker等組件配置資源導入到Unity3D中實現(xiàn)虛擬氣象裝備的可視化,并添加對應的交互操作指令。

2.7 AR可視化人機交互操作

為了真實還原和全方位展示設備,讓工作人員可真實直觀地了解氣象裝備動作原理、功能結構、性能特點,可在氣象裝備建模過程中加入交互動畫,并在Unity3D系統(tǒng)中編寫腳本,實現(xiàn)虛擬氣象裝備模型相關的人機交互。由于氣象裝備內部復雜,可以設計不同的交互指令進行操作,如圖14所示通過添加碰撞體,利用手指進行三維虛擬模型的旋轉以及放大縮小的交互操作。

(a) (b)

(c) (d)圖14 三維注冊及交互功能效果

可以看出,當目標發(fā)生尺度或光照變化時,本文尺度自適應跟蹤、光照自適應跟蹤及光照和尺度自適應跟蹤算法都能跟蹤到待注冊區(qū)域,完成氣象裝備可視化顯示,并進行相對應的移動端人機交互操作。

3 三維全景漫游模塊

三維全景漫游模塊通過構建與氣象裝備相關的三維虛擬場景空間,在虛擬空間里進行場景的觀看和交互,達到氣象裝備真實場景中的位置、運行環(huán)境和整體結構。圖15為通過拍攝與氣象裝備相關的全景圖像進行拼接、全景虛擬空間的構建和發(fā)布后生成氣象裝備三維全景漫游系統(tǒng)。

圖15 三維全景漫游模塊

如圖16所示,氣象裝備全景虛擬空間將多個離散視點空間通過雙向的空間鏈組成復雜網(wǎng),然后采用熱區(qū)鏈在虛擬空間上加入交互操作(如地圖索引、熱點、導覽、語音等)。

圖16 三維全景虛擬空間的搭建

利用Google VR SDK For Unity3D插件添加三維VR(Virtual Reality)模式的全景并發(fā)布在移動端。圖17為三維全景漫游模塊的效果,圖18為三維全景漫游的VR模式效果。

圖17 三維全景漫游模塊

圖18 三維全景漫游的VR模式

4 音視頻講解模塊

音視頻講解使得工作人員可深入認知和了解氣象裝備,視頻能展現(xiàn)文字、動畫、聲音甚至特效,更容易為人所接受,同時音視頻具有信息量大、表現(xiàn)力強、直觀性好的特點。通過在Unity3D中創(chuàng)建“Movie_1”腳本和mTexture,將視頻放到“mTexture”中即可。為防止在沒有光照或者光照弱的情況下無法觀看或者看不清,可將交互界面更換shader為“Unlit/Texture”。具體效果如圖19所示。

圖19 音視頻講解

5 結 語

通過研究基于增強現(xiàn)實技術的虛擬氣象裝備移動可視化與交互方法,從增強現(xiàn)實交互、三維全景漫游、音視頻講解三個模塊實現(xiàn)氣象裝備的虛擬化、可視化和信息化。通過改進待注冊位置環(huán)境變化時自適應跟蹤算法的增強現(xiàn)實交互模塊使得工作人員更好地學習設備的功能和內部結構,運動目標模型在尺度、光照發(fā)生變化時的誤差控制在2.5 mm以內,提高氣象裝備移動增強現(xiàn)實交互可視化跟蹤注冊時的適應性和精確度;三維全景漫游模塊使得工作人員可以觀看設備的外觀和工作環(huán)境;音視頻講解模塊可以更直觀地對設備進行深入了解和認知。因此,基于增強現(xiàn)實技術的虛擬氣象裝備移動可視化與交互方法可以讓用戶不受環(huán)境和時間的限制,更好、更快、更高效地完成工作。