基于混合注冊方式的海洋環境增強現實系統

鄒國良　屠正飛　鄭宗生

(上海海洋大學信息學院　上海 201306)

?

基于混合注冊方式的海洋環境增強現實系統

鄒國良屠正飛鄭宗生

(上海海洋大學信息學院上海 201306)

針對單一傳感器無法解決海洋環境增強現實系統中跟蹤注冊的問題，提出融合智能手機AGPS、電子羅盤和加速度傳感器測定視線方向的多傳感器注冊與基于海天線特征標識的視覺跟蹤注冊的混合注冊方法，并通過擴展卡爾曼濾波器實現多傳感器有效融合以提高三維注冊精度。以真實海洋環境及海洋數值預報為例，提出適應海洋動態環境的增強現實框架，利用Vuforia AR實現了原型系統，并對混合注冊方法進行了驗證。結果表明，該技術框架及注冊方法有較強的可用性和實用性，在海洋動態環境的增強現實中具有廣泛應用前景。

增強現實混合注冊數值預報海洋環境Vuforia

0　引　言

傳統二維、三維地理信息系統通常采用地圖和圖像等作為地理信息可視化的表達方式，并通過抽象符號、地圖注記來表示地理實體，但是這些符號和注記已不能滿足地理學家對真實場景表達的需求，因此新興的增強現實技術開始逐漸被用于地理信息的可視化[1]。增強現實AR(Augmented Reality)技術通過將虛擬的信息(如圖形、文字注釋等)疊加到真實的環境中，從而增強人類視覺體驗效果[2]。

虛實物體無縫融合的實現，須將虛擬物體疊加到現實環境中的準確位置，此過程稱為跟蹤注冊，它是增強現實系統中研究的重難點[3,4]。目前室內的跟蹤注冊主要采用基于視覺跟蹤的圖像注冊方式[5]，通過對視頻流檢測出事先制定好的圖像標識進行匹配，解算攝像機內部和外部參數計算投影模型，渲染虛擬物體，最后實現空間信息的虛實融合。這種注冊方式精度高、無需借助其他傳感器，但是圖像匹配算法復雜，多采用線性迭代，系統延遲性高、造成誤差難控制、魯棒性弱等缺點[6]。另一種針對戶外環境的跟蹤注冊是基于硬件傳感器的注冊方式，采用GPS、電子羅盤和陀螺儀等傳感器獲取物體的位置和姿態數據，通過坐標變換獲取虛擬物體在真實世界中的位置，繼而完成虛實融合。基于硬件傳感器的注冊方式受傳感器精度和慣性漂移影響較大,其匹配精度很難滿足一般戶外環境跟蹤注冊的要求[7]。因此，實際應用中常采用多種跟蹤注冊技術相結合的混合注冊方式[8-10]，如美國南加利福尼亞大學的研究人員利用慣性傳感器與基于模型的視覺跟蹤注冊結合的混合跟蹤方法進行戶外的跟蹤定位[11]；西班牙Paloc科研團隊用慣性傳感器與基于平面視覺檢測相結合的方法進行跟蹤定位[12]。

由于自然環境多樣，特別是真實的海洋環境瞬息萬變，跟陸地要素標識不同，海洋要素標識時刻動態變化[13,14]，很難找到有效可靠的標識。針對以上問題，本文以中國上海自貿區洋山深水港區附近海域為研究對象，提出了海洋動態環境下增強現實的混合注冊方法。以智能手機內置網絡輔助GPS定位系統進行精確定位，電子羅盤、加速度傳感器相結合測定視線方向，同時基于海天線標記的視頻檢測對定位進行二次匹配，以提高混合注冊精度。以海洋預報流場為空間建模對象，構造出一個在地理空間、視覺空間統一的增強現實地理信息系統。讓用戶在現場就能夠察看具有立體逼真的海洋要素并可以根據需要隨時查詢感興趣海情信息，實現洋山港區海情的實時多方位展示，為海浪災害預警、洋山港區海洋工程防護及航運提供重要依據。

1　關鍵技術

1.1海洋環境增強現實混合注冊方法

基于視覺圖像的跟蹤注冊受應用環境影響較大，在有標志物且環境變化較小的情況下，可以達到較為滿意的效果。但對環境變化較大，且標識物很難選取的海洋環境，視覺跟蹤算法的實時性和精確度不高。基于硬件傳感器的跟蹤注冊方式計算較少，延遲小，更適合在移動終端上創建增強現實環境，但其定位精度有限且傳感器存在漂移誤差[15]。鑒于硬件傳感器跟蹤注冊與視覺圖像跟蹤注冊的性能互補，本文采用傳感器跟蹤定位與海天線標識匹配的混合注冊策略，以提高海洋環境移動增強現實系統跟蹤注冊的精度和穩定性。

(1) 位置定位：輔助全球衛星定位系統AGPS(Assisted Global Positioning System)，是傳統衛星定位與GPRS/GSM定位相結合的定位技術。配備AGPS的手機以GPRS/GSM作為輔助服務器協助衛星信號接收機完成定位服務。AGPS比單一硬件傳感的GPS定位精度高、延時性小，更適合于戶外增強現實系統。

(2) 視線定位：智能手機同時內嵌了攝像頭、AGPS、慣性傳感器，因此攝像機的姿態數據等同于手機的姿態數據，攝像機的姿態數據包括偏航角(Azimuth)、俯仰角(Pitch)和傾斜角(Roll)。如圖1所示，手機的坐標系統由X、Y、Z軸組成，手機正常抓握時，視線的水平方向表示X軸，向右為正方向，手機繞X軸旋轉相對于水平面的角度為俯仰角(Pitch)；視線的垂直方向為Y軸，向上為正方向，手機繞Y軸旋轉相對于水平面的角度為傾斜角(Roll)；垂直手機屏幕的方向為Z軸，向上為正方向，手機繞Z軸的旋轉角為偏航角，即Y軸與地磁北極間的夾角。其中偏航角Azimuth由電子羅盤傳感器測量的讀數計算獲取，俯仰角Pitch和傾斜角Roll通過加速度傳感器測量值進一步計算獲取。

圖1　手機的姿態與海天線跟蹤結果

(3) 視覺跟蹤定位：針對海天線標識特征的檢測，本文采用了Sobel邊緣檢測算子結合Hough 變換的方法提取海天線，由于手機姿態的變化，海天線可能處在圖像的非水平位置，在Sobel算子中增加了0、π/4、π/2、3π/4四個方向的檢測模板，可使算子提取到由于手機旋轉造成的不同方向邊緣信息。提取的海天線信息如圖2中X′方向，可對手機水平姿態X軸進行二次定標，提高注冊精度。采用的改進Sobel模板如下：

(4) 坐標變換：經緯度坐標轉化到視覺平面像素坐標，涉及5個坐標系：大地坐標系(B,L,H)、世界坐標系(Xw,Yw,Zw)、攝像機坐標系(Xc,Yc,Zc)、像平面坐標系(x,y,z)、影像平面坐標系(u,v)。這些坐標系空間位置關系如圖2所示。

圖2　世界坐標系到影像平面坐標系位置關系

利用一系列通用坐標轉換公式可得到影像平面坐標系中的點與世界坐標系中的點對應關系：

(1)

其中：f為OcO1距離即像距，(u0,v0)定義為像平面坐標系在影像平面坐標系中的坐標，dx、dy定義為單位像素在x、y軸上的物理尺寸。T為位移向量，一般地，世界坐標系與攝像機坐標系的原點相重合，即T=0。R為3×3正交單位旋轉矩陣，R具有三個自由度，可由手機(攝像機)姿態數據β、α、φ來表示：

(2)

其中：β為手機俯仰角Pitch，α為手機偏航角Azimuth，φ為手機傾斜角Roll。

(3)

本文采用的世界坐標系使用WGS-84空間坐標系，WGS-84空間坐標系中坐標(X,Y,Z)與大地坐標系中的經緯坐標(B,L,H)存在如下轉化關系：

(4)

令H=0，Z =0，得到：

(5)

真實的世界坐標系中的物體坐標為(Xw+X0,Yw+Y0,0)，將Xw+X0、Yw+Y0取代式(5)中X和Y，再代入到式(3)中可以得到影像平面坐標系與大地坐標系的對應關系：

(6)

其中，u0、v0、fx、fy是攝像機的內參數，可以由張正友標定法[16]后得到，其值經過標定后在不同的視場保持不變。r11、r12、r21、r22、r31、r32由智能手機的姿態數據仰視角、偏航角和傾斜角經過式(2)計算得到。至此，由式(6)可以進行經緯度坐標到視覺平面中的像素坐標的轉換，從而完成圖像的實時注冊。

(5) 信息融合：電子羅盤、AGPS、加速度傳感器獲取的信息與基于視覺跟蹤的海天線標識定位結果進行綜合對比來修正注冊精度，本文采用擴展卡爾曼濾波器按照最小均方差準則來完成多種傳感器及視覺跟蹤注冊結果的融合，如圖3所示。

圖3　混合注冊信息融合框架

1.2流場預報與服務發布

海洋流場預報采用ROMS(Regional Ocean Model System)區域海洋模式。預報結果生成的數據為通用的網絡數據格式NetCDF(Network Common Data Form)格式。模型東西向距離約為360 km，南北向約為325 km，并對洋山港實驗區進行的局部加密。為了整合不同異構空間地理數據，預報流場數據通過地圖服務形式進行發布。Web Service作為新一代分布式應用集成的技術，具有較強的互操作性，易于將現有應用集成為新的系統[17]。利用Web Service技術，將GIS地圖以服務的方式發布，同時把海洋模型處理過程也以服務的方式封裝和發布。本文主要通過ArcGIS Server服務管理器以Map Service類型進行發布。流場數據在網絡中主要通過JSON數據格式傳輸，可以滿足不同異構平臺讀取空間數據的需要，同時減小數據傳輸量，保證實時性要求。

1.3流場要素建模

設空間任意一點流場矢量起止點分別為S1(x1,y1,z1)、S2(x2,y2,z2)，流場大小為V、流場方向為D，OXYZ為世界坐標系。如圖4所示，S1為標注空間矢量流場起點，S2可通過大小及方向計算，流場的大小與實際地面距離通過比例尺進行等比例縮放以適合移動端瀏覽。為了減小數據的計算量，流場模型由椎體及的線段組合而形成簡單的幾何形體，其中箭頭表示流場大小、長度代表流速大小，以上數據通過Web Services直接從數據庫讀取流速、流向及起點空間坐標信息，并在移動端實時建模，然后通過空間坐標變換實時繪制。

圖4　海洋預報流場矢量建模

2　系統實現

2.1系統框架

整個移動增強現實系統由移動端與服務器端構成。如圖5所示，移動端與服務器端通信通過GPRS/GSM或3G服務實現，負責傳輸服務器端每個計算網格的流場數據。移動端讀取網格中流場數據進行三維建模，并通過CCD攝像頭影像進行海天線標識的提取及定位傳感器、姿態傳感器對流場模型進行坐標變換，形成位置準備的虛擬圖像與真實視頻圖像進行融合，形成最終的增強現實視頻序列。

圖5　海洋流場信息戶外移動增強現實系統框架

2.2軟硬件環境

移動端為智能手機小米2S(電信版)：2 GB內存，四核CPU，后置800萬像素攝像頭；內置的硬件主要包括AGPS、通信模塊(GPRS/GSM/3G)、陀螺儀、重力感應器、加速度傳感器、電子羅盤等，手機已開通3G網絡服務。通過張正友標定法得到混合注冊時的手機攝像頭內參數如下:u0=239.017像素,v0=340.377像素,fx=677.848像素,fy=680.795像素。

Vuforia增強現實軟件開發工具包(Vuforia Augmented Reality SDK)，是美國高通公司開發的用于移動設備的增強現實工具包。實驗環境采用Vuforia AR sdk 4.0，SDK支持Image Targets、Multi-Targets、User Defined Targets等多種視覺跟蹤注冊方式。通過手機攝像頭獲取真實場景影像，采用Sobel邊緣檢測算法及Hough 變換擬合，提取和跟蹤海天線標識，其結果存儲在狀態對象中，可以被其他程序調用。手機的姿態信息可以通過QCAR::Matrix44F方法獲取，對流場三維模型可以通過translateM、rotateM、scaleM函數進行變換，使其疊置到真實的視頻序列。

服務器端為OpenSpark構建的云平臺環境，8 GB內存、80 GB硬盤。軟件包括：Oracle 11g數據庫、ArcSDE10.1空間數據引擎，GIS服務數據服務主要通過ArcGIS Server 10.1發布地理信息及預報數據服務。

2.3流場數據結構

本試驗采用的流場的數據結構比較簡單沒有包含流場的拓撲信息，流場文件的空間數據結構包括計算網格標識、網格中心點坐標X、中心點坐標Y、流速及流向信息，流向以正北方向為0，如表1所示。

表1　預報流場矢量數據結構

2.4精度分析

利用高精度GPS設備預先設定三個點的坐標，然后用手機分別進行單GPS定位與網絡輔助GPS定位對比兩者精度，其中GPS的定位精度分別為：3.02、 3.52 、4.48 m， AGPS的定位精度分別為2.93、2.20、2.96 m，可見AGPS的定位精度較單GPS定位精度更高。在實驗現場將開啟攝像功能的手機固定在攝像機無磁三軸轉臺分別對偏航角(Azimuth)、俯仰角(Pitch)和傾斜角(Roll)變化0°、15°、30°、45°、60°、75° 和90°后，采用混合注冊計算旋轉后的角度，同時關閉攝像功能直接提取相機的姿態做前后對比，如表2所示。從表中數據可以看出采用混合注冊方法后手機姿態數據的精度有了明顯的提升。

表2　手機姿態注冊精度

2.5測試結果

圖6　洋山港戶外觀測站增強現實測試

本次實驗的測試地點為洋山深水港附近的觀測站。測試時，先打開手機的網絡數據服務和GPS定位服務，然后點擊進入系統手機后置攝像頭自動打開，等待幾秒鐘后屏幕左上方會顯示手機當前的經緯度坐標和手機的姿態數據。將攝像頭對準海面，海洋流場信息會疊加在屏幕上，如圖6(a)所示；當點擊手機屏幕上的任意海面位置，可查詢當前海面位置處的流速、流向信息，如圖6(b)所示。通過這些簡單的操作方式可以得到真實場景視覺體驗和有效信息的獲取，為海洋災害預警和近海船只航行提供重要依據。

3　結　語

本文面向海洋動態環境增強現實系統中的跟蹤注冊問題提出了基于海天線特征標識與智能手機硬件傳感器注冊融合的混合三維注冊方法，有效地提高注冊的精度滿足了海洋動態環境下的三維注冊實時性的需要，延伸了虛實融合的空間范圍。但是本文只選取了海天線這一特征作為視覺跟蹤注冊的標識。如何在海洋這種特征的動態環境中挖掘其他有效的特征標識，整合智能手機中各種傳感器實現多傳感器數據的有效融合，更進一步地提高混合注冊的精度和穩定性成為下一步的重點研究方向。

[1] Azuma R,Baillot Y,Behringer R,et al.Recent advances in augmented reality[J].IEEE Computer Graphics and Applications,2001,21(6):34-47.

[2] Bostanci E,Kanwal N,Ehsan S,et al.User Tracking Methods for Augmented Reality[J].International Journal of Human Computer Studies,2013,5(1):93-98.

[3] 李丹,程耕國.基于Android平臺的移動增強現實的應用與研究[J].計算機應用與軟件,2015,32(1):16-19,23.

[4] 陳鵬,管濤.基于仿射重投影的增強現實三維注冊方法[J].計算機輔助設計與圖形學學報,2010,22(3):480-486.

[5] 史曉琳,邊耐政.手機增強現實室內向導的研究與實現[J].計算機應用與軟件,2013,30(2):320-323.

[6] 朱淼良,姚遠,蔣云良.增強現實綜述[J].中國圖象圖形學報,2004,9(7):767-774.

[7] 陳靖,王涌天,劉越,等.適用于戶外增強現實系統的混合跟蹤定位算法[J].計算機輔助設計與圖形學學報,2010,22(2):204-209.

[8] 趙峰,趙清華,陳宏濱.基于EKF和數據融合的移動臺跟蹤定位算法[J].計算機工程,2012,38(22):244-247.

[9] 王崴,彭勃宇,周誠,等.面向增強現實的多傳感器組合位姿注冊算法[J].傳感器與微系統,2015,34(7):132-136.

[10] 李薪宇,陳東義.緊耦合多傳感器混合跟蹤算法[J].中國圖象圖形學報,2011,16(10):1951-1956.

[11] Jiang B,Neumann U,You S.A robust hybrid tracking system for outdoor augmented reality[C]//Proceedings of IEEE Virtual Reality,Chicago,2004:3-10.

[12] Barandiaran I,Paloc C.Hybird tracking for outdoor augmented reality applications[J].Computer Graphics Topics,2006,18(4):6-15.

[13] 張鎖平,張春田.基于全變差和脊波變換的海岸線提取算法[J].儀器儀表學報,2009,30(12):2580-2585.

[14] 李永進,金一丞,任鴻翔.基于物理模型的近岸海浪建模與實時繪制[J].中國圖象圖形學報,2010,15(3):518-523.

[15] 羅斌,王涌天,沈浩,等.增強現實混合跟蹤技術綜述[J].自動化學報,2013,39(8):1185-1201.

[16] 馬頌德,張正友.計算機視覺[M].北京:科學出版社,1998:52-63.

[17] 許蕾,李言輝,陳林,等.一種面向用戶需求的Web服務測試方法[J].計算機學報,2014,37(3):512-521.

MARINE ENVIRONMENT AUGMENTED REALITY SYSTEM BASED ON HYBRID REGISTRATION MODE

Zou GuoliangTu ZhengfeiZheng Zongsheng

(CollegeofInformationTechnology,ShanghaiOceanUniversity,Shanghai201306,China)

In view of single sensor can not provide a complete solution for tracking registration in marine environment augmented reality system, we proposed a mixed registration method, it integrates the registration of multiple sensors including assisted global positioning system (AGPS) of smart phone, electronic compass and acceleration sensor measuring the sight direction with the sea-sky-line feature mark-based vision tracking registration, and achieves effective integration of multi-sensor through extended Kalman filter to improve the precision of 3D registration. Taking real marine environment and marine numerical forecasting as the example, we presented an augmented reality framework adapted to dynamic marine environment and used Vuforia augmented reality (AR) to implement the prototype system, and verified the hybrid registration method as well. Results showed that this technology framework and the registration method have strong availability and practicality, and have extensive application prospect in dynamic marine environment augmented reality.

Augmented realityHybrid registrationNumerical forecastingMarine environmentVuforia

2015-07-19。山東省海洋生態環境與防災減害重點實驗室開放基金項目(2012011)。鄒國良，教授，主研領域：海洋信息化，海上無線通信技術。屠正飛，碩士生。鄭宗生，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.10.035