基于移動增強現實終端的一致性研究

楊衛軍，列鍵佳，郭亮，何華貴，李少智

(1.廣州市城市規劃勘測設計研究院，廣東 廣州 510060； 2.華南農業大學 資源環境學院，廣東 廣州 510642)

基于移動增強現實終端的一致性研究

楊衛軍1*，列鍵佳2，郭亮1，何華貴1，李少智1

(1.廣州市城市規劃勘測設計研究院，廣東 廣州 510060； 2.華南農業大學 資源環境學院，廣東 廣州 510642)

Augmented Reality(AR)中，空間位置一致性是指虛擬物體在攝像機屏幕與現實世界坐標匹配的準確性。空間位置一致性是實現增強現實系統的關鍵性能。文章對移動端增強現實技術中空間位置一致性相關問題進行了研究，設計了一種跨移動平臺的增強現實算法，并在Android平臺與IOS平臺上各自實現了一個AR程序，驗證了算法的可行性，得出了該算法能較好地解決了空間位置一致性問題的結論。

增強現實；空間位置一致性；智能移動終端

1 引 言

增強現實是一種將虛擬信息內容如圖像、文字、三維模型等和現實世界中真實存在的內容進行實時融合，形成虛擬、現實之間互動，并具有實時交互特點的技術。增強現實技術在軍事、醫療、教育、文化以及娛樂等領域具有廣泛的應用前景[1]。增強現實(Augmented Reality，AR)與虛擬現實(Virtual Reality，VR)不同，VR技術僅是由計算機生成一個完全虛擬環境給用戶感受，而AR技術則是將計算機或電子設備生成虛擬物體或信息與用戶現實中看到的真實世界相結合，用戶可通過設備提供的虛擬信息來增強對現實世界的認知感受，以達到對現實世界進行增強[2]。增強現實不僅展現了真實世界的信息，而且將虛擬的信息同時顯示出來，兩種信息相互補充與疊加[3]。一個AR系統是由跟蹤定位技術、標定技術、界面可視化技術、顯示技術等多門技術構成。跟蹤定位技術和標定技術共同實現了對被跟蹤對象方位和位置的檢測，并將數據呈現給AR系統，實現在虛擬世界和真實世界里坐標的統一[4]。移動增強現實的性能指標主要體現在跟蹤目標位置的正確性、響應時間、魯棒性和跟蹤范圍等。增強現實技術大致可以分為兩種，一種是基于GPS與硬件傳感器實現，另一種則是基于視覺圖像識別的方式，而基于視覺圖像識別方式還可分為基于標記方法與基于自然特征方法[5]。本文主要對基于GPS與硬件傳感器方式的增強現實技術實現的系統的空間位置一致性進行研究。這種方式的主要實現思路就是解決現實世界坐標系與虛擬世界坐標系的統一性、虛擬世界坐標系與移動智能設備攝像機屏幕坐標系的統一性。最后本文根據設計的算法在Android設備和IOS設備上各實現了一個移動增強現實應用程序。

2 增強現實系統原理與框架

移動增強現實關鍵技術本質就是實時跟蹤獲取手機設備在真實場景中的位置和姿態，并根據這些信息計算虛擬物體在攝像機中的坐標，從而實現虛擬物體畫面與真實場景畫面精準匹配并合并顯示。本文移動增強現實系統設計如圖1所示：

圖1 系統實現的框架流程圖

3 系統流程與關鍵算法

本文設計的一種跨移動平臺的增強現實算法：根據手機設備的重力加速度傳感器與磁場感應器數據通過矩陣運算得出代表設備坐標系與世界坐標系關系的核心三維坐標旋轉矩陣，結合搜索范圍，設備與信息點的地理空間位置關系，再根據設備攝像機參數與屏幕參數通過幾何數學運算得出虛擬物體在設備屏幕的投影坐標。3.1 設備坐標系與世界坐標系的關系模塊求算

確定手機設備在真實場景的姿態，先要獲取設備的重力加速度感應器(設為A，xyz三個方向數值為Ax、Ay、Az)與磁場感應器(設為M，xyz三個方向數值為Mx、My、Mz)，通過垂直向下的A與水平向北的M叉乘運算得到一個水平向東的向量H(Hx，Hy，Hz)，則H=M*A，并進行矩陣歸一化操作，構造得到設備坐標系與世界坐標系的關系三維坐標矩陣(設為VD)，在此過程為了減少傳感器帶來的誤差，使系統魯棒性更好，有必要對VD進行平滑濾波處理。

3.2POI(PointOfInterest)在屏幕坐標系上的投影坐標

計算POI與設備之間在經緯度(設為dx，dy)，海拔高度(設為dz)三個方向的地理空間位置距離矩陣(設為d)d=(dx，dy，dz)，再求得POI與設備位置與姿態的關系矩陣(設為D)，則可以寫為D=d*VD。圖2展示POI在攝像機與屏幕上投影的幾何關系。POI在屏幕上投影的水平角(設為XAngle)為XAngle=atan(Dx/Dy)，垂直角(設為YAngle)為YAngle=atan(Dz/Dy)，根據設備攝像機的參數(如焦距(設為f)、水平視角度(設為HAngle)、垂直視角度(設為VAngle)等)與設備與POI兩點最短位置距離關系判斷是否滿足搜索范圍。圖3顯示POI在屏幕的投影集合關系則可得出POI在屏幕坐標系上的投影坐標(x，y)：

(width：屏幕寬度、height：屏幕高度)。

圖2 POI在攝像機與2D屏幕之間投影示意圖

圖3 POI在屏幕投影幾何關系圖

由上述可見，針對本文算法流程實現增強實景技術僅需要移動設備提供重力加速度傳感器、磁場傳感器、攝像機及其相關參數、GPS、屏幕參數等。

4 系統實現與運行結果

本文設計并實現了一個運行在Android和iPhone/iPad設備上的，基于本文算法的移動增強現實系統。該系統使用智能設備的后置攝像頭對真實場景進行拍攝，并同時實時獲取GPS信息、重力感應器和磁場感應器數據，通過算法邏輯運算檢測智能設備的在真實場景中的位置與姿態，計算虛擬數據物體在設備屏幕上的投影坐標并與攝像頭實時采取的真實場景進行融合顯示。圖4和圖5分別是在Android設備和IOS設備運行應用的結果圖，與真實場景對比，虛擬信息POI能夠較準確地與現實建筑物相對應匹配。該系統可作為移動增強現實應用程序的基礎框架。

圖4 Android端增強系統運行結果圖

圖5 IOS端增強系統運行結果圖

5 總 結

本文先對移動增強現實技術的概念和框架進行了簡單的介紹以及對實現移動增強現實的關鍵技術原理和本質進行了簡要的描述分析，提出了實現移動增強現實技術的關鍵問題與本文的主要研究問題是虛擬物體在屏幕場景與真實世界場景的空間位置一致性。然后針對本文的主要研究問題提出了自主設計的移動增強現實算法，并在Android操作系統與IOS操作系統上實現開發了移動增強實景應用程序，對程序代碼的多次測試與實驗，程序較為精確地將POI虛擬信息與真實場景相對應實時匹配融合在一起。并且，在此系統中，程序設置了戶外GPS系統每隔 1 s與每隔 3 m便刷新手機的位置、手機加速度傳感器與磁場感應器實時監聽手機姿態的變化。目前手機屏幕的刷新幀數一般是 60 fps，也就是刷新一次圖像需要 16.67 ms。系統中虛擬信息POI基本能快速響應，實時隨手機位置與姿態更改顯示的投影位置，較好地解決了移動增強現實智能終端的空間位置一致性問題，最終達到了預期的結果。

在解決空間位置一致性的過程中，主要調用了移動終端的硬件傳感器設備運行的數據來判斷測定手機在真實場景中的位置與姿態，目前的移動智能設備位置定位精度與電子羅盤精度等還存在有一定的受干擾因素和誤差，系統也對傳感器數據進行了平滑濾波去噪處理，但移動增強現實智能終端的空間位置一致性問題的精度還是存在著一定的誤差。雖然精度存在著誤差，但對于一般的增強現實應用，該系統已經足夠可以勝任。

[1] 隋毅. 基于手持設備的增強現實技術研究與應用[D]. 青島：青島大學，2009.

[2] 王靖濱，李明，耿衛東等. 基于增強現實技術的景觀規劃系統[J]. 中國圖象圖形學報，2002；7：405～10.

[3] 郭亮，楊衛軍，何華貴等. 基于增強實景的地名地址普查系統研究[C]. 中國測繪地理信息學會2014工程測量分會與礦山測量專委會年會暨全國變形與安全監測學術研討會，2014.

[4] 王迪. 基于Android的增強現實技術研究與實現[D]. 武漢：武漢理工大學，2013.

[5] 劉權. 基于智能移動終端的移動增強現實應用研究與實現[D]. 昆明：云南大學，2013.

Research Based on the Consistency of Mobile Augmented Reality Terminals

Yang Weijun1，Lie Jianjia2，Guo Liang1，He Huagui1，Li Shaozhi1

(1.Guangzhou Urban Planning&Design Survey Research Institute，Guangzhou 510060，China；2.College of Resources and Environment，South China Agricultural University，Guangzhou 510642，China)

In Augmented Reality，the consistency of spatial position is the accuracy of matching the virtual objects’ coordinates between the camera and the real world. The consistency of spatial position is the key to the realization of Augmented Reality system. This paper studied the problems of the consistency of spatial position in AR，and a cross-platform mobile Augmented Reality algorithm was designed. An AR program was achieved on the Android and IOS platforms respectively，which verified the feasibility of the algorithm. The results show that the algorithm can solve the problem of the consistency of spatial position.

augmented reality；the consistency of spatial position；intelligent mobile terminal

1672-8262(2016)06-54-03

P208.2，P209

A

2016—05—24

楊衛軍(1978—)，男，博士，高級工程師，主要從事地理信息系統方面的研發工作。 通訊作者：列鍵佳(1993—)，男，本科在讀，主要從事移動GIS、AR、云GIS等工作。

廣州市越秀區科技計劃項目(2016-GX-059)