基于全景圖的地理現實增強技術研究

陳令羽，賈奮勵，宋國民

(信息工程大學地理空間信息學院，河南 鄭州450000)

一、引 言

增強現實技術是利用計算機技術對真實世界進行景象擴展，把真實場景中原本不存在的信息通過計算機生成的圖文按照指定的位置和模式顯示出來，使用戶沉浸在一種真實和虛擬相結合的混合環境中，滿足用戶的空間認知要求。它最早被作為虛擬現實的一個分支進行研究。隨著研究的不斷開展和認識的持續深入，目前普遍認為兩者是相互并列的研究方向，近年來在某些方面對增強現實的研究甚至超過了虛擬現實，特別是在軍事、醫療、教育、娛樂等領域具有廣泛的應用前景［1-5］。

基于全景圖的增強地理現實是將全景圖作為真實地理空間環境的縮影，通過將感興趣的屬性信息增強到全景圖上來促進用戶完成空間認知的一種技術［6］。與傳統的增強現實系統相比，全景圖增強地理現實技術無須用戶置身于當前環境中，可以在事先生成的全景影像上獲取對真實世界最為感興趣的信息，便捷且廉價;與虛擬現實技術相比，全景圖制作工藝相對簡單，不需要進行環境建模，大幅度提高了實現效率。它結合了增強現實和虛擬現實技術兩者的優點，通過信息表達，有助于用戶進行空間認知，了解特定的地理環境［7］。目前基于全景影像進行的虛擬現實系統研究已經廣泛展開，但是基于全景圖進行的增強現實技術，特別是進行有意義的信息表達實踐，相關研究還很少。基于全景圖進行地理現實增強，涉及的關鍵技術主要有:全景圖中增強目標的確定、待增強屬性信息的選擇、地理空間信息到全景圖的空間定位、信息表達模式4個方面。

二、全景圖中增強目標的確定

全景圖是通過攝像機對真實世界的再現，根據景深的不同，現實世界中不同目標物在圖像中表示的大小不同，呈現近大遠小的特點;全景圖對真實世界不加任何選擇，攝像機可視范圍內的所有物體都會被無條件復制。在進行空間認知時，用戶更關注的是具有典型特征的目標物。因此，確定全景圖中需要增強的目標，發現用戶可能感興趣的內容，進行等級劃分，是基于全景圖進行地理現實增強的前提。

確定全景圖增強目標的最好方法是進行自動化的圖像分割，涉及人類認知學的中層視覺中最基本的問題，也是國際學術界公認的將長期存在的最困難問題之一［8］。直接進行全景圖特征提取，會存在以下難點需要解決:①近距離的大場景再現，表示的細節過于清晰，不利于特征的邊緣檢測及分析;②通過多幅圖像拼接而成，一個特征體可能會在全景圖中不連續呈現;③部分特征特別是跨越采集點前后的特征變形較大;④計算機的思維方式與人大大不同，只擅長數值計算和邏輯推理等抽象思維，對于全景圖特征提取時需要的形象思維及視覺思維模擬困難。

因此，進行精確的自動化全景圖目標區域劃分是不可能實現的。結合具體應用需求，在進行全景圖目標區域劃分時，僅需要從全景圖中將大致的目標輪廓劃分出來，再根據與地理現實的配準就可以進行信息表達，大大降低了難度。首先根據對全景圖進行邊緣提取和強化，將全景圖中存在的目標特別是目標的輪廓信息顯現出來;然后根據視覺心理學，確定各個目標的具體等級。在最常用的全景街景中，涉及的目標信息主要有道路和建筑物兩種。下面將以此為例，具體說明目標識別和劃分方法。

1．道路目標的確定

全景圖的拍攝一般是在道路上進行的，經常會選擇在幾條道路的交叉口。由于是同一位置多角度圖像的拼接，同一條道路會被分割成兩段，因此需要在目標提取時顧及相應的語義聯系。

根據全景圖的成像特點，可以得到以下推論:若兩條道路的中軸線距離約等于全景圖寬度的1/2，則這兩條道路是同一條道路在攝像機前后的分割。

由于拍攝角度和變形，道路中軸線的距離不一定嚴格等于全景圖寬度的1/2。實際上，兩條中軸線很難嚴格平行，可以將中軸線延長至視點附近，計算其中點的距離來近似表示中軸線距離。如圖1所示，對柱面全景圖中能夠提取的所有道路的中軸線兩兩進行距離計算，若距離約等于全景圖寬度的1/2，則說明這兩段道路是同一條。

圖1 全景圖中道路目標的確定和關聯

計算結果見表1。

表1 全景圖中道路間的距離計算

表1中的距離比值表示兩路段間的距離和全景圖寬度的比值。由表1可知，圖中的道路A和道路C、道路B和道路D分別來自同一條道路。同時，根據道路橫向的寬度可以確定道路等級，一般情況下，單幅全景圖中涉及的道路信息不多，大都為需要重點增強的目標。

2．建筑物目標的確定

全景圖中的建筑物幾乎連成一片，精確的建筑物目標識別和提取是不可能的，交互式或半自動圖像分割借助于人類在交互時所提供的高層語義信息卻能較好地解決上述問題。通常操作員僅需要將目標或背景區域在圖像中標記出來，算法便能夠根據所提供的提示信息來進行分割。在某些特殊情況下如果算法失效，操作者則可以用適當的形式來及時修正。交互式算法就是通過這種不斷的人機交互過程來實現從圖像中精確而快速地提取出有意義的目標。

根據視覺心理學，除了有特殊要求外，圖像上影響觀察者興趣的因素主要有亮度、大小、形狀、紋理、顏色、方向等。在同等條件下拍攝時，其他幾個因素都可以簡化到大小這一個因素上，以圖2為例，具體步驟如下:

1)選擇全景圖中的主要建筑物，如圖2所示，由于部分建筑物間的相互遮擋關系，無法單獨將某個個體抽離出來，因此可組合成一類目標(如目標1);同時，對于主要的目標被遮擋的，可以根據先驗知識將其隱藏的部分也標記出來(如目標8)。

2)計算各個目標的面積占整個全景圖的比例和所有目標區域之和的比例，見表2。

3)根據比例大小確定建筑物目標的等級(見表2)，為屬性增強提供依據。

圖2 建筑物目標的選取和分類

表2 目標等級計算結果示例

三、屬性信息的選擇

地理空間數據庫中存儲著地理空間數據各種幾何和屬性信息，進行全景圖增強地理現實，其核心目的就是增強全景圖中主要目標的屬性信息。由于幅面所限，無限的放大操作又會影響全景圖的使用效果，因此一般僅選擇用戶空間認知過程中最關心的屬性信息。

根據用戶的關心程度，可以將地理要素的屬性信息分為名稱信息和說明信息(說明對象的數量和質量特征)兩種。名稱信息是地理目標最基本的特征，直接說明目標對象的專有名稱;說明信息是對地理目標的種類、性質或特征進行的說明，是對地理目標的深層次解釋，是用戶獲得空間信息的重要途徑。根據用戶的關心層次，將說明信息進行再分級，不同區域的全景序列用戶關心的內容不盡相同，表3是在城市密集區和野外空曠區對道路和建筑物的主要屬性信息進行的簡要分級。設定目標等級閾值，對低等級的目標物只顯示基本的名稱信息，對高等級目標顯示對應等級的說明信息，如表2中一級目標顯示到二級屬性信息，三級目標僅顯示基本級的名稱信息。

表3 不同區域道路和建筑物主要屬性信息的簡要分級

四、地理空間到全景圖的配準定位

將屬性信息繪制在全景圖上，空間定位是必須解決的一個問題，即確定屬性信息在全景圖上繪制的位置，其紐帶就是地理實體的空間坐標。在實際應用中，僅通過全景圖本身是無法獲取其原本的地理坐標的，需要在成像時進行地理空間到全景圖的注冊配準，一般過程如圖3所示。

圖3 地理現實到全景序列影像的注冊配準

地理空間到全景圖的定位，關鍵是根據地理現實的空間坐標確定在全圖上相應的像素坐標，是全景圖增強地理現實系統實現的重要基礎。首先根據攝像機的姿態，將地理現實所在的場景坐標轉換成攝像機坐標;然后根據攝像機的焦距等將攝像機坐標轉換成圖像坐標;再通過相片的分辨率等信息計算出地理現實對應的像素坐標;最后對結果進行糾正。其中所涉及的各種攝像機信息可以由攝像機的標定來提供。坐標轉換的研究已經很多，具體方法可參見坐標轉換的相關文獻［9-11］。

五、增強信息在全景圖上的表達

全景圖是用二維的平面展現三維的空間，利用相應的地理空間信息進行現實增強，需要不同于傳統電子地圖或三維顯示模式的信息表達方式。

用戶基于全景圖進行地理現實增強輔助空間認知時，觀察者通過閱讀、使用全景圖，各類信息(包括影像和增強的信息)相互作用對感官系統產生刺激，使人產生心理感受，引發聯想，獲取包含的各類信息，完成空間信息的獲取和認知。進行圖像增強的意義就在于它可以標識各種對象、指示對象屬性，以及表明對象間的關系。待增強的屬性信息在全景圖上進行表達時，應盡可能表現得清晰、美觀、和諧、無二義，同時符合閱讀習慣、不影響全景圖自身特征，還可以提示屬性信息。基于此，結合電子地圖和三維場景中的信息表達方式［12-13］，屬性信息在全景圖上進行繪制時，應當注意以下幾個方面:

1)字體，屬性信息的繪制樣式，主要用于區分不同對象類別，應具有明顯性、差異性和習慣性。

2)字大，屬性信息繪制的字體大小，一定程度上反映對象的重要性和數量等級，一般情況下，全景圖中同類目標物的等級越高，字就越大;同時根據全景圖景深具有近大遠小的規律，視點周圍的字體應比遠處的偏大。

3)字色，字體的顏色，主要用于加強分類概念，是觀察者更為直觀地獲取到感興趣的信息，但是同時應注意顏色的選取和全景圖背景間的關系，容易區分又不能過于突兀。

4)定位原則，被標記對象易于識別，同時與全景圖上的其他要素特征矛盾盡可能減少，整體外觀自然不突兀。道路信息一般沿其中軸線面對視點位置增強，考慮道路分段情況，每一段道路都有信息增強的內容;建筑物信息主要標注于上方。在進行全景瀏覽時，根據視點不同，增強的信息可以隨之變化。

圖4是全景圖進行地理現實增強后進行全景瀏覽時的一個截圖，簡單表示了一種道路增強時的表達方式。觀察者可以獲取到原始全景圖中沒有的信息，有助于空間認知范圍的擴展，說明基于全景圖進行地理信息增強的實踐是可行的。

圖4 全景圖中道路信息增強示例

六、結束語

基于全景圖進行地理現實增強，有助于觀察者更好地進行空間認知，可以獲取到更多的空間屬性信息。目前相關的研究較少。本文通過實例分析了整個流程中涉及的關鍵技術，雖然試驗效果還不夠理想，但是展現了全景影像增強現實在信息表達方面的優勢。隨著計算機技術、攝像技術，特別是圖像處理和識別技術的不斷發展，基于全景圖的增強地理現實技術將更好地服務于人類對空間認知的各種需求。

［1］ GOODCHILD M F．Augmenting Geographic Reality［EB/OL］．2010-08-20．http:∥www．csiss．org/aboutus/presentations/files/goodchild_boulder_sept02．pdf．

［2］ MILGRAM P，KISHINO F．A Taxonomy of Mixed Reality Visual Displays［J］．IEICE Transactions on Information Systems，1994，E77-D(12):1321-1329．

［3］ 冉洋，朱飛，陳康．虛擬現實及增強現實技術在工業設計中的應用［J］．激光雜志，2010，31(1):4-6．

［4］ 張軍毅，羅述謙．醫學增強現實建模方法研究［J］．系統仿真學報，2009，21(12):3658-3661．

［5］ 師國偉，王涌天，劉越，等．增強現實技術在文化遺產數字化保護中的應用［J］．系統仿真學報，2009，21(7):2090-2093，2097．

［6］ 王宇，王涌天，劉越，等．基于全景成像的增強現實系統［J］．計算機工程，2010，36(3):16-18．

［7］ ASAI K．Visualization Based on Geographic Information in Augmented Reality［J］．Augmented Reality，2010(11):185-203．

［8］ 王兵，張欣，王苗，等．圖像主題區域提取及其在圖像檢索中的應用［J］．小型微型計算機系統，2011，32(3):567-571．

［9］ 付金紅．柱面全景圖像拼接算法的研究［D］．哈爾濱:哈爾濱理工大學，2005．

［10］ TSAI R Y．A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-The-Shelf TV Cameras and Lenses［J］．IEEE Journal of Robotics and Automation，1987，RA-3(4):323-344．

［11］ 張欣．全景拼接的關鍵技術研究［D］．哈爾濱:哈爾濱工業大學，2012．

［12］ 王家耀，孫群，王光霞，等．地圖學原理與方法［M］．北京:科學出版社，2006．

［13］ 沈敬偉，溫永寧，陳旻，等．面向三維的注記自動配置研究［J］．測繪通報，2008(1):36-39．