匹配地面街景的傾斜攝影全空間信息恢復(fù)研究

宋文平，楊志強，計國鋒，童雅妮，高 歌

(1．長安大學(xué)測繪與空間信息研究所，陜西 西安710064;2．陜西國土測繪工程院，陜西 西安710064)

一、引 言

傾斜攝影技術(shù)是在攝影測量技術(shù)之上發(fā)展起來的。與攝影測量不同的是傾斜攝影是通過在同一飛行平臺上搭載多臺傳感器(目前常用的五鏡頭相機)，同時從垂直、傾斜等不同角度采集影像，獲取地面物體更為完整準(zhǔn)確的信息。垂直地面角度拍攝獲取的影像稱為正片(一組影像)，鏡頭朝向與地面成一定夾角拍攝獲取的影像稱為斜片(4組影像)。傾斜攝影技術(shù)雖然具有高真實性、全要素的優(yōu)勢，但是單獨利用傾斜攝影測量技術(shù)還存在很多不足之處，特別是在近地面細節(jié)上，傾斜攝影測量技術(shù)往往會出現(xiàn)大面積的數(shù)據(jù)失真和細節(jié)模糊。

本文從傾斜攝影測量的不足之處著手，將傾斜攝影和地面街景進行有機的耦合，由于地面街景技術(shù)具有在近地面的數(shù)據(jù)的完整性和不失真性，并且其具有大量的數(shù)據(jù)資源，因此將地面街景技術(shù)與傾斜攝影技術(shù)進行融合將極大地彌補傾斜攝影測量的局限性。再將傾斜影像模型中細節(jié)的丟失和模糊進行恢復(fù)，得到識別度和精度更高的的傾斜影像模型，然后將恢復(fù)后的地面細節(jié)模型與恢復(fù)之前的模型進行比較分析，從而驗證將傾斜攝影與地面街景技術(shù)進行融合能夠極大地提高數(shù)據(jù)信息的準(zhǔn)確性、減少細節(jié)的丟失和失真，其相互之間具有很強的耦合性，必將為將來的測繪工作開辟新的手段和思路。

二、技術(shù)原理

1．傾斜攝影技術(shù)原理

傾斜影像是通過具有一定傾角的傾斜航攝相機獲取的，其可以獲取多個視點和視角的多重分辨率的影像，從而獲取更為詳盡的側(cè)面信息，具有較高的分辨率和較大的視場角。但是傾斜攝影測量受地面的遮擋比較嚴(yán)重，從而造成近地面的數(shù)據(jù)失真，因此處理傾斜攝影影像要進行影像的畸變糾正、區(qū)域網(wǎng)聯(lián)合平差、多視影像匹配等關(guān)鍵內(nèi)容。其中，多視影像區(qū)域網(wǎng)聯(lián)合平差和多視影像匹配最為關(guān)鍵。

(1)多視影像區(qū)域網(wǎng)聯(lián)合平差

多視影像包括垂直攝影數(shù)據(jù)和傾斜攝影數(shù)據(jù)，由于傾斜影像上每一個點的外方位元素都是不一樣的。因此，傳統(tǒng)的空中三角測量系統(tǒng)不能較好地對傾斜攝影數(shù)據(jù)進行處理，必須結(jié)合POS系統(tǒng)提供的多視影像外方位元素，并充分考慮多視影像的幾何形變和遮擋關(guān)系，采取由粗到細的金字塔并行匹配策略進行每級影像同名點的自動提取、匹配、自由網(wǎng)光束法平差，然后根據(jù)連接點、控制點和定位輔助數(shù)據(jù)建立區(qū)域網(wǎng)平差的誤差方程，通過聯(lián)合解算，確保結(jié)果的精度。

(2)多視影像匹配

多視影像具有覆蓋范圍大、分辨率高的特點，其關(guān)鍵是如何在冗余信息中快速準(zhǔn)確地獲取多視影像上的同名點坐標(biāo)。本文在進行多視影像匹配時采用逆仿射變換模型，其能夠很好地采集多視影像的同名點坐標(biāo)。逆仿射變換模型是利用下視影像的粗略外方位元素、下視相機與各側(cè)相機之間的相對姿態(tài)計算同一攝站各張傾斜影像的粗略外方位元素。利用傾斜影像的姿態(tài)參數(shù)來計算傾斜影像的旋轉(zhuǎn)矩陣，并利用此旋轉(zhuǎn)矩陣逆向推算出航測相機光軸的方向角，進而得出逆仿射矩陣，利用此逆仿射矩陣的尺度和旋轉(zhuǎn)不變性，對原始的傾斜影像進行逆仿射變換，即進行傾斜影像的糾正。對糾正后的影像進行sift匹配，匹配策略采用最近鄰匹配，對于sift匹配中出現(xiàn)的誤匹配，利用主方向差值一致性進行剔除，并將剔除后的正確匹配點對反算到原始影像上。

2．地面街景技術(shù)原理

地面街景技術(shù)是虛擬現(xiàn)實領(lǐng)域的重要內(nèi)容，其是借助于計算機技術(shù)和圖像圖形處理技術(shù)，對現(xiàn)實環(huán)境建立適合于計算機表示和處理的模型，并進行實時渲染，從而具有更強的逼真度和沉浸感。首先基于稠密深度進行立體平行拼圖，得到一幅多視點全景圖像和一幅與其相對應(yīng)的稠密深度圖像，根據(jù)兩類圖像數(shù)據(jù)就可以渲染出新視角的視圖，從而完成重構(gòu)。然后利用分段連續(xù)密閉立面模型簡化擬合街景的實際幾何建構(gòu)，并以分段連續(xù)立面為投影面得到無縫平滑的多視點全景圖像拼接結(jié)果，以便作為紋理使用。其多視點成像示意圖如圖1所示。

圖1 地面街景成像原理

三、耦合全空間信息提取

1．傾斜攝影技術(shù)分析

傾斜攝影技術(shù)作為一項新的對地觀測技術(shù)，在國外發(fā)達國家已經(jīng)得到了較為廣泛的應(yīng)用。相對傳統(tǒng)的建模方式其具有一定的優(yōu)勢，但是也相應(yīng)地存在不足之處。

(1)傾斜攝影測量的優(yōu)勢分析

1)周期短、效率高。一個面積約50 km2的城市，運用傾斜攝影建模技術(shù)，在理想情況下，從獲取影像之后，處理數(shù)據(jù)直至生成真三維模型僅需一周左右。同等工作量，若采用人工建模，則需投入100人干足3個月。

2)高真實性。傾斜攝影模型與傳統(tǒng)的手工模型相比，其模型具有更強的真實性，如圖2所示，從圖中對比可以看出，傾斜攝影模型能夠更加接近人的視覺特點，給人更高的真實性。

3)全要素性。傾斜攝影建模與傳統(tǒng)手工建模相比，能夠?qū)孛孢M行全覆蓋，對房頂、地面公共設(shè)施等的詳細構(gòu)造能夠更加詳細全面地進行反映。如圖3所示，在傾斜攝影模型中，可以清晰地鑒別出屋頂上的詳細構(gòu)造、地面停車上的詳細情況等細節(jié)，而在手工模型上只能夠大體的鑒別房屋、綠化帶等的相對位置關(guān)系，對于細小的詳細細節(jié)不能夠客觀準(zhǔn)確地表示出來，即傾斜攝影模型能夠?qū)孛娴囊剡M行全方位的表示。

圖2 高真實性比對圖

圖3 全要素對比示意圖

4)可量測性。傾斜攝影模型具有高精度的可量測性。如圖4所示，傳統(tǒng)的手工模型為非真實模型，其可能與實地不一致，但是傾斜攝影模型具有高精度的可量測性，其量測結(jié)果與實地一致。

圖4 可量測性比對圖

(2)傾斜攝影存在的問題分析

1)近地面數(shù)據(jù)丟失。傾斜攝影由于建筑物等地面實體的遮擋，造成了近地面數(shù)據(jù)的丟失，特別是近地面的路燈、圍欄、行道樹等近地面數(shù)據(jù)。如圖5所示，可以看出傾斜攝影測量在近地面存在大量的數(shù)據(jù)丟失。

圖5 傾斜攝影近地面數(shù)據(jù)丟失

2)近地面細節(jié)不清晰。由于傾斜攝影角度等不同，其在地面數(shù)據(jù)上的鑒別效果也不一樣。這就造成了近地面數(shù)據(jù)的細節(jié)不清晰，特別是行道上的招牌字、行道樹、居民窗戶等近地面細節(jié)。如圖6所示。

圖6 傾斜攝影近地面細節(jié)不清晰

3)近地面模型有空洞、表面模糊粗糙。

傾斜攝影測量的近地面模型有空洞，并且其表面模糊粗糙。由于這種原因，造成了其在近地面模型無法量測或量測的精度較低。如圖7所示。

圖7 傾斜攝影近地面的空洞和不可量測性圖

傾斜攝影雖然存在近地面數(shù)據(jù)丟失、近地面細節(jié)不清晰、地面模型空洞和不可量測性等不足之處，但是其具有較好的全局性和完整準(zhǔn)確的高層數(shù)據(jù)信息;相反，地面街景技術(shù)作為一種發(fā)展較為成熟的技術(shù)，其地面街景圖像是最為真實的，任何建模效果都達不到圖像的效果。其近地面數(shù)據(jù)完整、細節(jié)清晰，但是其在全局上呈現(xiàn)不足，高層信息存在缺失。因此，將傾斜攝影與地面街景技術(shù)進行較為完美的耦合，必然會解決傾斜攝影在近地面的不足之處，極大地發(fā)揮傾斜攝影在生產(chǎn)生活中的作用。

2．耦合全空間信息提取

為了最大限度地彌補傾斜攝影在近地面的不足，充分發(fā)揮地面街景技術(shù)在近地面的優(yōu)勢，將傾斜攝影與地面街景技術(shù)進行有機的契合，建立空地全方位信息一體化可量測模型來進行全方位空間信息的提取，從而進行傾斜攝影數(shù)字產(chǎn)品的快速生產(chǎn)，將傳統(tǒng)的攝影測量放在一個更大的泛在空間。為了修復(fù)傾斜攝影測量在近地面的數(shù)據(jù)失真現(xiàn)象，將地面街景技術(shù)在近地面的圖像匹配到其傾斜攝影相片相對應(yīng)的位置之上，但是在匹配過程中會出現(xiàn)較大的影像位置和姿態(tài)的融合誤差。因此，其融合最大的難點在于街景相機位置和姿態(tài)要足夠精確。

(1)傾斜相機的架設(shè)方法

基于地面街景和傾斜相機的原理，可以用同一個傾斜攝影相機進行傾斜攝影和地面街景的影像獲取。將傾斜相機安裝在空中的無人機等平臺上，向下按規(guī)程拍攝就是傾斜攝影;將此傾斜相機倒過來安裝在地面的車上，向上拍攝來獲取地面街景的影像序列。這樣利用相同的計算機視覺方法，就會獲得相對精度較高的相機初始位置和姿態(tài)數(shù)據(jù)信息。其傾斜相機的架設(shè)方法示意圖如圖8所示。

圖8 傾斜相機的架設(shè)

(2)改進普通的地面街景

普通的地面街景技術(shù)利用360°全景相機來獲取全景圖像，并利用GPS和慣導(dǎo)的綜合定位系統(tǒng)來確定相機的位置和姿態(tài)，其位置確定基本上依賴于GPS。但是利用GPS來確定相機的位置、利用慣導(dǎo)系統(tǒng)來確定相機的姿態(tài)都會帶來較大的位置和姿態(tài)誤差。為了提高相機的位姿精度，本文不把GPS和慣導(dǎo)綜合系統(tǒng)獲取的位置和姿態(tài)作為其相機的最終位姿，而是將GPS和慣導(dǎo)綜合系統(tǒng)獲取的位置和姿態(tài)作為初始值，采用一定的優(yōu)化算法進行優(yōu)化，將優(yōu)化后的相機的位姿作為其最終的位姿。

首先對街景圖像序列進行獲取，然后利用并行sift算法、并行RANSAC算法結(jié)合來進行特征點的提取、同名點的匹配、初始相機位置姿態(tài)的求取，并利用獲取的初始相機位置姿態(tài)來計算街景圖像序列的初始結(jié)構(gòu)，再基于并行捆集調(diào)整算法來對街景圖像序列進行整體的捆集調(diào)整，最后基于并行多視圖匹配算法求得相機的最優(yōu)化位置姿態(tài)及整體的場景結(jié)構(gòu)，這樣由GPS和慣導(dǎo)綜合系統(tǒng)獲取的相機的初始位置和姿態(tài)將會得到最優(yōu)化，不僅大大地提高了相機位置和姿態(tài)的精度，而且保證了整體運算的高速度，其加速比如圖9所示，從圖中可以看出，隨著圖片張數(shù)的不斷增多，其加速比基本成正相關(guān)增長，從而反映了此改進的地面街景技術(shù)，能夠極大地提高運算速度。將改進的地面街景與普通的地面街景的技術(shù)參數(shù)進行比較，見表1。可見改進的地面街景方案是基于圖像來獲取相機的位置，并且其相機的位置精度從分米級提高到了厘米級，由于改進的地面街景方案在模型上也具有可量測性的優(yōu)點，因此其能夠與傾斜攝影測量進行完美的耦合。

圖9 加速比示意圖

表1 改進地面街景與普通地面街景技術(shù)參數(shù)對比表

(3)細節(jié)信息提取

在數(shù)據(jù)生產(chǎn)中，首先進行傾斜影像數(shù)據(jù)采集和街景影像數(shù)據(jù)采集，利用傾斜影像數(shù)據(jù)進行數(shù)據(jù)建模，街景影像數(shù)據(jù)進行精確定向。由于僅利用傾斜影像進行建模存在較大的誤差，本文在傾斜影像建模的基礎(chǔ)上，以傾斜攝影基本原理為基礎(chǔ)，利用地面街景技術(shù)進行精確定向，從而進行精細建模。精細建模的傾斜模型將具有更加詳細的細節(jié)，傾斜影像無法準(zhǔn)確地恢復(fù)近地面細節(jié)，其得到的近地面模型并不能包含近地面的全部標(biāo)的物模型，而街景影像可以清晰地獲取標(biāo)的物的位置和形狀等數(shù)據(jù)信息。

a．細節(jié)提取1:丟失的垃圾桶信息

如圖10，在傾斜影像模型當(dāng)中，其一垃圾桶標(biāo)的物信息丟失，但是在街景影像中可以清楚地觀察到此細節(jié)。

圖10 近地面垃圾桶信息丟失比對圖

為了找回丟失的垃圾桶信息，本文在街景影像模型數(shù)據(jù)庫中，找到相應(yīng)的模型，利用街景影像的精確定位作用，將此模型添加到傾斜影像數(shù)據(jù)模型中，其位置和姿態(tài)的精度都符合測繪級要求。如圖11所示，添加到傾斜影像模型中丟失的垃圾桶信息。

圖11 添加垃圾桶信息后的傾斜影像模型

b．細節(jié)提取2:街面字幕信息提取

通過傾斜影像進行建模其模型中近地面的字幕不清晰，不能夠提供給人以指導(dǎo)信息，但是在街景影像中，此近地面細節(jié)，能夠清晰地辨識，利用地面街景影像進行精確的定向，將街景影像數(shù)據(jù)模型庫中相應(yīng)的字幕模型添加到傾斜影像模型中，如圖12為恢復(fù)模型數(shù)據(jù)前后的比對圖，從對比圖中可以看出，模型恢復(fù)后其能夠清晰地對標(biāo)的物進行辨識。

通過對兩次細節(jié)信息的提取。可以看出將地面街景影像與傾斜影像進行耦合，在保證精度的前提下，能夠很好地改善傾斜攝影在近地面數(shù)據(jù)的丟失，提高細節(jié)的辨識度。

圖12 恢復(fù)前后模型對比圖

四、結(jié) 論

本文基于傾斜攝影的基本原理，對傾斜攝影的優(yōu)勢和不足進行了詳細的分析，考慮到傾斜攝影在近地面的不足之處和地面街景技術(shù)在近地面強大的優(yōu)勢，本文將傾斜攝影影像和地面街景技術(shù)進行耦合，得出如下結(jié)論:

1)地面街景采用基于球形相機模型的大規(guī)模場景三維重建算法，可以準(zhǔn)確地恢復(fù)街景影像數(shù)據(jù)的位置和姿態(tài)信息，與傾斜影像數(shù)據(jù)能進行完美的結(jié)合。

2)傾斜影像無法準(zhǔn)確地恢復(fù)近地面細節(jié)，而街景影像提供了近地面的清晰影像，將傾斜影像與地面街景影像進行耦合，能夠通過地面街景的視角對傾斜模型在近地面的細節(jié)進行較為完善的恢復(fù)和瀏覽。

3)傾斜影像無法得到近地面全部標(biāo)的物的模型，即其在近地面存在大量的模型丟失，例如交通燈、路燈、垃圾桶等城市部件，通過地面街景模型可以清晰地獲取這些標(biāo)的物的位置和形狀等數(shù)據(jù)信息。

4)將傾斜攝影與地面街景影像進行耦合，能夠極大地改善傾斜攝影在近地面的細節(jié)不清晰的弊端，恢復(fù)后的模型可以給人更加詳細的指導(dǎo)信息。

綜上所述，傾斜攝影在國內(nèi)還處在發(fā)展初期，通過不斷的技術(shù)提升，傾斜攝影將會給測繪工作者帶來極大的便利，必將是對傳統(tǒng)測繪的變革。

［1］ 袁修孝．航空攝影測量影像定向的若干探討［J］．地球科學(xué)進展，2007，22(8):828-834．

［2］ 楊愛玲，孫汝岳，徐開明．基于固定翼無人機航攝影像獲取及應(yīng)用探討［J］．測繪與空間地理信息，2010，33(5):160-162．

［3］ 王玉鵬．無人機低空遙感影像的應(yīng)用研究［D］．鄭州:河南理工大學(xué)，2011．

［4］ 李德仁．無縫立體正射影像數(shù)據(jù)庫的概念、原理及其實現(xiàn)［J］．武漢大學(xué)學(xué)報:自然科學(xué)版，2007，32(11):950-954．

［5］ 胡翔云．航空遙感影像現(xiàn)狀地物與房屋的自動提取［D］．武漢:武漢大學(xué)，2001．

［6］ KUNTZ N，OH P．Development of Autonomous Cargo Transport for an Unmanned Aerial Vehicle Using Visual Servoing［C］∥Proceedings of the ASME Dynamic Systems and Control Division．［S．l．］:ASME，2008．

［7］ 張強．低空無人直升機航空攝影系統(tǒng)的設(shè)計與實現(xiàn)［D］．鄭州:信息工程大學(xué)，2007．

［8］ 陳樂書．土地利用現(xiàn)狀調(diào)查中數(shù)字正射影像圖和GIS技術(shù)的應(yīng)用［J］．測繪通報，2007(6):65-67．

［9］ 杜全葉，陸錦忠．無人飛艇低空攝影測量系統(tǒng)及其DOM制作關(guān)鍵技術(shù)［J］．測繪通報，2010(6):23-27．

［10］ BEARD R W，MCLAINT W．Multiple UAV Cooperative Search under Collision Avoidance and Limited Range Communication Constraints［C］∥IEEE Conference on Decision and Control．［S．l．］:IEEE，2003．

［11］SCHWARZ K P，CHAPMAN M A，CANNON M E，et al．An Integrated INS/GPSApproach to the Georeferencing of Remotely Sensed Data［J］．Photogrammatric Engineering and Remote Sensing，1993．59(11):1667-1674．