傾斜攝影影像與實景三維模型精確融合技術(shù)研究與實現(xiàn)

汪暢

(1.中冶集團(tuán)武漢勘察研究院有限公司,湖北武漢 430080;2.中冶智誠(武漢)工程技術(shù)有限公司,湖北武漢 430080)

0 引言

傾斜攝影技術(shù)是通過在同一飛行平臺上搭載多臺航攝儀或傳感器,從垂直、傾斜等多個角度同時向地面拍攝獲取影像,并利用Street Factory、ContextCapture等建模軟件,快速建立高精度的實景三維模型。相較于傳統(tǒng)三維建模方法,傾斜攝影技術(shù)大大提高了三維重建的效率,降低了人工和時間成本,實景三維模型也更加真實地還原了地物的真實面貌。

圖1 實景三維建模方法流程Fig.1 Real 3D modeling method flow

雖然傾斜攝影技術(shù)有諸多優(yōu)勢,但也存在一些不足之處,如在航空攝影過程中存在拍攝死角,在影像匹配過程中缺乏特征點或者匹配點位不足等,這些原因均會造成建模軟件自動生成的實景三維模型存在空洞或懸浮模型。再則,由于數(shù)學(xué)方法擬合、匹配點位不足、影像分辨率過低,原本平整的表面用實景三維模型顯示表達(dá)為彎曲的表面,影響實景三維模型的幾何精度和可視化效果[1]。沈大勇研究利用懸浮模型邊界自動探測、外包范圍半自動獲取、懸浮模型自動刪除等相關(guān)技術(shù)和方法,實現(xiàn)了實景三維模型中的懸浮模型刪除[2]。沈大勇還探討了以邊界自動提取與三角網(wǎng)自動構(gòu)建相結(jié)合的方式,對三維模型的空洞進(jìn)行自動修補及紋理映射[3]。馬紅根據(jù)不用區(qū)域的應(yīng)用需求,提出基于多源多尺度遙感數(shù)據(jù)的大范圍實景三維模型構(gòu)建方法[4]。廖明偉將傾斜攝影測量大場景三維和車載移動測量實景三維數(shù)據(jù)融合,實現(xiàn)兩種數(shù)據(jù)的優(yōu)勢互補[5]。李鵬鵬開展了實景三維模型三維、規(guī)劃、基礎(chǔ)地理空間數(shù)據(jù)等的多源數(shù)據(jù)融合技術(shù)研究與具體應(yīng)用[6]。李云、耿中元采用不同的算法,解決了傾斜攝影地形和大場景地形的融合問題[7-8]。本文研究并實現(xiàn)傾斜攝影影像與實景三維模型精確融合展示技術(shù)。與其他方法相比,該技術(shù)僅利用傾斜攝影工作過程中的原始數(shù)據(jù),不進(jìn)行人工干預(yù)處理,實現(xiàn)更好的實景三維可視化效果和更清晰的紋理展示。

1 實景三維建模方法

實景三維建模方法流程如圖1所示。(1)收集基礎(chǔ)資料并分析和預(yù)處理,確保用于實景三維建模的數(shù)據(jù)完整、格式正確;(2)將傾斜攝影影像進(jìn)行空中三角測量,獲得所有影像的高精度外方位元素;(3)基于畸變校正后的傾斜攝影影像和高精度的外方位元素,通過多視影像密集匹配,獲得高密度三維點云,構(gòu)建3D TIN模型;(4)根據(jù)3D TIN每個三角形面片的法線方程與二維圖像之間的夾角選擇出相對應(yīng)的最佳紋理信息,并實現(xiàn)紋理的自動關(guān)聯(lián),自動計算輸出實景三維模型成果[9]。

傾斜攝影測量技術(shù)獲取的影像具有如下特點:(1)影像具備多個位置、不同角度,基本覆蓋頂面和側(cè)面紋理;(2)搭載在低空飛行平臺的傳感器拍攝的影像具有高分辨率和較大視場角的特點;(3)同一目標(biāo)區(qū)影像可能存在多重分辨率;(4)經(jīng)過空中三角測量計算、匹配的影像經(jīng)過了畸變矯正,同時具備拍攝時刻相應(yīng)相機的位置和姿態(tài)(即外方位元素)。這些特點都為高清傾斜攝影影像與實景三維模型精確融合顯示提供了有利的條件。

圖2 影像與實景三維模型疊加示例效果Fig.2 Example effect of superposition of image and real 3D model

需要注意的是,中間成果數(shù)據(jù)(相機的內(nèi)方位元素、像幅尺寸、像素大小、畸變參數(shù)、傾斜攝影影像的外方位元素)將作為后續(xù)實現(xiàn)精確融合的必要數(shù)據(jù)。

2 技術(shù)原理

傾斜攝影拍攝過程中所獲取的影像均為高分辨率影像,每一張影像都具有當(dāng)時拍照時刻相機的位置和姿態(tài),在攝影測量學(xué)科中,表示攝影中心和像片在地面坐標(biāo)系中的位置和姿態(tài)的參數(shù)稱為外方位元素,其中,把位置參數(shù)稱為外方位直線元素,姿態(tài)參數(shù)稱為外方位角元素[10]。

在計算機窗口中顯示三維場景是通過透視投影實現(xiàn)的,具體到三維展示平臺中,相機接口模擬了人眼的位置(Position)和角度(Angle),計算機窗口中顯示什么樣的三維場景取決于相機的位置和角度,即在哪里朝哪個方向拍攝就顯示什么地方的場景。

在三維場景中特定位置和角度的實景三維模型可以用相應(yīng)的影像疊加融合來顯示,以達(dá)到高清的顯示效果,彌補實景三維模型表面空洞、凹凸不平、存在空中懸浮物等顯示效果的不足。示例效果如圖2 所示。

3 技術(shù)設(shè)計與實現(xiàn)

3.1 建立傾斜攝影影像與實景三維模型的幾何對應(yīng)關(guān)系

根據(jù)攝影測量學(xué)中的共線方程,由三維空間點坐標(biāo)計算出相應(yīng)影像點的坐標(biāo)。具體方程如下。

其中,(X,Y,Z)為三維空間坐標(biāo)系下三維空間點的坐標(biāo),(x,y)為影像坐標(biāo)系下對應(yīng)像素點的坐標(biāo)。

x0、y0、f為相機的內(nèi)方位元素,XS、YS、ZS為外方位直線元素,a1、a2、a3、b1、b2、b3、c1、c2、c3為由外方位角元素計算得到的旋轉(zhuǎn)矩陣元素,這些數(shù)值均可由上述中間成果提供,不用另行計算。

建立傾斜攝影影像與實景三維模型的幾何對應(yīng)關(guān)系后,如何把影像疊加到三維窗口中,還需要建立三維空間坐標(biāo)系、計算機窗口坐標(biāo)系、影像坐標(biāo)系三者之間的對應(yīng)關(guān)系。

3.2 計算影像疊加在三維窗口中的尺寸、位置和方位

圖3 影像逆時針旋轉(zhuǎn)α角度時情況Fig.3 When the image is rotated counterclockwise at an angle of α;

圖4 影像順時針旋轉(zhuǎn)α角度時情況Fig.4 Image rotation with a clockwise angle

圖5 CityMaker 平臺角度的定義Fig.5 Definition of CityMaker platform angle

確定了一個三維空間點在影像中的位置,是無法確定影像顯示在窗口中位置、尺寸和方位的。本文采取如下解決路線:(1)根據(jù)所有影像的外方位元素和三維展示平臺中當(dāng)前相機的位置和角度,進(jìn)行GIS空間查詢、計算和比對,選取最合適的一張影像。根據(jù)該影像的外方位元素,通過兩種角度系統(tǒng)的對應(yīng)關(guān)系(見后續(xù)3.3節(jié)),計算并重置三維展示平臺中相機的位置和角度;(2)在計算機窗口坐標(biāo)系下選擇組成矩形的四個點,如此,矩形的長寬、四個點在計算機窗口坐標(biāo)系下坐標(biāo)就已經(jīng)獲取;(3)通過三維展示平臺提供的屏幕坐標(biāo)到三維空間坐標(biāo)轉(zhuǎn)換接口計算得到四個點在三維空間坐標(biāo)系下的坐標(biāo);(4)通過影像與實景三維模型的幾何對應(yīng)關(guān)系,由在三維空間坐標(biāo)系下四個點的坐標(biāo)計算得到在影像坐標(biāo)系下四個點的坐標(biāo);(5)根據(jù)在計算機窗口坐標(biāo)系和影像坐標(biāo)系下四個點的坐標(biāo)對以及影像的實際尺寸,計算在計算機窗口坐標(biāo)系下影像的尺寸、位置和方位。具體有以下幾種情況。

圖6 荊州傾斜攝影影像與實景三維模型融合效果Fig.6 Fusion effect of Jingzhou tilt photography image and real 3D model

影像相對于計算機窗口逆時針旋轉(zhuǎn)α角度,有四種情況,如圖3所示。

影像相對于計算機窗口順時針旋轉(zhuǎn)α角度,有四種情況,如圖4所示。

圖3 和圖4 中,O-X-Y為計算機窗口坐標(biāo)系,ABCD為影像在計算機窗口中的實際位置,PMNQ為選取的四個點在計算機窗口中的實際位置。

3.3 建立兩種角度系統(tǒng)的對應(yīng)關(guān)系

拍攝影像時相機的外方位角元素和三維展示平臺中相機角度的定義不同,因此,需要建立兩種角度系統(tǒng)的對應(yīng)關(guān)系。以ContextCapture實景三維生成平臺和CityMaker三維展示平臺為例。

CityMaker平臺采用Heading/Roll/Tilt角度系統(tǒng)描述模型的方位,Heading/Roll/Tilt角度的定義如圖5所示。

Heading表示(左右)搖擺角,單位為度,正北方向為0,順時針遞增,取值范圍為(-180,180)。Tilt表示(上下)俯仰角,單位為度,平視為0,低頭為負(fù),抬頭為正,取值范圍為(-90,90)。Roll表示傾斜角,單位為度,水平為0,取值范圍為(-180,180)。

ContextCapture平臺可以輸出Omega/Phi/Kappa角度系統(tǒng)描述模型的方位,Omega/Phi/Kappa角度的定義見ContextCapture相機模型說明。Kappa取值范圍為(-180,180),Omega取值范圍為(0,180),Phi取值范圍為(-180,180)。

根據(jù)兩種角度的定義和試驗證明,兩種角度系統(tǒng)的關(guān)系如下:

Heading = Kappa

Roll = -Phi

Tilt = -Omega + 90

需要說明的是,在角度轉(zhuǎn)換及對比時,需要進(jìn)行上述變換。不同的平臺有不同的角度定義方式,根據(jù)選擇平臺的不同,進(jìn)行實景三維模型生產(chǎn)平臺和三維展示平臺之間角度系統(tǒng)轉(zhuǎn)換。

3.4 在三維漫游操作過程中動態(tài)調(diào)度不同的影像展示

三維漫游有平移、縮放、旋轉(zhuǎn)操作,在三維漫游操作過程中,如何做到在不同相機位置和角度下影像的調(diào)度與顯示,使得三維漫游操作和影像融合效果協(xié)調(diào)共生。本文采用了以下策略:(1)啟動融合模式時,根據(jù)3.2節(jié)的方法,選擇最合適的一張影像顯示,沒有則不顯示;(2)在影像顯示的情況下,若進(jìn)行平移、縮放操作,出現(xiàn)影像覆蓋窗口的比例小于設(shè)定的閾值,則隱藏已顯示的影像,重新選擇最合適的一張影像進(jìn)行顯示;若進(jìn)行旋轉(zhuǎn)操作,則隱藏已顯示的影像,重新選擇最合適的一張影像進(jìn)行顯示;(3)關(guān)閉融合模式時,則隱藏已顯示的影像。

4 實際應(yīng)用

本文提出的融合顯示技術(shù)應(yīng)用到荊州市三維規(guī)劃輔助決策系統(tǒng)上,效果如圖6所示。圖6(a)為實景三維模型水面空洞,圖6(b)為對應(yīng)的融合顯示效果,很好地把水面紋理展現(xiàn)出來。圖6(c)為實景三維模型建筑物局部細(xì)節(jié),圖6(d)為對應(yīng)的融合顯示效果,很明顯地,影像的清晰度比實景三維模型的好,且建筑物的平面平整,與現(xiàn)實一致。在進(jìn)行三維場景縮放、旋轉(zhuǎn)操作的同時,實景三維模型和傾斜攝影影像同步顯示到相對應(yīng)的位置。放大后,能夠看到更加精細(xì)的局部紋理。

5 結(jié)語

本文利用實景三維建模中間成果數(shù)據(jù)建立傾斜攝影影像和實景三維模型的幾何對應(yīng)關(guān)系,借助三維展示平臺,建立三維空間坐標(biāo)系、計算機窗口坐標(biāo)系、影像坐標(biāo)系三者的關(guān)系,將傾斜攝影影像精確地疊加在三維展示窗口中對應(yīng)的實景三維模型位置上,彌補實景三維模型自身的不足,提高了成果數(shù)據(jù)的利用率,也提高了實景三維的可視化效果,有助于實景三維的應(yīng)用。