基于無人機實景三維模型的真數字正射影像生成方法

成李博,段平,李佳,姚永祥,李晨,王云川

(1.云南師范大學 旅游與地理科學學院,云南 昆明 650500;2.云南省高校資源與環境遙感重點實驗室,云南 昆明 650500;3.云南省地理空間信息工程技術研究中心,云南 昆明 650500)

0 引 言

航空相機采用中心投影的方式獲取地面航空影像. 因中心投影成像原理,導致航空影像中心點像素周圍建筑物呈現傾斜樣式,建筑物間因傾斜造成遮蔽. 真數字正射影像(TDOM)旨在消除因物體傾斜而導致的遮蔽現象,使得影像上物體以均勻的比例分布于真實位置. 傳統數字正射影像(DOM)雖進行正射微分校正,但并不能使物體正確地分布在原本的位置. 同時,TDOM比DOM具有較高的可信度、精度高、信息量豐富、直觀真實等特點,并且具有很高的背景控制信息的應用價值,成為地理信息庫的重要基礎數據,也是測繪、遙感行業的重要數據來源.

生成TDOM的基礎數據源有兩種:數字建筑模型(DBM)和數字表面模型(DSM). DBM是由高程信息表示的建筑物輪廓,并根據所表示的建筑物層次結構的不同,區分不同圖層的三維矢量模型,一般采用3Dmax、Sketchup等專業軟件繪制,實際上不是實景三維模型. 自Z-buffer算法被提出以來[1],學者們基于DBM進行遮蔽檢測生成TDOM. 在該算法中,Z緩沖器為每個像素存儲投影中心與DBM之間的距離(Z)和DBM表面多邊形投影到虛擬圖像上的識別碼. 傳統的Z-buffer算法導致建筑物遮蔽的誤檢測,許多研究者對該方法進行了優化. Jiann等[2]提出一種使用多視圖圖像生成TDOM的方法;ZHOG等[3]提出一種基于多邊形算法檢測遮擋區域的方法,邊馥苓等[4]提出一種基于有效像素的樣本紋理合成方法,隨后國內外學者也做了相關研究. 以上方法生成TDOM的前提需要DBM. 難點不在于檢測,而在于DBM的生成. 面對區域較小,建筑物稀少、結構簡單或數據庫中已存有DBM模型的情況下,可實現較為快速的生成;反之,該類型方法很難快速生成TDOM.

為此,大量學者研究了基于DSM進行建筑物的遮蔽檢測生成TDOM[5-7]. Wan等[8]提出一種基于3D R-tree的CSG模型校正方法,以提高TDOM的質量;Habib等[9]提出基于角度的射線追蹤方法,任東風等[10]提出一種基于高程約束的TDOM遮蔽檢測的算法,肖衛峰等[11]提出一種基于DSM的光線追蹤算法,潘慧波等[12]也利用DSM生成TDOM. 以上檢測的假設是能夠獲取精確的DSM. 然而,在使用圖像密集匹配獲得精確的DSM是很困難的,導致建筑物邊緣鋸齒化[13],最終生成的TDOM效果損失.

以上是基于DBM和DSM進行建筑物的遮蔽檢測研究,但這兩類方法各自都具有不同的缺陷. 無人機傾斜攝影測量技術采用無人機搭載多鏡頭傳感器,能輕松獲取同一地點同一時刻同一物體的多面信息,便于實景三維模型的構建[14]. 本文以無人機搭載五鏡頭相機獲取低空航空影像,利用傾斜攝影技術生成實景三維模型,在此基礎上,采集建筑物頂部輪廓線并構建三維體模型,并利用三維體模型進行遮蔽檢測和遮蔽補償,生成TDOM.

1 無人機數據采集與實景三維模型

以云南師范大學呈貢校區為實驗區域,將無人機搭載五鏡頭相機獲取的影像作為數據源生產1∶1000比例尺TDOM. 試驗區域地處中國云貴高原,平均海拔1 900 m,坐標位于24°51′59″N、102°50′58″E,總面積達1.43 km2,校園建筑物較多,空間分明,通過分析氣候變化、光線強度、行人適宜量等要素,于2018年8月23日采集實驗區域航空影像.

1.1 實驗設備

實驗采用哈瓦四軸八旋翼MEGA-V8Ⅱ無人機,搭載SONY ILCE-5100五鏡頭數碼相機采集航空影像，如圖1所示,表1所示為傾斜相機五鏡頭參數.

(a)多旋翼無人機

(b)鏡頭SONY ILCE-5100圖1 無人機設備

項目類型參數信息 相機型號SONY ILCE-5100 傳感器類型CCD 像幅大小6000×4000 像元大小3.8 μm 主點(x,y)(2986.0,1927.4) 焦距20 mm 鏡頭類型1個垂直,4個傾斜 鏡頭傾斜角度45°

在實驗測區航飛數據時,設置飛行參數為:航向重疊度為85%,旁向重疊度為75%,相對航高150 m,飛行航向以東南-西北為基準,偏角為北偏西16.09°,鏡頭影像分辨率達2.9 cm;以9:00—14:00點為影像最佳采集點,續航飛行5個架次,飛行航線46條,共獲取13 025幅低空數碼航空影像.

1.2 無人機實景三維模型的構建

利用無人機航拍獲取的五鏡頭影像數據生產實景三維模型,具體流程如圖2所示,詳細步驟如下:

1) 將預處理后的POS數據結合五個鏡頭影像數據做第一次無控制自由網空中三角測量,若連接點出現漏洞、稀少或不均勻、航線彎曲等現象,參考平差報告對區域連接點做檢查,確保像點收斂值和相對定向誤差不大于1個像素,對空洞區進行人工補點,對殘差較大的連接點做剔除處理;

2) 做第二次無控制自由網平差,重復第一次平差后的檢查工作,直到自由網平差結果滿足平差要求;

3) 進行控制自由網平差,利用無控制自由平差的結果添加控制點,將空中三角測量結果轉換到實際坐標位置,其中添加控制點時采用先周邊后內部的刺點順序. 具體操作如下:

先在區域周圍四個角刺點,并做一次平差,檢查平差結果是否達到平差要求,若平差誤差較大,進行內部刺點,每當刺兩個控制點后又做一次平差處理,重復此操作,直到相對定向誤差、檢查點和控制點誤差符合規定限差要求,每張影像至少200個匹配連接點,并停止操作.

4) 在空中三角測量提取特征點的基礎上做加密處理,利用密集點云生成表面模型,并賦予紋理,生成實景三維模型.

圖2 數據預處理流程

2 基于建筑物屋頂輪廓的體模型遮蔽檢測和遮蔽補償

2.1 基本原理

生產TDOM的關鍵在于檢測遮蔽,即尋找被遮蔽區域,消除雙重投影問題[15]. 如圖3所示，雙重映射區域內投影的灰度值重復投影到正射影像上,假設a、b、c是原始像片上的像素,由中心投影原理可知,原始像片上a、b、c點采集的像素是建筑物頂部A、B、C坐標點處的特征,a′、b′、c′的灰度值對應建筑物屋頂A、B、C坐標點的特征信息,a″、b″、c″同樣采集了原始像片a、b、c處的像素特征,即采集了建筑物屋頂A、B、C處的特征,這就導致正射影像上出現雙重映射區域. 例如,點A(XA,YA,ZA)和點D(XD,YD,ZD)同時占用像點a(Xa,Ya)的像點信息,此時的投影像點順序依次為a″、b″、c″和a′、b′、c′;有時兩個點A、C同時占據了正射表面相同的一點F. 因此,需要合理地檢測出被遮蔽區域,消除因航攝高度和相機傾斜帶來的遮蔽現象,使得影像均勻地分布在實際地表位置上.

圖3 雙重投影

圖4 無房檐與有房檐情況下的遮蔽區域

通常情況下,遮蔽范圍會因房檐的存在與否,產生不同的效果. 房檐存在時的遮蔽檢測區域大于無房檐的情況. 圖4為還原相機拍攝時刻的場景信息圖,假設ABCD-EFGH-efgh是帶房檐的建筑物體,分析如下:

1) 不含房檐的遮蔽區域. 多邊形ee'h'g'f'fe是建筑物ABCD-EFGH-efgh去除房檐情況下,只保留矩形EFGH-efgh的陰影區,記為Wshadow;多邊形ee'h'g'f'fghe是Wshadow對地面物體形成的遮蔽區域,記為Wshading.

2) 包含房檐的遮蔽區域. 多邊形ee'a'd'c'b'f'fe是建筑物ABCD-EFGH-efgh在中心投影下的影子,記為Bshadow,多邊形ee'a'd'c'b'f'fghe是Bshadow對地面物體形成的遮蔽區域,記為Bshading.

3) 遮蔽區域的面積大小關系:Bshading>Wshading.在TDOM中影像位置被還原到真實地理位置上,生成結果難免會犧牲房檐正下方的物體(例如,靠近房門的少部分臺階,屋檐下擺放的花盆等),以確保屋頂信息的完整. 犧牲區域為正射投影下,建筑物環狀房檐(ABCE-EFGH)在地面上的投影. 盡管帶房檐時檢測的遮蔽區域大于不帶房檐時的遮蔽區域,但根據遮蔽補償原理,遮蔽區域的紋理能在相鄰航線上得到補償,故不影響TDOM的生成.

從以上分析可知遮蔽檢測重視屋頂信息.通常,為了保證UAV飛行的安全,UAV飛行高度需要在建筑物上空保持一定的安全距離. 這就導致,即使使用多鏡頭傳感器傾斜攝影,房檐下拐角處依然會出現影像的空白區域,生成的DSM會將原本直角的房檐曲面化，如圖5所示,降低房屋邊緣精度. 本文結合實景三維模型,采集建筑物頂部邊緣信息,與DSM同時進行遮蔽檢測.

(a)房檐曲面化

(b)曲面化放大圖圖5 影像缺失導致的房檐曲面化

對檢測到的遮蔽區域做紋理補償. 采集被檢測區域相鄰航線上影像的紋理信息,對遮蔽區域做紋理補償. 補償原理如下:

(1)

式中:W代表某一遮蔽區域;n表示該遮蔽區域周圍含有該遮蔽區域的所有影像;Ki為第i張包含遮蔽區域的影像.

當由于原始影像成像時氣候環境差異過大導致的影像反光度、紋理信息差異較大的現象,在進行影像糾正時,可剔除差異過大的幾張影像,前提是要保證剩下的影像能覆蓋W區域;在不能保證整體覆蓋W時,先采用差異較大的影像進行糾正,然后做勻光勻色處理,只是效果略有遜色. 所以,在數據采集過程中既要保證航線過高的重疊度[1],又要保證成像光線變化不大.

逐一對整個測區的W區域進行補償,即得：

(2)

式中:Wj代表整個測區的第j個遮蔽區域;Wj,b指當第j個遮蔽區域缺少影像時,補飛b張影像用于遮蔽區域糾正填補;U表示所有遮蔽區域都被完全填充.

對研究區內所有檢測得到的遮蔽區域做補償糾正,并將糾正結果計算平差、整合,生成一副無縫、色彩亮度平衡的影像鑲嵌圖. 整合針對色彩差異進行勻光勻色處理,接邊線的編輯和羽化處理.最后將處理過的鑲嵌圖分幅裁剪得到最終產品.

2.2 實施方法

基于上述基本原理,具體實施步驟為

步驟1:獲取建筑物頂部輪廓線. 基于前期生產的實景三維模型,依據建筑物頂部輪廓采集頂部邊緣信息,將采集到的頂部輪廓線作為DTM生成的控制信息.

步驟2:建筑物數字地面模型(DTM)生成.將步驟1中獲取的帶有地理空間坐標的建筑物頂部輪廓線嵌套在DSM上,生成三維建筑物的DTM.

步驟3:TDOM生成. 結合步驟2中生成對象的DTM數據、空中三角測量生成的DSM和航片工程文件,在確保遮蔽補償計算時,相片重疊度達到采集航空像片所設置的航向與旁向最大數值的前提下生產TDOM.

步驟4:TDOM鑲嵌處理.對步驟3中生產的TDOM進行不可視像元檢查,通過矯正和自適應羽化處理,計算補償不可視像元,生成一副完整的TDOM.

3 結果與分析

3.1 實景三維模型的空中三角測量分析

實景三維模型的好壞最終影響到建筑物屋頂輪廓線的質量,而空中三角測量質量的好壞關系到實景三維模型的結果,在實驗區域利用五鏡頭航空影像數據做空中三角測量平差時采用7個控制點就達到了實驗要求. 將控制點在x、y、z方向的最大誤差分別記為:Δx、Δy、Δz、在平面最大均方根誤差記為:RMSEH、在高程最大均方根誤差記為:RMSEV,從以上5個誤差指標評價空中三角測量結果,如表2所示.

表2 空中三角測量加密精度表

由表2可知,Δx、Δy、Δz分別為0.082 m、0.147 m、0.002 m;RMSEH為0.043 m,RMSEV為0.009 m.除Δy外,其余四個指標均小于10 cm;Δz和RMSEV達到毫米級. 5個誤差指標均滿足空中三角測量精度要求. 通過分析,利用POS輔助空中三角測量在添加少量控制點的情況下使得空中三角測量結果滿足實驗要求.

3.2 TDOM成果

基于五鏡頭航空影像建立的實景三維模型采集建筑物頂部輪廓信息生成三維建筑物DSM,隨后通過遮蔽檢測和遮蔽補償,生成建筑物的TDOM. 由于實驗區建筑物眾多,挑選云南師范大學呈貢校區匯學3棟和同析3棟兩棟建筑作對比分析. 如圖6所示,其中圖6(a)、(d)是在建筑物實景三維模型上采集頂部邊緣線,當出現同一建筑物既有高屋頂和低屋頂時,建議分別采集各自的屋頂;都以五鏡頭影像為前提生成兩種正射影像,對生成結果進行對比分析:圖6(b)、(e)是生成的兩張DOM圖,圖中清晰地顯示每棟建筑具有各個方向的傾斜,并存在遮蔽現象(藍色圓圈所標記);圖6(c)、(f)是本文方法生成的TDOM圖,其特征變化用紅色圓圈標記.從圖6中的DOM和TDOM的差異可以看出,本文提出的方法通過遮蔽檢測生成的TDOM是對傳統DOM的完善. 圖7為整個實驗區的TDOM圖.

(a)匯學3棟實景三維模型 (b)匯學3棟DOM (c)匯學3棟TDOM

(d)同析3棟實景三維模型 (e)同析3棟 DOM (f)匯學3棟TDOM圖6 匯學3棟與同析3棟實驗結果

圖7 云南師范大學呈貢校區TDOM

3.3 TDOM精度驗證

為了檢驗TDOM的精度,在野外實測6個點作為精度驗證點,同時在TDOM上對應的6個影像點作為對比點,用實測點與影像點做誤差分析. 如表3所示,Δx、Δy分別代表了影像點與野外實測點在x、y兩個方向上的誤差值.通過對比分析,x方向的最大誤差為0.011 m,y方向的最大誤差為0.015 m,符合CHT 9008.3-2010《基礎地理信息數字成果1∶500、1∶1000、1∶2000數字正射影像圖》平地平面位置中誤差0.6 m的精度要求. 點位誤差如表4所示.本方法生成的TDOM在x方向上的點位誤差為0.007 m,y方向上的點位誤差為0.009 m,整體點位誤差M為0.011 m.

表3 TDOM平面精度檢查表

表4 TDOM控制點的點位誤差

4 結 論

本文提出了一種顧及建筑物屋頂輪廓體模型的TDOM生成方法,該方法以無人機搭載五鏡頭相機采集的云南師范大學呈貢校區影像數據為例實現了本文的方法,最終生成的TDOM的方向精度誤差分別為1.1 cm和1.5 cm,高于制圖規范60 cm的要求,是一種可行的方法.