空基下視時序影像瞬時成像模型研究

高 力，劉 智，江振治，張向榮

(1. 信息工程大學(xué)，河南 鄭州 450052； 2. 西安測繪研究所，陜西 西安 710054； 3. 地理信息工程國家重點(diǎn)試驗(yàn)室，陜西 西安 710054； 4. 西安電子科技大學(xué)，陜西 西安 710071)

空基下視時序影像瞬時成像模型研究

高 力1,2,3，劉 智1，江振治2,3，張向榮4

(1. 信息工程大學(xué)，河南 鄭州 450052； 2. 西安測繪研究所，陜西 西安 710054； 3. 地理信息工程國家重點(diǎn)試驗(yàn)室，陜西 西安 710054； 4. 西安電子科技大學(xué)，陜西 西安 710071)

物方空間的物體隨著時間的推移進(jìn)行著絕對運(yùn)動，運(yùn)動導(dǎo)致了相對位置的變化，時間序列影像記錄了物方三維空間的動態(tài)變化。本文基于下視時間序列影像的動態(tài)特性，在共線方程中引入時間元素，提出了空基下視時間序列影像瞬時成像模型，描述了動態(tài)“物像”間的瞬時投影關(guān)系；針對地表不同類型動態(tài)物體，構(gòu)建了“由像到物”的應(yīng)用模型，實(shí)現(xiàn)了從像方動態(tài)特征計(jì)算地表物體特征的目的。通過仿真和真實(shí)航空下視序列影像的試驗(yàn)與分析，驗(yàn)證了序列影像瞬時成像模型能夠定量計(jì)算像地動態(tài)特征。

時間序列影像動態(tài)特征；瞬時動態(tài)投影；曝光時間間隔

攝影測量是以獲取被攝物體的形狀、大小、位置、特性及其相互關(guān)系為目的的技術(shù)[1]。傳統(tǒng)航空攝影測量針對靜止地物進(jìn)行測量，忽略了地表的動態(tài)物體。航空序列影像與常規(guī)航片包含的信息不同，航空下視時間序列影像相機(jī)在運(yùn)動過程中可以對地表動態(tài)物體、靜態(tài)物體連續(xù)、高頻率成像。

序列影像的研究主要分為兩條技術(shù)途徑：一方面起源于機(jī)器視覺的理論和應(yīng)用，以光流算法[2-3]為主，可以提高光流算法的精度[4]，通過結(jié)構(gòu)特征和輪廓特征增強(qiáng)稠密光流算法的穩(wěn)定性[5-6]，像空間分區(qū)域分析光流特征[7-8]，基于物體運(yùn)動的特點(diǎn)研究光流的平滑[9]。這類研究圍繞序列影像的像方變化特征提高像方分析算法的精度、速度、穩(wěn)定性等性能，并且將光流算法應(yīng)用于地物分類[10-11]，靜止地表背景識別[12-13]，這一研究方向不關(guān)注物方和像方間的成像幾何關(guān)系。另一條技術(shù)途徑是以攝影測量的嚴(yán)格成像模型為研究手段[14-15]，基于幾何約束條件提高序列影像同名點(diǎn)提取精度[16]，改正視頻相機(jī)的鏡頭畸變[17]以優(yōu)化相機(jī)精度，采用傳統(tǒng)面陣相機(jī)的方法進(jìn)行視頻數(shù)據(jù)標(biāo)定[18]，該技術(shù)途徑容易以靜態(tài)影像處理方法處理動態(tài)序列影像數(shù)據(jù)。本文以畫幅式光學(xué)相機(jī)成像模型為基礎(chǔ)，按照攝影測量的方法，推導(dǎo)時間序列影像瞬時動態(tài)投影模型，實(shí)現(xiàn)序列影像的物方與像方動態(tài)映射，并從像方變化特征計(jì)算物方特征，達(dá)到對地表動態(tài)信息感知的目的。

1 下視序列影像的物像映射關(guān)系

相機(jī)按照時間軸等間隔、連續(xù)攝影，獲得時間序列影像。相鄰兩幀序列影像間存在曝光時間間隔，是兩幀影像各自曝光開始時刻的差值T(單位為s)，序列影像的采樣頻率為1/T(單位為Hz)。

1.1 下視序列影像瞬時動態(tài)成像模型

序列影像是時間軸上的離散化采樣，曝光時間間隔內(nèi)的信息沒有記錄。曝光時間間隔短暫，其間的相機(jī)與物體的劇烈運(yùn)動狀態(tài)屬于異常突變情況，不需要考慮。因此，物方復(fù)雜的運(yùn)動問題可以分解為短暫的勻速直線運(yùn)動的疊加，物方和像方的坐標(biāo)系設(shè)置如圖1所示。

圖1 物方和像方坐標(biāo)系示意圖

圖1(a)中以tn時刻相機(jī)位置為物方原點(diǎn)O，tn+1時刻相機(jī)位置為終點(diǎn)Q，圖1(b)中像主點(diǎn)s在像方中心，像方主點(diǎn)與物方O點(diǎn)重合，坐標(biāo)軸重合。相機(jī)以恒定高度，從圖1(a)中的O點(diǎn)向Q點(diǎn)運(yùn)動，用時一個曝光間隔。引入時間要素，得到空基下視時間序列影像的像地對應(yīng)關(guān)系為

(1)

式(1)由4個方程構(gòu)成，分別為共線方程、相機(jī)運(yùn)動方程、物體運(yùn)動方程、相機(jī)姿態(tài)角方程，描述了序列影像的像點(diǎn)p(x,y)與物方點(diǎn)P(Xt,Yt,Zt)的動態(tài)映射關(guān)系。時間t為一個曝光時間間隔。式(1)共線方程中，f為面陣相機(jī)的焦距；共線方程采用φ、ω、κ轉(zhuǎn)角系統(tǒng)；a1、a2、a3、b1、b2、b3、c1、c2、c3參照文獻(xiàn)[1]定義。物體運(yùn)動方程中，X0、Y0、Z0為物體運(yùn)動起始點(diǎn)坐標(biāo)；VX、VY為物體速度分量，物體進(jìn)行瞬時等高(Z0)運(yùn)動，當(dāng)VX=VY=0時物體靜止。相機(jī)運(yùn)動方程中，相機(jī)攝站點(diǎn)為S(XS、YS、ZS)；相機(jī)進(jìn)行高度為H的勻速直線運(yùn)動，沿圖1(a)中的OQ線段運(yùn)動。φS、ωS、κS為相機(jī)的瞬時姿態(tài)參數(shù)，本文假設(shè)相機(jī)姿態(tài)角經(jīng)過標(biāo)定，姿態(tài)角為零。

式(1)不適用于長時間動態(tài)場景，而是針對短時間運(yùn)動場景，其目的是使用短時間簡單、分段描述完成長時間運(yùn)動的連續(xù)、復(fù)雜描述，這是將復(fù)雜的過程分解為簡單的步驟，是重要、必要的研究方法。本文針對一般平穩(wěn)運(yùn)動情況、短時間內(nèi)的瞬時勻速直線運(yùn)動特征，推導(dǎo)獲得式(2)為

(2)

式(2)為一個曝光間隔內(nèi)的動態(tài)成像模型，將物方運(yùn)動物體的瞬時位置投影到像平面，隨時間t的連續(xù)投影會獲得像方物體運(yùn)動軌跡。

1.2 序列影像瞬時速度投影“物像”變換

式(2)中像方的每個投影像點(diǎn)都具有速度和運(yùn)動方向。將t+1與t分別代入式(2)并相減，得到式(3)

(3)

式(3)描述每個像點(diǎn)的運(yùn)動速度和方向，即物方運(yùn)動速度的像方投影。Δx和Δy為像方速度分量(單位為像素/s，乘以像素大小轉(zhuǎn)換為像方速度m/s)。

1.3 靜態(tài)地物的瞬時“像物”變換

當(dāng)VX=VY=0時，表示地面靜止物體，則由式(3)推導(dǎo)出式(4)為

(4)

式(4)說明靜止物體的序列影像瞬時動態(tài)投影中地物高度與像方位移縱坐標(biāo)相關(guān)，由式(4)可以通過像方速度Δy、相機(jī)速度VCAM、相機(jī)航高ZS、相機(jī)焦距f，計(jì)算物方靜止物體的高程信息。帶有相機(jī)的航空平臺，獲取瞬時速度和像方速度后可以感知其下方靜止地表的相對距離(Z0-ZS)，實(shí)現(xiàn)相對測高的功能。

1.4 動態(tài)物體的瞬時“像物”變換

地面動態(tài)物體具有物方速度VX和VY，由式(3)推導(dǎo)出式(5)為

(5)

式(5)從已知像方速度計(jì)算地面物體運(yùn)動速度，實(shí)現(xiàn)空基平臺對下視場內(nèi)動態(tài)物體的檢測，可用于空基下視對地表瞬時動態(tài)信息的觀察和提取。

2 試驗(yàn)與結(jié)果分析

驗(yàn)證試驗(yàn)使用兩組數(shù)據(jù)：數(shù)據(jù)1組，按照圖1所示坐標(biāo)系，仿真獲得空基下視序列影像；數(shù)據(jù)2組，使用大疆無人機(jī)獲得真實(shí)下視序列影像。試驗(yàn)?zāi)康氖球?yàn)證本文提出的空基下視序列影像“物像”動態(tài)瞬時映射關(guān)系，驗(yàn)證序列影像動態(tài)特征由像到物的應(yīng)用方法。

2.1 試驗(yàn)場景介紹

2.1.1 試驗(yàn)一：仿真下視序列影像獲取場景

按照圖1構(gòu)建仿真場景如圖2所示，仿真包括三維坐標(biāo)系和時間、地表靜止物體、地表運(yùn)動物體、下視相機(jī)等要素。

下視序列影像相機(jī)包括相機(jī)、攝影、運(yùn)動三方面仿真。①相機(jī)仿真：仿真鏡頭焦距(0.018 m)，像素數(shù)(4000×3000)，成像傳感器尺寸(36×27 mm)，像素尺寸(0.000 009 m/像素)，內(nèi)方位元素(無畸變、像主點(diǎn)為像幅中點(diǎn))；②攝影仿真：等間隔序列成像(曝光間隔1 s)，成像GSD為0.05 m/像素；序列影像幀速率為1 Hz；③相機(jī)運(yùn)動仿真：外方位元素(航高100 m， 相機(jī)沿著圖1(a)中的O點(diǎn)向Q點(diǎn)移動，速度為1 m/s)。

仿真場景中地表物體仿真見表1，其中包括靜止物體和運(yùn)動物體。

表1 仿真物體的位置與運(yùn)動參數(shù)

2.1.2 試驗(yàn)二：真實(shí)下視序列影像試驗(yàn)

使用大疆精靈4無人機(jī)(擁有速度、航高記錄)在地勢平坦擁有不同高度物體(路面、圍墻、建筑、樹木)的場景中飛行獲取兩組數(shù)據(jù)。數(shù)據(jù)1(序列影像)：下視相機(jī)以30 Hz獲取視頻，后續(xù)按照200 ms時間間隔從視頻中抽取獲得序列影像。數(shù)據(jù)2(試驗(yàn)場精細(xì)三維測繪)：獲取試驗(yàn)區(qū)DSM(數(shù)字表面模型)和DOM(數(shù)字正射影像)數(shù)據(jù)作為基準(zhǔn)靜止背景數(shù)據(jù)。

2.2 仿真序列影像處理與分析

2.2.1 仿真序列影像

仿真場景獲取40幀序列影像，其中1幀、20幀、第40幀如圖3所示。仿真影像中的編碼標(biāo)靶分別為表1中的14個仿真物體，仿真物體隨著時間推移在物方運(yùn)動，同時仿真相機(jī)獲取序列影像記錄物方運(yùn)動。

2.2.2 量測標(biāo)靶獲得物體像方速度特征

量測40幀影像中每個標(biāo)靶的像坐標(biāo)(精度優(yōu)于1/10像素)繪制成像方運(yùn)動軌跡，如圖4所示。

圖4展示了像平面內(nèi)不同運(yùn)動特性物體的運(yùn)動軌跡。通過物體序列影像坐標(biāo)，可以獲得該物體的像方速度，速度的不同方向和移動量代表了不同的地物動態(tài)特征。

圖3 仿真序列影像

圖4 仿真物體像方運(yùn)動軌跡

2.2.3 由物到像的投影試驗(yàn)

通過式(3)將表1中物體的物方速度(1～14號點(diǎn))計(jì)算獲得像方速度，與仿真影像測量值的差異很小(小于0.02像素/s)，表明式(3)能夠準(zhǔn)確地將物方速度投影到像方速度。

2.2.4 由像到物的應(yīng)用試驗(yàn)1

通過式(4)，由仿真序列影像像方變化特征計(jì)算靜止點(diǎn)(1～6號)的高度值與已知值作比較，誤差最大點(diǎn)小于0.02 m。計(jì)算結(jié)果與已知高程差異微小，驗(yàn)證了式(4)能夠由像方運(yùn)動特征獲取地表靜止物體高程。

2.2.5 由像到物的應(yīng)用試驗(yàn)2

通過式(5)由像方速度特征計(jì)算地表運(yùn)動物體(7～14號點(diǎn))的運(yùn)動速度與已知速度值差值，最大差值為0.001 2 m/s。這一試驗(yàn)驗(yàn)證了式(5)由像方速度特征獲取運(yùn)動目標(biāo)的運(yùn)動速度的應(yīng)用模式有效。

2.3 真實(shí)數(shù)據(jù)處理與分析

將試驗(yàn)二的兩組數(shù)據(jù)聯(lián)合平差。①獲得試驗(yàn)區(qū)精細(xì)地表DOM和DSM(處理時間超過30 min)；②獲得序列影像參數(shù)，鏡頭焦距(0.003 61 m)，像素尺寸(2.66E—06 m/像素)，相對航高(40.2 m)，GSD為0.029 8 m/像素，飛行速度7.6 m/s(來自飛機(jī)速度記錄)；③基于DSM和DOM數(shù)據(jù)，獲得地面10個特征的點(diǎn)的物方高程，作為真值；④量測相應(yīng)10點(diǎn)的序列影像特征點(diǎn)像方坐標(biāo)。

表2 通過像方動態(tài)特征計(jì)算地物高程

如表2所示，基于序列影像像方動態(tài)特征，通過式(4)計(jì)算地表目標(biāo)點(diǎn)的高程，3次計(jì)算結(jié)果間存在差異，10個高程點(diǎn)中，較高的點(diǎn)計(jì)算結(jié)果較好。15幀聯(lián)合計(jì)算結(jié)果較好，但是實(shí)際應(yīng)用中15幀耗時太長、相機(jī)自身動態(tài)特征難以穩(wěn)定。

將像點(diǎn)量測值繪制為圖5所示像方運(yùn)動軌跡。

圖5 真實(shí)數(shù)據(jù)試驗(yàn)的像方運(yùn)動軌跡

從圖5可以看出，軌跡與像方縱軸方向有偏移，說明空基相機(jī)的指向角與相機(jī)運(yùn)動軌跡存在偏差。試驗(yàn)二中的表2說明由像方動態(tài)特征計(jì)算靜止物體高程可行。造成高程計(jì)算誤差的原因：①序列影像時間間隔不精確、相機(jī)速度測量的設(shè)備精度不高，導(dǎo)致序列影像測高誤差；②圖5說明相機(jī)指向與飛行方向間存在夾角誤差，需要基于像方瞬時動態(tài)特性動態(tài)標(biāo)定修正夾角誤差。

序列影像獲取時間為0.2 s，本文的動態(tài)投影計(jì)算耗時小于0.1 s，體現(xiàn)了序列影像感知環(huán)境動態(tài)信息的方法具有瞬時、速度快的特點(diǎn)。

3 結(jié) 語

本文在光學(xué)面陣成像模型中引入時間要素，推導(dǎo)航空下視時間序列影像的瞬時投影模型，并且推導(dǎo)由像方變化特征定量分析物方動態(tài)特征的方法。通過仿真航空下視序列影像，驗(yàn)證序列影像“物-像”間的嚴(yán)格映射關(guān)系。通過真實(shí)無人機(jī)下視序列影像試驗(yàn)，驗(yàn)證了序列影像的物像對應(yīng)關(guān)系。機(jī)載下視序列影像瞬時測量的意義在于能夠提供空中機(jī)器人動態(tài)感知下視場景的能力。該項(xiàng)技術(shù)未來還需要在相機(jī)動態(tài)標(biāo)定、機(jī)載多類型傳感器間融合應(yīng)用等方面進(jìn)行深入研究。

[1] 王之卓.攝影測量原理[M].武漢：武漢大學(xué)出版社,2007.

[2] 宋爽，楊健，王涌天.全局光流場估計(jì)技術(shù)及展望[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報,2014,26(5):841-850.

[3] 李秀智，賈松敏，尹曉琳,等.視覺光流矢量場估計(jì)算法綜述[J].北京工業(yè)大學(xué)學(xué)報,2013,39(11):1638-1643.

[4] 涂志剛，謝偉，熊淑芬，等.一種高精度的TV-L1 光流算法[J].武漢大學(xué)學(xué)報(信息科學(xué)版),2012,37(4):496-499.

[5] ALVAREZ L,WEICKERT J,SNCHEZ J.Reliable Estimation of Dense Optical Flow Fields with Large Displacements[J].International Journal of Computer Vision,2000,39(1):41-56.

[6] SEVILLAGLARA L,SUN Deqing,LEARNED-MILLER E G, et al. Optical Flow Estimation with Channel Constancy [C]∥Proceedings of the 13th European Conferenceon Computer Vision.Switzerland: Springer,2014:423-438.

[7] BRUHN A,WEICKERT J,SCHN?RR C.Lucas/ Kanade Meets Horn/Schunck: Combining Local and Global Optic Flow Methods[J].International Journal of Computer Vision,2005,61(3):211-231.

[8] 陳震，張聰炫，晏文敬，等.基于圖像局部結(jié)構(gòu)的區(qū)域匹配變分光流算法[J].電子學(xué)報,2015,43(11):2200-2209.

[9] 李秀智，尹曉琳，賈松敏，等.改進(jìn)的TVGL1 平滑光流估計(jì)[J].光學(xué)學(xué)報,2013,33(10):1015-1017.

[10] 李慶忠，何東曉.基于聚類的背景建模與運(yùn)動目標(biāo)檢測方法[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(8):193-195.

[11] STAUFER C,GRIMSON W E L.Adaptive Background Mixture Models for Real-time Tracking[C]∥Proc. of IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE,1999:246-252.

[12] TOOYAMA K,KRUMM J,BRUMIT B,et a1.Principles and Practice of Background Maintenance[C]∥Proc. ICCV.Corfu,Greece:IEEE,1999:246-261.

[13] 閆利，鞏翼龍，張毅，等.光流動態(tài)紋理在土地利用/覆蓋變化檢測研究中的應(yīng)用[J].光譜學(xué)與光譜分析,2014,34(11):3056-3061.

[14] 曹鳳海，宋占武，李燕,等. 無人機(jī)航攝拍照瞬間精確空間位置的確定[J]. 測繪通報, 2016(6):144-145.

[15] 李志學(xué)，顏?zhàn)峡?，張? 無人機(jī)測繪數(shù)據(jù)處理關(guān)鍵技術(shù)及應(yīng)用探究[J]. 測繪通報, 2017(S1):38-43.

[16] 鄧非， 張祖勛，張劍清. 基于序列影像的城市三維建模[J]. 計(jì)算機(jī)工程, 2007, 33(8):208-209.

[17] 王霞，張過，沈欣,等. 顧及像面畸變的衛(wèi)星視頻穩(wěn)像[J]. 測繪學(xué)報, 2016, 45(2):194-198.

[18] 張過. 衛(wèi)星視頻處理與應(yīng)用進(jìn)展[J]. 應(yīng)用科學(xué)學(xué)報, 2016, 34(4):361-370.

StudyonInstantaneousImagingModelofAerialTimeSeriesImages

GAO Li1,2,3，LIU Zhi1，JIANG Zhenzhi2,3，ZHANG Xiangrong4

(1. Information Engineering University，Zhengzhou 450052, China； 2. Xi’an Research Institute of Surveying and Mapping， Xi’an 710054, China； 3. State Key Laboratory of Geo-information Engineering， Xi’an 710054, China； 4. Xidian University， Xi’an 710071, China)

Object in the object space is moving absolutely with the time. The differences of movement caused the changes of the relative position. Time series images recorded the dynamic changes of the object space. Based on the dynamic characteristics of time series images, this paper introduced the time element to the collinear equation and derived instantaneous imaging model of time series images in order to describe the dynamic relationship between the object space and image space. This paper established the application model which different dynamic object can extract the motion features or elevation information from the dynamic image characteristics. Through simulation and analysis of real aerial image sequences test, it is shown that the instantaneous imaging model of time series images proposed in this paper can quantitatively calculate the mapping relationship between the image and the object.

motion characteristics of time series images；instantaneous image model of aerial time series images；exposure time interval

2017-08-18；

2017-10-29

國家自然科學(xué)基金(61772400)；十三五國防預(yù)研(301020603；41412010401)

高 力(1976—)，男，碩士，助理研究員，主要從事攝影測量的幾何成像模型研究工作。E-mail: to-gaoli@126.com

高力，劉智，江振治,等.空基下視時序影像瞬時成像模型研究[J].測繪通報，2017(12)：33-37.

10.13474/j.cnki.11-2246.2017.0374.

P237

A

0494-0911(2017)12-0033-05