無人機影像序貫實時平差

無人機影像序貫實時平差

于英1，2，張永生1，薛武1，2，盧學良1，2

(1.信息工程大學，鄭州 450052；2.江西省數字國土重點實驗室，江西 撫州 344000)

摘要：無人機已經成為突發事件應急測繪的首要選擇，但采用傳統的POS輔助光束法平差仍是一種“延遲”事后處理的方法。本文將平差中序貫平差的方法作用于POS輔助光束法平差，極大地減少了平差的計算量。采用真實數據進行了實驗，實驗結果表明本文方法的測量平差精度優于40cm，且達到了實時平差的效果。

關鍵詞：無人機影像；序貫平差；實時

doi:10.3969/j.issn.1000-3177.2015.01.004

中圖分類號：P207文獻標識碼：A

收稿日期：2013-12-18修訂日期：2014-03-06

基金項目：國家高技術研究發展計劃課題(2012AA121302)；國家科技支撐計劃課題(2012BAH12B01、2012BAH12B03)。

作者簡介：齊銀鳳(1988～)，女，碩士研究生，從事遙感影像信息的快速提取與處理的理論和應用研究。

Real-time Sequential Adjustment for UAV Images

YU Ying1，2，ZHANG Yong-sheng1，XUE Wu1，2，LU Xue-liang1，2

(1.InformationEngineeringUniversity，Zhengzhou450052；

2.JiangxiProvinceKeyLabforDigitalLand，Fuzhou344000)

Abstract：Emergency UAVs have become the first choice of mapping，but traditional POS-supported bundle adjustment is still a delay post-processing method.This paper presents sequential adjustment method on the POS-supported bundle adjustment，which can greatly reduce the amount of calculation adjustment.Using real data，the experimental results show that the adjustment accuracy of the proposed method is better than 40cm，and it performs adjustment on a real-time basis.

Key words：UAV image；sequential adjustment；real-time

1引言

相比傳統的衛星遙感和航空攝影獲取的數據，無人機由于自身的優勢可以動態高效廉價獲得某地區高分辨率影像，可為自然災害等突發事件的決策提供地理空間信息支持[1-2]。在應急情況下，需要無人機動態獲取影像數據和幾乎同步對這些數據進行實時處理得到地球參考坐標系下的DSM和正射影像。應急條件下，依靠地面布設控制點的方法，地面條件很多時候不具備，在時間上也不滿足。

GPS/INS組合導航系統(通常稱POS系統)尺寸、重量和功率的進一步縮小，使其可以安裝在無人機平臺上并與相機構成集成數據獲取系統。POS系統獲取曝光時刻相機的空間位置和姿態數據(影像外方位元素)，可用于攝影測量。已有試驗表明，直接利用POS系統獲取的影像外方位元素進行立體測繪，其精度特別是高程精度難以滿足大比例尺地形測圖的精度要求[3]，為此需將POS系統測定的影像外方位元素觀測值與像點觀測值進行聯合平差(POS輔助空中三角測量)以提高精度，是一種數據后處理提高精度的方法。為實現動態數據獲取和數據實時處理，就必須采用一種序貫處理的思路改進POS輔助空中三角測量[4]。此時，POS系統得到影像外方位元素的觀測值，相當于以多視影像連接點作為一種隨機約束，實時平差處理得到較為精確的影像外方位元素。

圖1為無人機影像外方位元素高精度實時賦值的全過程。當獲得新的影像后，不僅要更新當前影像的外方位元素，還要更新之前影像的外方位元素。采用經典的POS輔助空中三角測量重新進行整體解算，顯然達不到實時的要求，序貫處理憑借數據的充分挖掘和降低的計算量是有潛力做到這一點。在攝影測量和計算機視覺領域，目前序貫算法主要包含卡爾曼濾波、上三角矩陣更新和固定轉化3種方法[5-7]。上三角矩陣更新在計算速度和存儲空間需求上都優于卡爾曼濾波，固定轉化是目前最有效率的算法，但因不能顧及參數間的協方差矩陣，因此理論上不嚴謹。

圖1　無人機影像外方位元素實時賦值

本文的無人機影像序貫實時平差的思路分為兩個階段：初始化階段，對一定數量的影像進行POS輔助空中三角測量；序貫平差階段，計算與新影像其相關的已經平差的影像，新影像與其相關影像一起序貫平差。

2初始化階段

在初始化階段，當一定數量的影像獲取后，就可以進行POS輔助空中三角測量。由于安裝在無人機上的相機已經在控制場進行了精確的標定，因此本文待平差的未知數只包括兩類即影像外方位元素(EOP)和地面點坐標(GP)。POS輔助空中三角測量中觀測數據包括像點坐標和POS數據，分別按式(1)和式(2)列誤差方程。記相機焦距為f，像點在像空間坐標系中的坐標為(x,y)，對應物方點坐標為(X,Y,Z)，影像的外方位元素為(Xs,Ys,Zs,Omega,Phi,Kappa)，POS觀測數據和影像的外方位元素構造的旋轉矩陣元素分別為：(XGPS,YGPS,ZGPS,OmegaIMU,PhiIMU,KappaIMU)和(a1,a2,a3,b1,b2,b3,c1,c2,c3)，(u,v,w,ex,ey,ez)是偏心矢量和偏心角。

(1)

RIMU(OmegaIMU,PhiIMU,KappaIMU)=

R(Omega,Phi,Kappa).RMIS(ex,ey,ez)T

(2)

對式(1)和式(2)線性化，得：

(3)

其中，y11是像點觀測值，z1是POS觀測值，XEOP1和XGP1分別是像片外方位元素未知數和地面點坐標未知數，其他是對應的系數矩陣和殘差矩陣，按最小二乘原理對其法方程化后得：

(4)

整理得：

(5)

則：

(6)

其中，Py11和Pz1是根據像點量測精度和POS數據精度確定的經驗權陣[8]。

3序貫平差階段

在初始化階段后，又得到了一些新獲取的影像，此時就要進行序貫平差。這里面有兩個關鍵點：第一，參與序貫平差的影像由新影像和部分相關影像(初始化階段平差過的影像)兩類組成，即參與序貫平差的相關影像的確定。第二，有效利用初始化階段的平差信息進序貫平差。

3.1相關影像確定

隨著影像獲取數量的增加，未知數向量維數程線性增大。在序貫平差階段，如果讓所有影像都參與序貫平差，顯然無法做到實時序貫平差。實際上，POS輔助空中三角測量的平差中相隔很遠的影像間幾乎沒有相互影響。為達到實時的平差，需要一個固定的未知數向量尺寸。依據經驗值可以設定一個常數，比如前面10張影像與新獲取的影像一起進行序貫平差，但顯然這是不科學的。

在初始化平差階段，不僅得到了影像外方位元素和地面點坐標的平差結果，同樣得到了未知數間的協方差矩陣Q，通過協方差矩陣可以計算得到兩個未知數之間的相關系數。任意兩個未知數之間的相關系數可由式(7)求出：

(7)

顯然新獲取的影像與前一張已經參與平差的影像很近，因此可以用前一張影像代替新獲取的影像計算相關系數。每張像片有6個外方位元素，則兩張像片的相關系數可以構成6×6矩陣，該矩陣元素中的最大值用來確定兩張影像之間的相關程度。設定一個相關程度的閾值，就可以獲得與新獲取的影像一同參與序貫平差的影像。

3.2序貫平差

在序貫平差階段，可以將觀測量分為三類。第一類觀測量是y1，只與已經存在的影像有關；第二類觀測量是y2，與新影像和已經存在的影像都有關；第三類觀測量是y3，只與新影像有關。

(8)

其中：

按最小二乘原理對式(8)法方程化：

(9)

在最小二乘平差中，最耗時的步驟是求解法矩陣的逆矩陣，特別是當法矩陣的維數很大時，尤其明顯[9]。為此，在序貫平差階段求解法矩陣的逆矩陣時，要充分利用前一平差階段的結果。法矩陣的逆矩陣可以寫成如下形式：

W1=M12(M22+K22)-1;

(10)

(11)

4實驗

本文所需實驗數據，通過在無人機平臺上搭載面陣相機和POS測姿定位傳感器構成的集成傳感器獲取。該集成傳感器的具體參數為：相機焦距為50mm，影像分辨率為，POS位置測量精度0.3m，POS的俯仰角和橫滾角測量精度0.003deg，航向角測量精度為0.05deg。實際飛行時的相對航高為2200m，對應的地面分辨率(GSD)約為20cm，每3s拍攝一張影像，采用拍攝影像中的56張像片作為實驗數據。采用高精度特征點提取算子進行了連接點提取，56張像片共提取了2452個像點，對應421個地面點，像點提取的精度約為0.3Pixel。

為驗證該數據的質量，在地面布設了4個控制點和7個檢查點，采用傳統的POS輔助光束法平差得到的檢查點外符合情況如表1所示，平差精度優于1個像素。

表1　POS輔助光束法平差檢查點外符合情況

利用本文序貫平差方法對上面同樣的數據進行處理，其中初始階段選用了15張像片，相關系數閾值設定為0.3。如圖2所示，以傳統POS輔助光束法平差的外方位元素為基準，本文的序貫平差方法的外方位元素在開始階段的誤差急劇上升，隨著新影像的不斷加入逐漸趨于平穩在35mm和10mdeg。如圖3所示，以傳統POS輔助光束法平差的地面點坐標為基準，本文的序貫平差方法得到的地面點坐標的誤差可以控制在40cm。圖4為本文方法與傳統POS輔助光束法平差計算時間的比較，傳統POS輔助光束法平差隨著影像的增加其計算時間近乎顯著增加，但本文的序貫平差方法的計算時間可以在2s內，低于拍攝間隔3s，達到實時平差的效果。

圖2　本文方法與傳統POS輔助光束法 平差外方位元素比較

圖3　本文方法與傳統POS輔助光束法 平差地面點坐標比較

圖4　本文方法與傳統POS輔助光束法 平差計算時間比較

5結束語

本文研究將序貫平差的方法作用于傳統POS輔助光束法平差，實驗結果證明該方法可以實現序貫實時平差的效果。應用本文方法將進一步凸顯出無人機機動和迅速的特點，為搶險救災為代表應急情況提供更加實時的測繪服務。

參考文獻：

[1]張永生.現場直播式地理空間信息服務的構思與體系[J].測繪學報，2011，40(1)：1-4.

[2]CHOI K，LEE I，HONG J，et al.Developing a UAV-based rapid mapping system for emergency response[C].SPIE Defense，Security，and Sensing.International Society for Optics and Photonics，2009：733209-733212.

[3]袁修孝.POS 輔助光束法區域網平差[J].測繪學報，2008，37(3)：342-348.

[4]姜柱.序貫平差在空三加密中的應用研究[D].中南大學碩士論文，2012：53-59.

[5]MATTHIES L，KANADE T，SZELISKI R.Kalman filter-based algorithms for estimating depth from image sequences[J].International Journal of Computer Vision，1989，3(3)：209-238.

[6]RUNGE A.The use of Givens transformation in on-line triangulation[C].Proceedings of ISPRS Intercommission Conference on “Fast Processing of Photogrammetric Data”，Interlaken，Switzerland，June，1987：2-4.

[7]DOGAN S，TEMIZ M，KULUR S.Real time speed estimation of moving vehicles from side view images from an uncalib-rated video camera[J].Sensors，2010，10(5)：64-71.

[8]袁修孝.當代航空攝影測量加密的幾種方法[J].武漢大學學報(信息科學版)，2007，32(11)：1001-1006.

[9]黃維彬.近代平差理論及其應用[M].北京：解放軍出版社，1990：49-55.

E-mail：xiaoqixzy@gmail.com