無人機遙感影像鑲嵌技術綜述

朱 鋒，肖 暉，魏亞男

ZHU Feng1,XIAO Hui2，3,WEI Yanan1

1.南京航空航天大學 航天學院，南京 210016

2.南京曉莊學院 生物化工與環境工程學院，南京 211171

3.安徽大學 資源與環境工程學院，合肥 230601

1.College of Astronautics,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China

2.School of Biochemical and Environmental Engineering,Nangjing Xiaozhuang University,Nanjing 211171,China

3.School of Resources and Environmental Engineering,Anhui University,Hefei 230601,China

1 引言

無人機低空遙感系統已成為人們日益關注的研究領域，廣泛應用于精確打擊、軍事偵察、快速數字城市建模、災害救急等國防和國民經濟建設中[1-3]。由于獲取圖像時受到無人機飛行高度和相機焦距的限制，造成無人機影像像幅小，單張影像無法完全包含感興趣的區域[4]，為了得到更多目標區域的信息，需要對無人機影像進行鑲嵌。而無人機自身質量較輕、氣流影響大，使其在空中的姿態很不穩定，導致獲取的影像存在很大的畸變，這給無人機影像的鑲嵌造成很大的困難[5]。

本文首先介紹了無人機影像鑲嵌的關鍵問題，歸納了國內外無人機影像鑲嵌的方法，重點闡述了基于對偶四元數的POS輔助空中三角測量的原理，并且展望了該方法的前景。

2 無人機影像鑲嵌問題的描述

影像鑲嵌是指不同影像幾何糾正到統一坐標系下，去掉重疊部分拼接成具有地理信息的大幅面影像的過程，其主要步驟有：

（1）影像匹配：通過一定的匹配算法在兩幅或多幅影像之間識別同名點。主要有基于灰度的匹配和基于特征的匹配。

（2）幾何糾正：根據影像的內方位、外方位元素與數字地面模型，利用相應的構像方程式，或按一定的數學模型用控制點解算，確定影像坐標和地面坐標之間的關系，從原始非正射投影的影像獲取正射影像，并將其歸化到統一的坐標系中。常見的幾何糾正模型有多項式糾正、仿射變換糾正和共線方程糾正等。幾何糾正產生的誤差在很大程度上決定了鑲嵌的精度。

（3）亮度和反差調整：去掉重疊部分后“縫合”成為新的大視圖影像。由于影像之間存在灰度差異，會導致鑲嵌的影像出現接縫，需要對影像進行色調調整。

3 無人機影像鑲嵌方法

3.1 多項式法

Yue Yujuan[6]基于SIFT特征匹配進行影像拼接，在基于二次多項式對拼接后影像進行幾何校正，均勻選取控制點20個左右校正后的檢查點中誤差為1.65 m，拼接結果與地形圖疊加目視效果良好。

3.2 卡爾曼濾波法

Fernando[7]等提出一種基于卡爾曼濾波的影像局部配準方法，先通過基于特征的影像匹配和地形平坦的假設，計算影像的單應性矩陣及其協方差矩陣，按照金字塔分級匹配的原理，逐步迭代求出精確的單應矩陣，單應矩陣的協方差作為一個參數傳到接下來的影像拼接中，從而減少漂移誤差的累計。算法優化后每幅影像采樣點的位置同GPS數據對比，平均誤差為1.76 m。但是，該方法只試用于平坦地區的拼接。Cheng Xing[8]等提出一種改進的卡爾曼濾波方法，再通過L-M算法進行全局優化，以修正重采樣影像的位置。局部優化后檢查點中誤差由1.16 m減小到1.09 m，全局優化后更降低至1.06 m。

3.3 基于SfM點云匹配的方法

Turner等[9]使用特征匹配和SfM攝影技術對無人機影像進行幾何糾正和鑲嵌，先對影像進行處理，得到模型空間的三維點云，再通過相機位置數據直接定位技術或者獲取精確的地面控制點（GCP）坐標，將點云轉換到實際的地理坐標系中，生成數字地面模型，最后將具有地理信息的影像進行鑲嵌。通過量測地面控制點在鑲嵌后影像的平面坐標，并與相應點的GPS數據對比，地面控制點的平面位置最大殘差分別為1.2 m（直接定位技術）和0.15 m（GCP技術）。

3.4 傳統空中三角測量法

張永軍[10]采用傳統空中三角測量的方法，先對無人機影像進行匹配，利用匹配獲得的同名點進行相對定向，加入地面控制點和檢查點進行區域網平差工作，利用平差以后的方位元素，將經過密集影像匹配后的大量同名點進行前方交會生成DEM，進而采集對應的正射影像。通過量測地面控制點在正射影像的平面坐標，并與已知坐標對比，地面控制點的平面誤差約為0.03 m。

3.5 POS輔助的空中三角測量法

傳統空中三角測量法精度較高，需要提供足夠數據的分布均勻的地面控制點。然而由于地面特征不明顯、人員無法到達，地面控制點的獲取往往比較困難甚至根本不可能。隨著全球定位技術和慣性導航技術的迅速發展，定位定向系統（Position&Orientation System，POS）能獲取攝站三維坐標和姿態信息，POS系統是由差分全球定位系統（Difference Global Positioning System，DGPS）和慣性測量裝置（Inertial Measurement Unit，IMU）組合而成的，能夠實現POS輔助的空中三角測量，同時減少或不需要地面控制點[11]。使用該方法對航空影像進行實驗，檢查點的平面誤差約為0.12 m[12]。

3.6 對偶四元數的POS輔助空中三角測量

龔輝[13]提出一種基于單位對偶四元數的航空影像區域網平差解算方法，將影像的攝站位置和姿態以一個單位對偶四元數整體表示，從而構建基于對偶四元數的區域網平差模型，并采用具有約束條件的參數平差進行解算。結果表明，該方法的平差精度與常規的區域網平差方法相當，同時由于無需設置計算的初始參數，計算速度快，具有很好的適應性和穩定性。姬亭[14]按照不同傾角模擬影像數據，分別采用歐拉角法和對偶四元數法進行實驗，從定向精度和對不同傾角的適應性進行分析，對偶四元數算法具有明顯優勢。因此，用對偶四元數進行無人機影像統一的位姿描述，建立POS輔助的光束法平差模型，對進一步提高無人機影像幾何定位的可靠性、穩定性以及定位精度實現具有重要的理論意義。

4 對偶四元數的POS輔助空中三角測量原理介紹

4.1 POS輔助空中三角測量原理

帶POS系統的中心投影成像原理如圖1所示。若a在像平面坐標系o-xy中的坐標為(x，y)，對應的地面點在以M為原點的物方坐標系M-XYZ中的坐標為(X，Y，Z)，航攝儀投影中心 S在 M-XYZ中的坐標為(XS，YS，ZS)，則滿足共線方程：

圖1 帶POS系統的中心投影成像原理示意圖[11]

式中，f為航攝儀焦距，a1，a2，…，c3為旋轉矩陣 R的九個方向余弦。

由于GPS天線安裝過程中，天線相位中心不可能與航攝儀攝影中心完全重合，它們之間總存在著一個空間偏移，通常稱為偏心分量。若A在M-XYZ中的坐標為(XA，YA，ZA)，偏心分量為(uA，vA，wA)，則：

同樣是由于安裝工藝上的限制，IMU與航攝儀不能完全平行而導致相應坐標軸存在微小的方向偏差，即偏心角。若IMU測定的航攝儀姿態角為 φ′，ω′，κ′，偏心角為 φI，ωI，κI，則：

式中 RIMU=Rφ′Rω′Rκ′，RB=RφJRωJRκJ。

4.2 對偶四元數POS輔助空中三角測量

設無人機影像位姿參數的對偶四元數[9]描述為：

則角方位元素可用對偶四元數的實部表示，線方位元素需以對偶四元數的實部和對偶部分共同表示：

將式（5）代入式（1）～（3）中，得到基于對偶四元數的POS輔助光束法區域網平差的基礎誤差方程，其矩陣形式可寫為：

式中 VX，VC，VG，VI和 LX，LC，LG，LI分別為像點坐標、地面控制點坐標、GPS攝站坐標和IMU姿態角觀測值的改正數向量和殘差向量，PX，PC，PG，PI分別為各觀測值權矩陣；

x=[ΔX ΔY ΔZ]T為待定點坐標未知數增量向量；t=[Δq0ΔqxΔqyΔqzΔr0ΔrxΔryΔrz]T為對偶四元數各分量增量向量；r=[Δu Δv Δw]T為偏心分量未知數增量分量；m=[ΔφIΔωIΔκI]T為偏心角未知數增量分量；Bx，Ax，AG，AI，R，M 為對應的系數矩陣。

由于采用對偶四元數描述影像外方位元素，每張影像存在對偶四元數滿足的兩個約束條件：

對其線性化，可得約束條件方程為：

式中，

由于通過 R和(XS，YS，ZS)的對偶四元數統一求解可克服外方位元素之間的強相關性[13-15]，因此必將大大提高空中三角測量的解算精度。目前，利用對偶四元數進行POS輔助空中三角測量仍在理論研究階段，仍需實驗評價其精度。

5 結論與展望

（1）隨著控制技術、成像技術和計算機技術的發展，新的方法在不斷涌現，以下是仍然值得關注的問題：無人機易受到風力等因素的干擾，對影像數據的獲取影響較大，需要增加硬件的穩定性能；由于成本和飛行重量的限制，無人機攜帶的POS系統的精度需要進一步提高，減少對地面控制點的依賴，以提升無人機影像鑲嵌的精度以及自動化程度；對于大數據量的無人機影像的高分辨率的快速處理仍然是一個研究的重點，處理大數據量的無人機遙感影像鑲嵌軟件研發也是一個亟待解決的問題。

（2）POS輔助空中三角測量無需或者只需少量控制點就能達到較高的精度，大大降低了野外工作量。由于對偶四元數描述影像的位置和姿態具有適應性強的優勢，利用對偶四元數建立POS輔助的空中三角測量模型，將是無人機影像鑲嵌的一個新的發展方向。

[1]Albert R，Andrea L，Jeffrey H，et al.Unmanned aerial vehicle-based remote sensing for rangeland assessment，monitoring and management[J].Journal of Applied Remote Sensing，2009，3（1）.

[2]賈嬌，艾海濱，張力，等.應急響應中PixelGrid無人機遙感數據處理的關鍵技術與應用[J].測繪通報，2013（5）：62-65.

[3]吳亮，趙西安.基于DPGrid系統的無人機遙感數據處理試驗[J].北京建筑工程學院學報，2013，29（1）：43-48.

[4]王琳.高精度、高可靠的無人機影像全自動相對定向及模型連接研究[D].北京：中國測繪科學研究院，2011.

[5]洪宇，龔建華，胡社榮，等.無人機遙感影像獲取及后續處理探討[J].遙感技術與應用，2008，23（4）：98-102.

[6]Yue Yujuan，Li Dongliang，Li Ying，et al.Discussion on the mosaic and geometric correction technique of UAV remote sensing image[C]//The International Conference on Mechanic Automation and Control Engineering.Beijing，China：IEEE Computer Society，2010：4528-4530.

[7]Caballero F，Merino L，Ferruz J，et al.Homography based kalman filter for mosaic building application to UAV position estimation[C]//International Conference on Robotics and Automation，Roma，Italy，2007.

[8]Xing Cheng，Wang Jinling，Xu Yaming.A robust method for mosaicking sequence images obtained from UAV[C]//2nd International Conference on Information Engineering and Computer Science，Wuhan，China，2010.[S.l.]：IEEE Computer Society，2010：1-4.

[9]Turner D，Lucieer A，Watson C.An automated technique for generating georectified mosaics from ultra-high resolution unmanned aerial vehicle imagery，based on Structure from Motion（SfM）point clouds[J].Remote Sensing，2012，4（5）：1392-1410.

[10]張永軍.無人駕駛飛艇低空遙感影像的幾何處理[J].武漢大學學報：信息科學版，2009，34（3）：284-288.

[11]韓文超.基于POS系統的無人機遙感圖像拼接技術研究與實現[D].南京：南京大學，2011.

[12]袁修孝.POS輔助光束法區域網平差[J].測繪學報，2008，37（3）：342-348.

[13]龔輝，姜挺，江剛武，等.利用單位對偶四元數進行航空影像區域網平差解算[J].武漢大學學報：信息科學版，2012，37（2）：154-159.

[14]姬亭，盛慶紅.對偶四元數單片空間后方交會算法[J].中國圖象圖形學報，2012，17（4）：494-503.

[15]盛慶紅，姬亭，劉微微，等.對偶四元數線陣遙感影像幾何定位[J].中國圖象圖形學報，2012，17（10）.