一種無人機視頻影像快速配準方法

孫新博，李英成，王恩泉，耿中元，王思雪

(1. 自然資源部航空遙感技術重點實驗室,北京 100039； 2. 北京市低空遙感數據處理工程技術研究中心，北京 100039； 3. 中測新圖(北京)遙感技術有限責任公司,北京 100039)

隨著各種輕小型高精度傳感器的不斷問世及無人機平臺整體性能的提升，無人機搭載不同傳感器進行作業已成為常態[1]，其中視頻傳感器得益于能夠獲取動態變化影像及數據實時回傳的特性而受到行業關注。受視頻傳感器幅面、視角和無人機飛行高度影響，單幀無人機視頻影像所覆蓋的區域面積較小，在一些任務中需要對多幀視頻影像進行拼接。拼接的前提是視頻幀的有效配準，在應急測繪中無法按照傳統的航空攝影測量流程生成標準正射影像實現視頻幀的配準，因此研究基于實時回傳的無人機視頻幀快速配準方法對于應急響應具有重要意義。文獻[2—4]采用SIFT等算法對影像進行匹配，剔除誤匹配點對后建立影像間空間變換模型，統一坐標系，從而完成影像配準。這種方法偏重于紋理豐富的區域，在紋理單一區域就無法獲取有效特征點信息且匹配過程計算復雜，耗時較長。文獻[5—9]借助無人機影像的定位定姿信息快速建立影像間的空間變換關系，再分別通過采用校正模型、構建平衡二叉樹、建立仿射變換模型、地理坐標局部修正等手段減少誤差積累，改善配準效果，這種方法大大提高了無人機影像的配準速度，但對于姿態穩定性更差的視頻幀的處理較少涉及。文獻[10—11]基于獲取的帶有重疊的無人機影像估計相機位姿，恢復場景三維結構，根據影像的相對位姿進行圖像坐標變換，統一坐標系，從而實現影像間的配準。該方法與基于特征匹配的方法相似，但其對消除誤差累計處理得更好且具有實時處理的能力。

本文從應急測繪需求出發，提出一種無人機視頻影像快速配準方法。該方法首先對視頻傳感器進行標定，獲取其內方位元素和畸變參數信息；然后基于時間索引和線性/球面插值方法，實現視頻幀與地理信息同步；最后利用外方位元素和數字高程模型對視頻幀進行正射糾正，通過匹配獲取同名特征點，快速計算正射影像間仿射變換模型，基于仿射尺度不變坐標微調方法，調整正射影像地理坐標，從而實現視頻幀間精確配準。配準后的視頻幀經過融合即形成帶有地理坐標的拼接影像，可進行快速定位與空間分析，為應急救災提供參考資料。

1 視頻傳感器標定

針孔成像模型是相機及視頻傳感器最常用且較為簡單的幾何模型[12]，用來描述三維世界中坐標點映射到二維圖像平面的過程。理想情況下，針孔成像模型描述了地面點、投影中心及對應像點三者之間嚴格的數學關系，在攝影測量學中共線方程是針孔成像模型的數學基礎，其公式如下

(1)

式中，x、y為像點坐標；X、Y、Z為對應的地面點坐標；f為主距；x0、y0為像主點坐標；Xs、Ys、Zs為外方位元素線元元素；ai,bi,ci(i=1,2,3)為旋轉矩陣元素。

由于傳感器鏡頭設計、制作、裝配等誤差造成像點偏離其理想成像位置，主要包括徑向畸變和切向畸變。其中徑向畸變是指像點沿物鏡向徑向方向偏離其準確理想位置的畸變差，切向畸變是由透鏡與成像平面不平行引起的。一般來說，視頻傳感器的非線性畸變模型主要是徑向畸變和切向畸變，除此之外還包括平面不平畸變和平面內變形畸變等附加畸變[13]。在傳感器標定精度要求不是特別嚴格的條件下，徑向畸變和切向畸變就能夠描述其非線性畸變，因此本文研究主要考慮視頻傳感器的徑向畸變和切向畸變。

本文采用基于標定物的視頻傳感器標定方法[14-15]，該方法是利用幾何結構已知的標定參照物，通過建立參照物上已知點坐標與圖像坐標點之間的對應關系，結合傳感器成像幾何模型約束條件，使用優化算法精確求解標定參數。完成視頻傳感器的標定工作后，利用求解出的參數對視頻幀影像進行畸變差改正，消除傳感器畸變模型帶來的誤差以提高配準精度。

2 基于坐標信息的影像配準

無人機獲取的定位定姿數據和視頻流數據存在時間基準不統一、采集頻率不一致等問題。針對這一問題，文獻[16]利用定位定姿系統輸出的PPS(pulse per second)觸發攝影機拍攝圖像，機載計算機記錄圖像的同時解析全球導航衛星系統GNSS信息數據包，并將每幀圖像的曝光時間、位置、姿態數據記錄到計算機中，實現定位定姿數據與圖像在時間上的同步。本文所采用的視頻傳感器為近似連續采集圖像設備，不適合采用文獻中脈沖信號觸發曝光動作實現數據時間同步的方法。

為了解決上述問題，本文采用基于時間索引和線性/球面插值方法建立視頻流數據與定位定姿數據之間的對應關系[17]。具體實現方法如下：

(1) 以計算機系統時間為參考，分別記錄定位定姿數據和視頻幀的采集時間，時間單位由時-分-秒-毫秒轉換為毫秒。

(2) 以時間為自變量，分別以位置坐標和姿態數據為因變量建立線性插值方程、球面插值方法。

(3) 利用視頻幀的采集時間索引相應插值方程，計算視頻幀對應的定位定姿數據，建立二者的對應關系。

通過上述方法實現了視頻幀與定位定姿數據的一一對應，在精度要求不是很高的情況下，慣性導航系統獲取的位置和姿態信息可以直接作為傳感器曝光瞬間的外方位元素。本文采用間接法數字微分糾正[18]實現視頻幀影像的快速地理編碼。地理編碼后的視頻幀可根據坐標信息實現配準，但在實際應用中發現由于定位定姿數據自身精度問題造成了糾正后每幀視頻影像間均有位移偏差，如圖1所示。為了消除位移偏差，本文采用地理坐標微調方法改善視頻幀之間的配準質量。

3 無人機視頻影像地理坐標微調

3.1 視頻影像變換模型

利用特征匹配和RANSAC(隨機取樣一致性)算法[19-21]獲取視頻幀影像間匹配關系后，則可以選擇合適的幾何變換模型對待配準影像坐標進行幾何變換，將待配準影像坐標調整到參考影像坐標系下，從而改善基于坐標信息的視頻幀配準質量。圖像變換模型主要包括剛體變換、仿射變換、相似性變換及透視變換等，視頻幀之間存在旋轉、縮放變化，可以采用仿射變換或相似性變換擬合幾何變換關系，但仿射變換在擬合效果方面優于相似性變換[22]，因此本文采用仿射變換對視頻幀坐標進行調整。仿射變換的矩陣形式表示如下

(2)

式中，x1、y1為參考影像像點坐標；x2、y2為待配準影像像點坐標；mi(i=0,1,2,3,4,5)為仿射變換系數。從式(2)可以看出仿射變換模型有6個未知參數，至少需要3對匹配特征點求解仿射變換模型參數，在同名特征點多于3對的情況下，需要采用最小二乘法求解仿射變換模型未知參數。本文以航線內第一幀正射糾正后的視頻幀作為參考影像，通過仿射變換模型調整相鄰視頻幀的地理坐標。調整效果如圖2所示。

從視頻幀地理坐標調整結果可以看出該方法很好地消除了相鄰視頻幀間的位移偏差，卻又引入了尺度誤差，即仿射變換模型中的縮放變換。這是由于參考影像受誤差影響自身并非與地面信息嚴格一致，不可避免地存在投影誤差，誤差隨著視頻幀數的增加會越來越大。在仿射變換模型中則會表現為尺度變化越來越大，為此需要控制仿射變換模型中的縮放因子。

3.2 基于仿射尺度不變的坐標微調

為了解決視頻幀坐標調整過程中仿射變換模型縮放因子不受控制的問題，本文提出了基于仿射尺度不變的坐標微調方法。該方法通過比較仿射變換前后影像x和y方向上分辨率大小變化，獲取仿射變換模型縮放比例系數scale_x和scale_y，假設仿射變換后影像中心不存在平移變化，則按圖3位置關系計算坐標微調量值。A(x,y)為仿射變換后影像左上角坐標，A′(x′,y′)為坐標微調后影像左上角坐標，Δx、Δy為坐標微調量，用下式表示為

(3)

按照式(3)計算出坐標微調量，進而改正仿射變換后影像左上角坐標，同時x和y方向上的分辨率大小采用仿射變換前影像的分辨率大小。

以正射糾正后的參考幀為基準依次調整相鄰視頻幀的地理坐標，消除航線內視頻幀之間的位移偏差，結果如圖4所示。

4 試驗與分析

選取某型號無人機拍攝的兩條航線的視頻數據，按照自適應關鍵幀提取算法實時獲取滿足重疊度要求的視頻關鍵幀共148張，幀影像大小為1920×1080像素。首先利用傳感器標定參數對視頻幀進行畸變差改正，消除畸變差影響；接著利用每幀對應的定位定姿數據快速對每條航線的視頻幀進行正射糾正；再利用SURF特征提取算法對航線內正射糾正后的視頻幀兩兩匹配，計算兩兩之間的仿射變換模型；最后采用基于仿射尺度不變的坐標微調方法對航線內視頻幀進行坐標微調，消除兩兩之間的位移偏差，單條航線內視頻幀配準效果如圖5所示。

從圖5可以看出房屋、道路、山丘連接良好，未出現位移偏差現象。本次試驗是選擇第一幀視頻影像作為參考影像從左至右兩兩進行坐標微調，航帶尾部配準效果略差于其他部分，這是由于誤差積累引起的，可以采用從航帶中間選取參考幀的方法減少誤差積累。

5 結 語

本文針對應急測繪中對無人機視頻流快速處理的需求，提出了一種無人機視頻影像快速配準方法。該方法基于時間索引和線性/球面插值方法實現視頻幀與定位定姿信息的一一對應，利用定位定姿信息對視頻幀進行正射糾正，糾正后的視頻幀按照坐標信息進行配準，由于定位定姿信息精度的影響，導致視頻幀間存在位移偏差。盡管基于仿射變換模型的方法能夠消除位移偏差，但縮放因子的影響造成影像形變嚴重，在此基礎上本文采用控制仿射變換模型中縮放因子不變的坐標微調方法很好地解決了上述問題，實現了航帶內視頻幀的精確配準。但是本文方法在航帶間視頻幀的配準試驗中并未取得較好的效果，下一步工作將繼續開展航帶間視頻幀的近實時配準研究，為應急測繪數據快速實時獲取提供技術支持。