航空三步進分幅圖像拼接

岳 廣，孫文邦，張星銘，李銅哨

(空軍航空大學 航空作戰勤務學院，長春 130022)

1 引言

航空遙感目前被廣泛應用于種植農業、軍事偵察、災害探測等領域，然而受飛行高度和相機視場角的限制，遙感圖像視場較小，能照射到的區域范圍有限[1-2]。為了對大目標區域進行全局把握、了解，一般需要多條帶或多次成像，然后將多張遙感圖像拼接為整幅寬視野圖像[3-5]。

當圖像條帶增加時，給圖像拼接也帶來了一定難題。隨著條帶數量增加，圖像間的重疊關系增多，圖像匹配關系變得復雜。對多條帶圖像拼接問題的解決方案主要可以分為基于特征匹配的方法和基于POS(position and orientation system)數據的方法。

在基于特征點的拼接方法中，許越等[6]構建了多條帶拼接模型，分析了俯仰、翻滾對重疊域的影響，但是該法考慮要素較少，不適用于航空圖像。石碩崇等[7]闡述了海洋測繪中的困難，并提出了限制因素，但航空遙感精度達不到測繪水平，適用性不強。在采用機載POS數據進行拼接的方法中，韓文超[8]利用POS數據和特征匹配的方法，完成序列圖像拼接，但該法只適用于單條帶的圖像拼接。徐秋輝[9]通過POS數據結合特征匹配的方法，完成了多條帶圖像拼接，但實驗中未考慮條帶間圖像的配準關系，拼接效果不佳。Ruizhe Shao[10]提出根據位置和姿態參數，推算下一時刻無人機遙感圖像位置，確定條帶間圖像重疊區域，利用重疊區域中的匹配點對，快速、準確地確定對匹配對位置，該法減少了時間消耗，但對數據精度要求較高。

利用上述方法處理由三步進得到的多條帶圖像時，發現上述文章大部分都不能較好地解決三并列圖像拼接問題，且對多條帶圖像拼接效果不理想，由于上述方法考慮到的影響因素較少，導致多條帶圖像拼接出現錯位。因此本文針對該問題提出航空三并列圖像拼接方法，在保證圖像拼接精度的情況下，滿足具有三并列分幅圖像的拼接。

2 三步進面陣圖像幾何校正

傳統幾何校正通常依靠俯仰角、滾轉角和偏航角進行坐標轉換矩陣解算，利用坐標轉換矩陣實現傾斜圖像校正為正射圖像。然而，當三步進分幅圖像需要進行幾何校正時，需要考慮到左右傾斜角帶來的影響。而且每張圖像成像時高度并不相同，校正后所得圖像分辨率也不相同，由此給后續拼接帶來了困難。為了解決該問題，本文提出結合相機安裝角、真航向角、飛行高度和傳統校正的3個角元素進行精確幾何校正的方法，得到同一地面分辨率的序列圖像，為后續的拼接提供了基礎。

2.1 傳統坐標轉換

在幾何校正中需要用到計劃坐標系O-XLYLZL、像空間坐標系S-xyz、像空間輔助坐標系S-XTYTZT[11]。3個坐標系間關系如圖1所示。

計劃坐標系記為坐標系A(O-XLYLZL)，計劃坐標系的原點在計劃拍攝區域內某點上，XL軸沿計劃飛行方向，ZL軸垂直于地面向上，且坐標系A構成右手坐標系。

如圖1中所示，利用坐標轉換矩陣，像空間坐標系轉換至像空間輔助坐標系為：

圖1 坐標轉換關系示意圖

(1)

式(1)中：(x,y,-f)表示像空間坐標系中像點坐標；(XT,YT,ZT)表示像空間輔助坐標系中像點坐標。

構成的坐標轉換矩陣為：

(2)

式(2)中，φ，ω和κ分別表示飛機的俯仰角、翻滾角和偏航角。

利用像空間輔助坐標系和像空間坐標系間的轉換關系，可以推導像空間坐標系與計劃坐標系間關系，即：

(3)

利用以上公式，可以完成像空間坐標系、像輔助坐標系以及計劃坐標系三者間的坐標轉換。

2.2 坐標系選擇與坐標轉換改進

2.2.1坐標系選擇

本文選擇搭載POS系統的無人機機載圖像為處理對象。部分POS數據如表1所示，包含數據有飛機飛行姿態信息以及地理坐標信息等。通過分析偏航角與真航向角的變化可以發現，當真航向角發生細微變化時，偏航角未產生變化。由于機載POS系統記錄飛行參數時，以一段距離內飛行航跡相對于計劃航線的角度記錄為當前偏航角，故數據中顯示偏航角為0。

表1 機載POS數據

因此在選擇構建坐標轉換矩陣時，采用真航向角代替偏航角。確保轉換矩陣的精度，并且為了能夠與地理信息建立聯系，方便后期地理坐標間的嵌套，以真航方向作為參考。為了表述方便，建立了以下坐標系。

1)載機坐標系。載機坐標系C其原點在載機質心，XC軸平行于載機縱軸指向前，YC軸平行于載機橫軸指向左，ZC軸平行于載機豎軸指向上。

2)機平坐標系。機平坐標系F其原點在載機的質心，XF軸沿飛機縱軸的水平投影線，且指向飛行方向，ZF軸沿當地垂線指向天頂。

3)機北坐標系。機北坐標系G其原點在載機質心，XG在載機所處位置的當地水平線內，指向正北，YG軸在載機所處位置的當地水平面內，指向正西，ZG平行于當地地理垂線指向天頂。

將圖像旋轉至航向方向，相應的選擇機北坐標系G作為基準坐標系。

為了完成坐標系間的轉換，需要重新解算轉換矩陣。即需要計算像空間坐標系I→載機坐標系C→機平坐標系F→機北坐標系G之間的轉換過程。轉換矩陣間計算關系為：

(4)

2.2.2坐標系轉換

1)像空間坐標系→載機坐標系轉換。

當進行步進分幅成像時，航空相機一般按照一定傾斜角安裝在載機上。考慮到相機安裝角與載機間的關系，需要計算航空相機坐標與載機坐標間的轉角關系，如圖2所示。

圖2 安裝傾角示意圖

當相機存在左右安裝傾角時，一般在攝影測量中規定平臺左傾為負，右傾為正。由該安裝傾角得到的像空間坐標系→載機坐標系的坐標轉換矩陣為：

(5)

2)載機坐標系→機平坐標系轉換。

載機在空中由于氣流和發動機振動等因素，載機不一定保持平飛狀態。因此載機坐標與機平坐標之間存在一定轉角關系，包括φ3和ω3等 2個角。由此可以得到載機坐標系→機平坐標系的坐標轉換矩陣為：

(6)

3)機平坐標系→機北坐標系。

機平坐標系與機北坐標系只在水平面相差一個航向，而這個航向在相機記錄參數中采用真航向來記錄。真航向角指飛機縱軸在水平面上投影與當地子午線的夾角。可以得到機平坐標系→機北坐標系的坐標轉換矩陣為：

(7)

綜上，由像空間坐標系轉換至機北坐標系的轉換關系為：

(8)

通過解算，可以得到新的坐標轉換矩陣為：

(9)

式(9)中：ω1為相機光軸相對于基座的左右安裝角，順時針轉動x軸，即鏡頭左傾為正；ω3為載機的側滾角，逆時針轉動x軸；φ3為載機的俯仰角，順時針轉動y軸，即上揚為正；κ4為真航向角，順時針轉動z軸，即右轉為正。

2.3 改進幾何校正算法

利用飛機姿態信息對遙感圖像進行幾何校正是拼接處理的第一步。僅考慮俯仰角、滾轉角和偏航角實現的幾何校正，其精度不高且不能滿足三步進圖像校正。本文提出結合相機安裝角、真航向角、飛行高度和傳統校正的3個角元素進行精確幾何校正。

通過結合相機安裝角和真航向角，重新確定了坐標轉換矩陣。利用該轉換矩陣，可以實現像空間坐標系到機北坐標系的轉換。為了得到像點與地面點間關系，利用式(3)推導得到畫幅圖像構象方程，即：

(10)

式(10)為中心投影構象的基本公式。通過該式建立了像平面坐標系下像點坐標與計劃坐標系下的地面點坐標間的聯系，也就是說由計劃坐標系下地面坐標XA，YA，ZA和攝影中心點坐標XS，YS，ZS可以確定像平面坐標系下的像點坐標x，y。

為了使校正后圖像的地面分辨率保持一致，將圖像校正過程統一添加高度元素。通過添加高度元素，使得校正圖像統一投影至地面，獲得了統一地面分辨率的圖像。添加高度元素后，式(10)可改進為：

(11)

3 三步進面陣圖像拼接

利用POS數據中經緯度信息，可以實現對每張圖像拍攝位置坐標的確定，繼而可以完成三步進畫幅圖像粗拼接。由于差分GPS系統獲得的經緯度數據精度不高，利用該數據完成的粗拼接有明顯的誤差，由此進一步進行坐標微調，完成精拼接。

3.1 結合地理信息進行圖像拼接

差分GPS系統記錄了航空圖像拍攝瞬間的位置，表現形式為經緯度坐標。如圖3所示，當圖像成像時，由差分GPS記錄的經緯度坐標為計劃坐標系中地底點(D點)位置。地底點為飛機拍攝瞬間攝影中心S正下方且位于地平面上的點。為了完成結合地理信息的圖像粗拼接，需要通過尋找圖像中像底點與地面地底點位置坐標，在統一的地面分辨率下，將兩點信息進行嵌套，即可完成拼接。

圖3 像底點與地底點位置示意圖

3.1.1像底點坐標確定

圖3中C點為像底點。像底點是過攝影中心S作地平面的垂線與像平面的交點。像底點位于像平面內，表現形式為像點坐標。經幾何校正后像底點坐標發生了變化，為了確定像底點坐標的位置，需要在校正后圖像中尋找。

如圖4所示，圖像中展示了幾何校正后的圖像與坐標系統間的關系。

圖4 尋找像底點示意圖

圖4中，O-cr為數字圖像顯示坐標系統。C-XY為數字圖像運算坐標系統，由于在幾何校正過程將圖像方向旋轉至真航向方向，因此X軸指向真北方向，Y軸垂直于X軸向右。圖4中C表示為像底點，完成圖像幾何校正，記錄圖像4個頂點坐標，通過觀察圖4可以發現，O點相對于數字圖像運算坐標系的坐標等同于C點相對于數字圖像顯示的坐標。通過記錄每張圖像的邊緣max點，即可求得像底點坐標。

然而當成像模式為三步進時，左右相機安裝傾角的大小將會影響像底點是否存在圖像上。如圖5所示，當相機安裝傾角過大時，像底點存在于像平面內而不在圖像上。

圖5 安裝傾角示意圖

在這種情況下，幾何校正后的圖像與坐標系統間的關系如圖6所示。像底點C坐標求解與上述方法一致。然而在構建數字圖像顯示坐標系統時需要考慮C點坐標是否存在于圖像上。當C點不在圖像上時，需要構建新圖像將C點包含在內并對該坐標進行相應記錄，以便后期使用該點坐標。

圖6 像底點不在圖像上示意圖

3.1.2地底點位置坐標確定

圖3中D點為地底點。由POS系統記錄當前地底點的表現形式為經緯度坐標。在圖像拼接中，計算圖像與圖像間的距離及方向信息，即可確定圖像位置。

通過POS系統記錄的經緯度坐標，確定各點間的位置關系。各經緯度間弧長計算如下：

(12)

SB=ΔLN0cosB0

(13)

式(12)～(13)中：ΔB=B-B0；Mm為Bm處的子午線曲率半徑；Bm為B和B0的平均緯度；e′為橢球第二偏心率；ΔL=L-L0；N0表示卯酉圈曲率半徑。

通過式(12)，可以計算子午線上各緯度間弧長，當子午線很短時，如子午線兩端緯差ΔB<20′，精確到0.001 m，可將子午線視為圓弧，其曲率半徑采用兩端平均緯度處子午圈曲率半徑。同理，通過式(13)，可以計算平行圈上經度間弧長。

利用上述所求得的經緯度差對應的弧長距離，計算歐式距離作為兩地底點間相對距離。當航向方向確定時，兩地底點間的相對方向也確定。由此，基于經緯度信息可以計算出各地底點間的位置及距離關系。

將尋找到的像底點坐標與對應的地底點坐標進行嵌套，即可完成基于地理信息的圖像拼接。

3.2 結合特征匹配進行坐標微調

僅利用位置坐標進行圖像拼接時，對POS系統記錄數據精度要求很高。在處理POS系統精度不高的圖像數據時，仍需要進一步進行精拼接。

利用特征匹配可以解決上述問題。通過在圖像重疊區域間進行特征檢測并匹配，剔除誤匹配對后，根據三步進圖像成像的特點，選擇坐標微調策略，將匹配正確的特征點用于坐標微調，以糾正POS數據帶來的誤差。

3.2.1特征檢測與匹配

SIFT特征點對圖像平移、旋轉、縮放具有不變性，對光線變化、噪聲、仿射變化有著較強的魯棒性[12-14]。因為SIFT特征點比較明顯，所以依據這些點辨別圖像準確率較高。為提高SIFT算法運算效率，需要在重疊區域內提取特征點。完成特征檢測后，將特征點進行特征匹配，剔除誤匹配對。

3.2.2利用匹配對進行坐標微調

剔除誤匹配對后，記錄下當前狀態下各特征點位置坐標。通過像底點與地底點的嵌套，使得圖像中特征點坐標一同嵌套至地面點坐標，并記錄為新圖像下的坐標。如圖7所示。(rml1,cml1)與(rl1,cl1)分別為中央條帶和左側條帶相應匹配點的坐標，(rmr1,cmr1)與(rr1,cr1)分別為中央條帶和右側條帶相應匹配點的坐標。為了減少誤差累積的效果，選擇中央條帶圖像作為基準圖像，通過式(14)計算左、右圖像與中間圖像間距離，得到了需要微調的坐標值。

圖7 坐標匹配示意圖

(14)

式(14)中：(Δrl，Δcl)表示中央條帶特征匹配點與左側條帶特征匹配點的距離；(Δrr，Δcr)表示中央條帶特征匹配點與右側條帶特征匹配點的距離。

由于特征匹配對并不唯一，經計算得到的微調值并非為單一值。為了保證微調值的精準度，將以上求得的若干個微調值進行篩選，在一定閾值范圍內計算各微調值的累積頻率，取累積頻率最大值對應的微調值作為最終微調值。實驗中閾值設為10。

如圖8所示，通過左右圖像與中央條帶進行坐標微調，即可完成單個周期內圖像坐標微調。重復上述步驟，即可完成多個周期條帶間的坐標微調。

圖8 坐標微調策略示意圖

完成周期圖像坐標微調后，然后進行條帶間圖像坐標微調。雖然條帶間三幅圖像均具有重疊率，且各張圖像特征匹配關系不盡相同，但在進行周期微調時，選擇了中央條帶作為了基準圖像。因此，在進行條帶間圖像微調時，為了使得誤差累積效果減少，以中間周期圖像為基準圖像，使得上下兩側周期圖像進行微調，由此完成了圖像精拼接。

4 實驗與分析

本文實驗采用無人機拍攝某地區的I1～I9圖像，如圖9所示。此次航空拍攝采取三步進分幅成像模式，圖像尺寸為5 344像素*4 008像素，航向重疊率為20%，橫向重疊率為10%，對應每張圖像的機載POS數據主要參數如表2所示。實驗硬件條件為 Inter(R)Core(TM)i5-10210U CPU@ 1.60 GHz，內存為8 GB，軟件條件為Matlab 2016b。

圖9 實驗圖像

表2 實驗圖像POS數據主要參數

利用飛機姿態信息，通過式(11)，完成圖像幾何校正，獲取了統一分辨率下的正射圖像。幾何校正圖像如圖10所示。實驗中分辨率設為0.1 m。

圖10 幾何校正圖像

通過式(12)和式(13)計算地面上機下點間相對距離，將各點間相對位置標定，繪制飛行航跡，如圖11所示。在繪制飛行航跡時，將地面航跡路線圖分辨率與幾何校正后圖像分辨率保持一致，以保證后續圖像間的正確嵌套。

圖11 飛行航跡圖

圖11中直線表示大致飛行航跡，白色三角表示每張圖像拍攝時對應的地面位置。按照飛行方向判斷，從右下角到左上角依次為拍攝第1張至第9張時對應地面位置。根據圖6所示方法，在校正圖像中記錄下像底點坐標，如圖12所示，圖12中白色圓點表示像底點坐標。由于采用三并列成像方式，左右安裝傾角較大，故像底點坐標沒有落在圖像上。

圖12 像底點位置圖像

將圖12中像底點坐標與圖11中相應的航跡點嵌套，在圖11中繪制基于地理位置坐標拼接的圖像，拼接結果如圖13所示。在圖13中，各幅圖像的大致位置基本確定，但由于數據精度較低，導致拼接中存在大量錯位現象。在道路、建筑明顯目標區，錯位現象明顯，視覺效果差，因此需要進行進一步精拼接。

圖13 基于地理位置坐標拼接圖像

利用SIFT算法提取特征點并進行特征匹配，經剔除誤匹配對后，記錄各匹配對的位置坐標。利用匹配對間的坐標關系，通過式(14)計算得到各圖像間坐標微調值。采用先微調周期圖像，后微調條帶圖像的順序，得到精拼接圖像，如圖14所示。

圖14 精拼接圖像

通過對比細節部分，如圖15所示，發現經坐標微調后，圖像間無明顯拼接錯位現象，道路、建筑物等明顯目標無明顯變形。精拼接效果明顯優于粗拼接，視覺效果較好。

圖15 對比坐標微調前后的圖像

5 結論

提出了改進幾何校正和三步進圖像拼接的新方法。實驗表明，本文算法實現了對三步進圖像的無縫拼接，解決了傳統算法對三步進圖像拼接難以處理的問題，對比依靠地理位置信息拼接的圖像，具有更好的拼接效果。