簡化變換模型的航拍圖像拼接技術

李艷玲， 汪國平

(1 長治學院計算機系，山西長治 046011;2 北京大學信息科學技術學院，北京 100871)

0 引言

無人機航拍拼接技術通過對一系列重疊航拍影像的拼接，實現對原物的準確重建。該技術已廣泛應用于虛擬現實技術、應急響應、氣象及地震監測、計算機視覺等領域。由于無人機航拍影像涉及多個視點和場景，相鄰圖像之間旋轉角變化大，相機位置不斷變化，場景深度又很難獲知，使得影像匹配和拼接困難，對后續全自動處理造成影響。

拼接技術是通過全局變換對齊待拼接圖像，將各圖像變換到統一平面。常見的全局變換包括相似變換、仿射變換、投影變換和非線性變換。文獻[1]利用投影變換進行全局配準，自動從視頻序列構建全景圖像。文獻[2]采用局部不變特征匹配圖像，采用球面投影在無序數據集中識別多個全景圖。文獻[3]提出適應場景內容的投影變換算法，使廣角失真最小化,但對齊能力不夠，無法很好地產生多視點圖像。文獻[4]將場景劃分為背景平面和前景平面，利用兩個單應性矩陣分別對齊兩個平面，從而實現全景場景的無縫拼接。文獻[5]提出移動DLT(direct linear transform)算法，將圖像劃分為密集網格，每個網格都用一個單應性矩陣對齊，從而顯著減少重影。文獻[6]提出深度網絡結構，基于SIFT生成訓練樣本。文獻[7-9]分別探討了深度學習在圖像拼接中的應用，并與經典方法進行了比較。文中算法簡化變換模型，擴大可拼接范圍同時避免產生明顯透視畸變，并局部融合圖像以獲得更好的視覺效果。

1 算法流程

整個算法流程主要包含特征點匹配、確定拼接順序、圖像變換和圖像合成模塊，繼而生成最終的拼接結果。

步驟1 提取圖像的特征點。根據SIFT特征的局部極值性，對于圖像In，不需要重新提取特征，只要增量式的將新拼接部分的特征加入圖像序列{I1,I2,…,In}中即可。

步驟2 確定變換模型。估計運動參數，求解相似變換，獲得拼接結果。

步驟3 匹配特征。為了保證特征匹配的正確性，采取雙向匹配策略消除錯誤匹配。

步驟4 圖像合成。

2 圖像變換

由于投影變換可以較好地對齊圖像，而在圖像的非重疊區域，用相似變換替代投影變換。相似變換相當于平移變換、旋轉變換和均勻縮放的復合，因此相似變換不會產生形狀失真。圖像可以通過均勻縮放及疊加必要的平移和旋轉來重合另一圖像。

拼接過程中每幅圖像盡可能進行相似變換，使得視線不發生改變，從而簡化變換過程，同時保證較好的精度。

2.1 運動參數估計

圖像拼接的研究基于攝像機每次拍攝焦距沒有變化的假設，拼接過程中仍需要對圖像變換對齊，其中運動參數估計是最困難的一步。

對于場景中任一三維點(x,y,z)和其在圖像中的投影坐標(u,v)的關系為：

(1)

式中:s為縮放因子;f為攝像機的焦距;(cx,cy)為圖像中心坐標的偏移;R和t分別表示攝像機的旋轉和平移。攝像機坐標系向圖像坐標系變換時會引入畸變，導致原始圖像失真。如果已知攝像機的相對位置R和t，圖像間可以直接精確映射的情況只有3種：1)攝像機平移參數t=0；2)有場景深度圖，即向量已知；3)近似平面場景。

航拍圖像拼接一般是針對多視點的拼接，攝像機平移不可忽略，場景深度又很難獲知，因此情況1)和情況2)均不成立。通過分析航拍圖像性質，不難發現當拍攝高度與場景最高點的距離超過100 m時，可將一定范圍的大地近似為平面區域，因此“平面場景”的假設基本成立。在這一假設下，圖像間的映射退化成了單應性矩陣。單應性矩陣將兩幅圖像之間做了完全等價的映射，相當于對圖像做了變視點操作，可將所有圖像變換到同一現有視點下。但是單應性變換會產生嚴重的透視畸變。而且該視點在高度和平面投影的限制下，最終的拼接視角會嚴重受限。假設圖像拍攝角度是垂直向下的，圖像間的映射近似于相似變換。而且拍攝高度越高，近似精度越高。且航拍圖像序列中相鄰兩幀圖像間視差較小，因此用相似變換代替單應性變換，既能保持視線方向不發生改變從而保留原圖像視點，又能平衡拼接精度[10]。相似變換沒有變視點特性，同單應性矩陣相比，在保留原圖像視點和拼接精度之間做了平衡,如圖1所示，圖1(a)右側出現明顯的透視畸變，同時可拼接范圍大大減少。

圖1 單應性變換和相似變換拼接比對

2.2 圖像匹配

根據SIFT特征局部極值性，對于已拼接好的結果，只需增量式拼接到累積結果上。為了確保特征匹配完全正確，改進特征驗證算法，采取雙向認證策略：

(A→B)∩(B→A)

(2)

式中：A→B為圖像A的特征在圖像B的特征集中做查詢；B→A則為圖像B的特征在圖像A的特征集中做查詢。若圖像A有一個特征點和圖像B相匹配，那么再檢測圖像B是否也在相應特征點上與圖像A匹配，如果匹配成功，則認為該匹配是正確的，否則是錯誤匹配。如果只做單向驗證，一個特征點可能對應多個匹配，顯然是不正確的，而雙向驗證可以消除錯誤匹配，提高匹配精度，不至于出現大范圍的錯誤累積從而影響拼接質量[11]。

2.3 圖像變換投影

(3)

式中s和t是由f到g的坐標變換函數，可以通過找到產生畸變的轉換函數完成圖像校正。但實際中很難對復雜的幾何失真過程建模，而投影變換可以很好地描述幾何失真模型，投影變換函數H:P2→P′2定義為在齊次坐標系上的線性變換。利用DLT算法，計算變換矩陣。

(4)

式中h1～h8為投影變換的8個參數。

(5)

式中θ為點(xi,yi)的旋轉角度。

根據相似變換，有：

(6)

式中a,b,c,d為旋轉平移參數。

由于前兩行線性獨立，所以得到：

(7)

對齊次線性最小二乘問題優化，得到最終的相似變換矩陣argmin‖XU-X′‖2。圖像變換投影如圖2所示。

圖2 圖像變換投影

3 圖像合成

3.1 圖像曝光度

求解待拼接圖像重疊部分的最佳接縫，將圖像拼接在一起。對少數光照差異較大的圖像直接拼在一起，會影響下一次的特征提取和拼接。因此接縫之前做一次曝光補償，減少圖像間的亮度差異。

灰度直方圖是圖像亮度明暗程度的表現，包含豐富的曝光信息[12]。曝光不足和曝光過度表現為側邊緣有大量像素點堆積。如圖3所示，圖(a)曝光過度，直方圖波形主要體現在右側，亮部數值過多。圖(c)曝光不足，直方圖則體現在左側，顯然暗部數值太多。圖(b)是曝光適度的情況，其直方圖既有亮部數值，又有暗部數值。

圖3 不同曝光圖像及灰度直方圖

由于天氣、光線因素影響或物體表面反光，航拍圖像存在少數差異較大情況。在圖像曝光不足時，畫面雖然比較暗，灰度值集中在0至20。在曝光過度時，圖像在255色階附近的像素呈一條直線。因此統計偏暗的像素個數或偏亮的像素個數，評估圖像是否曝光過度或曝光不足。令nk表示灰度為rk的像素個數，則曝光度可表示為：

(8)

即

(9)

式中:M,N表示圖像的行和列;L0代表曝光不足時像素數，此時δ1和δ2分別取0到20；L255代表曝光過度時像素數，δ1和δ2取250到255。曝光情況判斷條件如表1所示。

表1 曝光判斷條件

表中α,β為預設參數，通過對大量航拍圖像實驗分析，α取2%，β取10%可以得到比較理想的結果。

對圖像重復如下步驟：

步驟1 判斷圖像曝光情況。

步驟2 圖像預分塊，每個塊計算增益因子。

步驟3對每個圖像的增益因子矩陣做平滑濾波，更好適應圖像部分區域曝光差異的情況。

由于增量式拼接數據量較大，為了提高曝光補償速度，對于待拼接圖像，只選擇與拼接圖像有交集的塊，計算出增益因子后再做平滑濾波。最后拼接圖像除以待拼接圖像對應塊的增益因子[13]。

圖4是航拍圖像一次曝光補償的局部效果圖，圖4(b)可獲得較好的視覺效果。

3.2 圖像融合

將M×N的圖像I(M,N)映射為無向圖G=，vi∈V對應于圖像中的每個像素，ei∈E連接圖像中一對相鄰的像素[14]。通過Graph-Cut算法，構造網絡圖和能量函數求解重疊部分接縫，如圖5所示。圖中l為所求接縫線，沿l拼接圖像[15]。

圖5 圖像接縫線

接縫之后沿接縫線加權融合圖像。由于航拍圖像分辨率大，做全局的融合對時間和空間的開銷都非常大，因此，可以采取距離圖加權的方法局部圖像融合。結合直方圖匹配消除相鄰圖像接縫兩側的灰度差異，若一次性匹配效果不好，可多次調整，直到取得比較滿意的視覺效果。

選取某校30張航拍圖像，用基于全局的算法和文中兩種算法進行拼接實驗，其成功匹配點對數和總運行時間如表2所示。

表2 算法比較

從表2可以看出，文中算法可大大提升匹配的點對數目，由于不必每次重新提取特征，運行時間也有所縮短。

4 結束語

在“平面場景”假設下，文中算法用相似變換近似圖像間映射，簡化變換模型，圖像不會產生形狀失真并保持視點不發生改變。使用Graph-Cut算法計算重疊部分邊界，沿邊界完成圖像融合，繼而生成最終的結果。