一種解決水域航攝影像的拼接方法

王正軍

(湖南北斗微芯數據科技有限公司, 湖南 長沙 410006)

0 引言

水體監測是預防水質災害發生與發展的重要手段,傳統監測方法如水域內剖面分析法耗時費力,數據獲取效率低,并且無法獲取大區域范圍水體參數[1-2]。隨著我國水體災害監測系統的構建,遙感技術已成為用于監測分析的主要手段,但依靠衛星和載人飛機獲取遙感影像存在實時性差、成本高的劣勢[3]。無人機航攝技術具有響應快、機動靈活的特點,可用于第一時間獲取影像資料[4]。然而,受航攝儀和飛行高度的限制,無人機單幅航拍影像范圍較小,一般監測海洋或地表時,水域面積十分龐大,在將大量影像拼接成單幅拼接圖時,傳統依靠特征點的影像拼接方法因無法提取出足夠的特征點數量,致使無法完成拼接,在一定程度上限制了無人機高效性能的發揮。

航攝影像拼接是將兩幅或多幅影像按照一定的數學規則合并成單幅大視場影像的過程。一般包括預處理、特征配準、影像融合三個步驟[5],其中特征配準是根據匹配的特征點建立影像間的幾何變換關系,是影像拼接的核心[6]。在應用特征配準實現影像拼接時,為克服外界環境和傳感器本身引起的影像變形,先后出現了剛體變換、仿射變換、透視變換等模型[7- 8]。因此,合適的變換模型和高精度的匹配結果是實現影像良好拼接的關鍵。針對水域影像因紋理匱乏而無法匹配適量特征點的問題,采取另一種解決思路,即在無人機上搭載高精度差分全球導航衛星系統(Global Navigation Satellite System,GNSS),由定位測姿系統(Positioning and Orientation System,POS)獲取位姿數據恢復立體成像模型,進一步推導出影像間的幾何變化關系,完成影像拼接。

1 幾何變換模型

經過影像特征點匹配,可以搜索到相鄰影像匹配的特征點集合。若完成影像拼接,需要將待拼影像坐標系上的所有像素點透視變換到基準影像所在的坐標系上。影像坐標系間的變換關系可用某個矩陣來表示,即單應性變換矩陣[9]。單應性變換矩陣表述了像點和空間任意點的變換關系,傳感器成像模型如圖1所示,S-XSYSZS為空間直角坐標系,o-xy為像平面坐標系。

圖1 傳感器成像模型

空間某點P(X,Y,Z,1)T在經中心投影方式獲得像點p(x,y,1)T,可用矩陣W完成變換

sp=WP=(w1,w2,w3,w4)P

(1)

式中,s為比例因子,空間點P所在的坐標系一般可隨意選擇,對于XOY平面上的點Z=0,則式(1)可寫成

(2)

式中,令H=(w1,w2,w3),P=(X,Y,1)T,則式(2)可簡寫為

sp=HP

(3)

式中，H即稱為單應性變換矩陣,可用于描述影像間的平移、旋轉、縮放以及不同方向位移等多種透視變形,單應性變換矩陣一般為3維滿秩矩陣,則對于兩幅影像的拼接,取待拼接影像平面為空間物方坐標系,則影像間的變化關系可表示為

(4)

式中，(x′,y′,1)T和(x,y,1)T分別表示像點在基準影像和待拼接影像上的齊次坐標,單應性變換矩陣共有8個未知參數,一般情況下,需要存在至少4個精準匹配的特征點進行求解。

2 影像配準

通常情況下,影像配準包含四個步驟:特征提取、特征匹配、求解變換矩陣和圖像變換。首先需要對影像的特征進行區分和描述,特征描述越精確,影像配準的精度越高,而后匹配相同特征,建立影像間的變換關系,即可將一幅影像上的像素點投影變換到另一幅影像上。可見影像配準要解決兩個問題:一是建立特征點間的關系,二是獲取影像間的變換矩陣[10]。目前,根據圖像的信息不同,影像配準主要包括基于特征的配準和基于灰度的配準,兩種方法均對影像的紋理要求嚴格,而對于如水域、森林等紋理單一的區域,存在無法提取到特征點的現象,下面介紹一種利用高精度定位定姿系統(Position and Orientation System，POS)數據實現影像配準的方法。

2.1 相鄰影像間的配準

如圖2所示,無人機在飛行過程先后經空間點O1、O2,獲得相鄰影像對I1、I2,設地面上有一點Q,在世界坐標系下的坐標為(X,Y,Z),分別在兩幅影像上所成的像點及坐標為q1(u1,v1,1)和q2(u2,v2,1),O1、O2在世界坐標系下的坐標分別表示為(XC1,YC1,ZC1)和(XC2,YC2,ZC2)。

圖2 立體相對成像模型

以O1作為世界坐標系的原點,則存在以下關系式

(5)

式中，M為航攝儀的內參數矩陣,可由像元尺寸dx、dy,像主點坐標(u0,v0)和焦距f構成

(6)

將式(5)變換形式,可表達為

(7)

假設無人機由空間點O1運動到O2,位姿的變換關系為R[I,-t],R為三個姿態角構成的三維旋轉矩陣,t為平移向量,可進一步得到

(8)

對于航攝地面,可用如下方程表示

(9)

式中，n表示航攝地面單位法向量；d為無人機飛行高度；X表示地面任意點坐標。綜合公式(7)～(9)可以進一步得到

(10)

ZC1/ZC2為系數項,因此可以得到兩幅影像間的配準結果

(11)

對于水域平面,d可看作近似相同,當無人機按照指定航高飛行時,可有效保證成像在相同景深中,故所有相鄰影像均滿足此單應性關系。

2.2 多幅影像的配準

在完成無人機影像兩兩拼接后,可將拼接圖與第三幅影像進行拼接,直至所有影像拼接完成,但對于拼接后的影像不滿足單幅影像航攝條件,無法直接計算單應性變換矩陣。因此,提出將矩陣分解的方法。

以三幅影像拼接為例,編號為P1、P2、P3,設前兩幅合成后的影像為Pm,P1和P2、Pm和P3、P2和P3之間的變換矩陣分別為H12、Hm3、H23,其中Hm3無法直接計算得到,因此,考慮先建立影像Pm與P2的關系,再由H23間接計算Hm3,即

Hm3=H23Hm2

(12)

由于影像P2是Pm的一部分,因此Hm2僅為一個平移矩陣。如圖3展示了兩幅影像的拼接效果，其中頂點A1、B1、C1、D1組成影像P1，頂點A2、B2、C2、D2組成影像P2，頂點Am、Bm、Cm、Dm組成影像Pm，坐標系以頂點A2為原點，單位為mm。

圖3 兩幅影像的拼接

可以看出,P2到Pm的平移參數為

(13)

式中,xA1,xB1,xC1,xD1,xA2,xB2,xC2,xD2為影像P1、P2各個頂點在坐標系中的橫坐標;yA1,yB1,yC1,yD1,yA2,yB2,yC2,yD2為影像P1、P2各個頂點在坐標系中的縱坐標;(xAm,yAm)為頂點Am的坐標;(Δx,Δy)為平移參數。Hm2即可表示為

(14)

進一步得到Hm3,完成影像的連續配準。

3 影像拼接實驗

3.1 實驗數據

我國城市近海岸區域聚集了企業、碼頭、港口等,情況復雜多變,加強沿海區域監測事關重要,無人機可作為近海區域災情處置的主要保障方式。鑒于其快速響應能力,本文選用大疆MAVIC PRO無人機,相機焦距為28 mm,沿某地區海岸線飛行,航高100 m,航向重疊度設置為60%,選取其中具有重疊的7幅影像如圖4所示,所對應的POS數據如表1所示。

圖4 無人機航攝影像

表1 無人機影像POS數據

3.2 實驗結果

根據本文提出的應用POS數據實現影像拼接設計思路,對上述7幅影像實現拼接。首先對影像進行預處理,使影像色彩、亮度一致;然后選用MATLAB對算法實現編程,計算兩兩影像間的單應性變換矩陣和多幅影像的配準矩陣;最后完成影像拼接與融合。影像拼接結果如圖5所示。

圖5 無人機影像拼接圖

可見,在不依靠影像紋理特征時,應用POS數據同樣可以實現影像的拼接,地物位錯較小。根據影像拼接圖,可有效了解海上水質情況,為進一步應急處置提供有效參考。

4 結束語

本文利用無人機導航定位系統所獲取的位姿參數,推導了影像間的單應性變換矩陣,并通過矩陣分解有效解決了多幅影像的配準問題,最終經MATLAB編程,實現了無人機水域影像的大范圍自動拼接,有效解決了對影像紋理特征的依賴,同時拼接效率也得到了顯著提升。實驗表明,本文方法在海岸線水質監測方面具有較好的應用價值。在應對突發災情時,可以第一時間向決策指揮部門提供資料,以便迅速制定決策。