特征點匹配和互信息融合下連續形變圖像配準

陸 楊,楊茂云

(1. 徐州工程學院信息工程學院,江蘇 徐州 221018;2. 江蘇師范大學智慧教育學院,江蘇 徐州 221116)

1 引言

圖像是人們生活中十分重要的信息傳播介質,但圖像中摻雜大量無用信息,所以在實際應用過程中,需要對圖像進行挖掘[1-2],但因為每張圖像在采集過程中受到光照、角度以及其它噪聲等因素干擾,采集到的圖像之間存在較大的差異,所以在對圖像處理的過程中,需要進行統籌以此保證同一環境下多張圖像可以放置在同一個坐標系內。坐標系不是絕對的,在實際計算過程中可將其中一幅圖像視為基準圖像[3],并將另一張圖像轉換到基準圖像的對應坐標下,即圖像配準處理,這種技術被廣泛地應用于計算機視覺等鄰域[4]。在實際操作中,因目標的移動以及對焦等問題會導致圖像中有連續的形變,這為圖像配準帶來了較大的困難,為此在圖像配準的過程中,提前對圖像的特征點進行匹配處理,以此保證最終的圖像配準精度。

目前,相關學者已經提出一些方法用于提升圖像配置效果。例如:保文星[5]等人首先利用滑動窗口對圖像進行分割,得到窗口的對應信息熵,其次依據信息熵構建直方圖,通過適當閾值獲取高信熵,利用高信熵完成圖像特征提取,最后利用RANSAC算法將配準錯誤的情況排除,得到配準圖像,實現圖像配準。李培華[6]等人首先根據CSS算法得到圖像的全部特征點,其次利用SIFT算法計算出降維后的圖像特征描述子,最終結合歐式距離和曼哈頓距離完成圖像的配準,實現圖像配準。以上兩種方法沒有對圖像提前進行特征匹配預處理,導致圖像信息不完整,存在特征點匹配所需時間長以及配準效果差的問題,為了解決以上問題,本文提出融合特征點匹配和互信息的連續形變圖像配準方法。

2 連續形變圖像預處理

2.1 連續形變圖像特征提取

為了降低配準難度[7],需要先提取圖像的特征[8],特征點提取對圖像配準效果起到了至關重要的作用。圖像的基本特征包含點特征,圖像配準即圖像特征點匹配,其中角點屬于重要特征點,角點泛指圖像像素點在其它方向上灰度變化后的點[9],角點中帶有大量的圖像二維結構信息,因此可利用Harris角點檢測算法,提取圖像的特征[10],得出自相關函數矩陣N,其表達式為:

(1)

(2)

假設圖像角點的響應函數為M,其表達式如下所示:

M=det[N]-k·tr2(N)

(3)

式中,det 代表矩陣N的行列式,k代表常數,tr代表矩陣N對角線函數的匯總結果。

根據函數M可直接得出角點特征,由于角點帶有大量且豐富的紋理信息,因此十分適合圖像配準。

2.2 特征點匹配

假設樣本圖像以及待配準圖像的特征點分別為(xi,yi)和(x′i,y′i),將兩幅圖像的特征點視為圓心,樣本圖像的半徑為rR,需要配準的圖像半徑為rD,則兩幅圖像特征點所在的圓形區域內混合不變量表達式為:

(4)

式中,φ代表兩幅圖像混合不變量的矢量集合,ηm代表不變量的子集。

半徑rR和rD之間的關系是rD是rR根據實際的縮放尺度因子得出的,由于樣本圖像與配準圖像來自不同的設備,因此兩者之間的尺度以及方向等均不一致,所以使用常規的ROM尺度因子計算方法不再適合本文,這會直接影響最終的圖像配準效果。為了避免這種情況發生,改用自動尺度選擇方法(ASS)對縮放尺度因子進行計算,ASS首先對特征尺度進行全局搜索,得出圖像在連續尺度空間LoG(Laplacian-of-Gaussian)上的極值,進而生成樣本圖像與配準圖像之間最合適的尺度因子,則實際縮放尺度因子s的計算公式為:

(5)

式中,δD代表樣本圖像的LoG響應值的極值,δR代表配準圖像的LoG響應值的極值。

將樣本圖像的矢量組φR以及配準圖像的矢量組φD之間的歐幾里德距離,視為樣本圖像特征點匹配的匹配度量,其中歐幾里德距離d(i,j)的計算公式為:

(6)

假設需要匹配的兩幅圖像的特征點分別(xv,yv)和(x′k,y′k),若這兩個特征點之間的距離d(v,k)是所有匹配特征點路線中最小的距離,則這兩個特征點就是相互匹配的,同理完成圖像中所有特征點的匹配。

3 連續形變圖像配準實現

互信息測度是檢測兩幅具有共同結構的圖像是否滿足最佳配準指標,即像素灰度值為最大[11]。運用互信息算法對連續圖像進行相似度計算的過程中,需要提前計算出信息熵,信息熵是一個不確定的度量,即若圖像配準共有n種可能,則每種可能發生的概率分別為p1,p2,…,pn,進而得出信息熵的定義表達式為:

(7)

式中,H代表信息熵,pi代表第i種配準方案可能發生的概率。

信息熵可以描述圖像中信息量的大小[12-13],根據式(7)可知信息熵得出的信息量是根據配準方案可能發生概率以及加權計算方法獲取的,因此事件的信息量與時間發生的概率之間成反比。因為信息熵代表的是一個系統的不確定性,因此若將連續形變圖像的像素點灰度值視為隨機變量,設灰度值共出現hi次,圖像像素點為N′,則灰度值概率Pi的計算公式為:

(8)

連續形變圖像內灰度級別越多,其中的灰度值出現的概率會越來越低,則圖像的信息熵越大,否則反之。

假設圖像內有兩個隨機變量A和B,根據以上分析,可得出A和B條件熵表達式分別為:

(9)

式中,pAB(a,b)代表隨機變量聯合概率分布函數。

根據函數pAB即可得出隨機變量A和B之間的聯合熵H(A,B)的計算公式為:

(10)

聯合熵實際上是對隨機變量A和B相關性的一個統計量[14]。圖像在配準的過程中,若已知需要配準的圖像為C和D,通過圖像的直方圖以及聯合直方圖計算出C的邊緣概率密度分布函數pC(c)以及D的邊緣概率密度分布函數pD(d),若C和D之間是互不依賴的,則可以得出:

H(C,D)=H(C)+H(D)

(11)

根據以上分析總結出C和D之間的相關性與廣義距離,可以視為變量之間的相似度測量標準,也稱之為互信息,即可得出互信息量I(C,D)的表達式為:

I(C,D)=H(C)-H(C|D)=H(D)-H(D|C)

=H(C)+H(D)-H(C,D)

(12)

式中,H(C)代表圖像C的熵,H(D)代表圖像D的熵,H(C,D)代表圖像C和D之間的聯合熵。

則根據邊緣概率密度函數PC(c)以及PD(d)即可得出圖像C和D對應的條件熵分別為:

(13)

連續形變圖像在配準過程中,兩幅圖像常常來自不同的成像設備[15],但通常情況下兩幅圖像的空間位置基本一致,根據式(12)計算得出這兩幅圖像對應的灰度互信息均到達極值,依據兩幅圖像之間的聯合熵得出互信息量的剛性配準T0計算公式為:

T0=arg maxI(C,D)

(14)

利用式(14)即可完成連續形變圖像的配準。

4 實驗結果與分析

為了驗證融合特征點匹配和互信息的連續形變圖像配準方法的整體有效性,現針對本文方法、特征提取的遙感圖像配準方法以及復合圖像配準方法,進行關于圖像配準的相關測試,實驗分別從兩個方面入手,分別是特征點匹配所需時間以及配準效果,根據實驗結果詳細說明本文方法的圖像配準能力。實驗圖像來自Places數據集,該數據集是以場景為中心的數據庫,其中包含205個場景類別和250萬個帶有類別標簽的圖像。

4.1 特征點匹配所需時間

特征點匹配是保證圖像配準效果的前提條件,特征點匹配所需的時間直接影響圖像配準的最終效果,為了驗證三種圖像配準方法的實際配準能力,將圖像特征點匹配所需時間視為判定三種方法的優劣指標,即隨機選取10組不同數量的特征點個數,在同一環境下利用三種方法對10組特征點進行匹配,分別計算出三種方法在每組實驗中所需的時間,并將結果進行比較,得出用時最短的方法,即可得出最優圖像配準方法,實驗結果如表1所示。

表1 三種方法特征點匹配所需時間(秒)

根據表1中的實驗結果可知,本文方法的特征匹配所需時間遠遠低于其余兩種方法所需的時間,說明其能夠提高圖像配準的效率。因為本文方法將角點視為特征點進行提取,降低特征點提取以及特征匹配所需的計算量,進而降低特征匹配錯誤發生的概率,降低運算時間,從而證明本文方法的配準效果好。

4.2 配準效果

利用兩種不同的設備對同一區域進行連續圖像采集,將連續圖像視為實驗對象,分別對三種方法的性能進行實驗比較。由于樣本圖像以及待配準圖像是由兩個設備獲取的,所以這兩張圖像之間的分辨率是不同的。

為了降低特征點匹配的干擾,選用隨機抽樣一致法對三種配準圖像進行實驗,因此可以將三種方法中出現匹配錯誤的特征點排除,忽略特征點匹配的干擾。已知樣本圖像以及待匹配圖像均是發生形變的,首先對比三種方法對該實驗樣本的配準情況,如圖1-圖3所示。

圖1 本文方法

圖2 特征提取的遙感圖像配準方法

圖3 復合圖像配準方法

根據信息點配準情況可知,三種方法都匹配了10對特征點,其中本文方法的配準結果完全正確,其余兩種方法均有部分信息點配準不正確,這會直接影響最終的圖像配準效果以及信息提取完整性,根據實驗結果即可證明本文方法的有效性。

圖像配準不僅是將兩張不同來源圖像進行信息點的配準,也需要綜合兩種圖像的優點得出像素值最高的配準圖像,同時將形變圖像進行校正處理,得出最合理的圖像,根據這一特性可再次驗證三種配準方法的優劣程度,實驗結果如圖4所示。

圖4 三種方法的最終校正結果

根據實驗結果可知,本文方法通過配準基本可以恢復出發生形變的圖像,但其余兩種方法因配準精度不高的原因,導致其中部分信息無法恢復,因此三種方法中圖像配準結果最好的是本文方法。這是因為本文方法在對連續形變圖像進行配準的過程中引入互信息算法,互信息可統計出樣本圖像與待配準圖像之間的相似程度,從而得出兩幅圖像可以互補的像素點,保證信息量的完整,確保圖像校正結果,也加強了配準效果。

5 結束語

圖像在采集過程中因目標對象面積等原因無法一次性獲取完整,只能利用不同設備同時對同一目標進行拍攝或是利用同一設備多次拍攝目標對象,圖像在采集過程中不可避免受到外界干擾,因此會對部分信息產生影響,所以需要利用圖像配準方法進行處理,完善目標圖像信息量,而目前圖像配準方法效果不佳,為了進一步加強圖像配準效果,本文提出融合特征點匹配和互信息的連續形變圖像配準方法,提取連續形變圖像特征點,同時根據互信息算法計算出樣本圖像與匹配圖像的相似度,進而得到配準剛性指標,實現連續形變圖像配準,解決了特征點匹配所需時間長以及配準效果差的問題,保證信息量的完整性。