基于相位特征的可見光和SAR 遙感圖像自動配準

孫明超，馬天翔，宋悅銘*，彭佳琦

（1. 中國科學院長春光學精密機械與物理研究所，吉林長春130033；2. 駐長春地區第一軍事代表室，吉林 長春 130022）

1 引 言

傳感器技術的快速發展為對地觀測提供了多種手段。可見光圖像與人眼的視覺接近，易于解讀，應用最為廣泛，但容易受天氣的影響。合成孔徑雷達（Synthetic Aperture Radar，SAR）是一種主動式對地觀測微波成像系統，能夠穿透云和霧等，可以有效彌補光學影像受天氣影響的缺點，但是，SAR 圖像的斑點噪聲較強，圖像可讀性較差［1］。因此，將兩者數據配合使用，實現信息互補成為一個重要的應用趨勢，如圖像融合［2-4］和特征檢測［5］等。這些應用的前提是可見光和SAR圖像間的高精度配準技術。盡管過去幾十年里圖像配準技術已取得了顯著進步，但由于可見光和SAR 成像機制差異，使得圖像間存在顯著的幾何差異和非線性輻射差異，加之SAR 圖像固有的斑點噪聲，這些都增加了匹配的難度，因此，研究有效的可見光和SAR 圖像配準方法具有重要意義。

圖像配準是在兩幅或多幅圖像上識別同名點的過程［6］。圖像配準方法主要分成兩類：基于區域的方法和基于特征的方法［7-8］。基于區域的方法主要思想是定義某種相似性度量準則，通過計算待配準圖像中各個位置當前窗口與模板之間的相似程度，對轉換模型的參數進行估計［9］。常用的相似性度量準則主要有互信息［10］和歸一化互相關法［11］等。基于區域的方法對遙感影像間幾何差異和輻射差異的處理能力較弱，且算法普遍存在耗時長的問題，限制了其在可見光和SAR 配準方面的廣泛應用［12］。

基于特征的方法對幾何差異有很強的魯棒性，速度也快，它利用圖像的顯著特征而不是直接利用圖像的強度信息來處理圖像。常見的特征主要有：點［13］、線［14］和面［15］。其中，點特征廣泛存在于圖像之中，因此，基于特征點的圖像配準方法得到了廣泛的應用，最具有代表性的是尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）［16］。但是，由于可見光和 SAR 圖像之間存在顯著的灰度差異且容易受到SAR 斑點噪聲的影響，SIFT 算法直接用于可見光和SAR配準會失效。因此，許多學者在SIFT 算法的基礎上進行了改進，使之適用于可見光和SAR 圖像配準。李芳芳等［17］將線特征與SIFT 點特征進行結合來配準多源遙感影像。Xiang 等人［18］和Ma 等人［19］采用指數加權均值算和取代灰度梯度計算可見光和SAR 圖像梯度，在一定程度上減弱了SAR 圖像斑點噪聲對配準結果的影響。這些方法本質上仍是基于圖像梯度信息，由于可見光和SAR 圖像存在顯著的輻射差異，使得根據梯度信息所計算的描述符相似性不足，因此，在配準存在較大輻射差異的可見光和SAR 圖像時，基于梯度方法的性能有限。

近年來，基于相位一致性（Phase Congruency，PC）的圖像配準算法在多源遙感圖像配準中得到了廣泛的應用，該方法不受圖像光照和對比度變化的影響［20］，通過計算圖像的PC 值來檢測圖像中的角點、邊緣和紋理等信息［21］。葉沅鑫等［22-23］基于相位一致性方向構建相位一致性方向直方圖，建立了局部特征描述符，用于多模遙感圖像配準。Fan 等［24］通過提取不同尺度的相位一致性結構特征構建描述符實現可見光和SAR 圖像配準。李欣等［25］提出利用方向相位特征進行多源遙感圖像匹配，包括可見光和SAR 圖像。Li等［26］提出了一種輻射不變特征變換算法來配準多源遙感圖像。該方法不僅極大地提高了特征檢測的穩定性，而且克服了梯度信息用于特征描述的局限性。這些研究驗證了相位一致性能夠抵抗可見光和SAR 影像間的非線性輻射差異，在多源遙感影像配準領域有著良好的應用前景。但這些方法未能充分的發揮相位一致性在特征提取和特征描述方面的潛力，算法穩定性有待提升。

針對上述問題，本文提出一種基于改進相位一致性的可見光和SAR 圖像配準算法，算法利用相位一致性在特征檢測方面的優勢。在特征提取方面，將相位一致性最大矩和最小矩進行疊加，在疊加圖上選取Harris 角點作為特征點；在特征描述方面，擴展了相位一致性模型，利用Log-Gabor 奇對稱濾波器計算相位一致性特征方向，并提取不同尺度下的最大幅值索引信息，形成基于多尺度加權的最大幅值索引圖，借鑒梯度方向直方圖（Histogram of Oriented Gradients，HOG），建立一種基于相位特征的描述符，完成特征匹配。

2 相位一致性理論

1987 年 ，Morrone 和 Owens 首 次 提 出 了 相 位一致性理論，該理論指出，人眼感知圖像特征主要依靠圖像的相位信息而非幅度，與空域中基于梯度的特征檢測方法不同，它是一種頻域特征檢測方法。

在相位一致性算法中，采用Log-Gabor 濾波器(LGF)對原始圖像進行卷積計算可以獲得局部的相位信息。在空域上，2D-Log-Gabor 濾波器可以表示為：

給定一幅輸入圖像I，圖像上任意一個像素點記為I(x，y)，應用式（1）可以得到偶部和奇部卷積分量分別為es，o(x，y)和os，o(x，y)：

進一步地，像素點I(x，y)的幅值As，o(x，y)和相角φs，o(x，y)分別記為：

根 據 Kovesi 的 理 論［20］，相 位 一 致 性 的 定義為：

其中：PC2(x，y)表示像素點I(x，y)處相位一致性的特征值，它是一個0 到1 的無量綱數字。Wo(x，y)為權重因子。符號表示當其值為正時，所包含的量與自身相等，否則為零。T為估計的噪聲閾值，ε為防止除法分母為零的小常數。Δφs，o(x，y)表示相位差，定義如下：

3 基于改進相位一致性的可見光和SAR 遙感影像配準方法

本文提出一種適用于光學和和SAR 的自動配準算法，該算法對可見光和SAR 圖像之間的顯著輻射差異具有較好的魯棒性。首先，利用相位一致性最小矩和最大矩特征疊加圖和Harris 算子，提取大量穩定、可靠的角點和邊緣點作為特征點，然后，基于相位一致性的方向和多尺度加權的最大幅值索引圖，利用HOG 模板，建立一種新穎的基于局部相位特征的描述符，增加了描述符的魯棒性，能夠有效抑制可見光和SAR 圖像的非線性輻射差異，算法流程如圖1所示。

圖1 本文算法流程圖Fig. 1 Flow chart of the proposed method

3.1 基于相位一致性矩信息的特征點提取

為了獲取隨著方向o變化的相位一致性信息，可以使用公式（5）獨立計算每個方向上的相位一致性。因此，根據方向角θo的不同，可以獲得o個相位一致性圖PC(θo)［21］。進一步地，采用如下中間變量計算相位一致性的最大和最小矩：

相位一致性的最大矩和最小矩分別記為maxψ和 minψ，則有：

相位一致性最大矩maxψ反映圖像的邊緣特征，最小矩minψ反映圖像的角點特征。盡管可見光和SAR 圖像灰度差異較大，但邊緣輪廓特征具有較高的相似度，在邊緣上提取特征點可以保證一定的重復率，同時邊緣上的特征點數量較多；另一方面，角點的重復率較高，因此，本文算法結合邊緣點和角點作為待匹配特征點，在最大矩和最小矩疊加圖上進行Harris 特征點檢測，選取響應較大的特征點作為待配準特征點，保證了特征點的數量和穩定性，特征提取的流程如圖2所示。

圖2 特征提取流程圖Fig. 2 Flow chart of feature extraction

首先，分別計算圖像的最大和最小矩信息；其次，將最大矩和最小矩圖像疊加，采用高斯模板進行適當濾波去除噪聲的影響；最后，在新圖像中采用Harris 算子提取響應較強的角點作為待匹配的特征點。特征點是基于相位一致性的邊緣特征和角點特征提取的，這不僅保證了數量充足，并且保證了特征點的可靠性和穩定性。

3.2 基于相位一致性方向和多尺度加權最大索引圖的描述符構建

在獲得了特征點后，需要為每個特征點設計特征描述符來實現配準。本節提出一種基于相位特征的描述符，該描述符對可見光和SAR 圖像的非線性輻射差異有較好的魯棒性。

3.2.1 基于多尺度加權的最大幅值索引圖構建

相位一致性很難直接應用于可見光和SAR圖像的特征描述符構建中，主要有兩方面原因：第一，相位一致性的值在0 到1 之間，大多數像素都缺乏足夠的信息，直接用相位一致性構建描述符魯棒性較差；第二，相位一致性主要體現特征的邊緣信息，而在SAR 圖像中邊緣會受到斑點噪聲的影響，使得描述符的準確性較差。Li 等人［26］提出最大幅值索引圖的概念，它能夠較好的克服多傳感器圖像間的輻射差異，更適合于多傳感器圖像配準。

此外，在遙感圖像中，其顯著的結構特征通常呈現在不同尺度的圖像中［12］，受此啟發，為了提高描述符顯著性，本文在多個尺度上計算最大幅值索引，通過提取不同尺度下的信息以便獲得最佳描述符。但是，隨著尺度的增加，圖像信息變得模糊，信息量減少，因此，本文通過加權方式對不同尺度下圖像信息進行保留，以便獲得最佳描述符。基于多尺度加權的最大幅值索引圖構建流程如圖3 所示。

圖3 最大幅值索引圖構建流程圖Fig. 3 Construction of maximum amplitude index

給定一幅輸入圖像I，首先，根據公式（3）可以獲得s×o張相位一致性的幅值圖；其次，在同一尺度的o個幅值圖中，針對每個像素I(x，y)尋找 它 的 最 大 幅 值和 對 應 的 方向o；然后，在最大幅值索引圖中，該像素的位置用o填充，因此，最大幅值索引圖中每個元素都是一個1 到o之間的數字；接著，在每個尺度上都可以計算出一個最大幅值索引圖；最后，將它們通過加權求和的方式求出最終的最大幅值索引圖。

通常，尺度空間的生成都是依靠尺度因子等比例變化實現的，這也符合人眼對于尺度變化的視覺規律，因此，本文對每個尺度層的圖像都設置了一個比例系數，令第一個尺度上的初始權重為α，隨著尺度增加，加權因子構成等比序列｛α，αk，αk2，…｝，初始加權α與等比序列的比值k有如下關系：

3.2.2 相位一致性的方向

類似于SIFT 中的梯度和梯度方向，在構建描述符時，除了最大幅值索引圖之外，還需要找到特征的方向信息。相位一致性方向反映了特征變化的方向，對非線性輻射畸變具有較強的魯棒性。

在相位一致性理論中，奇對稱濾波器是一個平滑的導數濾波器。它可以計算某個方向上的圖像導數。奇對稱濾波器與原始圖像的卷積結果根據方向的不同可以得到o個卷積結果，將他們分別投影到x和y軸上，通過反正切函數可以計算出相位一致性的方向［22］，其定義如下：

其中：θo表示方向o的角度，os，o(θo)表示在方向θo上的奇對稱濾波器卷積結果，Ox和Oy分別是卷積結果在x方向和y方向上的投影之和，Opc表示相位一致性方向。相位一致性方向的構建流程圖如圖4 所示。

圖4 相位一致性的方向圖構建流程圖Fig. 4 Construction of phase congruency orientation

由于可見光和SAR 圖像之間的灰度差異會導致Opc發生變化，甚至可能出現梯度反轉現象。考慮到這一問題，本文對Opc進行改造，把相位一致性方向限制在0°到180°之間：

式中，Opc"為修改后的相位一致性方向。

3.2.3 局部特征描述符構建

本文的局部特征描述符是由特征點鄰域中的一系列子區域按順序排列獲得的，具體構建流程如圖5 所示。

根據圖5 所示，以鄰域分成4×4 個子區域的情況為例，本文描述符構建的主要步驟如下：

（1）采用LGF 對特征點的鄰域做卷積計算，在尺度s和方向o上分別獲得奇部和偶部的卷積結果；

圖5 局部特征描述符構建流程圖Fig. 5 Construction of proposed local feature descriptor

（2）根據圖3 所示流程計算基于多尺度加權的最大幅值索引圖；

（3）根據圖4 所示流程計算相位一致性方向圖；

（4）選取特征點的鄰域大小為m×m，分成np×np個子區域（以np=4 為例）；

（5）在每個子區域中進行直方圖計算，首先，將180°分成no個分區。根據相位一致性的方向的分區，進行直方圖投票，投票的內容是最大幅值索引圖對應的元素。為了直方圖的峰值獲得更好的精度，每個峰值采用最鄰近的三個直方圖進行拋物線擬合獲得。每個子區域的特征向量由上述直方圖組成；

（6）每個特征點的描述符由步驟（5）中16 個子區域的特征向量按照一定順序構成。子區域P1對應的特征向量為H1，這樣，對于圖像上任意一個特征點的特征向量為V=[H1，H2，···，H16]。

3.3 特征點匹配

本文使用最近鄰比率（Nearest Neighbor Distance Ratio，NNDR）［18］的匹配方法來度量兩幅圖像特征之間的相似性。NNDR 由NN 和DR 兩部分組成，在NN 步驟中，選擇描述符之間最近的歐氏距離，然后，計算最近距離與次近距離的比值，當比值超過所設定的閾值時，則認為是一對潛在的正確匹配點。考慮到可見光和SAR 圖像存在灰度差異，使得對同名點構建的特征描述符存在一定差異，誤匹配的情況廣泛存在，為了提升匹配正確率，選取快速采樣一致（Fast sample consensus，FSC）［19］剔除誤匹配，它能在較少的迭代次數下獲得較多的正確匹配。

4 實驗與分析

4.1 實驗數據

為了驗證本文算法的可行性，實驗選取四組可見光和SAR 遙感影像作為實驗數據，如圖6所示。

圖6 四組可見光和SAR 遙感影像Fig. 6 Four pairs of optical and SAR remote sensing images

四組影像均存在明顯的非線性輻射差異，考慮到，本文的實驗數據已經進行過地理信息粗配準，因此，實驗圖像間存在一定的平移差異、并存在微小的旋轉和尺度差異。第一組圖像主要包含農田和廠房的特征，沒有明顯的尺度和旋轉差異。第二組圖像主要包含郊區和公路的特征，存在微小的尺度差異。第三組主要是機場場景，存在微小旋轉差異。第四組是復雜的郊區場景，主要包括河流、高速公路、村落和農田等，圖像間沒有明顯的尺度和旋轉差異。此外，成像傳感器、拍攝時間、分辨率和尺寸也存在差異，圖像先驗信息如表1所示。

表1 可見光和SAR 遙感圖像的先驗信息Tab. 1 Prior information of optical and SAR images

4.2 評價準則

為了評價配準方法的匹配性能，本文采用主觀和客觀兩種評價方式。主觀評價方式采用配準結果的棋盤鑲嵌圖像和局部區域放大圖像。主觀評價方式可以直觀顯示圖像配準的效果和細節。在客觀評價配準效果時，本文采用均方根誤差（Root Mean Square Error，RMSE）和匹配正確率（Correct Matching Rate，CMR）作為評價可見光和SAR 圖像配準的客觀指標。

（1）CMR 的定義為：

其中：Nc表示經過誤匹配點剔除后的正確匹配點數，No和Ns分別表示可見光和SAR 圖像上所有匹配點數量。如果Nc＜4，則認為匹配失敗。CMR值越大，表示存在較多的正確匹配點對，因此會得到更加準確的變換矩陣。

（2）RMSE 是用來評價圖像配準算法精度的指標，其計算公式如式（18）所示：

4.3 參數設置

在本文實驗中，相位一致性尺度因子s，方向因子o分別設置為4 和6，最小尺度濾波器的波長設置為3～5 個像素，相鄰濾波器之間的比例因子設置為1.6，其余相位一致性參數采用默認值。

除此之外，本文算法主要包含5 個參數：初始權重α，權重比例因子k，直方圖分區數no，鄰域子區域數np和鄰域像素數，經過前期實驗測試，本文取k=0.5，根據α和k的關系式（13），可知α=8/15。參數no和np與描述符的維度有關，因此不宜選擇過大。參數m是特征點進行局部描述符構建的鄰域大小，如果鄰域過小，描述符缺少有效信息；如果鄰域過大，不僅增加了計算量，而且還會受到地物幾何特征差異的影響，通過實驗測試，選擇如下參數no=6，np=4，m=96。因此，本文算法的描述符維度是96。為了公平起見，特征提取的閾值參數適當選擇，使得不同算法在可見光和SAR 圖像上分別獲得約1 000 個特征點。

4.4 實驗結果與分析

為了驗證本文算法在可見光和SAR 圖像配準中的性能，對比算法選擇一種主流的基于梯度的 算 法 OS-SIFT［18］。 OS-SIFT 分 別 采 用 Sobel算子和ROEWA 算子來計算可見光和SAR 圖像的一致性梯度信息，在一致性梯度信息的基礎上計算Harris 響應函數提取特征點，通過對多個圖像塊進行聚合，在一致性梯度幅值和相位的基礎上，構造一個梯度位置方向直方圖型描述子。兩種算法的配準結果如圖7～圖9 所示。

圖7～圖10 顯示了4 組試驗的配準結果，在提取相同數量的特征點的條件下，本文算法能夠獲得較多的正確匹配點對，因此，本文算法在抑制可見光和SAR 圖像輻射差異方面具有更好的效果。為了定量比較本文算法的優越性，對比兩種算法在四組圖像中的RMSE 和CMR，結果如表 2 所示。

圖7 第一組圖像配準結果Fig.7 Registration results of the first group of image

圖8 第二組圖像配準結果Fig. 8 Registration results of the second group of image

圖9 第三組圖像配準結果Fig. 9 Registration results of the third group of images

圖10 第四組圖像配準結果Fig. 10 Registration results of the fourth group of images

針對第一組實驗，如圖 7（a）中的A 子圖所示，由于可見光和SAR 圖像的輻射差異，對于同一廠房成像時，光學圖像呈現出與人眼近似的特征，但是在SAR 圖像中，只在廠房的人字形屋脊處出現一條明顯的白線。如圖7（a）中的B 圖所示，農田的線特征會出現灰度反轉現象。針對第二組實驗，房屋的弧形結構屋頂導致輻射差異更加明顯，同時兩幅圖像中包含一些尺度差異，匹配難度更大。第三組圖像包含了多種機場中的典型特征，SAR 圖像中的亮度明顯低于光學圖像。第四組圖像尺寸較大，場景中包含很多信息，河流存在在梯度反轉現象，農田邊緣在SAR 圖像能看凸起效果，而光學不明顯，此外，在SAR 圖像上村莊散射較強，會對特征提取造成干擾。以上問題，都會給可見光和SAR 圖像配準帶來困難，但是本文方法很好地克服了輻射差異的影響，針對多種特征都能夠獲得更多的正確匹配點數和更高的配準精度，相比于基于梯度的方法具有更好的魯棒性，主要原因如下：

（1）通過在相位一致性的最大矩和最小矩合成圖像中提取Harris 角點的方法，不僅保證了特征點的高重復性，而且保證了有效特征的數量，這為后續特征匹配奠定了基礎。

（2）基于相位特征建立的局部描述符使用LGF來獲得相位一致性的多尺度最大幅值索引和方向特征信息，這對可見光和SAR 圖像的非線性輻射差異具有較好魯棒性。

實驗結果表明，本文算法對光學圖像和SAR圖像之間的輻射畸變具有較好的魯棒性。然而，本文算法設計過程未考慮尺度和旋轉不變性。遙感圖像之間的大角度旋轉可以利用傳感器地理信息進行校正。進一步利用遙感影像的地面分辨率信息，通過重采樣將遙感影像分配到同一尺度。然后，利用本文方法進行精細匹配，可以處理光學圖像和SAR 圖像之間輕微的旋轉和尺度差異。

表2 四組圖像RMSE 和CMR 對比結果Tab. 2 Comparison of RMSE and CMR for different methods on three pairs of test images

5 結 論

本文針對可見光和SAR 影像間灰度差異大，同名特征提取困難的問題，結合了相位一致性方法在特征檢測上的優勢，提出了一種基于相位特征的可見光和SAR 圖像配準方法。首先，計算圖像的相位一致性最大矩和最小矩，對二者進行疊加，在疊加圖上提取Harris 角點，從而獲得大量穩定的角點和邊緣點作為特征點；其次，基于相位一致性方向和多尺度加權的最大幅值索引圖建立直方圖，構建基于相位信息的局部特征，完成同名點匹配；最后，在四組實測可見光和SAR 圖像上對算法進行驗證，相比于基于梯度的OS-SIFT 算法具有更多的正確匹配點對和更高的匹配精度。但本文算法對于較大尺度差異和旋轉差異的遙感圖像，匹配效果不夠理想，下一步工作將針對此問題進行更加深入地研究。