基于非線性空間及空間約束的遙感圖像配準

王亞麗，賴惠成

(新疆大學信息科學與工程學院，新疆烏魯木齊830046)

1 引言

圖像配準[1]是將同一場景的不同時間，不同傳感器或不同視點的兩個或多個圖像匹配[2]的過程[1]。它是許多遙感任務不可或缺的部分，例如變化檢測，圖像融合和環境監測等?；谔卣鞯乃惴▽D像灰度變化和遮擋具有較好的穩定性[2]，并且目前在遙感圖像配準中使用最多，尺度不變特征變換(SIFT)[3]是經典方法。但是，對于遙感圖像，由于非線性強度映射的顯著差異，正確對應的數量不足以確認匹配精度[4]。為了克服這個問題，Kupfer等人[5]提出了一種快速模式搜索SIFT(MS-SIFT)算法，聯合了特征點的尺度，方向和位置信息。Gong.M等人[6]提出了基于SIFT和互信息的由粗到精的圖像配準算法。然而，這些方法仍然無法對齊具有大灰度差異的遙感圖像對。聞等人[7]提出了增強特征匹配方法(PSO-SIFT)，匹配性能得到明顯改善，但是使用高斯尺度空間，容易使邊緣和細節變得模糊，導致特征點定位精度差，特征描述子區別度低。李[8]將非線性擴散技術應用在多光譜圖像配準中，實驗也表明非線性擴散濾波能夠增加特征點檢測和配準精度，然而該算法用加性算子分裂(AOS)方案[9]求解非線性方程的解析解，AOS方案需要在每個時間步驟求解大型線性方程組，比較耗時。

對此，本文提出了基于非線性尺度空間的改進SIFT遙感圖像配準算法，用非線性擴散方程和快速顯式擴散方法(FED)[10]構建空間，其優勢在于保留了尺度空間圖像的邊緣和細節，同時提高了速率；改進的梯度計算方法克服了遙感圖像的非線性強度差異問題；建立空間約束，改善了配準結果，使配準結果更精確。

2 SIFT算法[3]原理

2.1 特征點提取

首先高斯函數建立尺度空間并通過其相鄰尺度之間的差與圖像卷積建立高斯差分尺度空間，用作高斯拉普拉斯算子的近似。高斯差分尺度空間定義為

D(x，y，σ)=(G(x，y，kσ)-G(x，y，σ))*I(x，y)

(1)

其中k是常量，表示相鄰尺度空間的倍數，在SIFT算法中常取值為21/3。然后與三維中的26個點比較，選擇局部極值點作為候選關鍵點。用擬合三維二次函數精確候選特征點的位置與尺度，并且刪除低對比度的候選特征點。

2.2 特征點描述

利用圖像的梯度直方圖，來確定每個關鍵點的主方向。像素的梯度幅度與梯度方向定義為

(2)

(3)

L表示特征點高斯尺度空間圖像，然后，將坐標軸旋轉為特征點的方向，旋轉后以主方向為中心取8*8像素的領域，將其分成16個子塊，并計算每個子塊8方向的梯度幅值，形成128維的描述符。

2.3 特征點匹配

使用描述符上的最小歐幾里德距離作為關鍵點匹配標準，有關SIFT的更多細節可以在文獻[3]中找到。

3 本文算法

基于非線性尺度空間和改進SIFT的遙感圖像配準主要包括以下幾方面改進：

1)用非線性擴散方程和快速顯式擴散方程構建非線性尺度空間。

2)用各向同性Sobel算子計算尺度空間中以及在求描述符過程中涉及到的梯度信息。

3)構建空間約束條件，包括點和線。

算法整體流程如圖1所。

圖1 配準流程圖

3.1 構建非線性尺度空間

Nuevo等人[10]提出了一種快速多尺度特征檢測和描述算法A-KAZE.該算法使用非線性擴散濾波器和快速顯式擴散方程建立非線性尺度空間。

非線性擴散方程是

(4)

其中t是比例參數;div是散度操作符;?表示梯度操作符c(x，y，t)是擴散系數，定義為

c(x，y，t)=g(|?Lσ(x，y，t)|)

(5)

其中?Lσ是高斯平滑后圖像的梯度，g定義為

(6)

參數k是控制擴散水平的對比因子，確定必須保持或取消哪些邊緣。它越大，保留的邊緣信息越少。k值可以根據經驗固定或從圖像梯度直方圖估計[11]，本文取k的經驗值為梯度幅度統計直方圖的70%百分位所對應的值。

由于非線性擴散方程(1)沒有解析解，A-KAZE算法使用快速顯式擴散(FED)算法獲得近似解，并構建金字塔圖像。使用FED算法對方程(1)離散化可以表示為

(7)

這里，A(Li)表示編碼圖像電導率的圖像，τ表示時間步長，Li+1是根據前一級解決方案計算的，如下

Li+1=(I+τA(Li))Li

(8)

這里I表示單位矩陣，考慮到先驗估計Li+1，0=Li，獲得FED的周期為

Li+1，j+1=(I+τjA(Li))Li+1，j

j=0，……n-1

(9)

這里n表示顯式擴散步驟的總數，τj代表相應的可變步長，如下

(10)

這里τmax是最大步長，不違反顯式方案的穩定性條件更多細節可以在文獻[10]中找到。

建立非線性尺度空間同SIFT算法類似，將非線性尺度空間離散化為O組，每組S層。定義空間中每層的圖像尺度

σi(o，s)=σ02i+j/s;o∈[0，…O-1]，

s∈[0，…S-1]，i∈[0，…W-1]

(11)

其中σ0表示非線性尺度空間中第一組第一層圖像的尺度，這里將其設置為1.6。W是平滑圖像的總數;o和s分別是組數O和層數S的索引。值得注意的是，這里對圖像要進行下采樣，且一旦生成不同尺度的平滑圖像，就執行相鄰尺度之間的差異，然后同原SIFT一樣提取候選關鍵點與精確定位。由于非線性擴散方程是按時間定義的，因此有必要將比例值轉換為時間值，轉換公式為

(12)

3.2 改進的梯度計算方法

在構建非線性尺度空間時，需要計算圖像的梯度，一般可以通過一階差分方法獲得。然而，由于非線性強度映射的顯著差異，正確對應的數量不足以確認匹配精度，因此，各向同性Sobel算子用于計算梯度的大小和方向，以改善描述符的灰度魯棒性。首先由改進Sobel算子對圖像L(x，y)進行卷積得到

Rx=H*L(x，y)，Ry=H′*L(x，y)

(13)

(14)

(15)

(16)

(17)

該算法優化了GLOH并生成新的特征描述符[12]。使用圓形鄰域和對數極坐標生成特征描述符。根據關鍵點所在圖像尺度σ對各圓環半徑進行自適應調整，描述子中最大圓環半徑R1為12σ，R2和R1的比值為0.73，R3和R1的比值為0.25，梯度方向在八個區間中量化，最后特征描述子為136維。

3.3 空間約束條件

首先初匹配用最近鄰與次近鄰比值法，并且距離比閾值dratio設置為0.9。然后通過快速抽樣一致性(FSC)算法[13]計算初始變換參數，然后從兩個角度構建空間約束條件。

1)點約束

正確的對應關鍵點應位于相應圖像中的相同位置[14]?？紤]到點坐標不可避免的誤差，每個正確對應點之間的偏差誤差應足夠小。由文獻[7]啟示，定義位置歐式距離

PED(i)=(1+ep(i))ED(i)

(18)

其中ED(i)表示對應于關鍵點描述符的歐幾里德距離。位置轉換模型誤差ep(i)定義為

(19)

其中T((x′i，y′i)，μ)是相似變換模型，μ是轉換模型參數。

2)線約束

如果某匹配對是一對正確的匹配對，則該匹配對與其它點距離的比值應該不變，如圖2所示，這稱為距離比不變標準。在實驗中，距離比不變準則用于得到最精確的結果。

(20)

這些空間約束逐一前進，逐漸縮小范圍，最終得到確切的結果。最后用快速抽樣一致性算法(FSC)算法從關鍵對中找到正確的對應關系完成圖像配準。

圖2 兩個圖像之間的空間約束

4 仿真校驗與分析

4.1 測試數據

為了評估所提出的方法，測試了四組圖像對。這些圖像對如圖3所示。第一對是來自美國地質調查項目的多光譜圖像[7]，Lat /Long：69.6 /-92.7，240-m分辨率。選擇來自波段5(傳感器：Landsat-7 ETM+，日期：2000/7/24)的尺寸為614×611的區段作為參考圖像。為了增加測試數據集的難度，在模擬旋轉90°之后，選擇來自第3頻段(傳感器：Landsat 4-5 TM，日期：1999/6/28)的尺寸為614×611的片段作為感覺到的形象。第二對是像素為617×593多光譜遙感圖像對，其中參考圖像是Landsat-7 ETM衛星于2004年4月12日提取的第三波段圖像。待配準的圖像是由Landsat 4-5 TM衛星于2006年6月15日提取的第五個波段圖像。第三組圖像來自巴西的256×256的遙感圖像對，其中參考圖像是SPOT傳感器于1995年8月8日提取的第3波段圖像，待配準的圖像是1994年6月7日由TM傳感器提取的第4波段圖像。第四組圖像是一對像素為600×500的SAR圖像。

圖3 遙感圖像測試對

4.2 評估標準

1)匹配準確度：用相應匹配關鍵點之間的均方根誤差(RMSE)[7]來定量評估配準性能，它可以表示為

(21)

其中，(xi-yi)和(yi-y′i)是第i個匹配點的坐標，N代表匹配點的總數。

2)正確匹配的關鍵點數量[7]：由于提出的方法基于關鍵點，因此穩健性在很大程度上取決于關鍵點的數量。所以將正確匹配的關鍵點數量被用作評估所提出方法的穩健性的標準。因此當兩種算法的RMSE彼此接近時，可以使用正確匹配的關鍵點數量進行進一步比較。

4.3 實驗結果與分析

圖4給出了非線性尺度空間和高斯尺度空間的簡要比較，其中圖4(a)是原始圖像，圖4(b)由高斯方程產生，圖4(c)為非線性擴散方程產生，二者具有相同的比例。非線性尺度空間和高斯尺度空間之間的差異是顯而易見的。隨著尺度值的增加，高斯尺度圖像變得越來越模糊，降低了特征點的定位精度，而非線性尺度圖像具有相對輕微的模糊性，有助于提取更多關鍵點。

圖4 高斯尺度與非線性尺度空間對比圖

表1，表2，表3以及表4中分表顯示了四組組測試圖像對本文算法與SIFT算法[3]，SAR-SIFT[12]算法和PSO-SIFT[7]算法在匹配精度，正確匹配的關鍵點數和平均運行時間方面的實驗比較結果。算法都在MATLAB R2016a下采用Intel core 3.20GHz處理器和8GB物理內存實現。注意，該算法執行十次，十個運行時間的平均值作為最終運行時間，*表示配準失敗(RMSE>4)。

表1 第一組圖像算法的比較

表2 第二組圖像算法的比較

表3 第三組圖像算法的比較

表4 第四組圖像算法的比較

前三組測試圖像對都是在不同的頻帶和不同的傳感器設備中獲取的，由于光譜帶不同，遙感圖像對之間存在一些不規則的強度映射關系。SIFT，SAR-SIF算法未能準確對齊三組測試圖像對，PSO-SIFT算法可以精確配準三組測試對，但是PSO-SIFT算法與本文算法相比，在均方根誤差相差不大的情況下，本文算法的正確匹配點對數遠多于PSO-SIFT算法?？梢钥闯霰疚乃惴梢詼蚀_配準具有不規則強度映射關系的多光譜遙感圖像，也證明本文算法在配準性能上的優越性。

第四組測試圖像對是一組SAR圖像，SAR-SIFT算法是針對SAR圖像提出的算法，具有一定的優越性，但是本文算法在正確匹配點對數上遠超于SAR-SIFT算法，證明了本文算法可以準確配準SAR圖像，也證明了本文算法對遙感圖像配準的廣泛性。

為了證明空間約束條件可以提高配準精度，改善配準性能，將有空間約束條件與未加空間約束的算法進行對比，如上表所示，構建約束條件后，獲得了更多正確的匹配關鍵點數，均方根誤差降低，對準精度提高。

圖4顯示了本文算法與PSO-SIFT算法特征點匹配的結果對比圖，圖4 (a)(c)(e)為PSO-SIFT算法在前三組測試圖上匹配的結果，圖4 (b)(d)(f)為本文算法的前三組測試圖的匹配結果，可以看出本文算法的匹配效果明顯優于PSO-SIFT算法。圖4 (g)為SAR-SIFT算法對第四組圖像的匹配結果，圖4 (h)為本文算法對第四組圖像的匹配結果圖，可以看出本文算法對SAR圖像的配準也有一定的改善。圖6顯示了所提出算法的棋盤式配準圖像，可以看出兩個圖像的邊緣以及區域都可以精確重疊，因此從直觀方面可以判斷配準結果是精確的，也再次證明提出的算法的準確性以及有效性。

圖5 本文算法與PSO-SIFT算法以及SAR-SIFT算法匹配結果對比圖

圖6 棋盤拼接結果圖

5 總結

本文為了實現遙感圖像的精確配準，提高非線性灰度的魯棒性，提出了基于非線性尺度空間的改進SIFT遙感圖像配準方法。實驗結果表明：①用非線性擴散方程和快速顯式擴散方程生成遙感圖像的多尺度表示，避免了高斯尺度空間的邊界模糊，同時提高特征點定位精度；②用各向同性Sobel算子計算梯度幅值和方向，基于優化的GLOH生成特征描述符，克服了遙感圖像對之間不規則以及復雜的強度變換關系，增加了正確匹配點對個數；③利用空間約束獲得了更多正確的匹配關鍵點數和更高的對準精度。與現有技術方法相比，所提出的方法，配準性能得到明顯改善。