基于歸一化互信息和金字塔分解優化的圖像配準算法研究

劉曉慧，楊新鋒

基于歸一化互信息和金字塔分解優化的圖像配準算法研究

劉曉慧，楊新鋒

針對紅外和可見光圖像的特點，提出了一種改進的以歸一化互信息為相似性測度的異源圖像配準方法。為了提高算法的效率，采用金字塔分解法對該算法進行了優化。以紅外和可見光圖像的配準作為驗證實驗，證明了該算法的有效性。關鍵詞：多源圖像；圖像配準；互信息；金字塔分解

0 引言

圖像融合[1]的概念起源于二十世紀七十年代后期，是將多個傳感器在同一時間或不同的時間獲取的關于某個具體場景的圖像或圖像序列信息、加以綜合，以生成新的有關此場景解釋的信息處理過程。其原理是將同一對象的多個源的圖像合成到一幅圖像中，以使融合后的圖像比原來任何一幅都更容易被人們所理解。

通常在觀察同一目標或場景時，多傳感器在不同時間或同一時間獲取的圖像信息是有所差異的[2]。即使是單一的傳感器，在不同觀測時間、不同觀測角度或不同的環境條件下獲得的同一場景的圖像信息也可能不同。這些圖像問的不同就構成了多源圖像信息間的互補關系，圖像融合就是通過對源圖像問這些冗余信息和互補信息、進行處理，使得到的融合圖像更可靠的、更客觀的、更精確和更全面的對某一場景進行圖像描述[3,4]。

圖像融合是計算機圖像處理領域的一項新技術，已成為眾多學科感興趣的一個重要研究領域，其應用十分廣泛[5-7]。

1 多源圖像融合的流程

多源圖像融合的流程一般為多源圖像的預處理、圖像配準、圖像融合及圖像的后續處理等步驟[8,9]，如圖1所示：

圖1 圖像融合流程圖

多源圖像的預處理一般指對獲取的不同源圖像進行的初步處理，包括源圖像信息的增強，圖像的平滑濾波以及為后續圖像配準做準備的邊緣檢測等處理，通過源圖像的頂處理，可以實現圖像的降噪，突出圖像的重要的特征信息，為圖像的精確配準提供保障。

圖像的配準是指把在不同條件下獲取的多源圖像進行匹配的圖像處理過程，是圖像處理中的一個基本問題，也是圖像融合前的重要步驟之一，也是難點之一，配準效果的好壞將直接影響到最終的融合效果。

圖像融合即是把配準后的多源圖像按照一定的方法進行信息、融合的過程，其算法的選取直接影響到融合效果。

后續處理是指對融合后的圖像進行進一步處理的過程，根據目的不同其處理的方法也不同，比如為了突出融合圖像信息而采用圖像信息增強，特征提取的后續處理等[12]。

2 多源圖像配準

多源圖像由于是從不同的傳感器獲取的圖像，由于獲取圖像時傳感器的位置不可能完全一樣，各個傳感器的特點及獲取的空間范圍又有所不同，故所獲取的源圖像或多或少的存在不匹配的現象。由于我們融合時是要求所有源圖像盡

可能是對同一場景同一目標的描述，故在融合前需要對圖像進行配準處理，以便于后面的融合處理。

2.1 圖像的預處理

從不同傳感器中獲取的源圖像，受設備或者環境因素，或多或少的會含有噪聲，有時候會對配準處理造成很大的影響，故在進行圖像配準前，一般要多源圖像進行預處理，為圖像的配準奠定基礎。

本文采用空域濾波的中值濾波的方法對圖像進行預處理，去除紅外圖像的噪聲。中值是濾波取其濾波窗口內經過排序后的中間像素的值，而與原來像素點的值沒什么必然的聯系。所以如果圖像中某物體尺寸較小，排序后該物體沒有像素點排在中間，那么濾波后該物體就會被腐蝕甚至消失，所以我們在進行中值濾波操作時先設一個域值，當只有該點的值與鄰域中值的差大于域值時才取鄰域的中值，否則就保留該點的值。這樣的話，如果是噪聲點，它和鄰域的中值就會相差較大，就可以把它去掉。如果是物體，鄰域中還有物體本身的點，所以鄰域的中值和該點的值就不會相差太大，只要我們設置合適的域值，就可以保留該點的值，

2.2 基于梯度邊緣信息的互信息配準方法

由于紅外圖像反映的是景物的輻射信息而可見光反應的是景物的反射信息，所以紅外圖像和可見光圖像的灰度特性相差很大。從紅外圖像和可見光圖像的灰度特點來看，其灰度映射關系通常是局部的，直接運用互信息的話并不能取得較好的效果。并且直接運用互信息法的過程中也沒有用到紅外圖像和可見光圖像的一些重要的邊緣信息，故本文提出一種基于紅外圖像和可見光圖像的梯度邊緣信息，并以互信息和歸一化互信息為相似性準則的配準方法，并采用金字塔分解的方法進行優化。該方法主要包括3個過程：源圖像的梯度邊緣信息提取、以歸一化互信息為相似度準則的匹配和金字塔分解算法的優化。

（1）圖像梯度邊緣提取

圖像的邊緣是圖像最基本特征。不論是何種圖像傳感器，其邊緣均是圖像信息最重要特征，也是多源圖像配準最重要的參照信息。由于受圖像質量的影響，往往難于凸顯，因此必須采用有效的算法，檢測出圖像的邊緣特征。

本文基于文獻[10]的方法獲取邊緣圖像，首先定義一個擴展結構Q為式（1）：

式（1）中，符號“*”表示卷積運算符號、Kp表示一個標準差的二斯高維核，Ix和Iy分別表示了圖像梯度在 x，y方向上的分量，對圖像中的每個像素點的Q進行特征值分解，得到兩個特征向量w1和，以及兩個特征值u1和u2（u1＞ u2），如果一個像素對應的兩個特征值之間有較大的差值，則這個像素點很可能位于圖像的邊緣上。但是，強邊緣上的點對應的特征值之間的差值，會遠大于弱邊緣上的點對應的特征值之間的差值。為了使差值與邊緣的強弱無關。對于每個像素，定義參數c如式（2）：

對實驗室可見光圖像進行梯度邊緣信息、提取作為實驗，用canny算法進行邊緣提取作為對比實驗，其實驗結果如圖2所示：

圖2 梯度邊緣與Canny的效果圖

圖2中（a）圖為原始的可見光圖像，（b）圖為采用canny算子提取的邊緣圖像，（c）圖為本文方法的結果圖像。由圖中可以對比看出，該種方法提取的邊緣圖像不僅能夠完整的提取出原圖的所有邊緣特征，而且能夠將邊緣擴展到附近區域。使能夠用到的信息進一步增加，為配準的精度提供了信息保證。

（2）歸一化互信息取大配準

在配準時的相似度準則的選擇上，本文選用歸一化互信息取大的相似度準則[51]，其中用于匹配的信息即為上一步中提取的邊緣信息，因為邊緣信息要比圖像的整體灰度信息少很多，所以可以大大提高歸一化互信息配準的速度，并且通過上一節的邊緣信息的提取可以看出，每幅圖像的邊沿信息提取的很多，這就保證了歸一化互信息配準的精度，其具體的實施原理和過程如下。

假設經第一步處理后的可見光圖像和紅外圖像獲取的邊緣圖像分別為和，則其熵為和，其聯合熵為，那么其歸一化互信息為式（3）：

其中式（4）、（5）、（6）：

式中a為相似性測度，T是空間變換關系。故其配準過程可表示如式（8）：

當邊緣A和B達到最佳配準時，它們對應的圖像特征的歸一化互信息應為最大。

其進一步實現過程為：首光對參考圖像A和浮動圖像B按照給定的初始點計算多源圖像配準A和的互信息，然后利用方向加速法 Powell算法依據歸一化最大互信息理“空間幾何變換——計算互信息值——最優化判斷”的過程，直至搜索到滿足精度要求的參數，最后輸出配準參數。用所獲得的配準參數對多源圖像進行配準，獲取最后的配準結果。

（3）金字塔分解優化

為了在保證配準精度的同時提高圖像的配準速度，可以利用金字塔分解法對待配準的可見光圖像和紅外圖像進行分解，分解的層數可以自行定義，一般分解到3級，（當原始圖像分辨率不高的時候可適當降低金字塔的分解等級，以免出現分解后上層圖像信息嚴重模糊的現象），即把圖像的寬和高縮小為原來的1/8大小，這時最頂層金字塔圖像的計算量為原圖像的1/64，由此可見，金字塔分解可大大減少計算量。

其優化過程的實現是在源圖像的預處理之后，把處理后的源圖像進行金字塔分解，然后從金字塔圖像的最高層開始進行歸一化互信息配準，配準方法如前文所述，直到獲得該層的最佳匹配參數，然后把此參數傳給下一層的圖像配準過程，作為配準的引導，以此來減少下一層的配準計算量，繼而再獲得更為精確的配準參數，如此循環，直到原始邊緣圖像為止，即為要求的匹配參數。該方法的匹配流程如圖3所示。

圖3 配準算法流程示意圖

2.3 實驗及結果分析

實驗中令可見光圖像為參考圖像，紅外圖像為浮動圖像。以可見光圖像的左上角為原點，向右和向下為x和y的正方向，順時針方向為旋轉角的正方向。用金字塔分解法對參考圖像和待配準圖像進行三層分解，再分別對每層圖像進行梯度邊緣檢測，獲取邊緣圖像。

實驗圖像為人物可見光圖像和紅外圖像，圖像大小都為460*348，人物的可見光圖像（即參考圖像）原圖及經金字塔分解后的各層圖像如圖45所示：

圖4 可見光金字塔分解圖像和各層邊緣圖像

圖4（a）為原圖（i=0），圖4(b)為第一層圖像（i=1），圖4（c）為第二層圖像（i=2），圖4（d）為第三層圖像（i=3），圖4（e）為原圖采用本文方法的邊緣圖像（i=0），圖4（f）為第一層可見光圖像的邊緣圖像（i-1），圖4（g）為第二層可見光圖像的邊緣圖像多源圖像配準（i=2），圖4（g）為第三層可見光圖像的邊緣圖像（i=3）：

人物的紅外圖像(即浮動圖像)原圖及經金字塔分解后的各層圖像如圖5所示：

圖5 紅外圖像金字塔分解圖像和各層邊緣圖像

圖5（a）為原圖（i=0），圖5（b）為第二層圖像（i=2），圖5（b）為第三層圖像（i=3），圖5（e）為原圖采用本文方法的邊緣圖像（i=0），圖5（f）為第一層紅外圖像的邊緣圖像（i=1），圖5（g）為第二層紅外圖像的邊緣圖像（i=2），圖5（h）為第三層紅外像的邊緣圖像（i=3）：

第二組可見光圖像和紅外圖像的配準結果如圖6所示：

圖6 人物圖像的配準結果

圖6（a）圖為沒有配準的源圖像直接疊加的效果圖，圖6（b）為配準轉換過的源圖像的疊加圖。獲得的配準參數為：x方向位移-6，y方同位移-13，旋轉角度為1.7，縮放

比例為1.02。

由圖6可以看出，該種方法針對紅外和可見光圖像具有較好的配準效果。

3 總結

本文主要對源圖像預處理和多源配準技術進行了研究。源圖像的預處理主要為圖像的去噪處理，本文首先采用改進后的中值濾波方法對紅外圖像進行去噪處理。針對多源圖像的信息差異大等特點，提出了本文采用的基于邊緣梯度信息的以歸一化互信息為相似度準則的配準方法，并采用金字塔分解方法對該算法進行了速度優化。最后用兩組同一場景的紅外圖像和可見光圖像作為多源圖像，進行了配準實驗，驗證了該方法的效果。

針對異源圖像的配準，本文算法對邊緣信息豐富的多源圖像能夠取得較好的效果，而對邊緣信息不豐富的多源圖像則配準效果不理想，在接下來的研究中應該更進一步完善特征信息的提取體系，把除了邊緣以外的其他特征信息也加入到配準信息中來。

[1] 臧麗，王敬東. 基于互信息的紅外與可見光圖像快速配準[J]. 紅外與激光控制, 2008, 37(l)：164-168.

[2] 汪靜，張雪松. 紅外與可見光圖像自動配準算法的研究[J]. 紅外技術, 2010, 32(3)：137-141.

[3] 孟令杰,廖楚江,等. 多源圖像融合技術的發展與軍事應用研究[J]. 航天電子對抗, 2010,27(3)：17-19.

[4] 吳澤鵬，郭玲玲,等.結合圖像信息熵和特征點的圖像配準方法[J].紅外與激光工程,2013, 4(29)： 2848-2852.

[5] 李英杰，張俊舉, 等.遠距離多波段紅外圖像融合系統及配準方法[J]. 紅外與激光工程, 2016,45(5)：0526002-1 - 0526002-7.

[6] An Jianni, Liu Guixi. Image mosaic algorithm basd on feature points matching and automatic transform parameters identifying [J]. Infrared and Laser Engineering, 2011, 40(3)： 564-569.

[7] Bai Lianfa, Han Jing, Zhang Yi, et al. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization [J]. Infrared and Laser Engineering, 2012, 41(1)： 248-254.

[8] Chen Chao, Qin Qiming, Jiang Tao, et al. An improved method for remote sensing image registration [J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2010, 46(4)：629-635.

[9] He Baigen, Zhu Ming. Improved fully affine invariant SIFT-based image matching algorithm [J]. Optics and Precision Engineering, 2011, 19(10)： 2472-2477.

[10] 崔偉,劉圣霞,等. 基于互信息和梯度的紅外與可見光圖像配準新方法[J].激光與紅外,2011,41(2)224-228.

Research on Image Registration Algorithm Based on Normalized Mutual Information and Pyramid Decomposition Optimization

Liu Xiaohui1, Yang Xinfeng2
(1. Computer Network Center, Nanyang Institute of Technology, Nanyang 473004, China；2. School of Computer and Information Engineering, Nanyang Institute of Technology, Nanyang 473004, China；)

In this paper, based on the features of infrared images and visible images, a new improved registration method has been put forward. The method takes normalized mutual information as the similarity measure of heterologous image. In order to speed up the algorithm, the pyramid decomposition method has been used to realize algorithm optimization. Registration experiments with the infrared and visible light images have proved the validity of the algorithm.

Multi source image； Image registration； Complementary information； Pyramid decomposition

TP391

A

1007-757X(2016)11-0019-04

2016.07.03）

河南省科技攻關重點計劃項目（122102210563，132102210215）；河南省高等學校重點科研項目計劃（15B520008）

劉曉慧（1987-），女（漢），河南南陽人，南陽理工學院，計算機網絡中心，助教，碩士，研究方向：計算機應用，南陽 473004

楊新鋒（1979-），男（漢），河南南陽人，南陽理工學院，計算機與信息工程學院，副教授，碩士，研究方向：圖像處理，南陽 473004