基于塊信息的異模圖像配準算法

張 巍，高 翔，張秀彬

0 引言

隨著不同類型圖像傳感器的出現，異模圖像配準問題日益成為一項極富挑戰性的研究工作，因為無論是在氣象、地理、安保和軍工國防等領域它都占據著十分重要的技術地位，因此該項技術研究已經成為當前熱門的研究課題。圖像配準是根據一些相似性度量決定圖像間的變換參數，將在幾何、光譜和空間分辨率等方面存在一定差異的圖像變換到統一坐標系下，在像素層上得到最優化匹配的過程[1-6]。通過圖像配準可以將不同傳感器獲得的圖像信息綜合利用，達到對目標有一個更全面、清晰、準確的理解和認識的目的。

紅外圖像和可見光圖像作為兩種最為常見的圖像被廣泛地應用在計算機視覺、自動控制、機器人、目標識別、反恐安檢、軍事等領域。在國民生活的許多方面發揮著重大的作用。

2007年，文獻[7]利用Hough變換實現了建筑物的紅外與可見光圖像配準，但該方法只適用于旋轉、平移變換，顯然難以推廣至更為廣泛的應用領域。文獻[8、9]提出了一種基于描述的模糊特征匹配算法的遙感中紅外與可見光圖像的配準。由于尚未抓住紅外成像的頻譜特性，該算法實際上僅能適用于灰度存在較大差別的同類光源作用下的兩幅圖像的匹配。文獻[10]采用基于仿射模型的小波變換對紅外與可見光圖像進行配準。雖然該算法配準精度較高，但是由于其運算時間較長，因此難以適用于目標快速跟蹤等場合下的異模配準技術要求。本文針對現有技術的不足，提出一種基于圖像塊信息的配準算法。

1 塊信息的定義

對于不同時刻同處一個地理位置的相同目標，可能會因受光條件的變化而造成生成圖像的本質差異。比如：某一目標白天生成可見光圖像，而在夜晚只能通過紅外圖像傳感器獲取紅外成像。前者灰度變化較小而后者因溫度變化引起的灰度劇烈變化，針對這種完全不屬于同一性質光源成像的目標如何實現兩幅或多幅圖像之間的配準問題顯然是一件較為困難的技術工作。

塊信息，是目標圖像灰度變化幅度在某一閾值內所有點的集合。塊信息不僅含有圖像位置信息，還含有圖像的灰度變化信息。塊信息是針對紅外圖像和可見光圖像灰度映射畸變造成配準困難而提出的一種信息處理方法。

2 塊信息的提取方法

區域增長法是圖像塊信息提取的首選方法。區域增長法的基本思想是通過一個初始的種子，將種子周圍具有相似性質（主要為灰度幅值）的像素歸并到種子所在的像素區域。

從圖像某點所提取出的塊信息個數被稱之為塊值T。區域增長算法中與種子點作比較的差值為閾值c。所謂區域增長法，在欲分割圖像中選擇一個“種子”，該種子的初始像素為p、增長閾值為c。種子所在的像素坐標被稱之為“種子點”。從種子點出發，進行該種子點鄰域（一般為8鄰域）搜索，當搜索點的灰度值和種子點的灰度值 p的差小于預先設定的閾值c時，將搜索點與種子標記在同一域內，并作標記。如此往復，向四周擴散直至找不到符合閾值的像素為止[11]。

使用區域增長法對圖像進行處理的效果，如圖1～圖4所示：

圖1 可見光原圖

圖2 c=5 時的區域增長圖

圖3 c=10 時的區域增長圖

圖4 c=30 時的區域增長圖

其中，圖1為可見光成像原圖，圖1中白色框中央為所選種子點，圖2～4為c取不同值的區域增長，白色為增長部分。從圖中可看出閾值c的選取對塊信息的識別有很大的影響。

3 相似性度量函數

對于兩幅圖像所提取出的塊信息，可以利用基于最大化對齊度的方法來進行相似性度量[12]，也可以利用兩個塊信息的重合度來進行度量。

塊信息的重合度（Contact Ratio）定義：參考圖像I1的某一塊信息中所有點的集合為A，浮動圖像I2的某一塊信息中所有點的集合為B，其相似性度量參數CR為公式（1）（2）

其中，B1和B2為參考圖像I1和浮動圖像I2所提取出的一對對應塊信息，W為B1和B2的交集，且w為集合W中元素的數量，b1和b2分別為B1和B2中元素的數量。

4 基于塊信息的配準步驟

配準共分六個步驟，具體如下：

（1）分別設定等候配準的紅外成像與可見光成像的初始值，讀入參考圖像I1和浮動圖像I2，并進行存儲；

（2）通過區域增長法對圖像I1進行塊信息計算，根據決定的塊值T選出局部塊信息并取得其中的極大值n個點，記錄位置 (x1,y1)… (xT,yT)和塊信息B1,B2…BT；

（3）在浮動圖像I2的點 (x1,y1)… (xT,yT)處，根據區域增長法得到塊信息；

（4）對塊信息B1,B2…BT和進行基于重合度的相似性度量，若已經達到最大值，則停止計算，若未達到最大值，進入步驟（5）；

（5）根據搜索策略對圖像I2進行圖像變換；

（6）返回步驟（3），繼續進行運算。

5 配準的結果與分析

選用閾值為30，參考圖像，如圖5所示：

圖5 參考圖像

紅外浮動圖像實施配準，如圖6所示：

圖6 紅外浮動圖像

圖5系160×160的可見光圖像，雖然圖6所示待配準圖像與圖1在X方向上有10個像素的位移，但是通過上述區域增長法后能夠獲得準確的配準結果，如圖7～圖9所示：

圖7 基于最大互信息的配準結果

圖8 T=1時塊信息配準結果

圖9 T=3時塊信息配準結果

其中，圖7為基于最大互信息的方法的配準結果，圖8為T=1時塊信息配準結果，圖9為T=3時塊信息配準結果。實驗過程的配準參數，如表1所示：

表1 塊信息配準參數表

本文中稱參考圖像和浮動圖像達到配準后同一位置灰度映射（包括灰度值相對應或灰度變化趨勢相同）相同的點為積極點，其提供的信息為積極信息，而灰度映射不同的點為消極點，其提供的信息為消極信息。

對于圖像配準中的相似性度量，其受到積極信息和消極信息的共同作用，積極信息與消極信息的比重越大達到同樣配準精度所需像素點越少，在像素數量相同時，積極點在圖像中比例越高則圖像配準的精度越高。所以，如何增加圖像中積極點的比重，或是增加配準對象中積極點的比重成為了圖像配準的研究方向。

互信息作為信息論中的基本概念之一，用來對兩個隨機變量的統計相關性進行測度。理論上，浮動圖像和參考圖像達到最佳匹配時，兩幅圖像的互信息為最大值。最大互信息法適合于對任何模式下的圖像進行測度，適合應用于紅外與可見光等多光譜圖像的匹配是一種具代表性的傳統方法。

從圖6～8和表1可以看出，對于基于最大互信息的配準方法，每個像素（無論是積極點還是消極點）對圖像的貢獻是相同的，但是在配準異模圖像的過程中由于異模圖像成像的機理不同，圖像灰度的映射關系并不明顯，會出現積極點的比例下降而消極點的比例上升，導致積極信息被消極信息所掩蓋，導致基于最大互信息方法應用在異模配準上的精度不高，這點從異模圖像配準中可以看出。而對于本文提出的基于塊信息的配準方法，因為本身所考慮的便是圖像積極信息（塊信息），這樣就避免了積極信息被過多消極信息所掩蓋，使得圖像特征更為突出，使得目標圖像的特征得以配準，同時又降低了因成像機理不同而引起的圖像特征畸變，增加了配準的精度。從配準結果可知根據本文提出的方法所得圖像與理論值之間的誤差在一個像素以內，誤差百分比分別為0.38%，0.63%，均在1%以內，基本上達到了亞像素的級別，相較于最大互信息法兩個像素的誤差有了很大提高。

對于基于塊信息的異模圖像配準，塊值T和閾值c是影響配準精度的重要參數。從結果中可以看出：塊值越多，配準的精度越高。但是塊信息個數過多的話同時也會影響配準速度。塊值的選取是在配準精度和配準速度上的一個權衡，本文推薦使用3個塊信息進行配準，同時兼顧配準精度和配準速度。而對于閾值，則需要根據灰度直方圖中灰度的分布來選取。

6 結論

本文從圖像特征的角度提出了一種新的圖像特征：塊信息。根據塊信息可以判定圖像某些區域間是否存在對應關系而不需要這些區域的灰度之間有線性的相關，因而塊信息適用于異模圖像的配準，尤其是紅外和可見光圖像的配準。實驗結果表明基于塊信息的異模配準算法具有較強的抗噪性，并且配準精度可以達到亞像素級別。作者認為值得對此進行更深入的研究，本文提出的方法可以在計算機視覺、自動控制、機器人、目標識別、反恐安檢、軍事等領域得到應用。

[1]ZitováB, Flusser J. Image registration methods: a survey[J]. Image and Vision Computing, 2003, 21(11):977-1000

[2]倪國強,劉瓊. 多源圖像配準技術分析與展望[J].光電工程, 2004, 31(9): 1-6

[3]王憶鋒,張海聯,李燦文等. 多傳感器數據融合中的配準技術[J].紅外與激光工程, 1998, 27(1): 38-41

[4]鈕永勝,倪國強. 多傳感器圖像自動配準技術研究[J].光學技術,1999,(1):16-18

[5]劉松濤,楊紹清. 圖像配準技術性能評估及實現概況[J].電光與控制,2007,14(3):73-78,83

[6]宋振環,唐伶俐,李傳榮等. 遙感圖像配準技術研究最新進展[J].科技報,2007,25(12):53-58

[7]Istenic R, Heric D, Ribaric S, et al. Thermal and visual image registration in hough parameter space[C].In:The 14thInternational Conference on System, Signal and Image Processing, and 6thEURASIP Conference Focused on Speech and Image Processing, Multimedia Communications and Services, 2007,106-109

[8]Li Tie-Jun, Chen Zhe ,Wang Ren-Xiang. Fuzzy feature matching between infrared image and optical image[J].In: Proceedings of the SPIE, 2001, (4602): 260-265

[9]Huang Xi-Shan, Chen Zhe. A wavelet-based multi-sensor image registration algorithm[C]. In: The 6thInternational Conference on Signal Processing,2002, (1): 773-776

[10]曾文鋒. 紅外與可見光圖像融合中的快速配準方法[J].紅外與激光工程, 2002, 31(2): 158-160

[11]秦襄培,鄭賢中. MATLAB圖像處理寶典[M].電子工業出版社，2011，252-255

[12]余萍,崔少飛,葛永新等. 基于對齊度的電力設備紅外與可見光的圖像配準[J].激光與紅外, 2008, 38(7):737-740

[13]門蓬濤,張秀彬,張峰等. 圖像特征識別方法研究[J].微計算機信息(測控儀表自動化), 2004, (5):103-105[14]吳炯,張秀彬,張峰等. 數字圖像中邊緣算法的實驗研究[J].微計算機信息(測控儀表自動化),2004,(5):106-107

[15]陳顯毅. 圖像配準技術及其 MATLAB編程實現[M].電子工業出版社,2009,5-10.

[16]張秀彬,應俊豪. 視感智能檢測[M].北京:科學出版社,2009. 62-67.

[17]Li Tie-Jun, Chen Zhe ,Wang Ren-Xiang. Fuzzy feature matching between infrared image and optical image[J]. In: Proceedings of the SPIE, 2001, (4602):260-265