海面艦船紅外與可見光圖像配準

郭少軍，劉 峰，奚曉粱

（1. 海軍航空工程學院，控制科學與工程系，山東 煙臺 264001；2. 海軍91868部隊，海南 三亞 572000；3. 海軍航空工程學院，七系，山東 煙臺 264001）

?

海面艦船紅外與可見光圖像配準

郭少軍1,2，劉 峰1，奚曉粱3

（1. 海軍航空工程學院，控制科學與工程系，山東 煙臺 264001；2. 海軍91868部隊，海南 三亞 572000；3. 海軍航空工程學院，七系，山東 煙臺 264001）

在利用特征點集的紅外與可見光艦船圖像配準過程中，經常會存在點集的一致性差而無法配準的情況，本文針對可見光圖像中背景干擾大，紋理豐富容易出現較多非艦船目標輪廓特征點的情況，利用全局廣義直方圖均衡化和顯著性增強對可見光圖像進行增強，然后進行Canny輪廓提取并在輪廓的基礎上提取艦船目標邊緣角點作為匹配點集；對于紅外艦船圖像，海面背景與艦船溫度差異較大，其艦船目標成像效果較好，存在的干擾較少，本文直接進行Canny算子運算并提取角點作為特征點集。實驗效果顯示，本算法實用性較強，誤差小于3個像素，能夠滿足工程使用要求。

廣義直方圖均衡；顯著性增強；特征點集提取；CPD配準

0 引言

紅外和可見光獲得圖像的機制和原理的不同使得海面艦船目標紅外圖像與可見光圖像存在明顯的差異。海面艦船可見光圖像容易受太陽照射角度、海雜波反射、光照強度等因素的影響，存在大量的背景干擾。紅外圖像的成像主要依賴船體與背景的溫度差異而生成，在雨霧等弱成像條件下能夠保持較好的目標成像，背景干擾較少。

海面艦船紅外與可見光圖像之間很難存在灰度或顏色空間上的一致性特征，在同源圖像配準中比較實用的SIFT、SURF等算法在海面艦船紅外與可見光之間的配準使用中成功率幾乎為零。雖然在顏色或灰度上海面艦船兩個波段的圖像間很難找到共同特征，但是無論在哪個波段的艦船目標成像都具有邊緣輪廓的一致性，如果能夠準確地獲取海面艦船目標紅外和可見光圖像中目標的一致性邊緣點，則能夠以這些點作為兩個匹配點集，利用點的一致性漂移算法（CPD）進行點集之間的匹配。

本文利用Canny算子獲得海面艦船可見光與紅外圖像中的邊緣輪廓，然后再進行角點檢測，將獲得的角點作為配準點集。利用Canny算子進行輪廓提取能夠有效地消除圖像中的噪聲，再進行角點檢測則能有效濾除虛假角點，同時，以角點作為特征點而不是邊緣輪廓作為特征進行圖像配準能夠有效避免云層與海雜波等不規則輪廓帶來的特征集不一致性。

在實際圖像配準的應用中，天氣對紅外與可見光成像存在極大的影響，當光照不好或存在水霧、煙霧干擾成像的情況下，由于散射與吸收效應，目標在圖像中顯示不明顯。在這種情況下利用Canny算子獲得輪廓會變得十分雜亂，兩個波段圖像中檢測到的角點集之間的一致性也會變差，這給CPD配準方法帶來了極大的干擾，嚴重情況直接導致配準算法失效。要保證CPD算法的正確率與高效性，需要做到兩點：①可見光與紅外圖像中的特征點必須具有漂移一致性；②盡可能少的取能夠滿足算法需要的點集進行算法配準。

為了突出目標的存在，本文首先利用廣義直方圖均衡結合視覺顯著性增強（AIM）算法對可見光圖像進行目標區域增強，增強后圖像中目標的邊緣特征更加明顯，而內部的紋理特征會減少變弱，這種變化避免了兩個波段中艦船目標內部特征紋理角點的不一致性對CPD算法的影響，同時，特征點集的數量得到了減少，能夠提高算法效率。

1 圖像增強

1.1 廣義直方圖均衡化

利用圖像增強技術能夠使圖像具有更佳的視覺效果，使得人和計算機能夠對信息具有更好的辨別能力，更適合于參數估計，圖像分割和目標識別等方面的工作開展。傳統的直方圖均衡增強后的圖像中細節信息丟失嚴重并且存在大量的噪聲。為了克服這兩個問題，R. B. Paranjape提出了自適應鄰域直方圖增強方法，在圖像增強的同時有效保留了細節[1]。毛玉星等通過區分噪聲和有效信息來進行圖像增強的空間分布紅外圖像直方圖均衡化方法[2]；張志龍等將圖像中高頻與低頻信號分開進行直方圖增強，將結果融合獲得最終增強圖像[3]。B. W. Yoon等提出了廣義直方圖的概念[4]，劉松濤[5]等在B. W. Yoon的基礎上提出了基于廣義直方圖的圖像均衡化處理方法，有效保留了圖像的細節并完成了圖像增強，本文采用廣義直方圖增強方法對圖像進行預處理。本文算法流程如圖1所示。

傳統的直方圖是基于整數1進行像素數累加的，廣義直方圖將1分解為2個值：分數和余數，通過對每個灰度級累計分數值與余數來生成。表達式如下所示：

式中：r?[0,1]表示坐標(,)處像素額分數計數；分數值通過增加對比度增益來增強圖像對比度，余數值通過均勻分布來保護圖像對比度，r的計算方法參考文獻[5]。

用獲得的廣義直方圖替代原始圖像的傳統直方圖并進行標準化歸一化處理，然后通過概率分布直方圖映射的方式進行圖像的直方圖均衡化增強。

1.2 顯著性增強

利用廣義直方圖增強后的圖像中目標更加突出，但背景中存在對比度差異的圖像也會得到相應的增強。為了避免從背景中獲得特征點，本文對廣義直方圖增強之后的海面艦船圖像進一步實施基于視覺的顯著性增強。增強后的圖像能夠使目標區域更加突出并使背景得到抑制，有利于保證提取點集間的一致性特性。

圖1 艦船紅外與可見光圖像配準流程圖

目前，圖像顯著性增強方法有很多種，比較流行的算法有Itti[6]，AIM[7]，FTS[8]，SR[9]，PQFT[10]，SUN[11]，GCS[12]等，通過對實際拍攝的海面艦船可見光與紅外圖像的實驗發現，Itti獲得的效果比較零散且目標不完整，不能滿足本文算法需要，AIM能夠滿足本文算法需要，能夠較好地保存圖像中目標輪廓；GBVS的顯著性效果對處于邊緣的目標顯著性增強效果并不明顯；FTS容易將邊緣輪廓模糊導致邊界特征點偏移；SR獲得了顯著性區域但是信息丟失嚴重；PQFT是基于FTS算法進行的改進，在信息保留與背景抑制方面都具有比較優秀的表現，且運算速度快，能夠滿足實時性要求，但是和FTS算法一樣，容易將邊緣輪廓模糊化；SDSR，SUN，GCS等算法都存在背景干擾等問題，PBS的效果類似于PQFT，實時性方面也較為欠缺，本文采用AIM來進行目標顯著性增強。

AIM（Attention-based on Information Maximi -zation）模型利用香農的自信息度量，將圖像的特征平面變換到對應于視覺顯著性的維度上。

AIM假設：一個視覺特征的顯著性就是該特征相對于它周圍其他特征提供的信息的差別度。根據香農定理，圖像特征對應的自信息通過下式計算：

()＝－lg[()] (2)

式中：()為特征的概率密度函數。

2 圖像中特征點提取

2.1 Canny算子獲得圖像邊緣

圖像的邊緣檢測必須滿足兩個條件：①有效地抑制噪聲；②精確地提取邊緣位置。Canny算子通過對信噪比與定位乘積進行測度，得到最優化逼近算子，實現邊緣檢測。Canny算子的流程可以總結為算法1（見表1）。

表1 算法1 Canny算子提取輪廓算法

2.2 角點檢測

求和過程覆蓋了預定義的相鄰像素點。強度變化的平均值計算需要在所有可能方向上進行，因為高強度變化可能出現在任何方向。通過這個定義，進行如下測試過程：首先獲取平均強度變化最大值對應的方向，在檢查位于它垂直方向的變化是否也很強烈，同時滿足條件的即是一個角點。

對求和公式(3)進行泰勒級數展開可以近似為公式(4)：

用矩陣形式重寫式(5)：

公式(5)是一個協方差矩陣，表現的是所有方向上強度的變化率。該定義涉及圖像的一階導數，通常利用Sobel算子來進行結果計算。協方差矩陣的兩個特征值給出了最大平均強度變化以及垂直方向上的平均強度變化，角點位置的兩個特征值應該都較大。因此，角點成立的條件是協方差的最小特征值超過閾值大小即可。

為了避免特征值計算帶來的時間消耗，利用特征分解理論中的一些特性可以避免對特征值進行求解，通過計算公式(6)所示的得分值來確定特征值是滿足角點條件。

score＝Det(C)－×Trace2() (6)

式中：Det(×)是矩陣行列式；Trace(×)是矩陣的跡；是自定義的系數。可以驗證，只有兩個特征值都足夠大時score的值才足夠大。

3 點的一致性漂移算法（Coherent Point Drift, CPD）

利用前兩節介紹的算法獲得海面艦船紅外與可見光圖像的點集后，本文采用CPD算法對兩個點集進行配準。CPD算法本質上是將點集配準的過程轉化為高斯混合模型（Gaussin Mixture Model，GMM）概率密度函數的參數估計問題[13]，在點集配準過程中，CPD算法將兩個點集中的一個作為模板點集，認為模板點集作為整體按照一定變換方式向目標點集進行拓撲結構一致性的漂移運動。設Y×＝[1,2,…,y]為模板點集，X×＝[1,2,…,x]為目標點集，其中為點集中點的數量，為點的維數。以模板點集中的點作為混合高斯模型的質心，則該GMM的概率密度函數為公式(7)：

CPD算法最后采用期望最大化（EM）方法來進行尋優過程的，分為期望值（）和求解式(9)的極大化問題（步），最后求解獲得、。EM算法能夠收斂到對數似然函數的穩定點，但是極有可能求解到局部最優點，趙鍵[14]等人通過設置多個求解初始參數來解決出現局部最優的問題，實現了求解全局最優解的方法。在求解過程中，當圖與圖之間存在超過45°的傾斜角度時則需要進行全局最優求解。本文通過利用先驗信息來確定是否需要進行全局最優求解，有效避免沒必要的全局尋優帶來的耗時。

4 實驗與分析

本文使用i5 CPU，VS2012旗艦版編程，對海面實際拍攝的艦船目標紅外與可見光對進行匹配，同時，作者針對匹配情況制定了更為直觀的精度計算方式，即通過手動標定圖像對之間的位置來作為圖像配準的基準，利用本文算法計算獲得的轉換參數對標定數據集進行轉換計算，并計算整體像素偏差，以這個偏差來衡量本文算法對艦船可見光與紅外圖像間配準的精度。

假設標定點集為、，通過全局直方圖均衡化和顯著性增強后自動獲得的點集為￠、￠，首先以￠為模板點集對￠、￠兩個特征點進行CPD配準計算獲得參數、，進一步利用參數、計算向的投影，獲得投影點集2，本文通過計算2與對應點之間的偏差和平方的均值來衡量本文整體算法流程的精度，如公式(10)所示：

式中：是點集中點的數量。

本文采用圖2和圖3中兩對圖像進行配準進行算法演示。

(a)536×447 (b)768×576

圖2和圖3分別是本文實驗采用的紅外圖像和對應的可見光圖像，其中采用的第一對圖像中紅外圖像（圖2(a)）比可見光圖像（圖3(a)）要大很多，對于尺寸不同的圖像進行算法配準說明本文算法具有不同尺度圖像配準的能力，一般情況下，在多源圖像融合檢測與監視工程應用中，采樣獲得的圖像都具有相同的大小，如采用的第二對圖像（圖2(b)與圖3(b)兩幅圖）。

對艦船目標可見光圖像進行全局直方圖均衡化與顯著性增強后結果如圖所示，圖3中可見光（圖3(b)）圖像邊緣較為清晰，因此不需要進行顯著性增強處理。

增強后的圖像中存在干擾的情況，本文采用自適應閾值分割方法對圖像進行分割，從而只保留下目標輪廓區域，消除背景干擾。進一步，本文對分割后的圖像進行Canny算子計算和角點提取，獲得可見光圖像中艦船目標的輪廓特征點集。為了視覺上更加直觀，圖4中給出了對應圖像對之間獲得的特征點集在原圖上的標記以及配準后圖像。

圖4 艦船可見光圖像增強結果

為了進行精度分析，作者對圖像中特征點集進行手動標記，手動標記的精度誤差在兩個像素以內，以手動像素標記為基準，配準誤差精度如表2所示。

限于篇幅，本文僅以第二對圖像的配準映射坐標數據來說明本文算法的配準精度，實驗中用紅外圖像向可見光圖像投影獲得配準后的投影圖像。表2給出了3對坐標數據，分別為可見光圖像中的標記位置，利用紅外與可見光標記點集獲得的轉換參數計算得到的投影坐標，以本文算法獲得的參數計算得到的投影坐標。

通過表3中數據計算得手動標定誤差為1.09，本文算法匹配誤差為1.59，本文算法與標定精度之間只有0.5的差異。

通過配準精度和配準后紅外向可見光投影圖像可以得知，本文算法具有較好的海面艦船紅外與可見光圖像之間的配準精度，在可見光與紅外圖像間存在背景與紋理干擾造成輪廓特征點不一致的情況具有較好的處理能力。從圖像中特征點的標記位置來看，本文算法能夠有效濾除掉小目標造成的特征點干擾，從而使紅外與可見光艦船圖像能夠在特征點集上保持一致性，如圖5中圖像對所示。然而也可能存在如圖6中所示的情況，將較亮目標點作為特征點，這可能會對CPD算法配準帶來誤差，需要進一步改進。

圖5 第二對圖像特征點標記與配準投影結果

5 結論

本文提出的基于顯著性增強提取特征點，并通過CPD進行可見光與紅外艦船圖像的配準算法在一定程度上解決了多源圖像間無法配準的問題。本文算法利用圖像中明顯的角點作為特征點集，一方面減少了配準點的數量，另一方面通過角點數量與區域的控制，保證了角點集之間的漂移一致性，從而確保了圖像之間的配準精度，是一種切實可用的辦法。

圖6 第一對圖像特征點標記與配準投影結果

表2 本文算法投影坐標與標定投影坐標對比

表3 圖像配準的精度誤差

[1] PARANJAPE B R. Adaptive neighborhood histogram equalization for image enhancement[J]., 1992, 54(3): 259-267.

[2] 毛玉星, 楊士中. 基于空間分布的紅外圖像直方圖均衡算法[J]. 電路與系統學報, 2004, 9(6): 148-150.

MAO Yuxing, YANG Shizhong. Infrared image histogram equalization algorithm based on spatial distribution[J]., 2004, 9(6): 148-150.

[3] 張志龍, 李吉成, 沈振康. 一種保持圖像細節的直方圖均衡新算法[J]. 計算機工程與科學, 2006, 28(5): 36-38.

ZHANG Zhilong, LI Jicheng, SHEN Zhenkang. A New algorithn for image-detail-preserving histogram equalization[J]., 2006, 28(5): 36-38.

[4] YOON B W, SONG W J. Image contrast enhancement based on the generalized histogram[J]., 2007, 16(3): 033005(1-8).

[5] 劉松濤, 吳鋼. 基于廣義直方圖均衡的圖像增強新方法[J]. 電光與控制, 2010, 17(3): 12-14.

LIU Songtao, WU Gang. A novel method for image enhancement based on generalized histogram[J]., 2010, 17(3): 12-14.

[6] ITTI L, KOCH C, NIEBUR E. A model of saliency based visual attention for rapid scene analysis[J]., 1998, 20(11): 1254-1259.

[7] ITTI L, KOCH C. Computational modelling of visual attention[J]., 2001, 2(3): 194-203,.

[8] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-tuned salient region detection[C]//, 2009: 1597-1604.

[9] HOU X, ZHANG L. Saliency Detection: A spectral residual approach[C]//, 2007: 1-8.

[10] GUO Chenlei, MA Qi, ZHANG Liming. Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]//, 2008: 72-2.

[11] KANAN Christopher, TONG Mathew H, ZHANG Lingyun, et al. SUN: Top-down saliency using natural statistics[J]., 2011, 11(12): 262-275.

[12] CHENG Ming-Ming. Global Contrast based salient region detection[C]//, 2013: 1-8.

[13] Myronenko A, SONG X B. Point-set registration: coherent point drift[J]., 2010, 32(12): 2262-2275.

[14] 趙鍵, 孫即祥, 周石琳, 等. 基于全局最優的快速一致性點漂移算法[J]. 電子信息學報, 2012, 34(3): 509-516.

ZHAO Jian, SUN Ji-xiang, ZOU Shi-lin, et al. Fast coherent point drift algorithm based on global optimization[J]., 2012, 34(3): 509-516.

The Registration of Warship Infrared and Visible Images

GUO Shaojun1,2，LIU Feng1，XI Xiaoliang3

(1.,,264001,; 2.91868,572000,; 3.7,,264001,)

In the registration process which uses feature point set of infrared and visible light images, the consistency of the point sets is poor and can't always be used in registration. Focusing on the fact that the visible images are always with a lot of background and rich textures, we use the global generalized histogram equalization and significant enhancements to visible light image enhancement, make contour extraction by ‘Canny’, and then detect the corner points as feature sets from the ‘Canny’ map. For infrared ship image, the temperature difference of background and ship targets is bigger, the ship target imaging better, and less interference. This paper directly uses the ‘Canny’ operator to operate and extract the corners as feature point sets. Experimental results show that the algorithm is practical, the error is less than 3 pixels, which can satisfy the engineering demand.

generalized histogram equalization，significant enhancement，feature point extraction，CPD registration

TP391

A

1001-8891(2016)05-0403-06

2015-12-06；

2015-12-26.

郭少軍（1985-），男，湖南洞口人，助理工程師，博士研究生，主要研究圖像處理、目標識別等。E-mail：guoba2000@163.com。

國家自然科學基金（61303192）。