紅外與X光圖像融合方法研究

陳樹越，劉金星，丁 藝，董 偉

(常州大學信息科學與工程學院，江蘇 常州213164)

1 引言

紅外熱成像檢測技術由于具有無損傷、非接觸式、可靠性好的優點，因而被廣泛應用于工業中的缺陷檢測、故障診斷等領域［1］。紅外與可見光圖像的融合，可以得到構件表面的熱輻射圖，同時還含有豐富的背景信息。常見的紅外與可見光圖像融合的方法有小波融合、金字塔融合、像素平均加權融合等方法［2－4］。X光具有很高的穿透本領，能透過許多對可見光不透明的物體。工業上用于探傷，X光可以激發熒光，使感光乳膠感光，故X光可作用于電離計、閃爍計數器和感光乳膠片等來進行構件的缺陷檢測［5］。

紅外圖像與X光圖像進行融合，不僅能獲得構件表面的溫度場分布，還可以透過構件內部獲得不可視零部件的結構，進而判斷和追蹤熱輻射來源，使得圖像的信息更加豐富。本文在分析紅外與可見光融合的基礎上，提出了紅外圖像與X光圖像的融合方案。采用交互式選擇配準點的方法對他們進行圖像配準，然后用灰度加權平均法對圖像進行融合。通過實驗，我們得出了融合后的圖像，從圖像中可以獲得構件內部的分布及溫度場分布，并對融合后的圖像進行了質量評價。

2 圖像配準與融合

2．1 圖像配準

圖像配準是將兩幅或者多幅從不同視角、在不同條件或時間下獲得的關于同一場景的圖像進行最佳匹配的過程，從而去掉待配準圖和標準圖在幾何上的差異，如旋轉，平移和變形，使得相同目標在不同的圖像上具有相同的坐標［6］。

可以將圖像配準定義為:

式中，P1、P2分別為待配準圖像和參考圖像，兩幅圖像在點(x，y)處的灰度值分別表示為P1(x，y)，P2(x，y);L和F分別表示一維灰度變換函數和二維灰度變換函數，F可以用一些常見的空間變換模型表示，如仿射變換、投影變換等［7］，本文采用了仿射變換。

圖像特征的配準方法根據在特征點提取的過程中是否需要人為介入，可以將基于特征點的配準方法分為自動配準和交互式配準。自動配準方法是使用各種角點算法提取出待測圖像特征點，然后通過某種算法除去不一致的特征點，獲得可靠的特征點對。交互式配準方法分別在參考圖像和待配準圖像上選取特征點對，這個過程是由人主觀選取的。對紅外圖像和X光圖像的融合，由于它們在灰度和特征信息上還存在著較大的差別，很難通過自動配準的方法精確地選取到一致的特征點。所以，本文采用交互式配準的方法。

2．2 圖像融合

灰度加權平均法圖像融合算法對原圖像的像素值直接取相同的權值，然后進行加權平均得到融合圖像的像素值，得到一幅新的融合圖像。加權平均法不需要對圖像進行任何變換，也不需要考慮像素之間的關系。假定融合的源圖像分別為f1和f2，圖像大小為M×N，融合圖像為f，則融合過程可以表示為［8］:

式中，m表示圖像中像素的行號，m=1，2，3，…，M;n表示圖像中像素的列號，n=1，2，3，…，N;w1，w2為加權系數，一般情況下，w1+w2=1。

3 質量評價

對同樣的兩幅圖像，不同的融合方法可以得到不同的融合圖像，并且不同的融合方法有不同的優點。因此，對融合圖像進行質量評價，有助于我們選擇適當的圖像融合算法和改進現有的融合算法。

客觀評價主要有:熵、平均梯度、標準差、均方根誤差、信噪比、峰值信噪比、聯合熵、偏差與相對偏差、交互信息量。由于在實際應用中很難得到融合圖像的標準圖像，因此，對于紅外與X光圖像融合效果，可以采用圖像的熵、平均梯度、標準差等來評價圖像融合前后的變化和融合圖像質量。

設f和g為M×N的源圖像，r為融合圖像。L為圖像灰度級數，h(i)為圖像的歸一化直方圖，hf，g(i)為f和g的歸一化聯合直方圖。所采用的評價融合圖像的幾種方法如下:

(1)熵:反映圖像攜帶平均信息量的多少，熵越大，圖像攜帶的信息量越豐富［9－10］。

(2)標準差:圖像中像素的灰度與整幅圖像平均灰度相比的離散情況，標準差越大，圖像的灰度分布越分散，說明圖像的對比度就越大［11］。

(3)平均梯度指圖像的邊界或影線兩側附近灰度有明顯差異，即灰度變化率大，這種變化率的大小可用來表示圖像清晰度。它反映了圖像微小細節反差變化的速率，即圖像多維方向上密度變化的速率，表征圖像的相對清晰程度［12］。

其中，f(m，n)表示圖像中點(m，n)的灰度大小。圖像的平均梯度越大，說明圖像越清晰。

4 實驗結果及分析

電路在工作中，其中的元器件會產生熱量，實驗以電路板為研究對象，對其進行了X光與紅外圖像融合，并對實驗結果進行了分析。首先，采用紅外熱像儀和數字X光成像機獲取紅外與X光圖像，如圖1所示。

圖1 紅外與X光圖像

由于在一幅圖像中，圖像的灰度變化大多存在于低頻部分，而圖像的邊緣和線條等細節通常存在于高頻部分。因此，為了使圖像的輪廓變得更突出，線條變得更清晰，先對X光圖像進行高通濾波處理，處理后的圖像如圖2所示。然后，再以圖2為基準圖像，對紅外圖像進行配準，用交互式選擇配準點的方法得到配準的紅外圖像，如圖3所示。

采用灰度平均融合法對圖2與圖3圖像進行融合，得到融合后的圖像，如圖4所示。通過融合實驗結果可以清晰地觀察到電路板所反映的溫度信息和內部結構細節。

圖2 高通濾波的X光圖像

圖3 配準后的紅外圖像圖

圖4 融合圖像

由于不存在標準的融合圖像，因此，采用熵、標準差和聯合熵來客觀評價獲得的融合圖像。由于本實驗中主要是獲得構件內部溫度場分布和細節，尤其是芯片的溫度場分布，因此，選取芯片附近互相對應的的區域進行融合質量評價，如圖5所示，評價結果如表1所示。

圖5 相對應的區域圖像

由表1可知，融合圖像熵值比紅外圖像大，比X光小，這是因為圖像的信息熵表示圖像中灰度分布的聚集特征所包含的信息量，即灰度的起伏量。表明X圖像最為清晰，而融合后的圖像次之。融合圖像的標準差和平均梯度都介于紅外圖像和X光圖像之間，表明它在繼承了兩幅圖像的信息基礎上進行了折中，既包含構件的溫度場分布，同時也反映了構件內部清晰的結構。實驗表明融合后的圖像盡管沒有X光圖像清晰，但它能表達溫度場信息，而比紅外圖像對構件的細節描述上更加清晰。

表1 評價結果

5 結論

提出了X光和紅外圖像的融合，結合了相關的質量評價參數來評價圖像。通過實驗，得到了紅外與X光圖像的融合圖，可以直觀地獲得構件表面和內部結構的溫度場的分布，為了驗證實驗的融合效果，還進行了融合圖像的質量評價，從主觀上來看，融合圖像在溫度和構建內部細節上的表達很明顯，效果較好。同時，通過客觀評價實驗，表明融合圖像所選擇的三種客觀評價指標都介于兩者之間，因此，融合圖像在保留了構件內部結構清晰的前提下還包含有圖像豐富的溫度場信息。

［1］ GUO Tiantai．Application of infrared thermal imaging technique in non－destructive testing［J］．Machine Tool＆Hydraulics，2004(2):110－111．(in Chinese)郭天太．紅外熱成像技術在無損檢測中的應用［J］．機床與液壓，2004(2):110－111．

［2］ TAO Shifeng，WANG Yihong．Application research on wavelet fusion technology in image segmentation algorithm［J］．Measurement＆Control Technology，2014，33(2):39－42．(in Chinese)陶士鳳，王亦紅．小波融合技術在圖像分割算法中的應用研究［J］．測控技術，2014，33(2):39－42．

［3］ HU GANG，LIU Zhe，XU Xiaoping，et al．Research and recent development of image fusion at pixel level［J］．Application Research of Computers，2008，25(3):651－652．(in Chinese)胡鋼，劉哲，徐小平，等．像素級圖像融合技術的研究與進展［J］．計算機應用研究，2008，25(3):651－652．

［4］ Sheng Zheng，Wen Zhongshi，Liu Jian，et al．Multisource image fusion method using support value transform［J］．IEEE Transactions on Image Processing，2007，16(7):1183－1837．

［5］ ZHENG Jinzhou，LU Shaodong．The application of X－ray technology in sectuirty inspection domain［J］．CT Theory and Applications，2012，21(2):357－361．(in Chinese)鄭金州，魯紹棟．X射線技術在安檢領域的應用［J］．CT理論與應用研究，2012，21(2):357－361．

［6］ YUAN Jinsha，ZHAO Zhenbing，GAO Qiang，et al．Review and prospect on infrared/visible image registration［J］．Laser＆Infrared，2009，39(7):693－699．(in Chinese)苑津莎，趙振兵，高強，等．紅外與可見光圖像配準研究現狀與展望［J］．激光與紅外，2009，39(7):693－699．

［7］ WU Xueling，REN Fu，DU Qingyun．Spatial information augmented representation using affine transformations registration［J］．Computer Engineering and Applications，2010，46(3):16－17．(in Chinese)武雪玲，任福，杜清運．仿射變換虛實配準的空間信息增強表達［J］．計算機工程與應用，2010，46(3):16－17．

［8］ WANG Ke，OU Yangning．Study of image fusion and evaluation methods［J］．Video Engineering，2007，31(1):20－21．(in Chinese)王珂，歐陽寧．圖像融合技術及評價方法［J］．電視技術，2007，31(1):20－21．

［9］ ZHENG Yongan，SONG Jianshe，ZHOU Wenming，et al．Objective evaluation method for image fusion based on image quality index［J］．Systems Engineering and Electronics，2006，28(3):463－466．(in Chinese)鄭永安，宋建社，周文明，等．基于質量因子的圖像融合客觀評價方法［J］．系統工程與電子技術，2006，28(3):463－466．

［10］Deepak Kumar Sahu，M P Parsai．Different image fusion techniques－a critical review［J］．International Journal of Modern Engineering Research，2012，2(5):4299－4300．

［11］LI Guangxin．Fusion technology of infrared and visible images［D］．Changchun:Jilin University，2008．(in Chinese)李光鑫．紅外和可見光圖像融合技術研究［D］．長春:吉林大學，2008．

［12］WANG Haihui，PENG Jiaxiong，WU Wei．Comparison of the methods of evaluating the performance of multi－sensor image fusion［J］．Infrared and Laser Engineering，2004，33(2):189－193．(in Chinese)王海暉，彭嘉雄，吳?。u價多傳感器圖像融合效果方法的比較［J］．紅外與激光工程，2004，33(2):189－193．