紅外與微光融合圖像的多尺度色彩傳遞算法

譙涵丹，富容國，王貴圓

?

紅外與微光融合圖像的多尺度色彩傳遞算法

譙涵丹，富容國，王貴圓

（南京理工大學 近程高速目標探測技術國防重點學科實驗室，江蘇 南京 210094）

針對紅外與微光的灰度融合圖像不利于人眼觀察的問題，提出了一種在YCbCr顏色空間的基于多尺度多分辨率分析的色彩傳遞算法，幫助觀察者獲取豐富的場景信息和舒適的觀察效果。該算法首先在Y通道將紅外和微光圖像進行灰度融合；然后將灰度融合圖像和彩色參考圖像的Y分量做拉普拉斯金字塔分解，比較其金字塔各層系數差異，綜合各層系數差異找出最佳匹配點；最后將參考圖像中最佳匹配點的Cb和Cr值傳輸到灰度融合圖像中，生成最終的具有自然色彩的融合圖像。實驗結果表明，本文方法生成的彩色融合圖像接近自然真實的顏色，有利于人眼對目標的觀察與場景的理解。

色彩傳遞；圖像融合；紅外圖像；微光圖像；YCbCr顏色空間

0 引言

紅外熱像儀和微光夜視儀獲取的紅外與微光圖像具有互補性，將紅外與微光圖像融合可以綜合紅外熱像儀的熱目標探測能力和微光CCD的場景觀察能力[1]。研究表明，人眼對色彩的敏感度要遠遠高于亮度的敏感度，相比于灰度融合圖像，彩色圖像能夠提供豐富的色彩信息[2]。因此，彩色融合圖像更利于人眼對目標的觀察與場景的理解。

圖像間色彩傳遞是近幾年計算機圖形學、計算機視覺領域內的研究熱點之一，觀察者能從顏色的區別上更容易地判斷目標特征，快速理解場景[3-7]。目前，國內外文獻中色彩傳遞方法可以總結為兩大類，第一類是全局傳遞[8-11]：在參考圖像和目標圖像之間做顏色整體信息的傳遞，根據參考圖像的色彩的統計特性對目標圖像的色彩進行調整，使之與前者相一致，從而獲得相似色彩。此類算法比較適合色彩分布單調的圖像，對于色彩較為豐富的圖像，其色彩傳遞的結構層次感較弱，難以突出色彩細節。第二類是點對點傳遞[12]：將參考圖像和目標圖像的像素進行點匹配運算，在匹配的像素點之間實現點對點的色彩傳遞。此類算法需要尋找評價像素點特性的指標，如果指標選取不恰當，難以準確描述像素特征，容易造成像素點的誤匹配，使得色彩傳遞的效果不佳。

針對以上問題，本文提出一種在YCbCr空間的基于多分辨分析的夜視圖像色彩傳遞方法，將白天自然光下彩色圖像的色彩特征參數傳遞于夜視融合圖像中。首先在Y通道對紅外和微光圖像進行融合，將融合圖像根據參考圖像做灰度處理；然后將處理后的融合圖像和參考圖像的拉普拉斯金字塔各層做差異比較，根據一定規則尋找最優匹配點；最后根據把參考圖像中匹配點的Cb和Cr值傳輸到灰度融合圖像中的對應像素點中。

1 灰度融合圖像的色彩傳遞

文中提出的夜視融合圖像的色彩傳遞算法是在YCbCr顏色空間進行的。首先對紅外與微光圖像進行拉普拉斯金字塔融合，得到灰度融合圖像作為彩色融合圖像的Y通道分量；將灰度融合圖像整體灰度均值和方差根據參考圖像進行調整，調整后灰度融合圖像的均值和方差與彩色參考圖像一致。然后將灰度融合圖像與參考圖像金字塔做系數差異匹配，尋找差異值最小的點，記錄該點的坐標信息，最后將參考圖像中該點的顏色信息即Cb和Cr分量傳遞給原灰度融合圖像中對應的點。本文算法的原理框圖如圖1所示。

1.1 紅外與微光圖像的灰度融合

對紅外和微光圖像的Y分量分別做2次金字塔分解，進行拉普拉斯金字塔融合。設紅外與微光圖像分別為IR和LL，融合結果為，IR和LL分別為紅外與微光圖像拉普拉斯金字塔的第層圖像，O是第層圖像融合結果，其中＝1，2，3。對金字塔1、2層采用區域能量法進行融合，其中(,)為3×3的卷積窗口，局部能量表示為：

第1層和第2層圖像融合結果為：

對于第3層即頂層圖像的融合，本文采用基于閾值分割的目標提取融合法。紅外圖像中目標一般很亮，而背景很暗，設定一個閾值，當灰度值大于閾值時，可判定其為目標；反之，則判定該像素點為背景。

在金字塔頂層，取紅外圖像的目標和微光圖像背景作為頂層融合結果：

在得到金字塔各個層次的融合圖像1、2、3后，重構得到最終的融合圖像。

1.2 基于多分辨率分解的系數差異匹配

如圖2(a)和(b)所示，原始灰度融合圖像和參考圖像的整體亮度和對比度存在差異，為了能夠準確地傳遞色彩，尋找最精確的匹配點，將兩幅的亮度和對比度調節一致，所以在Y通道里根據參考圖像對灰度融合圖像進行調節，調節后的圖像如圖2(c)所示。灰度調節公式為：

式中：和￠分別為拉伸前后灰度融合圖像；o和s為融合圖像與參考圖像的均值；o和s為融合圖像與參考圖像的方差。

基于點匹配的色彩傳遞算法是根據兩幅圖像中場景的某些特征進行匹配，在選取特征的時候，應盡可能地使選取的特征包含足夠的圖像信息。拉普拉斯金字塔各層系數代表了圖像在不同尺度不同分辨率下的特征，反映了圖像的頻率特性。圖像中不同目標區域的亮度、形狀和紋理的差異，使其相應的拉普拉斯金字塔各層系數也存在差異，因此可以通過比較各層系數區分不同目標。文中選取了道路、樹木和墻壁作為典型目標區域進行系數比較，分別用方框標記，如圖2所示。

圖2 圖像中的不同目標區域

對拉伸后的融合圖像和參考圖像分別做拉普拉斯金字塔分解，比較融合圖像和參考圖像不同目標區域在拉普拉斯金字塔各層上的系數差異。金字塔頂層是原始圖像的低通縮略圖，計算其區域均值可反映圖像相應區域的亮度信息；金字塔底層和中間層是圖像高頻系數，存在正負值，其值的大小和波動反映圖像相應區域的細節紋理特征。因此選取金字塔頂層系數的區域均值，底層和中間層系數的區域絕對值的均值和標準差，作為系數特征進行比較。每個目標選取兩個不同區域，各層系數特性如表1和表2所示。

表中Abs1和Abs2表示金字塔第1層與第2層系數絕對值的均值，Std1和Std2表示金字塔第1層與第2層系數標準差，Mean3表示金字塔頂層系數均值。

（1）驗證本次交易是否是可支付的。比特幣的所有交易記錄提供了比特幣UTXO查詢，只有當本次交易的UTXO對應的金額大于或等于收款金額時，該筆交易才是可支付的。

根據表1和表2可知，兩幅圖像中的樹木細節豐富，明暗變化快，其高頻系數絕對值均值和標準差相比道路與墻壁較大，兩幅圖的各層相應區域系數特征值比較接近；兩幅圖像道路的各層系數特征值變化范圍相近；墻面比較光滑，兩幅圖像的墻面系數標準差相比樹木與道路都較小，墻面亮度較高，頂層系數均值也相應較高，兩幅圖像墻面的各層系數特征值較為接近。由此可以看出不同圖像中的不同目標區域系數特征值差異較大，相似目標區域的系數特征值存在一定相似性，故可以選取圖像的拉普拉斯金字塔分解系數作為色彩傳遞匹配特征。

表1 參考圖像不同目標區域系數值

表2 灰度調整后融合圖像系數值

文中系數特征匹配的思路是：在Y空間對灰度融合圖像和參考圖像做系數差異匹配。拉普拉斯金字塔的生成經歷了高斯低通濾波和隔行隔列降2采樣，當前層圖像的大小依次為上一層圖像大小的1/4，故融合圖像金字塔底層中的某一個點(,)，依次對應其第二層金字塔的(/2,/2)點和頂層的 (/4,/4)點；該點(,)系數遍歷參考圖像金字塔底層，與其做差異匹配；(,)在灰度融合圖像第二層金字塔中的對應點(/2,/2)的系數遍歷參考圖像第二層金字塔系數做差異匹配，依此類推，直到頂層做完系數匹配；最后將三層金字塔的差異系數對應相加，得到灰度融合圖像中的點(,)與參考圖像在不同尺度不同分辨率下的差異總和。系數匹配如公式(5)和(6)所示：

式中：和￠分別為參考圖像和拉伸后的灰度融合圖像；s、s為參考圖像的行數和列數；/2，/2，/4，/4，/2，/2，/4，/4均為不大于自身的最大整數。

得到對應層的差異匹配系數后，將各層差異系數對應相加，就得到參考圖像和灰度融合圖像在不同層次不同分辨率上的總體差異：

式中：/2，/2，/4，/4均為不大于自身的最大整數。

1.3 色彩傳遞

公式(6)生成的差異值代表了融合圖像中的某個點與參考圖像中各點在不同層次不同分辨率上的總差異，找到最小值點記為min(,)，記錄該點的坐標信息，將該點在參考圖像中對應點的Cb和Cr顏色分量傳遞給灰度融合圖像中的對應點；利用灰度拉伸后的融合圖像做系數差異匹配是為了減小匹配誤差，使色彩傳遞更精準，但為了保持融合圖像的原始灰度特征，Y通道的亮度分量保持原灰度融合圖像中的Y分量保持不變。對于出現多個最佳匹配點的情況，本文將所有最佳匹配點的色度分量Cb和Cr取平均，用均值進行色彩傳遞。傳遞公式如下：

2 算法評價與實驗結果

2.1 彩色融合圖像評價方法

本文在HSI顏色空間對彩色融合圖像進行評價，采用基于色調紋理和色調信息量的彩色融合圖像評價準則：

1）色調分量平均梯度

式中：(,)表示點(,)的色調值。平均梯度反映了圖像中的紋理變化特征和微小細節反差，故彩色融合圖像中色調的平均梯度可反應圖像的色彩紋理變化，圖像的色調平均梯度越大，圖像的色彩層次越豐富，色彩傳遞效果越好。

2）色調分量信息熵

式中：表示彩色融合圖像色調的熵；為圖像的色調級總數；P為色調值為的像素所占比例。熵反應了圖像所含信息量的多少，故可認為圖像的色調信息熵反應了彩色融合圖像色彩的豐富程度，圖像的色調信息熵越大，所含色彩信息越豐富，色彩傳遞效果越好。

2.2 實驗結果與分析

為了驗證文中算法有效性，我們在MATLAB上進行了對比仿真實驗，將本文算法與文獻[8]全局傳遞算法、文獻[11]YUV空間的全局傳遞算法以及文獻[12]點匹配傳遞算法進行對比分析，圖3和圖4是兩組實驗結果。

從表3中可以看出，本文算法與其他3種算法相比，獲得的色調平均梯度值較高，說明本文算法獲得的彩色圖像有較好的彩色紋理；文獻[8]和文獻[11]獲得的信息熵較高，但結合實驗效果圖，圖3(e)的得到的彩色圖像不符合人眼視覺特性，圖3(f)目標不明顯，已淹沒在背景中；從圖像效果上看，圖3(g)在目標探測性和色彩傳遞效果上優于圖3(e)和圖3(f)。與圖3(g)相比，本文算法得到的彩色圖像目標更突出，顏色更鮮艷，更有利于人眼的觀察。

從表4可以看出，與其他3種算法相比，本文算法的色調平均梯度和信息熵均有較好表現，說明本文算法得到的彩色圖像有良好的色彩紋理和豐富的圖像色彩。結合圖4的實驗效果，圖4(e)傳色效果不自然，且道路和草叢的顏色沒區分開；圖4(f)傳色效果優于圖4(e)，但目標不突出，草叢和樹木的顏色相近，不易區分；圖4(g)圖像模糊，草叢與樹木的顏色未區分開。與上述3幅圖像相比，本文算法得到的彩色圖像傳色自然，符合人眼視覺特性，道路、草叢和樹木有不同顏色，景物區分度高，且目標突出，有利于觀察者對場景的理解和目標的識別。

表3 第一組實驗結果質量評價

表4 第二組實驗結果質量評價

3 結論

針對紅外與微光灰度融合圖像不利于人眼觀察的不足，本文提出了一種在YCbCr空間的基于多尺度多分辨分析的紅外與微光融合圖像色彩傳遞算法。該算法是一種點匹配色彩傳遞方法，能夠繼承彩色參考圖像的原始色彩信息，并且該算法采用多尺度多分辨分析的方法，考慮了不同目標區域在拉普拉斯金字塔不同層次上的系數特性，綜合利用拉普拉斯金字塔各層系數作為匹配準則，使得像素點的匹配更加準確，從而保證了色彩傳遞的準確性。實驗結果證明，文中算法可以得到符合人眼視覺特性的彩色夜視圖像，彩色融合圖像更利于觀察者對目標的觀察和場景的理解。

[1] 宋敏, 張蓉竹, 孫年春. 基于紅外與微光融合圖像的夜視儀設計[J]. 紅外技術, 2014, 36(11): 885-889.

SONG Min, ZHANG Rongzhu, SUN Nianchun. Design of a night vision system based on infrared and low light level imaging sensor technology[J]., 2014, 36(11): 885-889.

[2] LAND E H. Recent advances in Retinex theory[J]., 1986, 26(1): 7-21.

[3] 朱黎博, 孫韶媛, 谷小婧. 基于色彩傳遞與擴展的圖像著色算法[J]. 中國圖象圖形學報, 2010, 15(2): 200-205.

ZHU Libo, SUN Shaoyuan, GU Xiaojing. Image colorization based on color transfer and propagation[J]., 2010, 15(2): 200-205.

[4] 何永強, 王群, 王國培, 等. 基于融合和色彩傳遞的灰度圖像彩色化技術[J]. 紅外技術, 2012, 34(5): 276-279.

HE Yongqiang, WANG Qun, WANG Guope. Gray image colorization based on fusion and color transfer[J]., 2012, 34(5): 276-279.

[5] 徐銘蔚, 李郁峰, 陳念年, 等. 多尺度融合與非線性顏色傳遞的微光與紅外圖像染色[J]. 紅外技術, 2012, 34(12): 722-728.

XU Mingwei, LI Yufeng, CHEN Niannian. Coloration of the low light level and infrared image using multi-scale fusion and nonlinear color transfer technique[J]., 2012, 34(12): 722-728.

[6] 陳小娥. 兩種色彩傳遞算法適用情況研究[J]. 計算機應用與軟件, 2011, 28(9): 251-254.

CHEN Xiaoe. Study on applicable conditions of two color transfer algorithms[J]., 2011, 28(9): 251-254.

[7] 許廷發, 李俊濤, 張一舟. 真彩色傳遞雙波段圖像融合[J]. 中國光學, 2014, 7(3): 402-407.

XU Tingfa, LI Juntao, ZHANG Yizhou.True color transfer for dual band image fusion[J]., 2014, 7(3): 402-407.

[8] Toet A. Natural color mapping for multiband vision imagery[J]., 2003, 4(1): 155-166.

[9] 王鵬宇. 基于小波和色彩傳遞夜視圖像彩色融合算法研究[J]. 電子器件, 2014, 37(1): 143-145.

WANG Pengyu.Pass the color of night vision image fusion algorithm based on wavelet and color[J]., 2014, 37(1): 143-145.

[10] 楊靜, 陳昭炯. 不同顏色空間中全局色彩傳遞算法的分析研究[J]. 計算機工程與應用, 2007, 43(25): 80-83.

YANG Jing, CHEN Zhaojiong. Analysis and research of globally matching color transfer algorithms in different color spaces[J]., 2007, 43(25): 80-83.

[11] 史世明, 王嶺雪, 金偉其. 基于YUV空間色彩傳遞的可見光/熱成像雙通道彩色成像系統[J].兵工學報, 2009, 30(1): 30-35.

SHI Shiming, WANG Lingxue, JIN Weiqi. A dual-band color imaging system for visible and thermal IR images based on color transfer in YUV color space[J].II, 2009, 30(1): 30-35.

[12] WELSH T, ASHIKHMIN M, MUELLER K. Transferring color to grayscale images[J]., 2002, 21(3): 277-280.

Multi-resolution Color Transfer Algorithm for FusionImage of Infrared and Low-level light

QIAO Handan，FU Rongguo，WANG Guiyuan

(,,210094,)

In order to convert the fusion image of infrared and low-level light images into color image which accords with human visual perception, and helps observers to get rich scene information and comfortable visual effect, a color transfer algorithm based on multi-scale and multi-distinguishability in CbCrcolor space was proposed. Firstly, infrared and low-level light images were fused in Y channel. Then, the laplace pyramid decomposition was done with the gray fusion image and the reference image. The best matching point was located by comparing the coefficients of each pyramid layer of both images and finding the minimum difference value point. Finally, the Cband Crcomponents of the best matching point in reference image were transferred into gray fusion image to get the final fusion image with natural color effects. The experimental result shows that the color-transferred image has a natural color perception to human eyes, which benefits for the human eye observation of the target and understanding of the scene.

color transfer，image fusion，infrared image，low-level light image，YCbCrcolor space

TP391

A

1001-8891(2016)02-0157-06

2015-11-04；

2015-12-16.

譙涵丹（1990-），女，碩士生，主要從事圖像處理方面研究。E-mail：qhd79937@163.com。

富容國（1970-），男，副教授，碩士生導師，主要從事紅外與微光探測技術研究。E-mail：frguo@njust.edu.cn。

江蘇省產學研聯合創新資金（BY2012024），中國兵器工業集團預研項目。