可見光與紅外融合的汽車抗暈光圖像評價方法

（西安工業大學 電子信息工程學院，陜西 西安 710021）

0 引言

夜間會車時，濫用遠光燈使駕駛員感到非常刺眼，無法看清行車路線及行人，極易導致嚴重的交通事故[1]。因此，研究汽車抗暈光有重要意義。傳統的光學原理抗暈光方法使暗處信息難以觀察[2]；紅外夜視儀的圖像無色彩、細節信息缺失嚴重[3-5]；“排洪”面陣CCD 圖像傳感器把高亮度的多余電荷排出存儲勢阱，僅降低了暈光的亮度[6]；光積分時間不同的兩路可見光融合依然存在暈光現象[7]。可見光與紅外融合的抗暈光方法[8]結合可見光圖像色彩細節信息豐富、紅外圖像無暈光的優點，為解決夜間行車的暈光問題提供了一種新途徑，具有較好的應用前景，但現有的無參考、全參考和基于視覺系統的評價方法都不能準確地評價抗暈光融合圖像的質量[9]。

其中，無參考圖像評價方法通過客觀指標評價融合圖像自身質量[10]。融合圖像消除暈光后，暈光部位的高亮度信息被剔除，導致反映亮度的均值降低；暈光消除越徹底，明暗對比度越低，暈光處的紋理細節反差越小，標準差和邊緣強度越低。全參考圖像評價方法評價融合圖像對原始圖像的信息保留度[11]。例如交叉熵，在融合圖像非暈光部位，該指標能很好地反映其對原始圖像細節信息的保留度，但在暈光部位，暈光消除越徹底，與可見光圖像相似度越低。基于視覺系統的評價方法考慮人眼的視覺效果[12]。如邊緣保持度，在融合圖像非暈光部位，該指標能很好地反映其對原始圖像邊緣、輪廓的保留度，但在暈光部位，暈光消除越徹底，暈光邊緣、輪廓等信息保留越少，結構相似度也存在同樣的問題。以上指標均出現暈光消除越徹底，融合圖像質量的客觀評價結果越差，與視覺效果不統一的現象。

針對上述問題，本文提出一種可見光與紅外融合的汽車抗暈光圖像評價方法：通過設計自適應迭代閾值法實現融合圖像的自動分區，對暈光區采用設計的暈光消除度指標衡量暈光消除的效果；對非暈光區從多角度評價色彩、細節信息的增強效果，并甄選合適的指標構成完整的評價體系，全面、合理地評判汽車抗暈光融合圖像的質量及算法的優劣。

1 可見光與紅外融合的抗暈光圖像評價原理

汽車抗暈光圖像融合的目的，與一般圖像融合不同，首要是消除高亮的暈光，再次是增強暗處的色彩、細節信息。圖1(a)可見光圖像色彩豐富、車牌較清晰，但存在明顯的暈光現象，車輛輪廓、道路邊緣、背景建筑及行人難以觀察；圖1(b)紅外圖像無暈光，輪廓細節清晰，但色彩和車牌缺失；圖1(c)采用改進IHS-Curvelet 變換[13]得到無暈光、輪廓細節清晰、色彩豐富的融合圖像。

圖1 可見光、紅外及其融合圖像Fig.1 Visible,infrared and fusion image

汽車抗暈光融合圖像同一般可見光與紅外融合圖像相比存在3 點顯著差異：①融合圖像消暈光后與可見光圖像差異顯著，暈光消除越徹底差異越大；②可見光圖像的光暈梯度及明暗邊界十分明顯，暈光消除越徹底，融合圖像原暈光部位的梯度、邊界越不明顯；③可見光圖像暈光部位的高亮度造成其他部位的亮度更暗，細節信息更不易觀察。

暈光區的高亮度使客觀評價不能真實地反映融合圖像的質量，為避免暈光干擾，將融合圖像的暈光和非暈光區分開評價。在暈光區，根據融合圖像與可見光、紅外圖像的相似度評判暈光消除的效果。與紅外圖像越相似，暈光消除越徹底，反之暈光消除越不徹底。非暈光區圖像不存在暈光干擾，采用現有的方法評價色彩、細節信息的增強效果。

2 抗暈光圖像評價方法實現

根據可見光圖像的暈光程度自動確定可見光灰度圖的暈光臨界灰度值，實現融合圖像的自動分區。針對暈光與非暈光區圖像的處理目標不同，暈光區設計暈光消除度指標衡量融合圖像暈光消除的效果，非暈光區從多角度評價色彩、細節信息的增強效果。

2.1 抗暈光融合圖像的自動分區

2.1.1 確定暈光臨界灰度值

由于暈光區的灰度值明顯高于非暈光區，根據暈光區與非暈光區交接處的灰度值劃分兩區域，即確定暈光臨界灰度值Gc。自適應迭代閾值法：以圖像灰度中值作為初始閾值T0；

式中：Inmax、Inmin分別是像素的最大、最小灰度值。利用閾值Ti將圖像分為兩區域R1和R2，計算R1和R2的灰度均值μ1和μ2；

式中：In(j)是第j個像素的灰度值；L為圖像總像素數；L1、L2分別為區域R1、R2像素數，L＝L1＋L2。計算新的閾值Ti＋1；

式中：m為圖像暈光區的分割效果滿足人眼視覺效果的自適應系數，隨暈光程度自動調節。

重復公式(2)(3)，待閾值不再變化時迭代結束，最新得到的閾值為圖像的暈光臨界灰度值Gc。

2.1.2 確定自適應系數

暈光區高亮度的信息量影響整幅圖像的灰度值，暈光信息量與暈光面積有關，則暈光面積間接影響圖像的灰度值。研究兩車會車時的暈光圖像，采集不同類型道路車輛由遠及近，暈光面積從小到大再變小的大量暈光圖像，獲得自適應系數m、暈光區與非暈光區面積比s的對應點集(si,mi)，研究發現面積比s和自適應系數m的關系接近m=a×sb+c的遞減函數，利用非線性最小二乘法擬合曲線：

式中：x、y分別是系統的輸入和輸出；f是參數θ的非線性模型；Q達到極小值時得參數估計值。

當a＝－0.6701，b＝0.07411，c＝1.175時，自適應系數m的取值使融合圖像暈光區的分割效果滿足人眼視覺效果，如下式：

2.1.3 自動分區

由暈光臨界灰度值Gc劃分兩區域，灰度值大于等于Gc的像素構成暈光區AH，反之為非暈光區

將圖1中的原始圖像和融合圖像進行分區，如圖2。

圖2 自動分區圖像Fig.2 Automatic division images

2.2 暈光消除度

為評價融合圖像的暈光消除效果，以融合圖像暈光區與可見光、紅外圖像的接近程度為參考，考慮人眼視覺感知特點和圖像的結構信息，綜合亮度、對比度、結構3 方面表征融合圖像與原圖的相似度，lR-FU，cR-FU，sR-FU分別為原圖與融合圖像的亮度相似度、對比度相似度、結構相似度：

式中：R為參考圖像，R∈{VI，IR}，VI、IR、FU 分別為可見光、紅外、融合圖像；、σ分別為圖像的均值、標準差；σR-FU為參考與融合圖像的協方差；C1、C2、C3為常數，避免分母為0。設定C3=C2/2，原圖與融合圖像的相似度指標SR-FU可表示為：

根據式(10)將融合圖像與紅外、可見光圖像的相似度作差后進行歸一化，構造暈光消除度D：

式中：D的取值范圍為[0,1]，D越接近1，融合圖與紅外圖像越接近，暈光消除越徹底。

2.3 非暈光區色彩、細節增強的評價指標

非暈光區沒有暈光信息的干擾，用現有的評價方法[14-15]從融合圖像自身特性、融合圖像對原始圖像信息的保留度和人眼視覺效果3 方面評價融合圖像的質量，并通過實驗對比與分析，甄選出合適的指標，準確、合理地評判融合圖像質量及算法優劣。

2）融合圖像對原始圖像信息的保留度方面。計算峰值信噪比（peak signal to noise ratio,PSNR）、交叉熵（cross entropy,CE）、互信息（mutual information,MI）、均方根誤差（root mean square error,RMSE）等指標。

3）人眼視覺效果方面。計算結構相似度（structure similarity index,SSIM）和邊緣保持度QAB/F。

3 實驗及結果分析

為驗證本文的評價方法能全面、合理地評判汽車抗暈光融合圖像的暈光消除效果，色彩、細節信息增強效果，以HIS（intensity,hue,saturation）變換、Curvelet 變換、IHS-Curvelet 變換、改進IHS-Curvelet變換的融合圖像為例進行評價，圖3為市郊道路對向來車開啟遠光燈約10 m 處的4種算法融合結果。

圖3 不同算法的融合圖像Fig.3 Fusion image of different algorithms

3.1 主觀評價結果

選10位擅長圖像處理的觀察者從暈光消除度、邊緣輪廓、色彩細節3 方面評判融合圖像的質量。

圖3(a)IHS變換的暈光嚴重，車輛輪廓、車牌、道路邊緣及背景建筑模糊，但色彩豐富；圖3(b) Curvelet 變換的暈光較少，細節較清晰，但缺失色彩。整體上Curvelet 變換的圖像質量優于IHS變換。

圖3(c)IHS-Curvelet 較圖3(a)，暈光消除度和清晰度明顯改善，色彩無差別，在IHS變換中融入Curvelet變換能明顯改善圖像的質量；圖3(c)較圖3(b)，暈光消除度略差，清晰度無差別，但色彩豐富。

圖3(d)改進IHS-Curvelet 較圖3(c)，暈光基本完全消除，清晰度更好，色彩無差別，圖像質量更優。

3.2 客觀評價結果

為避免主觀意識干擾，結合客觀指標從兩方面進行評判。暈光區由暈光消除度D評價暈光消除的效果；非暈光區從多角度評價色彩、細節信息的增強效果，甄選合適的指標構成完整的質量評價體系。

3.2.1 暈光區域評價結果

計算4種融合圖像的暈光消除度D如表1。

表1 暈光消除度Table1 Eliminated degree of halo

從表1看出，IHS變換的暈光消除效果最差，因IHS變換的光譜分辨率低，使融合圖像與原圖差異較大；Curvelet 較IHS變換高16.7%，暈光消除效果更好，因Curvelet 變換的各向異性，能更多地保留圖像的細節信息，與原圖結構差異更小。

IHS-Curvelet 較IHS變換提高25%，因其將IHS空間下的亮度和色彩分量分開處理，避免了光譜扭曲現象，在IHS變換中融入Curvelet 變換能提高IHS變換的穩定性；IHS-Curvelet 較Curvelet 變換提高7%，因IHS變換豐富了圖像的色彩，在Curvelet 變換中融入 IHS變換能略微提高圖像的質量。綜上，IHS-Curvelet 比兩種單一變換的暈光消除效果好。

改進IHS-Curvelet較改進前提高9.8%，效果更好，因改進的低頻系數權值自動調節融合策略[16]能剔除所有暈光信息，避免其參與融合過程。

3.2.2 非暈光區域評價結果

對非暈光區從以下3 方面評價融合圖像的質量。1）融合圖像自身特性方面。為驗證本文方法的有效性，與不分區數據進行對比，如表2所示。

從表2看出，4種算法不分區的各項指標均比非暈光區大，由于高亮度暈光信息的存在，使不分區融合圖像的均值變大；使圖像明暗對比度提高，導致標準差更大；使圖像熵值更大；暈光處一圈圈光暈使反映紋理細節的平均梯度變大；暈光處明顯的邊界使邊緣強度更大；導致空間域的活躍程度增大，空間頻率更大。不分區融合圖像因包含暈光區的無用信息，導致客觀評價結果失真。不分區指標數值變化無規律，分區后，由非暈光區指標能相對明顯地看出融合圖像的質量、算法的優劣等，因此，以非暈光區指標為研究對象。

非暈光區數據中，IHS變換的EI 數值微大于Curvelet 變換，與主觀評價矛盾，因IHS變換的光譜扭曲性使客觀評價結果失真；E和σ數值集中，整體變化趨勢小，對融合圖像質量的區分度較小；、AG、SF 數值分布合理，能明顯表達融合圖像的質量和不同算法的優劣。

2）融合圖像對原始圖像的信息保留度方面。評價結果如表3所示。

從表3看出，RMSE和PSNR 數值整體變化小，對算法優劣的區分度很小，不適合作為評判指標；CE、MI 數值相對分散，能顯著表達融合圖像對原圖信息的保留度和不同算法的優劣。

表2 融合圖像的客觀評價Table2 Objective evaluation of fusion image

表3 融合圖像對原圖信息的保留度Table3 Retained degree of fusion image to primary image

3）人眼視覺效果方面。評價結果如表4所示。

表4 融合圖像的視覺效果Table4 Visual effect of fusion image

從表4看出，SSIMFU-VI、SSIMFU-IR數值變化小，對融合圖像質量的區分度很小；QAB/F能顯著表達融合圖像對邊緣信息的保真度及不同算法的優劣。

通過對暈光區和非暈光區指標的對比與分析，甄選出暈光消除度D、均值、平均梯度AG、空間頻率SF、交叉熵CEFU-VI、CEFU-IR、互信息MIFU-VI、MIFU-IR、邊緣保持度QAB/F等9種指標作為抗暈光融合圖像的評價體系。將9種指標數據繪制雷達圖如圖4，因CE數值越小性能越好，為方便分析由CE－1表示。

圖4 評價體系的雷達圖Fig.4 Radar chart of evaluation system

由圖4看出，雷達圖面積隨算法的改進而增大，9種指標均能明顯地反映融合圖像的質量和不同算法的優劣，均表明Curvelet 變換優于IHS變換；在Curvelet變換基礎上使用IHS變換可進一步提高融合圖像的視覺效果；將低頻系數加權平均的IHS-Curvelet 變換改為權值自動調節融合策略后又可進一步改善融合圖像的視覺效果，與主觀評價結果一致。

3.3 不同場景的評價結果

為驗證本文所甄選的抗暈光融合圖像質量評價體系對不同暈光場景的適用性，采集市郊道路和市內小區兩組不同暈光場景的圖像進行試驗，圖5為市郊開啟遠光燈約15 m 處的融合結果，圖6為市內開啟遠光燈約20 m處的融合結果。其中，圖5和圖6中(a)、(b)分別為原始可見光和紅外圖像，(c)～(f)分別為IHS、Curvelet、IHS-Curvelet 及改進IHS-Curvelet 變換的融合結果。

從圖5和圖的6(c)～(f)可以看出，從左到右，融合圖像的暈光消除效果越好，車輛、背景和道路邊緣輪廓越清晰，即IHS、Curvelet、IHS-Curvelet 及改進IHS-Curvelet 變換的融合結果依次變優。

在市郊、市內兩種不同場景下，利用評價體系的9種指標進行評價，繪制雷達圖如圖7、圖8所示。從圖7～圖8中可以看出，隨算法改進，雷達圖包圍面積也越來越大，9種指標能從不同角度反映了抗暈光融合圖像質量的好壞及不同算法的優劣，與主觀評價的結果一致，驗證了本文提出的抗暈光融合圖像質量評價體系具有一定的普適性。

圖5 市郊道路約15 m 處的融合圖像Fig.5 Fusion image of suburban road at about 15 m

圖6 市內小區約20 m 處的融合圖像Fig.6 Fusion image of city community at about 20 m

圖7 市郊道路約15 m 處的雷達圖 Fig.7 Radar chart of suburban road at about 15 m

圖8 市內小區約20 m 處的雷達圖Fig.8 Radar chart of city community at about 20 m

4 結論

針對現有的可見光與紅外融合圖像評價方法不適用于評價汽車抗暈光融合圖像的問題，本文方法解決了汽車抗暈光融合圖像的客觀評價結果與人眼視覺效果不一致的問題，克服了融合圖像暈光消除越徹底評價結果反而越差的缺點，也適用于評判不同可見光與紅外融合的抗暈光算法的優劣。本文設計的自適應迭代閾值法，根據可見光圖像的暈光程度自動確定可見光灰度圖像的暈光臨界灰度值，并將融合圖像自動分為暈光區和非暈光區；在暈光區設計暈光消除度指標評價融合圖像暈光消除的效果；在非暈光區從多角度評價融合圖像色彩、細節信息的增強效果。甄選出9種指標構成完整的圖像質量評價體系，全面、合理地評價可見光與紅外融合的汽車抗暈光融合圖像。