可見光與紅外圖像分區融合的夜視抗暈光方法

梁嘉豪，郭全民，王晗蕾

可見光與紅外圖像分區融合的夜視抗暈光方法

梁嘉豪，郭全民，王晗蕾

（西安工業大學 電子信息工程學院，陜西 西安 710021）

針對夜視暈光圖像區域特征差異大，導致融合圖像視覺效果不理想的問題，提出一種可見光與紅外圖像分區融合的夜視抗暈光方法。先采用自適應閾值迭代法確定低頻系數的暈光閾值，將低頻系數劃分為暈光與非暈光區域，在暈光區域采用非線性紅外系數權值調節策略，依據圖像暈光程度合理消除暈光；在非暈光區域采用灰度均值先驗權值調節策略，提高較亮圖像參與融合的權值，增強暗處區域的可見度。實驗結果表明，本文方法對不同程度的夜視暈光場景均具有良好的適用性，能合理且有效地消除暈光，提高夜視融合圖像的質量。

夜視抗暈光；圖像融合；紅外圖像；Curvelet變換

0 引言

夜間行車濫用遠光燈極易引發交通事故[1]。因此，研究夜視抗暈光方法用于消除暈光干擾并獲得符合人眼觀察的夜視圖像，應用于汽車安全輔助系統，可有效保障夜間行駛安全。

目前夜視主動抗暈光方法主要有：前擋風玻璃增加偏振[2]、紅外成像技術[3-5]、像素積分時間獨立可控的圖像傳感器[6]、可見光與紅外融合圖像[7-10]等。其中，結合可見光圖像分辨率高且色彩豐富、紅外圖像不受暈光干擾等優點的異源融合方法，可有效降低暈光干擾并提高圖像質量，是當前解決暈光問題的研究熱點。文獻[11]提出了一種多尺度分解融合方法，通過對低頻分量的顯著圖和殘差圖分別采用“模值取大”和“平均”規則進行融合，提高了融合圖像的清晰度并凸顯了紅外顯著信息。文獻[12]采用非下采樣剪切波變換（Nonsubsampled shearlet transform，NSST）對圖像進行分解，通過設計的自適應稀疏表示模型對低頻分量融合，有效提升了顯著信息。文獻[13]對NSST分解的高頻分量采用自適應參數的簡化脈沖耦合神經網絡（Adaptive-parameter pluse-coupled neural network，AP-SPCNN）進行融合，利用其全局耦合性與脈沖同步性提高了融合圖像清晰度。文獻[14]采用四階偏微分方程（Fourth-order partial differential equation，FPDE）分解紅外與可見光圖像，對低頻分量采用期望值最大的融合策略，有效地提升了融合圖像的顯著信息。但因暈光也屬于夜視圖像中的顯著信息，上述方法在增強圖像細節信息的同時會放大暈光區域，不利于夜間行車安全。文獻[15]在YUV色彩空間下通過Wavelet變換對低頻分量加權融合，降低了暈光干擾，但暈光信息仍參與融合，在強暈光場景中存在暈光消除不足問題。文獻[16]提出改進的IHS-Curvelet變換，通過設計的低頻紅外權值自動調節策略消除暈光較為徹底，但在暈光分布不均勻的場景，由于區域特征差異過大，易導致明暗分裂現象。

為了在不同暈光場景下均能獲得視覺效果較好的夜視圖像，本文提出一種可見光與紅外圖像分區融合的夜視抗暈光方法。通過暈光閾值將低頻系數分為暈光與非暈光區域，在暈光區著重依據圖像暈光程度合理消除暈光；在非暈光區重點提高暗處區域的可見度。

1 夜視抗暈光原理

在夜視暈光場景，可見光圖像中暈光十分刺眼，覆蓋了車輛輪廓，導致暗處行人難以觀察。在紅外圖像中車輛與行人輪廓清晰可見，但車牌、車道線、色彩等重要細節信息缺失，如圖1所示。

圖1 夜視暈光圖像

可見光圖像不同區域特征差異極大，故不同區域圖像融合處理的著重點也應不同。在高亮度暈光區域，應合理消除暈光干擾，當暈光較強時，易使駕駛員眩目影響夜間行車安全，故要盡可能地消除暈光；當暈光較弱時，避免亮度消除過度導致圖像局部過暗，故暈光消除適當即可。在低亮度非暈光區域，應有效提升圖像色彩、輪廓及紋理等細節信息，增強夜視圖像的視覺效果。為了在不同暈光場景中均能獲得視覺效果較好的夜視圖像，本文提出了一種基于分區融合的夜視抗暈光方法。

可見光圖像轉換到YUV空間后，因暈光信息主要分布在亮度分量中，故通過自適應閾值迭代法求解亮度分量的暈光臨界值，并進一步確定低頻系數的暈光閾值，將低頻系數劃分為暈光與非暈光區域。在暈光區通過構造非線性紅外系數權值調節策略合理消除暈光；在非暈光區域采用灰度均值先驗權值調節策略，提高較亮圖像參與融合的權值，提高暗處區域的可見度。高頻系數融合采用模值取大策略保留更多的細節信息。利用Curvelet變換具有各向異性的特性，保留邊緣細節并抑制周邊噪聲，有效提高了圖像的清晰度。同時僅對YUV變換的亮度分量進行融合，降低算法復雜度，提高處理效率，并避免色彩失真。

2 基于分區融合的夜視抗暈光方法

基于上述夜視抗暈光原理，本文方法的整體處理框圖如圖2所示。

圖2 圖像融合抗暈光過程

2.1 Curvelet分解

可見光圖像經YUV變換[17]獲得亮度分量，再對分量與紅外圖像分別進行Curvelet分解。二維離散Curvelet分解[18]可表示為：

式中：[1,2]表示輸入圖像；,l,k[1,2]表示Curvelet函數；分別表示分解的尺度、方向與位置。

分解后得到亮度分量和紅外圖像對應的低頻系數VI0()、IR0()，高頻系數VI()、IR()，其中上標VI、IR分別表示可見光、紅外。

2.2 低頻系數暈光閾值的確定及區域劃分

首先通過自適應閾值迭代法[19]確定可見光圖像亮度分量的暈光臨界值c。

計算第＋1次閾值T＋1為：

T＋1＝(1＋2)(2)

(3)

式中：為自適應系數；1和2分別為經閾值T分割后的兩個區域的灰度均值；In()是第個像素的灰度值；為總像素數，1和2分別為兩個區域的像素數，＝1＋2。

為了盡可能減少迭代次數，自適應系數需要根據圖像的暈光程度自動調整。研究表明暈光程度與暈光區域面積正相關，與非暈光區域面積負相關，通過實際實驗，自適應系數取為：

＝－1.73360.0253＋2.2243 (4)

式中：表示暈光與非暈光面積比。初始閾值0取亮度分量的灰度中值進行迭代計算，直到閾值不再變化時結束，最新的閾值即為暈光臨界灰度值c。

由于暈光區域高灰度值像素比較集中，進行暈光消除處理時易造成暈光臨界處明暗分裂的現象，故在c的基礎上擴大低頻系數的暈光消除范圍，低頻系數的暈光閾值L取為：

式中：為縮放因子，使消除暈光后的暈光與非暈光區域銜接更自然，?[0, 1]。通過多次計算優化，本文取＝0.65。若低頻系數位置的灰度值VI0()＞L，則該位置屬于暈光區域；反之，若VI0()≤L，則該位置屬于非暈光區域。

2.3 非暈光區域低頻系數權值調節策略

夜視圖像非暈光區整體較暗，為了增強融合圖像非暈光區的可見度，通過提高非暈光區整體較亮像素參與融合的權值，提升融合圖像暗處視覺效果。以亮度分量與紅外圖像的非暈光區灰度均值作為先驗信息，確定非暈光區域紅外低頻系數權值IRNH()：

式中：為非暈光區總像素數。

2.4 暈光區域低頻系數權值調節策略

由于暈光信息主要分布于可見光圖像的低頻分量，Curvelet分解后的可見光低頻分量在暈光區域的系數值明顯大于其他區域。因此，在暈光區隨著暈光程度變強，可見光低頻系數值變大，應增大紅外低頻系數權值，降低可見光低頻系數權值以更好地消除暈光；當逐漸遞進到暈光中心區域時，對應的紅外低頻系數權值應取大值，以徹底地消除暈光；在暈光臨界處，為了使暈光與非暈光區域明暗銜接自然，且防止暈光消除過度，應合理設置緩沖區，以非暈光區的紅外低頻系數作為暈光區域紅外低頻系數權值的基準，且要變化緩慢。根據上述思想構造暈光區域紅外低頻系數權值IRH()的非線性表達式：

式中：為約束因子，用于調節暈光消除程度。當取不同值時，紅外低頻系數權值IRH()隨可見光低頻系數VI0()的變化趨勢如圖3所示。

圖3 暈光區域紅外低頻系數權值曲線

Fig.3 Weight curves of infrared low frequency coefficient in halo region

由圖3可以看出，取值不同的函數曲線變化趨勢，均為HIR()隨0VI()的增大而增大，且變化率開始緩慢后變大，接近1時再變小。另外，對應同一0VI()不變時，越小該點的HIR()越大，因此與暈光消除程度成反比關系。根據暈光程度調整的取值，再利用式(6)調整紅外與可見光低頻系數權值，達到合理消除暈光的目的。由于暈光程度與暈光臨界值成正比關系，經過多次計算優化，將暈光臨界值c劃分為3個區間，不同區間的取值為：

為了將暈光區域的紅外低頻系數權值均勻分布在范圍[0,1]，首先對VI0()進行區間投射：

式中：VI0()表示點VI0()投射到[,]區間的低頻系數值。本文選擇[0, 4]區間投射，以VI0()為作為式(7)的輸入，得到紅外低頻系數權值矩陣IRH()。

2.5 Curvelet重構

融合后的低頻系數FU0()為：

式中：IR()為紅外低頻系數權值矩陣，可表示為：

高頻系數融合采用模值取大策略，可獲得更多的紋理細節信息[20]。融合后的高頻分量FU()為：

頻域的離散Curvelet變換表式為：

利用式(13)將FU0()與FU()進行Curvelet重構，得到新亮度分量￠，再將其與、分量進行YUV逆變換得到最終的融合圖像。

3 實驗及分析

為驗證本文方法的有效性，本文在兩種不同道路暈光場景采集了對向車輛由遠及近的可見光與紅外圖像，分別采用NSST[12]、AP-SPCNN[13]、FPDE[14]、YUV-WT[15]、IIHS-CT[16]等5種融合方法與本文方法進行實驗對比。為了避免高亮度暈光信息干擾融合圖像的評價結果，本文采用文獻[19]提出的自適應分區質量評價方法對融合結果進行客觀評價。采用暈光消除度HE指標對暈光區域的暈光消除效果進行評價，值越大表明暈光消除越徹底。采用均值、平均梯度（AG）、邊緣強度（EI）、空間頻率（SF）等指標對非暈光區域進行評價，越大表明非暈光區域亮度越高，AG越大表明圖像細節反差的變化速率越大；EI越大表明圖像的邊緣細節越明顯；SF越大表明圖像空間域變化越強。

3.1 對向車輛距離較遠的暈光場景

夜間對向車輛較遠時，圖像整體偏暗。可見光圖像中暈光較弱，路況等信息受益于暈光變得更加明顯，但暈光部位側方和后方區域缺乏光源，車輛輪廓、行人難以觀察；紅外圖像中車輛輪廓與行人清晰可見，但路面狀況、色彩等信息缺失。圖4與圖5分別為場景1與場景2的原始圖像及不同算法的融合圖像。

從圖4與圖5可以看出，在整體清晰度方面，YUV-WT與NSST相較于其他5種算法融合圖像的清晰度欠佳。在暈光消除方面，NSST、AP-SPCNN、FPDE以及YUV-WT在車燈附近仍有光斑殘余，暈光消除程度明顯不如IIHS-CT與本文算法。在行人、車輛等信息的顯著程度與圖像整體亮度方面，本文算法的行人與車輛輪廓相較于其它5種算法更顯著，且圖像整體亮度更好。場景1與場景2各算法融合圖像的客觀評價結果如表1與表2所示。

Table 1 場景1融合圖像的客觀評價指標

由表1與表2知，IIHS-CT與本文算法都設計了暈光消除的低頻融合規則，所以HE明顯高于其他4種算法，其中本文算法HE最高，在場景1中相較于其他5種抗暈光算法分別提升了24.7%、26.5%、8.7%、50.1%、5.3%，在場景2中相較于其他5種抗暈光算法分別提升了12.7%、13%、3.4%、38.4%、5.6%。在非暈光區域，本文算法設計了灰度均值先驗權值調節策略，通過提高較亮圖像參與融合的權值有效提升融合圖像的亮度，指標在場景1中相較于其他5種算法分別提升了10.2%、20.5%、17%、20.8%、13.9%，在場景2中相較于其他5種算法分別提升了7.1%、15%、15.4%、24.1%、14.3%。由于Curvelet變換的各向異性，對邊緣信息更敏感，所以本文算法與IIHS-CT融合圖像的AG、EI與SF指標相較于其它4種算法明顯提高，但IIHS-CT暈光消除范圍過大，導致圖像非暈光區域整體較暗，變化率與細節反差小，故相較于本文方法的AG、EI與SF指標較低。在兩種場景下，本文算法的各項指標均高于其它5種方法，驗證了本文方法在對向車輛距離較遠的暈光場景的有效性。

Table 2 場景2融合圖像的客觀評價指標

3.2 對向車輛距離較近的暈光場景

當對向車輛較近時，多個車燈形成的暈光部位連成一個較大區域，十分炫目極易造成交通隱患。可見光圖像的高亮度暈光覆蓋了車輛輪廓，路面受益暈光變得明顯，但也導致暗處區域更加難以觀察；紅外圖像無暈光且目標輪廓清晰，但會丟失車道線等重要信息且細節模糊，無色彩。圖6與圖7分別為場景3與場景4的原始圖像及不同算法的融合圖像。

由圖6與圖7可看出，NSST與YUV-WT算法融合的圖像在兩種場景中較為模糊，邊緣細節的清晰度較差，行人顯著度不足。除了IIHS-CT與本文算法，其他4種算法處理融合圖像在場景4中的暈光消除不足，在車燈附近暈光仍比較嚴重。IIHS-CT在兩種場景中均暈光消除過度，導致暈光臨界處兩側明暗差異較大，整體視覺效果較差。本文算法相較于其他5種算法，暈光消除較好，車輛輪廓更清晰，整體亮度更符合人眼視覺。場景3與場景4融合圖像的客觀評價結果如表3與表4所示。

Table 3 場景3融合圖像的客觀評價指標

Table 4 場景4融合圖像的客觀評價指標

由表3與表4可知，本文算法與IIHS-CT變換都針對低頻部分的暈光信息設計了暈光消除策略，因此兩種場景中HE指標明顯高于其它4種方法。在場景4中，雖然IIHS-CT的HE最高，但暈光臨界處明暗分裂明顯，影響圖像整體視覺效果，而本文算法暈光消除范圍控制較好，獲得圖像的視覺效果更好。YUW-WT與NSST分別在場景3與場景4中最高，但行人顯著度較差。AP-SPCNN與FPDE能較好保留圖像顯著信息，但暈光本身也屬顯著信息，導致上述算法在暈光較強場景中的融合圖像較高而HE較低，暈光信息依然存在，導致車輛輪廓比較模糊。本文算法與IIHS-CT利用了Curvelet變化對邊緣信息更敏感的特性，相較于其他4種算法邊緣信息保留的更多，圖像更清晰，故AG、EI與SF較高。另一方面，由于IIHS-CT不能有效地控制暈光消除范圍，導致部分非暈光區域亮度較低，灰度變化率變小，所以AG、EI與SF相較于本文算法較低，驗證了本文算法在對向車輛距離較近的暈光場景的有效性。

3.3 結果討論

通過以上的分析可知，NSST、AP-SPCNN、FPDE、YUV-WT算法在強暈光場景中存在暈光消除不足。IIHS-CT方法暈光消除徹底，但存在因暈光消除過度造成嚴重的明暗分裂現象，適用性較差。本文算法針對不同區域特征采取不同權值調節策略，在不同暈光場景中均能有效消除暈光，提升融合圖像質量，普適性較好。

4 結論

本文提出的基于可見光與紅外圖像分區融合的夜視抗暈光方法，較好地解決了現有夜視抗暈光融合圖像視覺效果不理想的問題。該方法能較好地控制暈光消除，并有效提高暗處色彩、細節的可見度，獲得的融合圖像更適合人眼觀察。不同暈光程度場景下的實驗結果表明，本文方法相較于對比的5種圖像融合方法普適性更好，對提高夜間行車安全具有重要意義，也可為交通感知、安全監控等領域中的低照度逆光圖像采集提供一種解決方案。

[1] 安軒. 濫用遠光燈致事故發生要擔責[J]. 道路交通管理, 2021(1):75.

AN Xuan. Taking responsibility for accidents caused by misuse of high beams [J]., 2021(1): 75.

[2] Marsell E, Bostrom E, Harth A. Spatial control of multiphoton electron excitations in InAs nanowires by varying crystal phase and light polarization[J]., 2018, 18(2): 907-915.

[3] Ashiba H I, Ashiba M I. Super-efficient enhancement algorithm for infrared night vision imaging system[J].., 2021, 80: 9721-9747. DOI: 10.1007/s11042-020-09928-w.

[4] YUAN Yubin, SHEN Yu, PENG Jing, et al. Defogging technology based on dual-channel sensor information fusion of near-infrared and visible light[J]., 2020, DOI:10.1155/2020/8818650.

[5] Ashiba H I. Dark infrared night vision imaging proposed work for pedestrian detection and tracking[J]., 2021, 80: 25823–25849. DOI: 10.1007/s11042-021-10864-6.

[6] 王健, 高勇, 雷志勇, 等. 基于雙CCD圖像傳感器的汽車抗暈光方法研究[J]. 傳感技術學報, 2007(5): 1053-1056.

WANG Jian, GAO Yong, LEI Zhiyong, et al. Research of auto anti-blooming method based on double CCD image sensor[J]., 2007(5): 1053 -1056.

[7] QIAO Tianzhu, CHEN Lulu, PANG Yusong. Integrative multi-spectral sensor device for far-infrared and visible light fusion[J]., 2018, 8(2): 134-145. Doi:10.1007/s13320-018-0401-4.

[8] HU Haimiao, WU Jiawei, LI Bo. An adaptive fusion algorithm for visible and infrared videos based on entropy and the cumulative distribution of gray levels[J]., 2017, 19(12): 2706-2719. Doi: 10.1109/TMM.2017. 2711422.

[9] 裴佩佩, 楊艷春, 黨建武, 等. 基于滾動引導濾波器和卷積稀疏表示的紅外與可見光圖像融合方法[J]. 激光與光電子學進展, 2022, 59(12): 56-63.

PEI Peipei, YANG Yanchun, DANG Jianwu, et al. Infrared and visible image fusion method based on rolling guidance filter and convolution sparse representation[J]., 2022, 59(12): 56-63.

[10] 蔣一純, 劉云清, 詹偉達, 等. 基于圖像退化模型的紅外與可見光圖像融合方法[J]. 電子與信息學報, 2022, 44(12): 4405-4415. DOI: 10.11999/JEIT211112.

JIANG Yichun LIU Yunqing ZHAN Weida, et al. Infrared and visible image fusion method based on rolling guidance filter and convolution sparse representation [J].2022, 44(12): 4405-4415. DOI: 10.11999/JEIT211112.

[11] CHEN J, WU K, LUO L. Multiscale infrared and visible image fusion based on phase congruency and saliency[C]//2020, 2020: 224-227. DOI: 10.1109/IGARSS39084.2020.9324363.

[12] 王昭, 杜慶治, 董安勇, 等. 基于非下采樣剪切波變換的紅外與可見光圖像融合[J]. 光電子·激光, 2020, 31(10): 1062-1073.

WANG Zhao, DU Qingzhi, DONG Anyong, et al. Infrared and visible image fusion based on nonsubsampled shearlet transform[J]., 2020, 31(10): 1062-1073.

[13] ZHANG L, ZENG G, WEI J, et al. Multi-modality image fusion in adaptive-parameters SPCNN based on inherent characteristics of image [J]., 2022, 20(20): 11820-11827. DOI: 10.1109/JSEN.2019. 2948783.

[14] 高雪琴, 劉剛, 肖剛, 等. 基于FPDE的紅外與可見光圖像融合算法[J].自動化學報, 2020, 46(4): 796-804.

GAO Xueqin, LIU Gang, XIAO Gang, et al. Fusion algorithm of infrared and visible images based on FPDE[J]., 2020, 46(4): 796-804.

[15] 郭全民, 董亮, 李代娣. 紅外與可見光圖像融合的汽車抗暈光系統[J].紅外與激光工程, 2017, 46(8): 171-176.

GUO Quanmin, DONG Liang, LI Daidi. Vehicles anti-halation system based on infrared and visible images fusion[J]., 2017, 46(8): 171-176.

[16] 郭全民, 王言, 李翰山. 改進IHS-Curvelet變換融合可見光與紅外圖像抗暈光方法[J]. 紅外與激光工程, 2018, 47(11): 440-448.

GUO Quanmin, WANG Yan, LI Hanshan. Anti-halation method of visible and infrared image fusion based on improved IHS-Curvelet transform [J]., 2018, 47(11): 440-448.

[17] 何惜琴, 陳冬冬. 基于YUV顏色模型與導向濾波的圖像去霧算法[J].液晶與顯示, 2021, 36(8): 1166-1173.

HE Xiqin, CHEN Dongdong. Image defogging algorithm based on YUV color model and guided filtering[J]., 2021, 36(8): 1166-1173.

[18] 王麗, 苗鳳娟, 陶佰睿. 結合Curvelet變換和LSWT的多聚焦圖像融合算法[J]. 計算機工程與科學, 2015, 37(6): 1203-1207.

WANG Li, MIAO Fengjuan, TAO Bairui. A multi-focus image fusion algorithm based on Curvelet transform and LSWT[J].,2015, 37(6): 1203-1207.

[19] 郭全民, 柴改霞, 李翰山. 夜視抗暈光融合圖像自適應分區質量評價[J]. 電子與信息學報, 2020, 42(7): 1750-1757.

GUO Quanmin, CHAI Gaixia, LI Hanshan. Quality evaluation of night vision anti-halation fusion image based on adaptive partition[J]., 2020, 42(7): 1750-1757.

[20] LI W, LI Z, LI S. Infrared and visible image fusion via multi-scale edge-preserving filtering and pulse-couple neural network[C]//2021 7th, 2021: 742-746. DOI: 10.1109/ICCC54389.2021.9674474.

Night Vision Anti-halation Method Based on Partition Fusion of Visible and Infrared Images

LIANG Jiahao，GUO Quanmin，WANG Hanlei

(,,710021,)

The imperfect visual effects in fused images are caused by the large difference between the regional features of night-vision halation images. To address this problem, a partition fusion method for visible and infrared images is proposed. First, the halation threshold of the low-frequency coefficient, determined by the adaptive threshold iteration method, divided the low-frequency coefficient into halation and nonhalation regions. In the halation region, the proposed nonlinear adjustment method for the infrared coefficient weights eliminated halation according to the degree of halation in the image. In the nonhalation region, the weight adjustment method based on the prior grayscale mean was applied to improve the weight of brighter images participating in the fusion to enhance the visibility of dark areas. The experimental results show that the proposed method can be applied to night-vision halation scenes of different degrees to eliminate halation and improve the quality of night-vision image fusion.

night vision anti-halation, image fusion, infrared Image, Curvelet transformation

TP391.4

A

1001-8891(2023)07-0714-07

2022-09-11；

2022-11-23.

梁嘉豪（1997-），男，碩士研究生，主要研究方向：圖像處理與機器視覺。E-mail：kouhaoshi58300@163.com.

郭全民（1974-），男，教授，博士，主要從事智能感知與信息處理、圖像處理及機器視覺方面的研究。E-mail：guoqm@163.com。

國家自然科學基金(62073256)，陜西省重點研發計劃項目（2019GY-094，2022GY-112）