像素級自適應融合的夜間圖像增強

王 成 張艷超

(1.中國人民解放軍91245部隊，遼寧 葫蘆島 125001;2.中國科學院長春光學精密機械與物理研究所，吉林 長春 130033)

1 引 言

隨著平安城市系統、智慧城市系統的大規模建設，積累了大量的視頻監控數據，為刑偵影像分析提供了大量影像數據。但是由于各監控系統性能差異較大，常常存在夜間時段采集的圖像質量整體亮度低、像質退化嚴重的現象，大大降低了圖像的應用價值[1]。因此，對于夜間圖像增強技術的研究具有重要意義。

圖像增強是通過采取某種變換手段，突出圖像中的目標細節，濾除無用信息，以便使處理后的圖像能夠更好地符合人眼的視覺特性。傳統的圖像增強法大體分為兩類[2-3]：空域法和頻域法。空域法是直接對圖像像素進行操作；頻域法在圖像的某個變換域內進行操作，再通過逆變換進行圖像增強。常見的空域法主要有灰度變換(指數變換、對數變換、伽馬變換等)、直方圖均衡、直方圖規定化等。頻域法主要有高通濾波、低通濾波、帶通濾波、同態濾波、小波變換等。隨著研究的不斷深入，衍生出了多種算法[4-11]，如基于色彩恒常性理論的Retinex方法、暗原色方法、偏微分方程法等。

夜間圖像的主要特點是圖像整體亮度較低，噪聲干擾大，圖像細節多淹沒在較低灰度范圍的背景中。灰度變換法雖然具有較好的實時性，但常常存在邊緣細節與信噪比之間的矛盾。尤其對于夜間圖像，由于含有較大的噪聲干擾，在放大細節的同時也會導致隱含噪聲隨之放大。直方圖均衡法是將灰度值以相等的概率分布在直方圖上來擴展直方圖的分布范圍，然而它容易產生過增強，使圖像過亮而使微弱信息丟失[12]。基于Retinex理論增強算法、暗原色方法、偏微分方程等方法，在算法的實時性和普適性方面受到了較大限制[13-14]。基于頻域濾波的方法，既能有效地濾除掉不需要的低頻背景，又不會影響圖像的高頻細節，更不會造成噪聲放大。因此，本文將基于頻域的高通濾波作為夜間圖像細節增強的基礎方法。為了更好地滿足人眼的視覺特點，本文還在濾波圖像的基礎上，與原始圖像進行了像素級的權值自適應加權融合，使之在增強原有圖像細節的同時又進一步增強了圖像的整體對比度，顯著提高了夜間圖像的成像質量，且其良好的實時性，也使得整體提高安防監控水平成為可能。

2 算法原理

2.1 基于高通濾波的細節增強

夜間圖像的大部分細節多淹沒在低頻暗背景中，為了進一步突出圖像細節，而不至于擴大暗背景噪聲，本文首先選用高斯高通濾波器進行暗背景濾除。高斯濾波器的傳遞函數如式(1)所示[15]。

(1)

式中：H(u,v)為高斯濾波器頻域傳遞函數，D0為截止頻率，D(u,v)為頻率域中點(u,v)與頻率矩形中心的距離。

濾波前后效果對比圖如圖1所示。

(a)原始圖像(a)Original image

(b)濾波后圖像(b) Filtered image圖1 高通濾波前后效果對比圖Fig.1 Comparison of original and high pass filtering images

由圖1可以看出，濾除低頻背景后的圖像展現出了更多的圖像細節(如圖(b)中標示出的圓形區域內的車輛，以及其他若干背景車輛)。但是，從整體上看，濾波后圖像的視覺對比度較差。這是因為，由于圖像整體亮度較暗，目標灰度與背景灰度較為接近，即使進行了濾波處理，也不能將暗目標與背景完全區分開，導致濾波后的圖像被整體“沖淡”，因此需要對圖像作進一步的對比度增強。

2.2 基于自適應融合的對比度增強

如上節所述，由于夜間圖像暗目標與背景灰度較為接近，常規的對比度增強方法[15](如對數變換、伽馬變換、直方圖均衡等)可在加深背景的同時拉低目標亮度，也可在增加目標亮度的同時使背景灰度級隨之增大。鑒于此，本文提出了一種基于像素級加權系數自適應的融合增強算法。

該算法將原始圖像暗背景像素點與濾波圖像的亮目標多細節像素點進行加權融合，即在平滑暗背景圖像上進行有選擇的增強目標的疊加，如式(2)所示。

G(x,y)=w1·GA1(x,y)+w2·GA2(x,y)，

(2)

式中：G(x,y)為融合后像素點(x,y)的灰度值；GA1(x,y)為原始圖像中像素點(x,y)的灰度值；GA2(x,y)為濾波圖像中像素點(x,y)的灰度值；w1為GA1(x,y)的權重系數，w2為GA2(x,y)的權重系數，w1和w2均為0到1之間的小數，且二者的和為1。

由于GA1(x,y)與GA2(x,y)可以從圖像中直接獲取，那么權重系數w1和w2的合理選取將直接決定了最終的圖像效果。

w1和w2選取的指導思想是，像素點(x,y)灰度值越接近背景灰度，則原始圖像對應像素點(x,y)值貢獻應加大，其相應的權值w1越大；而濾波圖像對應像素點(x,y)貢獻應削弱，其相應的權值w2越小。像素點(x,y)灰度值越接近目標灰度時，則相反。由于夜間圖像多數為暗背景亮目標圖像，那么就可以將w1表征為隨灰度增強單調遞減的函數，而w2則表征為隨灰度增加單調遞增的函數，且始終保證二者的和為1。

最簡單的單調遞增或遞減函數是線性函數，由于線性函數會導致背景和暗目標同比例放大或縮小，因此不能較好地進行目標背景區分。而對數變換函數能夠將較窄的低灰度值映射為較寬范圍的灰度值[15]，進而能更好地區分暗背景和隱藏在暗背景中的較低灰度目標。因此，本文選取灰度值的對數歸一化函數作為權重系數的變換公式。需要說明的是，為了避免GA2(x,y)=0時，對數變換為負無窮大的情況，取對數時在原有灰度的基礎上加上了偏置1，如式(3)、式(4)所示，其變換曲線如圖2所示。

(3)

w1=1-w2，

(4)

其中：Gmax為最大灰度值加1，如8位圖像，最大灰度值為255，則Gmax取值為256。r為指數常數，經過實驗效果比較，本文取值為2。

圖3為高通濾波圖像與融合后效果對比圖。從該對比圖可以看出，融合后的圖像對比度有所提高，但是由于濾波后圖像整體亮度偏暗，導致整體對比度提升效果不夠顯著。因此，在融合過程中，應進一步提升濾波后圖像在融合過程中的比例。將式(2)做進一步修正，得到式(5)。

(a)濾波后圖像(a)Filtered image

(b)融合后圖像(b)Fusion image圖3 融合效果對比圖Fig.3 Comparison of filtered and fusion images

(5)

式中，E為微調修正系數，一般選取大于1的數。此參量的選取應既能保證較好的圖像對比度，又不至于出現大量的飽和區域，該參數可根據圖像的飽和區域面積統計動態調整。本文中參數E取值為4，修正后的效果對比圖如圖4所示。

從效果對比圖可以看出，修正后的融合圖像與濾波后圖像相比，對比度得到明顯提升。與圖1中原始圖相比，在圖像細節和對比度方面均得到了顯著提升，且邊緣過渡平滑。

(a)濾波后圖像(a) Filtered image

(b)融合修正后圖像(b)Modified fusion image圖4 融合修正效果對比圖Fig.4 Comparison of filtered modified fusion images

3 實驗結果與分析

3.1 灰度圖像增強效果主觀評價

由于較常見的局部直方圖均衡、直方圖規定化、伽馬校正等方法，其處理結果與具體的增強策略、規定函數、參數選取的不同而存在較大差異，難以一一比較。因此，為了更好地驗證融合增強算法的有效性，本節將該算法與典型的直方圖均衡和對數變換算法進行比較。同時，除了上述較為常見的傳統圖像增強方法外，也有學者提出將圖像利用不同技術手段分別進行處理，而進行圖像融合，并最終實現圖像增強的方法。為了更好地驗證融合增強算法的性能，本節將與林曉春所提出的基于圖像融合的圖像增強手段進行比較[16]，對比效果圖如圖5和圖6所示。

從圖5和圖6可以看出，直方圖均衡、對數變換和融合增強都使原始圖在對比度和目標細節方面得到了明顯改善，但是經過直方圖均衡和對數變換后的圖像都出現了明顯的邊緣效應，圖像灰度變換不夠細膩平滑，整體增強效果不夠理想，而林曉春提出的算法增強效果在對比度方面較差，對于夜視環境下的圖像處理能力較為有限。因此，從主觀評價角度看，融合增強的增強效果較為顯著。

(a)原始圖像(a)Original image

(b)直方圖均衡(b)Histogram equalization

(c)對數變換(c)Logarithmic transformation

(d)融合增強(本文提出)(d)Fusion enhancement propesed in this paper

(e)融合增強(林曉春提出)(e)Fusion enhancement proposed by Prof. Lin圖5 場景一增強效果對比Fig.5 Comparison of enhancement in Scene 1

(a)原始圖像(a)Original image

(b)直方圖均衡(b)Histogram equalization

(c)對數變換(c)Logarithmic transformation

(d)融合增強(本文提出)(d)Fusion enhancement proposed in this paper

(e)融合增強(林曉春提出)(e)Fusion enhancement proposed by Prof. Lin圖6 場景二增強效果對比Fig.6 Comparison of enhancement in Scene 2

3.2 灰度圖像增強效果客觀評價

常用的圖像增強質量評價方法有對比度、信噪比、信息熵[3]。由于信噪比在計算過程中要區分感興趣的目標區域和背景區域，而對于不同應用場景(尤其是復雜場景)目標區域與背景區域較難定義，因此本節只采用圖像的對比度和信息熵兩項評價指標進行圖像增強質量評價。

圖像對比度的計算公式如下：

(6)

式中：Ii,j為中心像素點的灰度值，N為圖像局部塊內像素點的個數，Ci,j為像素點(i,j)的局部對比度，全局對比度為Ci,j均值。

圖像信息熵計算公式如下：

(7)

式中：p(k)為灰度級k的概率密度，L為最大灰度級。

分別采用式(6)、式(7)計算圖5中場景一和圖6中場景二圖像的對比度和信息熵指標，計算結果如表1和表2所示。

從表1和表2結果看出，相較于原始圖像，傳統的幾種增強算法在對比度上都得到了明顯提高，而和其他的融合增強算法進行比較，本文所提出的融合增強算法對比度數值更高。結合圖5和圖6可以看出，融合增強算法對比度從數值上略低于直方圖均衡和對數變換，主要是因為前兩種變換算法在變換后出現了明顯的邊緣效應，導致局部對比度明顯升高，進而造成對比度數值上的提高。這說明本文提出的融合增強算法更適用于夜間條件。而從信息熵評價結果看，直方圖均衡和對數變換基本沒有明顯變化，而融合增強算法卻得到了顯著改善，但效果不如林曉春所提出的融合算法。總體上看，客觀評價結果與3.1節的主觀評價結果相吻合。

表1 場景一不同算法的圖像質量評價結果

Tab.1 Results of image qualify evaluation with different algorithms in Scene 1

圖像對比度信息熵原始圖像0.734.09直方圖均衡8.804.07對數變換5.164.09融合增強(本文)3.674.60融合增強(林)0.522.34

表2 場景二不同算法的圖像質量評價結果

Tab.2 Results of image qualify evaluation with different algorithms in Scene 2

圖像對比度信息熵原始圖像1.114.97直方圖均衡5.924.92對數變換1.794.96融合增強(本文)2.905.63融合增強(林)2.043.22

3.3 灰度圖像實時性評價

對于在線圖像處理設備，為了滿足實際工程需要，算法的實時性也是衡量一種算法的重要指標。采用融合增強算法進行圖像增強，對于320×256分辨率的灰度圖像，CPU主頻為3.0 GHz硬件環境下處理時間約為9.5 ms，足以滿足標準的25 frame/s的視頻輸出間隔。且若要進一步提高算法實時性，可考慮提高計算機性能或采用GPU進行并行加速的解決辦法。而與之相對應，對于同等條件下，林曉春所提出的圖像融合算法的處理時間為7.1 ms，其圖像處理效率快于本文所提出的圖像融合增強算法。

3.4 彩色圖像處理能力評價

由于夜視環境下，灰度圖像更易進行處理，因此被廣泛應用于監控系統中。本文上述內容也主要針對灰度圖像進行分析。但彩色圖像在監控系統中也有應用，針對彩色圖像的夜視圖片，本文針對融合算法的處理能力進行了簡單的探索和研究論證。在CPU主頻為3.0 GHz硬件環境下，本文針對320×256分辨率的夜視監控彩色圖像進行了處理，處理效果如圖7所示。

(a)原始圖像(a)Original image

(b) 融合增強(本文提出)(b) Fusion enhancement proposed in this paper

(c)融合增強(林曉春提出)(c)Fusion enhancement proposed by Prof. Lin圖7 彩色圖像增強效果Fig.7 Enhancement of color image

由圖7可見，本文提出的方法在對彩色圖像進行處理時，能夠較好地保證圖像色彩不失真，圖像灰度過度自然細膩，圖像對比度明顯。與林曉春提出的增強算法相比，本算法增強效果更加顯著。經融合增強處理后，圖像的暗區域細節可見程度明顯增加，對比度也明顯提升。

彩色圖像處理具體量化指標如表3所示。

表3 彩色圖像質量評價結果Tab.3 Results of color image enhancement

由表3可知，經融合增強算法處理后的彩色圖像和原圖像相比對比度有明顯提升，而信息熵則與原圖像處理結果相比基本持平，這也進一步證實了本算法在處理彩色圖像時能夠有效提升對比度，對圖像暗區域細節具有較好的展示能力，適用于夜間圖像曝光不足情況的處理。

3.5 擴展性評價

從算法的實現原理可知，本文提出的融合增強方法還可將其中的高頻濾波部分替換為其他符合處理要求的增強算法進行自適應圖像融合，以進一步提高算法的增強效果。

4 結 論

針對夜間圖像曝光不足、對比度低的圖像特點，本文提出了結合高通濾波和像素級權重系數自適應融合的方式進行圖像增強的方法。該方法在對圖像進行高通濾波的基礎上，與原圖進行變權重系數加權融合，既有效增強了圖像細節又使圖像對比度得到了顯著提高。且圖像對比度和信息熵兩項評價指標均得到了明顯改善，與主觀評價趨勢相符合。在算法的實時性方面，對于320×256分辨率的灰度圖像，CPU主頻為3.0 GHz硬件環境下，本文的融合增強算法處理時間約為9.5 ms，足以滿足一般監控設備處理需求。此外，本算法還可將高頻濾波替換為其他符合處理要求的增強算法，從而實現變系數融合增強，以適應不同圖像場景和對處理時間的優化。因此，本算法的融合增強思想具有一定的靈活性和擴展性。