基于OSTU的光照不均勻圖像自適應增強算法

李浩然，田秀霞，盧官宇，李華強

(上海電力大學計算機科學與技術學院，上海 200000)

1 引言

隨著各種拍照設備的廣泛應用，因光照不均勻、曝光不足等原因導致圖像細節缺失、可視性差的現象十分常見，直接影響了計算機視覺技術的發展，例如圖像的特征提取、目標識別、監控系統等[1，2]，因此，提高光照不均勻圖像對比度、過暗區域亮度，保持其它區域的亮度信息，使增強后圖像與原圖有較高的結構相似性十分重要。

近年來光照不均勻圖像增強算法已有很多研究成果。直方圖均衡化類算法對整體亮度偏暗或者偏亮具有較好的增強效果，但不能同時保證圖像的細節信息與亮度的同時增強[3，4]。伽馬校正類算法通過調整圖像高低頻部分的比例來增大兩者間的對比度，容易造成過增強和欠增強的現象[5，6]。小波變換類算法可以突出不同尺度下的細節，但無法同時保證在降低噪聲的同時保證算法復雜度較低[7，8]。基于Retinex理論的算法中最經典的有單尺度Retinex(Single Scale Retinex，SSR)、多尺度Retinex(Multiscales Scale Retinex，MSR)和彩色恢復的多尺度Retinex(Multi Scale Retinex with Color Restoration，MSRCR)算法，這三種算法無法保證同時避免顏色失真與“光暈”現象[9-11]。文獻[12]使用雙邊濾波算法估計圖像的照度分量，很好地解決“光暈”現象，但是對照度分量的估計不夠準確。文獻[13]使用多級分解的雙邊濾波算法較好的估計出照度分量，有效防止圖像的過增強、欠增強現象，但是運算復雜度過大，不利于在實踐中的應用。文獻[14]有效提高圖像的對比度，但容易產生過增強現象。文獻[15][16]有效增強圖像過暗區域的細節信息與視覺效果，但容易丟失了亮區域的細節信息。文獻[17]有效提高了過暗區域的視覺效果，但是在亮區域存在過增強現象。文獻[18]在避免圖像過增強、保亮度和突出細節三方面均取得較好的效果，但對雙邊伽馬曲線的設計不具有自適應性。

2 相關研究

2.1 Retinex理論及增強模型

Retinex是由Retina(視網膜)和Cortex(大腦皮層)這兩個詞組合而來的，它是由Edwin.H.Land在1964年建立，其基本思想是基于人類的色彩恒常性[19，20]。Retinex理論認為，事務所呈現出來的顏色是由事物對不同波長的電磁波反射能力所支配的，而不是由照射光強度支配，照射光的非均勻性對事物的色彩沒有影響，具有一致性。因此，人類能感知到的圖像F(x，y)可由照度分量圖像L(x，y)和反射分量圖像R(x，y)的乘積，成像模型[21]可表示為

F(x，y)=L(x，y)·R(x，y)

(1)

Retinex模型將圖像分解為照度分量和反射分量，其中照度分量代表原圖像中的低頻部分，反射分量代表原圖像中的高頻部分。在估計出照度分量后，即可提取出圖像的反射分量，如式

R(x，y)=F(x，y)/L(x，y)

(2)

通過對照度分量和反射分量進行調整，進而融合調整后的照度分量和反射分量，獲得增強后的圖像，其模型可表示為

Fe(x，y)=Le(x，y)·Re(x，y)

(3)

式中Le(x，y)為增強后的照度分量，Re(x，y)為增強后的反射分量，Fe(x，y)為增強后的圖像。

2.2 多尺度引導濾波算法估計照度分量

引導濾波算法、雙邊濾波算法等常用來估計圖像的照度分量。引導濾波算法和雙邊濾波算法都具有一定的保邊平滑能力，其性能受濾波尺度的影響，且引導濾波算法的時間復雜度遠低于雙邊濾波算法的時間復雜度[22]，文獻[14]提出的迭代多尺度引導濾波算法能夠很好的估計出圖像的照度分量，方法如下

L(n)(x，y)=L(n-1)(x，y)?GF(s(n)，ε(n))

(4)

式中，L(n)(x，y)為第n步照度分量；L(n-1)(x，y)為第n-1步照度圖像；s(n)與ε(n)分別為第n步尺度因子與平滑因子，GF表示引導濾波。隨著尺度因子與平滑因子的迭代增大，平均梯度的降低越慢，為簡化迭代步驟，提高迭代速度，本文迭代過程的參數設置為：L(0)為原圖像，s(1)取2，ε(1)取0.02，s(n)=s(1)×2n-1，ε(n)=ε(1)×2n-1，迭代次數為3，得到照度分量L(3)(x，y)。圖1為不同濾波算法估計照度分量圖像以及掃描線。其中，雙邊濾波算法參數為文獻[13]中第三級濾波參數r=30、σs=15，σr=15。圖1可看出雙邊濾波算法在保邊的同時只能有效模糊部分尺度的細節，本文算法能夠有效模糊不同尺度的細節，且保邊特性較好。

圖1 不同算法估計照度分量圖像的對比

2.3 伽馬曲線的特性

伽馬校正是運用數學變換對圖像的亮度值進行非線性調整，從而達到增強圖像的效果[23]。通過給定的伽馬值對像素值進行非線性映射，伽馬曲線表達式為

h(u)=uγ

(5)

式中u是輸入圖像的亮度，γ是伽馬值，h(u)是輸出的非線性映射值，不同的γ值對圖像亮度的改善效果不同。文獻[17]設計出一種雙邊伽馬校正曲線，分析了伽馬校正曲線對亮度區域的改善效果，其原理如下：

圖2(a)是0<γ<1時的伽馬曲線，圖2(b)是γ>1時的伽馬曲線，點A和點B斜率為1，坐標分別為(ua，h(ua))、(ub，h(ub))，式(5)求導得

圖2 兩種不同的伽馬曲線圖

h′(u)=γuγ-1

(6)

令h′(u)|u=u0=1，可得出u0關于γ的函數為：

(7)

表1為u0值和γ值的關系。由式(7)可看出在已知u0的條件下可求解出參數γ。圖2可看出，0<γ<1時，亮度范圍[0，ua]可以有效提高圖像過暗區域的亮度值，γ>1時，亮度范圍[ub，1]可以有效降低圖像過亮區域的亮度值，即防止過增強現象。

表1 u0值和γ值的關系

本文通過找到照度分量的過暗區域、過亮區域的分界值t1和t2，根據式(7)確定參數值分別γ1和γ2的曲線，分別得到有效提高照度分量過暗區域亮度的圖像和降低照度分量過亮區域亮度的圖像。

由于照度的分布是緩慢變化的，無法直接找出過暗區域與過亮區域，而照度分量圖像是原圖進行保邊平滑后的圖像，原圖與照度分量圖像的像素點是一一映射的關系，本文算法通過找到原圖的過暗區域和過亮區域亮度分界值，確定照度分量的過暗區域和過亮區域。

2.4 大津法確定過暗區域和過亮區域

大津法也稱最大類間方差法，該算法以最大化類間方差作為選擇標準，它按照圖像的灰度特性，將圖像分成背景和前景兩部分。鑒于方差的灰度分布均勻的一種衡量標準，圖像的前景與背景之間的方差越大，說明兩者的差別越大[24，25]。因此，對于一張大小為m×n的圖像，圖像中像素的灰度值小于閾值t的像素個數記為n0，像素灰度值大于閾值t的像素個數記為n1，則有

(8)

(9)

μ=ω0×μ0+ω1×μ1

(10)

g=ω0×(μ0-μ)2+ω1×(μ1-μ)2

(11)

將式(10)帶入式(11)，得到等價公式

g=ω0×ω1×(μ0-μ1)2

(12)

通過遍歷法找到類間方差g最大的分割閾值t，讓類間方差實現最大化分割，即意味著錯分概率最小。大津法能夠很好地分割出光照不均勻圖像中視覺效果差的背景區域，該區域作為過暗區域，與圖像中視覺較好區域的類間方差最大。

圖3為圖1(e)中掃描線與原圖的OSTU分割閾值線，可以看出找到原圖的分割閾值可以確定照度分量的過暗區域，即照度分量中像素灰度值小于分割閾值區域。

圖3 原圖、照度分量掃描線與分割閾值線

本文設計的照度分量過暗區域和過亮區域的分界值表示為

t1=mt

(13)

t2=0.368+n(1-t)

(14)

其中，t為原圖的OSTU分割閾值，系數m和n的設定分別是為了滿足：參數值為γ1的伽馬曲線能夠有效提高過暗區域亮度，t1越小，提高效果越好；參數值為γ2的伽馬曲線能夠有效降低過亮區域亮度，t2越大，降低效果越好。

本文隨機選取400幅光照不均勻圖像(200幅自本文作者拍攝，200幅來自“Veer網庫”)，圖像的OSTU分割閾值的分布見表2，可看出98.75%的分割閾值小于0.5，本文僅考慮對大部分圖像的處理，認為光照不均勻圖像的分割閾值小于0.5。在確定t1、t2時仍然存在以下問題：

表2 圖像的OSTU閾值分布

1)由表1可知，t1的值在區間[0.368，0.5)中時，會導致γ1>1，無法改善過暗區域；

2)t1的值小于且趨于0.368時，改善圖像過暗區域的效果差；

3)t2過大時，參數值為γ2的伽馬曲線降低圖像亮度效果過強，導致嚴重的亮度丟失現象。

為解決上述問題，經過多次實驗，本文設置系數為：m=0.35/0.5，n=0.2。

2.5 自適應校正照度分量

不同圖像的分割閾值能夠設計出不同的雙邊伽馬曲線，本文基于空間域將改善后的照度分量圖像與包含原照度信息的照度分量進行融合，實現照度分量的自適應校正。融合算法表示為

Le(x，y)=αLγ1(x，y)+βLγ2(x，y)+τL(3)(x，y)

(15)

其中L(γ1)(x，y)和L(γ2)(x，y)是參數值分別為γ1和γ2的伽馬曲線校正后的照度分量圖像，L(3)(x，y)是原照度分量圖像，Le(x，y)是增強后照度分量圖像，α、β、τ為照度分量融合系數，其值設置為α=β=τ=1/3。圖4單邊伽馬曲線校正后的照度分量圖像L(γ1)(x，y)、本文算法校正后的照度分量圖像Le(x，y)，以及兩種方法校正前后照度分量圖像的掃描線。圖4和圖1(c)可看出單邊校正能夠提高的照度分量的整體亮度值，本文算法有效提高了照度分量過暗區域亮度值，有效抑制了照度分量圖像其它區域的亮度值的提高。

圖4 不同算法校正前后照度分量的對比

3 算法設計

3.1 轉為HSV顏色空間

目前，大部分彩色圖像增強算法是基于RGB三基色模型，對R、G、B三個顏色通道分別進行處理，再合成彩色圖像。然而R、G、B三個分量具有很強的相關性，三者同時發生變化會造成色彩失真。HSV(hue，saturation，value)顏色空間[26]很符合人類對彩色的感知經驗，可以非常直觀地表達顏色的色調H、飽和度S和亮度V。H和S分量與人感受彩色的方式緊密相連，很符合人類視覺感受外界的知覺特性，V分量的改變不會影響圖像的顏色信息。因此，單獨對亮度V進行處理能有效避免色彩的失真，保護圖像的色彩。

3.2 反射分量的增強

圖像的反射分量中存在大量的細節信息，需要對反射分量進行拉伸處理，增大圖像的對比度，以獲得更好的視覺效果。利用下式實現全局對比度的提高

(16)

r(x，y)=1-R(x，y)

(17)

Re(x，y)=1-re(x，y)

(18)

其中R(x，y)為反射分量圖像，Re(x，y)為增強后反射分量圖像，兩者的值在區間[0，1]上，η為調整參數。式(16)是一種效果較柔和的對數拉伸函數，調整參數η越小，圖像的細節信息拉伸效果越好，本文將調整參數設置為0.3。

3.3 算法流程反射

1)將RGB圖像轉換到HSV色彩空間；

2)使用多尺度引導濾波算法估計出V分量的照度分量，根據式(2)求出反射分量；

3)使用大津法找到的V分量分割閾值；

4)基于分割閾值，根據式(7)(13)(14)設計出兩條伽馬曲線，得到分別調整照度分量不同區域亮度的兩個圖像；

5)根據式(15)，將調整后照度分量圖像與原照度分量圖像融合，得到校正后照度分量圖像；

6)根據式(16)(17)(18)拉伸反射分量得到增強后反射分量；

7)根據式(3)得到增強后的V分量，并轉換回RGB圖像。

4 實驗數據及結果分析

4.1 實驗數據

本文算法的實驗圖像有FLoor、Way、Shelf，大小為800×600，對比算法為MSR算法、對比度受限的直方圖均衡算法CLAHE，文獻[16]算法，文獻[17]算法。其中MSR算法的三個尺度為(15，80，250)。

4.2 評價指標

本文采用主觀視覺效果和客觀圖像評價指標結構相似性(structural similarity index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)來評價光照不均勻圖像增強方法。SSIM是衡量圖像相似性的指標

(19)

(20)

(21)

4.3 實驗結果及分析

分別使用MSR算法、CLAHE算法及相關文獻所提算法對Floor，Way和Shelf三種類型的圖像進行增強處理，實驗結果如圖5-圖7所示。

圖5 不同算法增強Floor后的圖像

圖6 不同算法增強Way后的圖像

圖7 不同算法增強Shelf后的圖像

對于三種類型的圖像，MSR算法相較與其它算法過度曝光了圖像，在提高圖像中較暗區域亮度的同時也提高了亮區域的亮度，這就造成了圖像對比度的降低，另外，MSR算法在圖像色彩的處理上存在明顯的失真現象，使圖像看起來整體“發白”。

對比三種圖像，CLAHE算法相比于MSR算法在在色彩的處理上有一定提高，但依然存在色彩失真的問題，從圖6(c)中可以看出，CLAHE算法對整體較暗的圖像有明顯的改善效果，但對于明暗對比度較大的圖像，如圖5(c)和圖7(c)所示，CLAHE算法在提高圖像較暗區域的亮度的同時沒有抑制亮區域的亮度，因此不具有普適性。

文獻[17]所提算法和CLAHE算法對圖像處理的結果相似，對比圖6(a)和(e)，文獻[17]所提算法的整體處理效果優于其它算法，分別將圖5(a)和圖7(a)對比圖5(e)和圖7(e)，可以看出，圖像暗區域和亮區域的亮度整體提高，造成亮區域失真，同時在對圖像色彩的處理上也存在較大的失真，因此文獻[17]所提算法同樣不具有普適性。

對比圖6(a)和(d)可以看出，文獻[16]算法在處理整體較暗圖像上的效果優于其它算法，分別將圖5(a)和圖7(a)對比圖5(d)和圖7(d)，可以看出該算法在提高較暗區域亮度的同時抑制了亮區域亮度，亮區域部分相較于原圖亮度有存在損失，這在圖7(d)中尤為明顯，因此該算法更適用于亮度分布均勻的圖像。

分別對比圖5-圖7的(b)(c)(e)(f)，可以看出本文所提算法對比MSR算法，CLAHE算法和文獻[17]所提算法，在處理圖像時不會造成色彩失真，保留了圖像更多的信息，分別將圖5-圖7中(a)與(f)進行對比，圖像中暗區域亮度明顯提高的同時不會使圖像中的亮區域亮度發生改變，對比圖7(a)和(f)，該算法在處理亮區域效果明顯優于文獻[16]所提算法，相比于其它算法，本文所提算法在保持圖像色彩的同時能有效提高暗區域的亮度，保持亮區域的亮度，因此也更具有普適性。

分別計算圖5至圖7中圖像的SSIM和PSNR，結果如表3所示：

表3 SSIM、PSNR對不同算法增強后圖像的質量評價

表3中可以看出，MSR算法和CLAHE算法所計算出的SSIM值和PSNR值整體小于文獻[16]算法、文獻[17]算法和本文算法所計算出的SSIM值和PSNR值(僅Way類型圖像在CLAHE算法中的PSNR值稍大于文獻[17]算法中的PSNR值)，在對圖5-圖7的主觀分析中得出的結果是經MSR算法和CLAHE算法增強的圖像均存在較大程度的色彩失真，尤其是MSR所處理的結果失真最為嚴重，這一點從表中的數據得到了驗證，MSR算法處理圖像所計算出的SSIM和PSNR均為最小值，雖然CLAHE算法相較于MSR算法計算出的PSNR值有所提高，但相對于其它算法仍有較大差距，表明這兩種算法在處理色彩失真和圖像質量問題上仍存在較大不足。

表3中可以看出文獻[16]算法、文獻[17]算法及本文算法所計算出的SSIM值有較大提高，說明這三種算法在處理圖像色彩失真問題上均勻較大的性能提升，但本文算法計算出的SSIM值優于文獻[16]算法、文獻[17]算法所計算出的SSIM值。另外，文獻[16]算法、文獻[17]算法所計算的PSNR值明顯小于本文算法所計算出的PSNR值，而在對圖像的主觀分析中可知文獻[16]算法存在亮度的問題，文獻[17]算法存在過增強的問題，亮度丟失與過增強會造成圖像質量下降，這也表明了文獻[16]算法、文獻[17]算法在在保持圖像質量的問題上存在較大的不足。

在對文獻[16]算法和本文算法對圖像處理的效果的主觀分析可知這兩種算法在保持圖像色彩方面效果最優，而從表中數據可以看出這兩種算法的所計算出的SSIM值較大，這也證明了文獻[16]算法和本文算法能夠更好的保持圖像原有的結構，不會造成圖像色彩的失真。從圖像的分析上看，文獻[16]算法和本文算法對Floor和Way類型的圖像有均有較好的處理效果，所計算出的PSNR值相近，但文獻[16]算法在處理Shelf類型圖像時相對比本文算法，效果明顯不足，文獻[16]算法的PSNR值小于本文算法的PSNR值，表明本文算法有更好的普適性。

綜上可知，本文算法在提高圖像暗區域亮度的同時，在保持較高的圖像色彩和結構的相似性，并且不會降低圖像質量，圖像增強的效果優于其它算法，而且本文算法具有更好的普適性，充分體現了本文算法的優越性。

5 結束語

本文算法通過對圖像的V分量分割閾值進行處理，設計出自適應調整照度分量不同區域的兩條伽馬曲線，基于空間域，將調整后照度分量與原照度分量融合，實現對照度分量的自適應校正，并且對反射分量進行增強，最終實現光照不均勻圖像的自適應增強。

綜合主觀視覺效果和客觀圖像評價指標，本文算法在增強圖像過暗區域視覺效果的同時，有效避免了過增強現象，圖像的暗區域亮度明顯提高，增強后圖像的視覺效果更好。增強后圖像與原圖的結構相似性很高，失真程度很小，具有良好的抗噪能力，充分體現了本文算法的優越性。

雖然本文算法增強效果較好，但是算法的復雜度仍然不夠低，限制了在工程領域的應用，例如監控視頻的實時增強，另外，由于圖像過暗區域所映射的反射分量區域往往存在很多噪聲的問題，將來將針對算法復雜度的優化以及反射分量去噪處理進行研究。