基于灰度變換及改進Retinex 的低照度圖像增強

游達章，陶加濤，張業鵬，張敏

（1.湖北工業大學 機械工程學院，湖北 武漢 430068；2.湖北省現代制造質量工程重點實驗室，湖北 武漢 430068；3.湖北工業大學 工程技術學院，湖北 武漢 430068）

0 引言

隨著電子產品的更新速度越來越快，人們所追求的圖像像素越來越高，圖像質量也越來越好，但由于光、霧等環境的影響，圖像質量可能達不到期望效果。同時在工程應用中，因為圖像重要信息量的丟失，會導致定位、識別的準確率不高的問題。為此需對圖像進行處理。通過人工觀察或計算機分析方法，減輕或消除圖像的退化，或為某種目的改善圖像[1-2]。

近年來，Retinex 理論方法憑借其圖像增強效果顯著，易于實現的特點，成為了國內外學者的研究熱點[3]。Retinex 理論[4]由美國物理學家Edwin.H.Land在1997 年首次提出，經過幾十年的發展，已經從單尺度（single-scale retinex,SSR）發展到多尺度加權平均Retinex 算法（multi-scale retinex,MSR）、加入色彩恢復因子的MSRCR（multi-scale retinex with color restoration）算法以及一些派生算法和各種算法結合的方法等等。Shao等[4]提出拉基于融合增強的MSR 方法，將MSR 結果和低光級圖像通過像素灰度值相關權重機械能融合，圖像的光暈被明顯抑制，但圖像存在著邊緣模糊、退化的問題；牟琦等[5]對Retinex 進行了改進，通過引導濾波和高頻提升來增強圖像的細節，用低秩分解去除噪聲，較好地提升了圖像質量，但圖像側影處理的效果不佳；許鳳麟等[6]提出了彩色加權引導濾波-Retinex 算法，在提高圖像對比度的同時對圖像的邊緣信息加強，避免了邊緣信息缺失的問題，但圖像的紋理細節不夠清晰；Jong等[7]提出了基于非線性映射函數的Retinex 模型，估計亮度和重建亮度之間的關系用于重建色度通道，提高了對比度，消除了圖像的暈影和色彩失真。

除了用關于光照算法去實現圖像增強，還有很多學者致力于用灰度變換函數去改變圖像的灰度值，以達到調整圖像對比度與亮度、增強圖像的目的。Gao等[8]提出了一種改進的灰度變換算法，在彩色圖像增強的同時，以RGB 進行處理空間，很大程度上改善了顏色缺失，但圖像細節不夠清晰；Sun等[9]提出了低復雜度的自動對比度增強方法，利用高頻分布估計強度加權矩陣，來控制高斯擬合曲線并塑造對比度增益分布；Verma等[10]提出使用粒子群優化（particle swarm optimization,PSO）算法來改進S 型函數，對函數進行參數優化，但由于函數參數與輸入圖像之間沒有達到理想的一致性，導致輸出圖像對比度和亮度提升不夠。

基于此，為了提高低照度圖像的對比度和可視度，同時克服傳統算法出現的色彩失真和模糊等問題，本文提出了一種基于灰度變換和改進的Retinex理論相結合的圖像增強方法。首先采用引力搜索算法（gravitational search algorithm，GSA）優化的全局灰度變換函數對圖像的RGB 各通道灰度圖像進行灰度變換，提高圖像R、G、B 各通道光照強度，使圖像的光照場景更近似于真實場景。同時為了避免圖像信息丟失嚴重，采用改進的Retinex 算法進行增強，使用改進的雙邊濾波和Gabor 濾波替換掉高斯低通濾波；最后通過伽馬校正調節圖像的亮度和色彩。

1 基于灰度變換和改進Retinex 算法的低照度圖像增強方法

基于灰度變換和改進的Retinex 圖像增強算法主要由兩部分組成：①利用GSA 算法優化灰度變換函數對初始圖像的RGB 三個單通道進行預處理；②采用改進的Retinex 算法對獲得的灰度變換圖像進行增強。其方法實現流程如圖1 所示。

圖1 基于灰度變換和改進后的Retinex 圖像增強算法的實現過程Fig.1 Flow chart of image enhancement algorithm

1.1 基于GSA 優化的圖像灰度變換

1.1.1 全局灰度變換函數

灰度變換[11]就是將原有圖像的像素值，使用灰度變換函數獲取新的像素值，并以此方法來提高圖像的視覺效果，其通用公式如下所示：

式中：f(x,y)是輸入圖像；g(x,y)是處理后的圖像；T是像素的變換函數。

常用的灰度變換函數有很多種，此次采用的全局灰度變換函數基礎模型是美國學者Katirciolu F.提出的，它是基于相鄰像素之間密度分布相似性來對每個像素進行變換[12]。它能夠對灰度圖像進行有效增強，很好地保持原始圖像的細節特征，同時也能防止圖像在后面的圖像增強環節出現圖像模糊和退化的問題。但該方法還沒有在彩色圖像上應用。常規的彩色圖像一般是RGB 圖像，它由R、G、B 三個單通道圖像組成，而單通道圖像也屬于灰度圖像的一種，故全局灰度變換也可以在彩色圖像上進行運用。

全局灰度變換函數是將像素數量最多的灰度值標記為Max，當向左像素接近0值，而向右像素接近255 值時，對比度增加。此外，對比度和亮度根據相鄰像素間強度分布的相似程度正向增加。其變換函數如下：

式中：S(x,y)是(x,y)處像素與周圍像素的相似度；GMax是圖像中像素數量最多的灰度值；ψ(x,y)表示在3×3像素區域的標準差值，其公式如(3)所示：

式中：m(x,y)為3×3 像素區域內的像素平均值。

為了確定3×3像素區域的像素相似度，通過3×3像素區域內像素之間的距離來建立關系矩陣。假設在3×3 區域內有兩個像素k和l，兩者距離公式如下：

然后用式(5)中的指數函數來計算兩個像素的相似度，其值的分布范圍從0 到1 不等，如果其值接近與0，則兩個像素不相似，如果接近1，則被認為相似。

式中：D為歸一化系數，可以通過賦值32、64、128、255 對得到的結果進行分級。將得到的3×3 區域內的9 個像素之間相似度來創建一個9×9 的相似度關系矩陣，如式(6)所示。然后根據式(7)計算3×3 像素區域的相似值。最后通過像素區域平移，直到計算完圖像右下角最后一個像素的相似度為止。

在等式(2)中，還有a、b、c、k四個參數值未定，因此采用啟發式算法GSA 對其進行尋優，得到最優值。

1.1.2 GSA 算法

引力搜索算法是一種受自然啟發的概念框架，其根源在于引力運動學，引力運動學是物理學的一個分支，可模擬在重力影響下移動的質量運動[13]。在GSA中，一組對象在牛頓引力和運動定律下相互作用。物體的性能是用質量來衡量的。所有這些物體通過重力相互吸引，而這種力會導致所有物體向質量較重的物體整體運動。對象的位置對應于問題的解決方案。每次迭代都會更新對象的位置，并存儲最佳適應度及其對應的對象。較重的質量比較輕的質量移動得慢。該算法在指定的迭代次數后終止，之后最佳適應度成為特定問題的全局適應度，相應對象的位置成為該問題的全局解決方案。

1.1.3 基于GSA 的灰度變換函數參數優化

輸入圖像后，將RGB 三通道圖像分離成3 個單通道的灰度圖像，然后根據公式(2)(3)，先確定每個灰度圖像中像素數量最多的灰度值Max 和3×3 區域的標準差值，它們在GSA 搜索過程中不會改變。初始化GSA 優化算法的種群數與最大迭代次數，然后按照流程圖2 進行搜索，對每次迭代搜索形成的a、b、c、k值，代入式(2)中，得到灰度變換函數，然后代入適應度函數中，評估其合理性。若滿足停止迭代標準。則得到最優解，代入式(2)，得到灰度變換函數，若沒有達到，則重新進行迭代搜索更新，直至滿足標準。最后將得到的3 幅經過灰度變換后的圖像合成彩色圖像。

圖2 基于灰度變換函數和GSA 的圖像處理流程Fig.2 GSA-based gray-scale transformation image enhancement flowchart

評價函數如式(8)所示，結合圖像的熵值、邊緣強度總和以及邊緣數3 種性能度量來評價灰度變換后的圖像質量。

式中：H(I(x))表示圖像的熵值；nedge(I(x))表示圖像中邊緣像素的個數；E(I(x))表示圖像的邊緣；M和N是圖像的尺寸大小。

1.2 基于改進的Retinex 的圖像增強

1.2.1 改進的雙邊濾波

在圖像處理中，雙邊濾波能夠在保持圖像邊緣信息的同時有效消除圖像上的噪音，進而改善圖像的平滑質量[14]。其公式分別如下：

式中：c(ξ,x)用來計算中心像素點x與其附近點ξ之間的像素距離；s(f(ξ),f(x))用來計算中心像素點x與其附近點ξ之間的相似度；σd和σr為高斯函數的標準差。

但雙邊濾波也存在著對噪聲圖像、邊緣梯度信息無法準確估計的問題。本文提出了一種基于范圍的自適應雙邊濾波器，將s(ξ,x)替換為s(ξ,x,ζ)，其公式如下：

式中：α和k是兩個正參數；Ωy是以像素點x為中心的(2N＋1)×(2N＋1)窗口像素集，本文設置參數N為2；Mean(Ωy)表示窗口像素集中的像素平均值。ρ是一個常數，它控制局部鄰域的大小。

式(12)中，sr中有3 個控制變量：線性常數系數α，k和比例因子σr。在這3 個參數中，α起確保中心像素x及其相鄰像素ξ的亮度相似性的作用，當像素位于目標區域時，的值將會變小，線性參數α需設置了一個較大的常數，以確保sr足夠大。參數k是一個小的恒定常數，確保中心像素x內的亮度相似性。σr控制鄰域像素x的大小。

改進的雙邊濾波是在原雙邊濾波的值域核函數中增加了自適應函數，確保了灰度信息的權值sr(ξ,x,ζ)大小，讓雙邊濾波的空間域和值域都起到了作用，使圖像更好地保留圖像邊緣信息，并且對圖像噪聲具有較好的魯棒性。

1.2.2 Gabor 濾波

Gabor 濾波器是一種用于邊緣提取的線性濾波器，非常適合紋理的表達與分離[15]。它既可以提供信號的局部信息以及信號的整體信息，也可以在圖像增強時，保留紋理細節。此外，由于Gabor 濾波器利用了窗口濾波器功能，它具有更好的高斯濾波的優點，克服了紋理細節丟失的缺點。其濾波器函數如下：

式中：σx和σy是高斯包絡常數，即高斯函數擴散因子，這是數學上的標準偏差。f是濾波器的頻率參數。

1.2.3 改進的Retinex 算法

Retinex 理論指出，觀察者所看見的物體的圖像S是由入射光L在物體表面上反射得出的，反射率R由物體自身確定，不被入射光L改變，如圖3 所示。

圖3 Retinex 理論中圖像的構成Fig.3 Retinex theory composition

Retinex 理論經過學者大量的研究與擴充，形成了各種算法模型[16]。它們一般使用高斯低通濾波器作為濾波函數計算光照分量，由于沒有在邊界保留特征，造成圖像邊界細節不清晰，甚至形成暈影。

基于此，提出了改進的Retinex 理論來進行圖像增強，用改進的雙邊濾波器和Gabor 濾波器替換掉Retinex 算法中的高斯濾波，將它們作為Retinex 算法中卷積環繞函數。將它們分別與輸入的圖像進行卷積運算，從而得到反射分量，然后將兩反射分量進行加權融合。融合后的圖像，不僅保持了圖像的平滑度，達到了降噪、保邊效果，還使其圖像紋理細節得到了更好的保留。其圖像增強流程如圖4 所示，將經過灰度變換的圖像從RGB 空間轉換為HSV 空間，然后用改進的雙邊濾波與Gabor 濾波分別對V 分量圖像進行估計，得到兩份反射圖像，將兩份反射圖像進行加權融合得到的V 分量，H、S 分量不變，最后將融合的圖像由HSV 空間轉到RGB 空間，再進行Gamma校正，輸出增強后的圖像。

圖4 基于改進Retinex 的圖像增強流程Fig.4 Improved Retinex algorithm flow chart

1.2.4 增強圖像加權融合

通過兩個環繞函數卷積得到兩幅增強圖像，并將兩幅圖像的R、G、B 灰度值進行融合，得到一幅細節增強和邊緣保持效果更好的增強圖像。其融合公式如(15)所示：

式中：Ri(x,y)是融合圖像的R、G、B 的值；R1i(x,y)、R2i(x,y)分別是基于雙邊濾波和Gabor 濾波的MSR 算法增強圖像的R、G、B 的值；m是權重系數，滿足0≤m≤1。經過多次實驗，取m值，得到視覺效果最佳的融合圖像。

為了驗證改進的Retinex 算法的有效性，對一組低照度圖像采用傳統的MSR 算法和改進的MSR 算法進行對比，結果如圖5 所示。從圖5 可以看到，傳統的MSR 算法會造成圖像出現失真、色偏問題。而所提算法的增強效果更加明顯，在亮度、對比度以及細節增強上表現更好。

圖5 Retinex 算法改進前后對比Fig.5 Comparison before and after the improvement of the Retinex algorithm

2 實驗結果與分析

為了驗證所提算法的可行性和實用性，實驗在Matlab 2018a、Windows7、CPUi7-4710、內存8 G 的測試平臺上運行。先從Exclusively Dark 圖像數據集中選取3 張圖片作為實驗對象，該數據集涵蓋了從極弱環境到微光環境下的弱光圖像，選取的3 張低照度圖像分別是戶外低光照圖像A、室內低光照圖像B 和路燈下低光照圖像C。然后用視覺相機下拍攝的自然低光照圖像，去定位圖像中空心玻璃瓶的瓶口圓心。實驗會將本文算法與雙邊濾波單尺度 Retinex（bilateral single-scale Retinex,BSSR）算法、文獻[4]算法和基于HSV 空間的單尺度Retinex 算法（V-SSR）進行主觀、客觀對比。同時從工程應用方面，進行圓心定位對比實驗。其各算法的參數值如表1 所示。

表1 各算法參數Table 1 Parameters of each algorithm

2.1 基于GSA 的灰度變換函數參數優化性能驗證

此次灰度變換函數參數采用GSA 算法進行優化，為了驗證GSA 算法的性能，同時也采用粒子群優化算法[17]與差分優化（differential evolution,DE）算法[18]對灰度變換函數參數進行優化。以圖像A 為例，利用3 種優化算法分別對圖像A 的R、G、B 三個單通道圖像的灰度變換進行參數尋優，通過適應度值大小來比較優化算法的性能。設置迭代次數為15次，種群數為15。其結果如圖6 所示。

從圖6 可以看出，3 種算法的最后效果都趨于收斂，但相比于PSO 與DE，GSA 算法得到的灰度變換函數適應度值最高，圖像的灰度變換函數參數優化效果更好。

圖6 圖像A 各分量適應度收斂圖Fige.6 Convergence diagram of fitness of each component of image A

圖7 展示的是圖像A 灰度變換前后的圖像及其灰度直方圖，經過比較可知，原圖像的RGB 灰度直方圖分布趨于左邊，表示圖像中偏低暗區域的像素值較多，導致圖像亮度、對比度較低。經過灰度變換后，圖像的像素值向高亮區域偏移，使像素值數增加到接近255，灰度值變化得到改善。同時結合主觀效果，表明了圖像的亮度與對比度得到了提高，證明了全局灰度變換函數對低照度彩色圖像的有一定的亮度與對比度提升效果，能夠改善圖像的視覺效果。

圖7 灰度變換前后圖像及其灰度直方圖對比Fig.7 Grayscale histogram of each image

2.2 圖像主觀評價

圖8、9、10 中圖像包括了室內、外3 種不同光照和環境條件下的低照度彩色圖像，對比可知，各種算法處理后的圖像相比原圖均有一定程度的增強效果。其中基于雙邊濾波的Retinex 算法對低照度圖像處理后，雖然有效地保留了圖像邊緣信息，但圖像存在著局部色彩失真，導致圖像顏色顯示不夠自然，如圖10(b)的天空顏色，同時3 張圖像的亮度和對比度提升不夠，導致圖像整體還是偏暗。文獻[4]算法對圖像的提升效果比BSSR 算法好，但是放大圖像中的噪聲，如圖8(c)中椅子上的白色噪聲，圖9(c)中墻上左邊圖框和圖10(c)中的路燈。而V-SSR 算法，雖然細節上被進一步增強，對比度和亮度均有提高，但增強效果不夠。而本文算法，不僅很好地提升了圖像的亮度與對比度，同時也保留了圖像的細節信息，色彩得到了豐富，整體呈現效果比較自然，噪聲也較少，很好地實現了圖像增強。

圖8 不同算法對圖像A 的增強對比圖Fig.8 Enhanced comparison of image A by different algorithms

圖10 不同算法對圖像C 的增強對比圖Fig.10 Enhanced comparison of image C by different algorithms

同時根據圖8、9、10 中圖像采用不同方法增強前、后的直方圖可知，采用BSSR、文獻[4]和V-SSR增強后的圖像，其直方圖中像素值整體偏向左邊，也就是低暗度區域，同時偏暗部分的像素值數量偏多，偏高亮度區域的像素值數量很少，圖像還是偏暗，其增強效果不顯著。而本文算法增強后的圖像，3 幅圖像的灰度直方圖分布比較均勻，低暗區域、中間區域和高亮區域的像素值均衡分布，且向中間區域集中，圖像的質量更好，更加符合人眼的視覺特性。

圖11 展示的是有無全局灰度變換函數預先處理，然后經過改進Retinex方法處理后的圖像。對比可知，沒有經過全局灰度變換的圖像都出現了圖像模糊、退化的問題，如圖11(a)圖像中樹葉、相框。而經過全局灰度變換函數預先處理的圖像色彩更加豐富，細節更加清晰，其人眼主觀感受更貼近自然。

圖11 有無灰度變換預處理的改進Retinex 方法處理對比Fig.11 Comparison of the improved Retinex method with and without grayscale transformation preprocessing

2.3 圖像客觀評價

主觀評價主要以人為目光為主，易受到外界的影響，為了客觀評價該文算法的可行性，采用圖像信息熵（information entropy,IE）、平均梯度（mean gradient,MG）[19]和峰值信噪比（peak signal-to-noise ratio,PSNR）進行客觀評價。信息熵是從信息論的角度反映圖像信息豐富性。其圖像信息熵越大，信息越豐富，質量越好；平均梯度代表了圖像中微小細節的對比度變動率，或圖像在多維方位上的密度變動率，也代表了圖像的相對清晰度。通常，評價梯度越大，圖像分層越多，越清晰；峰值信噪比反映了待評估圖像和原始圖像之間的失真程度。PSNR 值越大，圖像之間的畸變程度越小，圖像品質也越好。

采用3 個評價指標評價圖8、9、10、11 中的圖像，結果如表2 所示。Ours1 表示無灰度函數預先處理而直接采用改進Retinex 的方法，Ours 表示經過灰度變換和改進Retinex 的方法。通過比較，可以發現所提方法增強后的圖像在IE、MG 以及PSNR 上明顯高于其他算法和原圖像，說明所提出算法結果的圖像效果更好。而相比沒有經過灰度變換的改進Retinex方法（Ours1），在客觀評價上幾乎都低于有預先灰度處理的本文算法。

表2 圖像A、B、C 客觀質量評價Table 2 Objective quality evaluation of images A,B and C

再結合主觀視覺效果，可以表明有灰度函數預先處理的圖像，然后采用改進的Retinex 算法處理后的圖像，其圖像信息量更豐富，圖像細節更清晰，去噪和抗失真性更好，對圖像質量有很大的提升。

2.4 圖像定位

為了驗證算法的實用性，從工程應用的角度，我們從視覺機器人上的視覺相機拍攝了一張自然低光照圖像，在視覺相機下方放置了一個空心玻璃瓶。在Matlab 中對圖像進行目標區域截取、圖像二值化及閾值計算、質心點計算等操作對玻璃瓶瓶口進行圓心定位[20]。通過圖12 可以看出，相比于其他方法得到的增強圖像，所提算法的增強圖像亮度和對比度得到了明顯的提高，目標截取區域中瓶口的特征更加明顯，其二值化的區域，通過閾值去除瓶口外的其余二值化值，得到的圖像瓶口二值化效果更好。通過質心計算，從黃色定位點可知，該文算法的增強圖像瓶口圓心定位更加準確。

圖12 原圖和各算法處理后圖像的玻璃瓶瓶口圓心定位比較Fig.12 Comparison of the positioning of the center of the glass bottle mouth

3 結論

在弱光照條件下拍攝的圖像，因光、霧等環境的影響，導致圖像部重要信息丟失。該文通過基于灰度變換和改進Retinex 理論方法，采用引力搜索算法優化的灰度變換函數在圖像的灰度值層面進行處理，通過兩組實驗對比，結果顯示圖像的亮度、對比度進行一定改善，說明全局灰度變換函數在低照度彩色圖像上有一定的圖像改善效果，能防止圖像在后面的圖像增強環節出現能圖像模糊和退化的問題。然后采用改進的Retinex 算法對圖像進行增強處理。通過與不同方法的對比，該文方法處理的低照度圖像，主觀上圖像信息量更豐富，細節保留的較多，失真小，亮度及對比度都有提高?？陀^上，3 種客觀指標均高于其他方法，其圖像信息熵提升了1.1～1.25倍，平均梯度提高了2～4.3倍，峰值信噪比相比于其他方法提高了1.1～2.3 倍。同時在工程應用方面，對低照度圖像的識別定位準確率有一定的提高。雖然該文方法對低照度圖像有明顯改善，但是，在增強低照度圖像的同時，對原圖像中亮度較亮的部位出現了過度增強，下一步將會對圖像增強的自適應做進一步研究。