一種自適應SSR的霧天低照度圖像增強方法

李燦林 朱金娟 劉金華 畢麗華

1(鄭州輕工業大學計算機與通信工程學院 河南 鄭州 450000) 2(鄭州輕工業大學學科建設辦公室 河南 鄭州 450000)

0 引 言

隨著計算機技術的日益發展，計算機視覺在室外監測、交通監控、航空航天等領域都有著極為重要的應用。但由于霧霾等惡劣天氣，空氣中粉塵粒子增多，造成了設備成像內容模糊、對比度低、顏色暗淡的現象，不僅降低了戶外的光學成像設備成像的視覺質量，也不利于后續圖像特征的識別與提取，這使得圖像去霧增強技術成為了眾多學者的研究熱點。

目前，已有不少文獻從不同的研究角度提出了圖像去霧方法，大致可以分為兩類：一類是圖像修復方法，一類是圖像增強方法[1]。但圖像修復方法主要是基于大氣退化的物理模型，算法的實現需要更多的圖像額外信息，計算復雜度高[2]。對于一般的霧天低照度圖像，處理方法更多的是采用圖像增強方法。常用的有直方圖均衡化法(HE)[3]，HE算法簡單，容易實現，但使用HE會導致圖像細節模糊；因此STARK JA提出了自適應直方圖均衡化法(AHE)[4]，改善了圖像細節的恢復，但其處理圖像容易出現過增強的現象；為了解決這一問題，有研究者提出了一種限制對比度的自適應直方圖均衡化法(CLAHE)[5],它在AHE的基礎上進行了對比度的限制，能使圖像對比度更加自然，但其同時放大了平坦區域的噪聲，容易產生偽影。肖俊等[6]指出同態濾波算法能很好地校正圖像光照不均現象，但由于該算法是針對整幅圖像進行處理的，其中部分有用的信息也會丟失。其次，文獻[7]提出的色彩恒常性理論，即Retinex理論算法，在圖像去霧增強上也得到了應用。該算法是一種非線性的圖像增強算法，可以模擬人的視覺系統，具有大動態范圍壓縮、顏色恒常性、高色彩保真度等特點，適用于受霧天影響的低照度圖像，來對其進行光照補償和去霧處理，能提高圖像質量，使圖像的顏色更接近自然[8]。但是，基于Retinex理論的圖像增強算法還是存在一些缺陷，傳統單尺度Retinex[9](Single Scale Retinex，SSR)算法中高斯環繞尺度的設置往往需要通過大量實驗來保證維持色彩保真度與提高對比度之間的平衡，處理圖像在光照突變處容易出現光暈；多尺度Retinex[10](Multi-Scale Retinex,MSR)算法在平衡圖像動態范圍與對比度方面有所改善，但處理后的圖像容易出現顏色失真現象；帶色彩恢復的多尺度Retinex[11](Multi-Scale Retinex with Colour Restore,MSRCR)算法是對MSR算法的進一步改進，能更好地恢復圖像顏色，但其計算復雜度高。

針對以上所述各種圖像增強方法處理霧天低照度圖像存在的缺點,以及單尺度算法相對多尺度計算處理圖像能更簡潔有效地取得較好效果[12-14]，本文提出一種自適應單尺度Retinex(SSR)的霧天低照度圖像增強方法。首先針對SSR算法處理圖像在光照突變處容易產生光暈的缺點，將圖像轉換到HSI空間，對其亮度分量進行伽馬自適應校正;再利用PSO自適應地尋找全局最優尺度常量，來作為SSR算法中心環繞函數的尺度常量值。PSO在尋優過程中，針對霧天圖像目標內容模糊以及對比度低等的特點，以信息熵作為參照之外，還將圖像標準差融入到粒子評價函數中，保證了尋優結果對于處理霧天低照度圖像有更好的效果，降低了算法對參數設置的依賴性。

1 單尺度Retinex算法理論

Retinex理論是1963年E.Land作為人類視覺的亮度和顏色感知模型在俄亥俄州提出的一種顏色恒常知覺的計算理論[9]。該理論表明，觀察者所看到的物體圖像是由物體表面對入射光反射得到的，反射圖像由物體本身決定，不受入射光的影響，其模型如圖1所示。

圖1 Retinex理論模型

即被觀察的圖像S(x,y)可以看作是由光的照射分量L(x,y)和具有圖像細節信息的目標物體的反射圖像R(x,y)構成，用公式表示為：

S(x,y)=R(x,y)·L(x,y)

(1)

Retinex算法的思想是在頻域上用原圖像減去圖像的低頻部分(照射分量)來獲取圖像細節信息(高頻部分，即反射分量)。

第一步先將公式兩端取對數：

(2)

r(x,y)=logS(x,y)-logL(x,y)

(3)

而基于數學理論，光照分量L(x,y)不能被直接求出，而是采用S(x,y)與一個中心環繞函數F(x,y)的卷積來代替，則公式可以寫成：

r(x,y)=logS(x,y)-log[S(x,y)×F(x,y)]

(4)

式中：r(x,y)為輸出圖像即所求圖像，中心環繞函數F(x,y)一般選用高斯函數來實現：

(5)

λ作為一個尺度常量，要求它的值必須滿足以下歸一化條件：

(6)

另外，式(5)中c為高斯環繞尺度，當c值設置較小時，能較好地控制動態范圍的壓縮，圖像細節能得到較好的增強；而當c值設置較大時，顏色恒常性保持較好。故c值的設置極為重要，選擇合適的c值才能保證平衡增強后的圖像在動態范圍的壓縮與對比度增強。

2 霧天低照度圖像增強方法

針對霧天低照度圖像的特點，及其傳統SSR算法處理圖像存在的缺陷，該方法首先將讀入的RGB霧天低照度圖像轉換到HSI空間，采用伽馬校正方法對亮度分量I進行自適應校正，得到亮度較均勻的中間圖像；再對中間圖像采用自適應的SSR算法進行去霧增強處理。由于傳統的SSR算法處理圖像效果依賴中心環繞函數尺度常量的設置，以往需要通過人為手動的大量實驗驗證才能得到較為理想的效果，本文通過PSO得到一個全局最優尺度值，來作為SSR算法的中心環繞函數的尺度常量，縮短實驗時間的同時保證了增強圖像的質量。本文所提出的一種自適應SSR的霧天低照度圖像增強方法的總體流程如圖2所示。

圖2 本文算法流程

2.1 圖像亮度分量的校正處理

(1) 亮度分量的提取。HSI顏色模型是一種典型的面向視覺感知的彩色系統模型，其中H表示色調，S表示飽和度，I表示亮度(對應圖像灰度(亮度))。HSI模型的特征是彩色圖像中攜帶顏色信息的色調H和飽和度S兩個分量與亮度I之間沒有關聯，將RGB圖像轉換到HSI模型對圖像亮度進行調整，保證了圖像色彩信息的不流失。其中亮度分量的轉換公式采用幾何推導法，方法如式(7)所示。

I=(R+G+B)/3

(7)

(2) 亮度分量的校正。伽馬校正[15]是圖像預處理階段常用的一種非線性操作，屬于直方圖修正技術，常用于平衡圖像光照不均和提高圖像對比度。伽馬校正主要是通過伽馬(γ)自適應參數來實現對圖像的調整，它的基本形式如下：

(8)

式中：Iin∈[0,Imax]，Imax是輸入圖像灰度(亮度)的最大值，Iin是輸入圖像某像素點的實際灰度值。從式(8)中可以看出，伽馬校正技術主要是通過參數γ來控制圖像的拉伸程度，不同的γ值拉伸效果不同。當γ=1時，對輸入圖像不進行拉伸；γ<1時，處理后的圖像會比輸入圖像更亮；γ>1時，處理后的圖像會比輸入圖像更暗。圖3為不同γ值處理后的圖像拉伸狀態。

圖3 不同γ值下圖像拉伸狀態

本文采用伽馬校正的方式來對圖像亮度進行調整，根據Retinex理論可以得出圖像的光照分量，基于圖像光照分量的分布特性自適應地調整伽馬(γ)參數，構造伽馬校正函數如下：

(9)

(10)

L(x,y)=S(x,y)×F(x,y)

(11)

式中：Iout(x,y)為校正后的亮度值；Iin(x,y)為原圖像的亮度分量；γ為校正自適應參數；u為光照分量的亮度均值；L(x,y)為圖像的光照分量，可根據Retinex理論計算得出，如式(11)所示，其中S(x,y)為原圖像，F(x,y)是為高斯函數的中心環繞函數，如式(5)所示。

圖4 圖像亮度分量的校正過程

2.2 PSO尋優

PSO最初是由James Kennedy和Russell Eberhart于1995年提出的一種進化算法,其發展是基于對鳥群捕食這種社會行為的研究[16]。標準粒子群優化算法的基本思想是：假設搜索空間為M維，空間中共有N個粒子，則第i個粒子的空間位置可以表示為Xi=(xi1,xi2,…,xiM),i=1,2,…,N,速度可以表示為Vi=(vi1,vi2,…,viM)；定義該粒子的自身歷史最優點(Personal best)為pbest,表示為Pi=(pi1,pi2,…,piM)；定義種群所找到的最優點(Global best)為gbest，表示為Pg=(pg1,pg2,…,pgM)。PSO第一步將種群粒子初始化為隨機粒子(隨機解)，然后通過迭代尋找最優解，其算法流程如圖5所示。

圖5 PSO流程

在每一次的迭代中，粒子通過兩個極值pbest和gbest來更新自己的速度和位置，對于第m維(1≤m≤M)的粒子，迭代更新公式如下：

Vim(t+1)=ωVim(t)+c1r1(Pim(t)-Xim(t))+

c2r2(Pgm(t)-Xim(t))

(12)

Xim(t+1)=Xim(t)+Vim(t+1)

(13)

式(12)中：參數ω是慣性權重值，c1和c2是學習因子，r1和r2是[0,1]范圍內的隨機數。從式(12)可以看出粒子狀態的更新依賴于三個方面：(1) 對先前粒子速度的繼承，這是基于粒子對先前自身狀態的信任，屬于“繼承部分”；(2) 粒子對自身的學習，這是一個擴展自身狀態的過程，屬于“認知部分”；(3)粒子對群體的學習，這反映了粒子間的信息互共與協作，屬于“社會部分”。近年來PSO被廣泛應用于各個研究領域[17-20]，以其有效性和收斂速度快的特點在圖像增強領域也取得了很大成就[21-23]。

針對SSR算法中心環繞尺度的設置直接影響到圖像增強效果，提出了采用PSO來自適應地選取環繞尺度值，本文將PSO尋優的粒子總數N設置為100，最大迭代次數T設置為50，以連續8次迭代gbest值不更新作為終止迭代的條件，根據以往實驗經驗當中心環繞尺度c的值在80～130之間時會有相對較好的增強效果，為了提高解的精確性，將粒子值的范圍設置為[0.5，1.5]，在代入SSR算法計算時再將粒子值增加100倍。另外，針對標準粒子群算法容易陷入早熟收斂的現象，對其慣性權重值和學習因子值也做出了適時的調整。

(1) 客觀評價函數的設計。評價函數是算法中判斷粒子值好壞的依據，即評價圖像質量的依據。霧天低照度圖像具有成像內容對象模糊、對比度低等特點，因此增強圖像的目的是需要提高圖像清晰度和對比度。信息熵和標準差是評價圖像質量常用的指標，信息熵H反映了圖像所攜帶的信息量，標準差δ則反映了圖像的對比度特征，本文將兩者同時融入算法評價函數中，綜合兩個圖像質量評價指標進行線性排列，來作為客觀評價函數，如式(14)所示。

fitness=a1H+a2δ

(14)

式中：fitness表示粒子的適應度值；a1、a2是符合a1+a2=1的常數項，分別表示各目標函數在整體評價函數中的權重，本文設置a1=a2=1/2，即兩項指標所占權重相同。其中圖像信息熵H和圖像標準差δ的計算方法如下：

(15)

(16)

式(15)中：p(i)是指圖像灰度值為i的像素占總像素點的比例；式(16)中：M×N表示圖像大小，P(i,j)表示第i行第j列的像素值，μ表示均值。

(2) PSO參數的調整。針對標準粒子群優化算法容易陷入局部最優、早熟收斂，以及研究人員以提高解的精確度與有效性為目的等問題，提出了各種粒子群優化算法的改進模型[24-27]，但在這些改進方法中，依然存在一些局限性，比如文獻[24]中提出的慣性權重線性遞減的方法，沒有考慮到后期在慣性權重很小的情況下粒子會缺乏探索能力，且這種線性的變化在非線性的問題處理中很難得到適應。其次這些提出的改進方法一些只是調整了部分參數，一些在慣性權重的調整和學習因子的調整上缺乏關聯性，這在一定程度上影響了問題最優解的有效性。本文提出的慣性權重調整方法采用非線性的調整方式以適應本文非線性的圖像增強，并且將學習因子的調整與慣性權重相關聯，整體上保持了同步，有效地避免粒子陷入早熟收斂。慣性權重值與學習因子的調整遵循以下規則：

(17)

c1=c1s-(c1s-c1e)cos(ω)

(18)

c2=c2s-(c2s-c2e)cos(ω)

(19)

式中：ωs為ω的初始值，ωe是ω的終止值，t表示當前迭代次數，T是迭代次數的最大值，c1s為c1的初始值，c1e為c1的終止值，c2s為c2的初始值，c2e為c2的終止值。根據經驗，在本文算法中設置ωs=0.95，ωe=0.4，c1s=2.5，c1e=1.5，c2s=0.9，c2e=1.75。

3 實驗與分析

本節給出了自適應單尺度Retinex的霧天低照度圖像增強方法的實驗結果。并將其與CLAHE算法、同態濾波算法、SSR算法和MSRCR算法進行了比較。接下來將通過主觀視覺效果和客觀質量評估兩個方面對圖像增強效果進行分析。

3.1 主觀視覺效果

本文提出的針對霧天低照度圖像成像內容模糊、對比度低、色彩暗淡的圖像增強方法，選取了戶外霧天狀況下拍攝的圖像，進行了實驗，實驗結果與分析如下。

場景一為霧天狀況下拍攝的交通路況圖，從原圖中可以看出，該圖像由于霧天影響，導致前方交通指示燈以及其他指示標語均處于模糊狀態，使人難以看清，這不利于來往車輛的行駛以及交通監控系統的數據采集，且原圖整體顏色暗淡，對比度低，目標對象模糊。通過CLAHE增強后圖像色彩得到了一定的恢復,但景深處圖像目標物體依舊與背景難以區分；同態濾波處理過后圖像可見度的提升不明顯；SSR算法處理后圖像出現了光暈現象；MSRCR則出現了顏色偏轉；經過本文算法所處理的圖像整體上清晰度得到了很大的提升，在對霧的去除效果上相較于前幾種方法也有明顯的優勢，同時很大程度上改善了SSR的光暈現象。

場景二為霧天拍攝的行駛而來的列車，從原圖來看，景深處目標物體與背景幾乎無法區分，通過CLAHE處理后景深處物體開始顯現，可見度得到一些提升；同態濾波處理圖像過后從視覺上來看圖像質量提升程度很小；SSR在車燈區域附近產生了明顯的光暈現象，處理過后的圖像亮度分布不均勻；MSRCR處理圖像后顏色偏深，偏離自然顏色；本文方法顏色恢復上較自然，處理后圖像整體視覺效果很好，且相較于前幾種方法，圖像可見度提升幅度最為明顯，圖像細節也得到了很好的保留。

圖6 場景一戶外交通路況圖增強實驗結果

圖7 場景二列車增強實驗結果

場景三拍攝的是湖面上游走的鴨群，原圖中湖面后的房屋、人群以及樹木都十分模糊，通過CLAHE處理，房屋和人群可見度得到了一定的恢復，但景深處的樹木仍然不太清晰；同態濾波過后圖像整體亮度偏暗，視覺上來看，圖像增強效果不佳；SSR在圖像右上角產生了光暈現象，影響了圖像整體的視覺效果；MSRCR處理過后圖像中間區域與四周亮度有偏差，邊緣位置細節恢復不佳；本文方法處理過后的圖像整體亮度分布較均勻，通過觀察湖面水波紋，以及目標內容鴨子、房屋、人群和樹木等可以看出圖像細節得到了很好的恢復，且相較于前幾種方法，圖像可見度與清晰度的提升有明顯的優勢。

圖8 場景三湖面鴨群增強實驗結果

場景四為山頂觀光的游客，霧天影響下圖像中的山體、游客、護欄等內容都不太清晰，通過增強處理，圖像可見度和清晰度得到了提升。其中CLAHE和同態濾波增強圖像在可見度的提升上相對較弱；SSR和MSRCR在可見度的提升上有優勢，但圖像恢復不自然，SSR增強圖像后，圖像整體的亮度不太均勻，視覺上效果不佳，MSRCR處理過后圖像顏色偏藍，偏離了自然顏色；本文方法較好地改善了以上問題，顏色恢復自然，圖像亮度均勻，且清晰度較高，觀察圖像中山體紋理等說明圖像細節恢復很細致，整體視覺效果良好。

圖9 場景四山頂游客增強實驗結果

3.2 客觀質量評估

為了客觀評價本文算法與CLAHE、同態濾波法、SSR和MSRCR對原圖像的增強效果，本文選取了圖像信息熵、平均梯度以及視覺對比度三個客觀評價指標。

(1) 圖像信息熵。圖像的信息熵表示圖像每個灰度級像素所傳達的平均信息量，用來衡量目標在圖像中的重要性，其值越大，表明圖像細節越豐富，圖像質量越好。圖像信息熵的計算方法為式(14)。如表1所示，為各個場景圖像及其增強處理后的信息熵值。從表中數據來看，圖像經過各種增強處理后熵值都得到了提升，其中本文算法和SSR提升程度較大，MSRCR、CLAHE和同態濾波次之。

表1 各場景及其增強圖像的信息熵值表

(2) 圖像平均梯度。圖像的平均梯度，指的是一幅圖像梯度圖上所有點的均值，它反映的是圖像的細節紋理變化特征和清晰度。平均梯度值越大，表示圖像層次越豐富，圖像越清晰。平均梯度G的計算公式如下：

(20)

如表2所示，為各場景圖像及其增強處理后的平均梯度值，從表中數據來看，其中本文算法在圖像平均梯度的提升上占絕對優勢，SSR、MSRCR和CLAHE稍弱，同態濾波提升效果則不太明顯。

表2 各場景及其增強圖像的平均梯度值表

(3) 圖像視覺對比度。針對圖像質量衡量的方法，文獻[28]提出了VCM(visual contrast measure)這種衡量圖像對比度的方法，計算方法如下：

VCM=100×Rv/Rt

(21)

式中：Rv表示圖像中超過區域信號標準差特定閾值的區域數，Rt表示圖像被分割的區域總數。因此VCM的值就表示圖像具有良好對比度區域的多少，其值越大表示區域越多，圖像對比度越好。

表3為各場景圖像及其增強處理后的VCM值，從表中數據來看，本文算法在視覺對比度VCM值的提升上程度最大，說明本文方法處理后圖像對比度較其他方法占優勢。

表3 各場景及其增強圖像的VCM值表

通過以上三個衡量圖像質量的客觀質量評估數據的分析來看，本文所提方法在各個評價指標上都取得了一定的優勢，在霧天低照度圖像的去霧增強方面有很好的效果。

4 結 語

本文提出一種自適應SSR的霧天低照度圖像增強方法，對霧天低照度情況下的圖像進行了增強去霧。對實驗結果進行分析可以得出，主觀上增強圖像在色彩保真度與對比度的提高兩個方面達到了有效的平衡，且很好地改善了光暈現象，得到的增強去霧圖像具有較好的視覺效果，相較于傳統算法(CLAHE、同態濾波、SSR、MSRCR)處理一般的霧天低照度圖像，有明顯的優勢；客觀上本文方法是基于非線性的圖像增強方法，在圖像對比度提升的同時很好地保留了圖像細節，增強后的圖像能有效地保持色彩恒常性，清晰度高，適合人眼觀察；但仍需要進一步的改進，如在圖像景深處以及濃霧分布不均的情況下，對霧的去除效果不徹底。