基于透射先驗的弱光照圖像增強方法?

顧振飛陳 燦陳 勇孔令民趙 冉

(1.南京信息職業技術學院網絡與通信學院，江蘇 南京210023；2.南京龍淵微電子科技有限公司，江蘇 南京210000；3.南京郵電大學物聯網學院，江蘇 南京210003；4.中國人民解放軍94826部隊，上海200020)

當前，機器視覺系統在國民經濟各領域得到了廣泛應用，其中目標識別[1]、目標跟蹤[2]、安全監控[3]和智能交通[4]等應用的有效性首先取決于輸入圖像具有較好的可視性。然而，當環境光照強度較低時，由于可見光圖像成像設備所捕獲的反射光分量中不能包含足夠的有效信息，可能導致圖像呈現出現紋理細節丟失、色彩偏移、對比度不足等典型的低可視性特征，并進而使得機器視覺系統相關應用失效。因此，對弱光照圖像進行增強處理，使其具備與清晰圖像相似的主觀視覺效果和客觀評價指標，具有重要的研究意義和應用價值，并已經成為計算機視覺領域的研究熱點之一。

針對弱光照圖像增強問題，國內外學者均進行了廣泛研究并取得了一定進展。傳統的對比度調節策略，如直方圖均衡類方法[5－7]，均具有較高的處理效率，能夠以直接擴展圖像直方圖的動態范圍的方式增強圖像的紋理細節。但是，此類方法在增強處理過程中均忽略了圖像內容而具有顯著的盲目性，因此通常難以避免低照度區域紋理合并和局部過增強等負面效應。為克服上述缺陷，基于圖像增強模型的策略被陸續提出并得到廣泛應用，典型模型有Retinex模型[8]、變分Retinex模型[9]、像素強度反轉模型[10]、低像素強度圖像退化模型[11]等。其中，Retinex模型和變分Retinex模型都基于顏色恒常理論，因而其有效性均取決于對弱光照圖像中入射光分量的估計準確性。基于Retinex模型，研究者僅能基于光照空間平滑假設進行入射光分量估計，而在解決此類欠定問題時僅有單一的特定約束條件勢必導致魯棒性欠佳。雖然改進策略被相繼提出[12]，但并不能從本質上約束模型參數自由度。文獻[9]提出的變分Retinex模型允許引入更多的圖像數學統計規律(先驗知識)作為除光照空間平滑假設以外的附加約束條件，能夠有效克服Retinex模型的固有缺陷。然而，隨著約束條件的增多，變分Retinex模型的模型復雜度也勢必隨之增加。文獻[10]提出的像素強度反轉模型將霧霾圖像增強領域中常用的暗通道先驗[13]引入了弱光照圖像增強領域，但該模型需要弱光照圖像滿足一定的約束條件，因而有一定應用范圍限制。文獻[11]提出的低像素強度圖像退化模型[11]由大氣散射模型[14]推導而來，并能夠利用純像素比例先驗、暗通道先驗等多種圖像先驗來對弱光照圖像進行增強處理，理論依據充分且魯棒性好，但是其技術框架僅能使用單一的特定圖像先驗進行透射圖估計。

近年來，深度學習技術在機器視覺領域得到了廣泛應用，如圖像分類、圖像去噪、霧霾圖像增強、圖像超分辨率等。在弱光照圖像增強領域，單純利用卷積神經網絡的方法[15]能夠端到端地由弱光照圖像直接生成增強后的圖像，但并不能完全避免所輸入網絡的派生圖像中的各類負面視覺效應。而結合圖像增強模型和卷積神經網絡的策略，則可以在利用模型理論依據充分、適用于真實圖像優勢的同時，通過神經網絡框架擺脫人工設計模型參數、人工提取圖像特征等潛在缺陷。例如，文獻[16]提出利用卷積神經網絡對弱光照圖像進行入射光分量估計，并在局部平滑和邊緣增強后利用Retinex模型獲得增強后的圖像。

因此，提出一個基于透射先驗的弱光照圖像增強方法。相較于現有技術，所提方法具有以下優勢:①基于低像素強度圖像退化模型，將復雜的光照分量估計問題轉化為了透射率的估計問題；②利用兩種不同的圖像先驗分別進行獨立的透射圖估計，并搭建子透射圖融合網絡對其進行融合，綜合利用了不同透射圖中潛在的各類有效增益；③利用子透射圖融合網絡替代了傳統的透射圖優化處理，大幅提高了整體計算效率。

1 背景知識

1.1 大氣散射模型

低像素強度圖像退化模型源于大氣散射模型[14]并適用于對弱光照圖像進行增強。大氣散射模型在霧霾圖像增強領域被廣泛使用，該模型數學描述了霧霾圖像的退化過程，其具體的數學表達形式為:

式中:I(x，y)表示所采集到的霧霾圖像，A是全局一致的環境光照，ρ(x，y)是表征場景物體反射背景光照能力的場景反照率，d(x，y)是像素景深，β是大氣散射系數。通常，可以將像素景深和大氣散射系數的聯合關系e－β·d(x，y)記為透射率t(x，y)。結合弱光照圖像的退化原理對大氣散射模型進行改進，首先通過對大氣散射模型的簡單推導，增強后的圖像可以表示為:

通過對式(2)的觀察可知，基于大氣散射模型的圖像增強效果完全取決于入射光分量和各像素點的透射率，因而僅需進行兩項模型參數的估計便可直接得到增強后的圖像。但同時可以發現，式(1)中對環境光照全局一致的假設顯然不適用于弱光照圖像，且如果從待增強弱光照圖像中消除一致的環境光照甚至可能導致像素強度溢出現象。此外，基于大氣散射模型的圖像增強過程本質上是從各像素中消去一定比例的全局環境光照分量。因此，如果保留大氣散射模型中的天空光項，則勢必導致圖像中的絕大部分區域在增強后反而會因像素強度過低而呈現出更為退化的可視性。

1.2 低像素強度圖像退化模型

低像素強度圖像退化模型[11]保留了大氣散射模型的基本定義，并對上述問題進行針對性的改進。首先，考慮到低像素強度圖像的退化因素主要是空間分布不均勻的環境光照或熱輻射分量，因此將式(1)中的全局環境光照重新定義為空間變量V(x，y)。V(x，y)所表征的是最佳環境光，即可以使像素具有最佳可見性的最合理的入射光照分量。其次，式(1)右側第二項(天空光項)所描述的是受高密度的大氣懸浮粒子干擾而直接參與成像的像素強度分量，而高密度的大氣懸浮粒子并不是弱光照圖像的主要退化因素，因此需要對此項予以直接移除。據此，適用于弱光照圖像增強的低像素強度圖像退化模型可以表示為:

由式(3)可知，基于低像素強度圖像退化模型對弱光照圖像進行增強處理，僅需對弱光照圖像進行透射圖估計，而避免了復雜的光照分量估計問題。此外，基于圖像先驗的透射圖估計策略已經較為成熟，且均能通過確定最優的像素透射率來使得增強后的圖像具備清晰圖像的某些統計特征。弱光照圖像I(x，y)所對應的透射圖t(x，y)一旦確定，便可直接獲得增強后的圖像V(x，y)ρ(x，y)。

2 基于透射先驗的弱光照圖像增強方法

所提的基于透射先驗的弱光照圖像增強方法如圖1所示，該方法由三部分組成:①基于暗通道先驗的弱光照圖像子透射圖估計，即利用暗通道先驗所具有的紋理細節恢復能力，對待增強弱光照圖像進行第一次子透射圖估計；②基于純像素比例先驗的弱光照圖像子透射圖估計，即利用純像素比例先驗所具有的色彩恢復能力，對待增強弱光照圖像進行第二次子透射圖估計；③子透射圖融合網絡，即搭建并利用該部分網絡對兩張子透射圖進行融合，從而得到目標透射圖，并最終得到增強后的圖像。以上三部分為核心，便可組成一個端到端、可學習的卷積神經網絡。

圖1 基于透射先驗的弱光照圖像增強方法

2.1 基于暗通道先驗的弱光照圖像子透射圖估計

依據像素強度反轉模型[10]，為使用暗通道先驗[13]對弱光照圖像進行子透射圖估計，需要對弱光照圖像I(x，y)進行像素強度翻轉，并獲得翻轉后的弱光照圖像I′(x，y)如下:

利用翻轉后的弱光照圖像I′(x，y)與霧霾圖像的相似性，將I′(x，y)代入式(1)，可得:

式中:J(x，y)是對I′(x，y)進行增強處理所得的圖像，而t′(x，y)是I′(x，y)所對應的子透射圖。依據暗通道先驗對翻轉后的弱光照圖像I′(x，y)進行子透射圖估計如下:

式中:(x′，y′)是以像素點(x，y)為中心的鄰域Ω(x，y)中的像素點，c是RGB色彩通道索引，A是用文獻[13]方法獲得的全局一致的環境光照，ω∈(0，1]是考慮到空間透視現象的存在，為了保持圖像的真實度而引入的調節因子。

獲得I′(x，y)所對應的子透射圖t′(x，y)后，由于I′(x，y)是由弱光照圖像I(x，y)進行像素強度翻轉所得，因此可以直接獲得弱光照圖像I(x，y)所對應的子透射圖為

2.2 基于純像素比例先驗的弱光照圖像子透射圖估計

依據低像素強度圖像退化模型[11]，增強后圖像的可視性是由最佳環境光和透射率共同支配的，而在此類欠定問題中同時估計兩個獨立系數的最優解是具有較高的求解復雜度。為提高計算效率，首先通過挖掘像素退化程度的局部相似性對圖像進行基于亮度分量的聚類，從而將像素級的透射率估計過程簡化為面向聚類區的透射率估計。據此，將低像素強度圖像退化模型(式(3))可以記為:

式中:Ωi是通過對弱光照圖像I(x，y)聚類所得的場景，V(i)是Ωi所對應的最佳場景環境光，t(i)是Ωi所對應的場景透射率，而V(i)ρ(x，y)則是對弱光照圖像I(x，y)進行增強處理所得的清晰圖像。

據此，可以將對弱光照圖像的增強處理記為一個僅與場景透射率相關的函數，并進而依據純像素比例先驗將場景透射率的估計過程記為:

依據式(9)，可以在由弱光照圖像分割所得的各個場景Ωi中搜索出最優的場景透射~t(i)，而搜索的依據是使得增強后場景的純像素比被約束在0.000 1附近。針對聚類所得全部場景逐一完成場景透射率估計，便可獲得弱光照圖像I(x，y)所對應的子透射圖。

2.3 子透射圖融合網絡

子透射圖融合網絡如圖2所示，該網絡主要由連接層，卷積層和反透射圖運算層組成。在連接層中，不同輸入在信道維度被連接成一個新的張量，旨在加強特征傳播和特征復用；在卷積層中，通過可學習的卷積核挖掘子透射圖之間的相關性，并調整特征圖的數量；為了預防梯度消失問題，使得網絡更容易訓練，添加了一條快捷連接[17]。通過對圖2的觀察可知，在完成對子透射圖融合網絡的訓練后，該網絡便可同時接收兩幅子透射圖作為輸入，并自動將其融合為一幅透射圖作為輸出。進而，依據低像素強度圖像退化模型(式(3))可知，一旦獲得融合后的透射圖，便可直接利用待增強弱光照圖像獲得增強后的圖像。

圖2 子透射圖融合網絡

3 實驗結果與分析

由于沒有專門針對弱光照圖像增強的標準數據集，本文利用文獻[15]的方法構建包含7 000個樣本的數據集。將數據集隨機劃分為訓練集(80%)，驗證集(10%)和測試集(10%)。由于GPU顯存的限制，批量大小設置為32。采用均方誤差作為損失函數；采用Adam優化器[18]來訓練網絡框架；遍歷數設置為5 000；學習率設置為0.000 1。采用作為衡量增強質量的客觀標準，并采用運行時間作為衡量重構效率的客觀標準。實驗硬件環境為:NVIDIA Titan XP GPU；軟件環境為:Tensorflow 2.0。

為驗證本方法的增強效果，選取四幅典型的弱光照圖像(如圖3所示)，并依據本方法對其進行增強處理，增強效果如圖4所示。通過對比觀察可以發現，本方法可以有效提升弱光照圖像的整體視覺效果并恢復其中的紋理細節，消除了因像素強度不足所導致的色彩偏移、對比度不足等負面視覺效應，且未出現局部增強力度不足或過增強現象，以及光暈偽影、邊緣畸變等現象。

圖3 待增強弱光照圖像

圖4 增強效果

為進一步驗證本方法的有效性和魯棒性，以及所提方法的比較優勢，重新選取四幅具有挑戰性的弱光照圖像作為實驗圖像，并與多種類型的現有主流方法分別進行主觀和客觀對比，具體包括自適應直方圖均衡類的文獻[19]方法、基于多尺度Retinex模型的文獻[20]方法、基于多先驗知識的文獻[21]方法、基于全變分Retinex模型的文獻[22]方法和基于反轉大氣散射模型的文獻[10]方法。

3.1 主觀比較

通過對圖5至圖8的對比分析可知，當圖像中存在顯著的強光照區域時，文獻[19]方法為了避免強光照區域被過度增強而限制了其對弱光照區域的增強能力，因此圖5中的草地、圖6和圖8中的背景區域均未得到有效增強，而這也是多數全局增強類方法的共同缺點；文獻[20]方法使用多尺度濾波從退化圖像中提取不同的頻域分量，并僅基于圖像頻域分量的特征來判斷是否屬于待增強目標，但上述判定準則在圖像中的高頻分量不顯著的條件下缺乏魯棒性，因此圖5至圖8的局部均出現一定的紋理模糊；文獻[21]方法聯合使用了多種圖像先驗知識，但是由于各增強步驟中均需要進行平滑、保邊等優化處理，因此整體增強效果不佳且易于引入光暈偽影，特別是圖像中存在大量紋理細節時(見圖6中的花朵周圍)；基于Retinex理論的弱光照圖像增強方法均需要對光照分量進行準確估計，雖然文獻[22]方法基于變分Retinex模型大幅提高了光照分量的估計準確性，整體增強效果較好，但因難以控制整體亮度而易于過增強，且計算復雜度較高；文獻[10]方法的有效性取決于待增強弱光照圖像是否能夠嚴格滿足約束條件，因此在圖6~圖8的局部呈現出了一定的暗區域殘留。相較而言，本文所提方法具有更好的紋理細節增強效果和色彩保真度，且未出現過曝光、過增強或光暈偽影等負面視覺效應。

圖5 增強效果比較實驗1

圖6 增強效果比較實驗2

圖7 增強效果比較實驗3

圖8 增強效果比較實驗4

3.2 客觀比較

在定量比較實驗中，本研究采用了3個廣泛使用的指標，包括新增可見邊緣比e、對比度恢復質量r和圖像清晰度D。由文獻[23]可知，新增可見邊緣比可以測量增強后圖像中出現的新增邊緣的比率，對比度恢復質量驗證了增強后圖像的平均能見度提升度。由文獻[24]可知，圖像清晰度可以測量基于人眼視覺特征的圖像可視性。通常，新增可見邊緣比和對比度恢復質量的數值越高，對應增強方法的效果越好；而圖像清晰度的數值越低表示圖像清晰度越高。圖5至圖8中各增強結果的評價指標值分別列于表1至表3中，為了方便比較，用粗體表示最優值。

表3 圖像清晰度對比結果

由表1可知，本文所提方法對于4幅圖像取得了接近最優的新增可見邊緣比值以及最優的對比度恢復質量值。這意味著該方法在相關圖像中恢復出了較多的紋理細節。雖然，本文所提方法針并為取得一致最優的新增可見邊緣比值，但文獻[19]方法取得較高紋理增強結果的原因是增強了無效紋理，而這一點可以在表2中得到證實，因為文獻[19]方法所獲得的對比度恢復質量低于整體平均值。因此，結合表1和表2可以發現，本文所提方法不僅可以恢復出大量的紋理細節，且能同時改善全局對比度。

表1 新增可見邊緣比對比結果

表2 對比度恢復質量對比結果

由表3可知，本文所提方法在3幅圖像上均取得了最優的圖像清晰度值，且對圖6的增強結果也是接近次優的，這證明了該方法在圖像可視性增強方面的比較優勢，而這一點也和主觀比較的結果是一致的。上述結果也能間接證明了增強后的圖像中的光照結構自然且具有較好的色彩自然度。上述指標均能夠較為平衡的判斷圖像各個方面的增強效果，因此上述結果能夠證明本文所提方法的魯棒性和有效性。

4 結論

本文提出了一個基于透射先驗的弱光照圖像增強方法。所提方法將復雜的光照分量估計問題轉化為了透射率的估計問題，有效提高了增強效果的魯棒性。其次，通過搭建的子透射圖融合網絡，可以綜合利用多種圖像先驗提取弱光照圖像中潛在的不同有效增益，并能避免對透射圖進行優化處理，有效提高了整體計算效率和增強效果。