基于對稱亮度映射和虛擬多曝光融合的非均勻光照圖像增強

黃子蒙，徐望明，2，但 愿

（1.武漢科技大學 信息科學與工程學院，湖北 武漢 430081；2.武漢科技大學 教育部冶金自動化與檢測技術工程研究中心，湖北 武漢 430081）

1 引 言

圖像增強［1-2］是將待處理圖像的細節、邊緣、顏色飽和度、對比度等特征進行突出或加強，改善圖像質量，方便人眼觀察或計算機分析與處理，是進行圖像預處理的常見手段。在現實生活中，光照條件是影響成像質量的主要因素之一。圖像整體或局部區域過暗或過亮，均不利于人眼視覺觀察或機器視覺處理。非均勻光照圖像增強技術就是要將原來非均勻光照條件下的圖像恢復成正常光照條件下的圖像，恢復圖像過暗或過亮區域的細節信息，擴大圖像中不同物體的特征差異，進而提高這些特征的可辨識度。目前，常用且具有代表性的非均勻光照圖像增強方法大致可分為基于Retinex理論的方法、基于圖像融合的方法和基于深度學習的方法。基于Ret?inex理論的方法將輸入圖像分解為兩幅子圖［3］，即帶有圖像細節信息的反射分量和決定圖像動態范圍的光照分量。如NPE（Naturalness Pre?served Enhancement）［4］方法使用濾波器將圖像分解為反射分量和光照分量，并使用對數變換進行亮度分量的增強，但增強后的圖像常常會存在偽影的問題；SRIE（Simultaneous Reflectance and Illumination Estimation）［5］方法則使用一種加權變分模型來同時估計輸入圖像的反射分量和光照分量，雖彌補了在對數域上過于放大暗部區域的問題，但也導致最終非均勻光照圖像增強的效果不明顯。在基于圖像融合的方法中，一項十分困難的工作便是如何基于單張輸入圖像獲得同一場景的不同曝光度下的圖像。為此，Ying等人［6-7］提出了基于相機響應模型的方法，通過參數優化虛擬生成最優曝光比下的圖像，并與原圖像進行加權融合，然而該方法沒有處理圖像的過曝區域，圖像亮區細節會失真。文獻［8］根據該相機響應模型提出了一種增強非均勻光照圖像的改進算法，對圖像亮區也進行了增強處理，但所用亮度映射函數沒有歸一化，映射結果會存在欠曝或過曝像素，導致部分細節信息的丟失。基于深度學習的方法［9］的性能在一定程度上取決于數據集大小，數據集越大則訓練所得神經網絡模型泛化能力越強。隨著數據集的增長，神經網絡模型不僅需要訓練更多參數，而且訓練數據量也會增加，因此需要高性能計算機用于訓練，而采用較小的數據集進行訓練則容易出現模型過擬合現象。

為了克服以上方法的不足，針對非均勻光照增強任務，本文提出一種基于對稱亮度映射和虛擬多曝光融合的圖像增強方法，不依賴于圖像數據集，借助相機響應模型及圖像信息熵和平均梯度最大化原則估計最優曝光比，并設計對稱的亮度映射函數對單張輸入圖像進行增強曝光和減弱曝光處理，虛擬生成一個具有不同曝光比的圖像序列，最后通過帶細節提升的多曝光融合方法重構得到一幅動態范圍高、對比度強、細節清晰、可視化質量好的圖像。

2 相機響應模型

圖像的成像過程可用相機響應模型來解釋，相機響應函數是描述相機響應模型的具體方式之一。設函數f為相機響應函數，它建立了相機的曝光量E和圖像亮度值P之間的非線性映射關系［10］：

設P和P′分別是在同一場景下不同曝光量E和E′拍攝的圖像，且E′=kE，其中k為曝光比，則：

再設函數g為亮度映射函數（Brightness Map?ping Function，BMF），用于建立同一場景下不同曝光的圖像之間的亮度非線性映射關系［11］，則：

因此，CRF與BMF兩函數之間的轉換關系可表示為：

可見，BMF也可作為相機響應模型的一種具體表示形式，目前已有多種方法用于估計BMF。雖然真實場景下圖像的曝光量難以得到，但當BMF已知時，利用式（3）就可以通過對原始圖像P設置不同的曝光比k來生成不同的圖像P′，等同于起到改變圖像像素曝光量的效果。將這些具有不同曝光比的生成圖像看做一個虛擬的曝光序列，就可以使用圖像多曝光融合方法實現對非均勻光照圖像增強的目的。

顯然，可以直接設置多個不同的曝光比生成一系列圖像，但考慮計算效率，一般希望使用盡可能少的虛擬曝光圖像，這就需要選用適當的圖像質量評價指標作為度量確定最優的曝光比。文獻［6-7］及文獻［8］均采用圖像信息熵這一單一質量評價指標來優化曝光比，依據增強后圖像較暗或較亮像素的信息熵大小來確定最優曝光比。這種方法存在一定的局限性，因為信息熵不能反映圖像的結構化信息，尤其在非均勻光照條件下圖像過暗區或過亮區的局部結構化信息可能丟失。因此，為了實現更好的增強效果，本文在信息熵的基礎上加入了平均梯度評價指標來共同優化曝光比，即產生虛擬曝光圖像的最優曝光比由增強后圖像的信息熵和平均梯度大小共同決定。另外，上述方法所用亮度映射函數沒有歸一化，虛擬曝光結果圖像會存在欠曝或過曝像素，從而導致部分圖像細節信息的丟失，且文獻［8］要分別對暗區和亮區像素估計不同的最優曝光比，計算比較繁瑣，因此，本文進一步改進了亮度映射函數設計方法，提出使用對稱亮度映射函數，只需一次估計最優曝光比即可實現對非均勻光照圖像進行虛擬增強曝光和減弱曝光，且保持與原圖像亮度順序的一致性，不會出現欠曝或過曝現象。最后，為凸顯圖像細節，再采用帶細節提升的多曝光融合方法重構圖像即可實現非均勻光照圖像增強效果。

3 非均勻光照圖像增強方法

3.1 方法流程

本文提出的基于對稱亮度映射和虛擬多曝光融合的非均勻光照圖像增強方法的流程圖如圖1所示。

圖1 本文方法流程圖Fig.1 Flow chart of the proposed method

首先，為了更好地保持圖像的顏色信息，將輸入的單張非均勻光照彩色圖像由RGB顏色空間轉換到HSV顏色空間，分離出圖像的色調分量圖像H、亮度分量圖像V和飽和度分量圖像S；然后，僅針對亮度分量圖像V進行處理，依據信息熵與平均梯度最大化原則來估計最佳曝光比kopt，代入所設計的亮度映射函數g中，對亮度分量圖像V進行增強曝光處理，得到增強曝光的圖像V1=g(V，kopt)，同時利用函數g關于點(x0，y0)對稱的亮度響應函數進一步對亮度分量圖像V進行減弱曝光處理，得到減弱曝光的圖像V2=2y0-g（2x0-V，kopt）；接著，為凸顯圖像細節信息，使用帶細節提升的多曝光融合方法，對由圖像V、增強曝光圖像V1和減弱曝光圖像V2組成的虛擬曝光序列進行融合，重構出增強后的亮度分量圖像V；最后，將增強后的亮度分量圖像V和保持不變的色調分量圖像H、飽和度分量圖像S從HSV顏色空間轉換回RGB顏色空間，得到最終的圖像增強結果。

3.2 基于圖像信息熵和平均梯度的最佳曝光比估計

圖像信息熵［12］和平均梯度［13］是衡量圖像質量的兩個常用無參考指標。

圖像信息熵一般用來度量圖像信息量，其值越大說明圖像中包含的信息越多，計算公式如式（5）所示：

式中J為灰度級總數，pi表示圖像I中某處灰度出現的概率。

圖像的平均梯度代表了圖像微小細節反差變化的速率，可以用來表示圖像的清晰度，其值越大說明圖像的結構化信息越多，圖像越清晰，計算公式如式（6）所示：

式中M×N為圖像大小，I(x，y)為圖像I在像素(x，y)處的灰度值。

對于非均勻光照圖像，為了實現更好的增強效果，一般先只針對曝光不足或曝光過高的像素集合來估計最優曝光比，再利用此最優曝光比作用于圖像中所有像素實現虛擬曝光增強或虛擬曝光減弱效果。

本文方法在估計最優曝光比時，使用圖像信息熵和平均梯度最大化原則：使經亮度映射函數作用后的虛擬曝光圖像中對應原始圖像中曝光不足或曝光過高的像素集合所能蘊含的信息量和清晰度達到最優。該優化問題可以表示為：

其中，Q為原始輸入圖像中曝光不足或曝光過高像素灰度值集合，g為圖像灰度映射函數。

獲得僅包含曝光不足的像素灰度值集合Q1和僅包含曝光過高的像素灰度值集合Q2的判定方法為：

式中T(x)為圖像V的光照分量圖，估計T(x)的方法可以參見文獻［6-7］；τ1和τ2分別為區分曝光不足和曝光過高像素的灰度閾值，本文中圖像灰度歸一化后取τ1=0.5，τ2=0.5。式（7）中，Q=Q1時，要滿足k>1；而Q=Q2時，要滿足k<1。

3.3 對稱亮度映射函數

由于非均勻光照圖像存在曝光不足和曝光過度兩種情形，如果使用統一的曝光比直接對非均勻光照圖像進行曝光補償等增強處理，無法使所有像素曝光良好。因此需要選擇合適的亮度映射函數對曝光不足區域做增強曝光處理，生成增強曝光圖像，提高原圖像中的局部亮度偏低像素的灰度值；對亮度過高區域做減弱曝光處理，生成減弱曝光圖像，降低原圖像中的局部亮度偏高像素的灰度值。

以v表示某一亮度值，k表示曝光比參數，亮度映射函數g(v，k)的設計一般應滿足3個條件：

（1）為防止映射后圖像相鄰像素之間的亮度值差異消失，函數必須是嚴格單調的，即對任意v2>v1，須滿足g(v2，k)>g(v1，k)。

（2）為防止映射后像素亮度值截斷導致信息丟失，要保證歸一化輸入圖像的每個像素亮度值仍被映射至歸一化區間[0，1]，即g(0，k)=0，且g(1，k)=1。

（3）曝光比k控制著曝光效果。當k=1時，g(v，1)=v，即曝光不變；對于任意(0，1)之間取值的像素v，當k>1時，g(v，k)>g(v，1)=v，即增強曝光；當k<1時，g(v，k)

當生成增強曝光圖像時，文獻［4-6］中方法所采用的亮度映射函數為：

其中a=-0.329 3，b=1.125 8。實驗結果表明，該函數取得了較好效果，但它不滿足上述條件（2），會在輸入圖像亮度值較大時產生截斷而丟失亮區的信息。

為了利用該函數的效果優勢并彌補其不足，本文以分段的形式定義一種改進的亮度映射函數：

為保證函數連續，須滿足g1(θ，k)=g2(θ，k)=ε，ε為分段點自變量θ所對應的映射值。反過來通過指定ε也可求出θ，本文取ε=0.9以得到較好的暗區對比度提升效果。

這里g2(V，k)的主要作用就是防止圖像亮度值超過1而被截斷，起到保留原始圖像亮區灰度信息的效果，可選函數很多，為便于計算，一種簡單的函數形式是取經過點(θ，ε)與(1，1)的直線，即：

當ε=0.9時，改進前后的亮度映射函數曲線如圖2所示。

由圖2可知，該函數能較好地拉升圖像暗區像素的亮度值，增強圖像暗區像素的對比度。

圖2 改進前后的亮度映射函數曲線對比Fig.2 Comparison of the original and improved BMF curves

根據函數點對稱性質可知，當想要較好地拉升圖像亮區像素的亮度值，增強圖像亮區像素的對比度時，可直接選擇使用該亮度映射函數關于點(x0，y0)對稱的函數生成減弱曝光圖像：V2=2y0-g(2x0-V，kopt)，這 里x0=0.5，y0=0.5，從而無需重新估計新的最優曝光比和設計新的亮度映射函數。

當ε=0.9時，用于增強曝光的亮度映射函數與用于減弱曝光的亮度映射函數所組成的對稱雙曲線如圖3所示。可見，增強曝光的BMF曲線拉伸了低光區域的亮度對比度，而保持著高光區域的亮度一致性；相反，減弱曝光的BMF曲線拉伸了高光區域的亮度對比度，而保持低光區域的亮度一致性。兩條曲線同時作用于原圖像，即可虛擬生成對應的增強曝光圖像和減弱曝光圖像，加上原始輸入圖像，就可看做是一個由3幅不同曝光圖像組成的信息互補的虛擬多曝光序列。

圖3 對稱亮度映射函數曲線Fig.3 Symmetric BMF curves

3.4 帶細節提升的虛擬多曝光融合

對非均勻光照圖像，在增強圖像對比度的同時，還希望盡可能地凸顯圖像細節。因此，本文最終圖像增強結果采用帶細節提升的多曝光融合方法［6］將圖像V以及虛擬曝光生成的兩幅圖像V1和V2進行信息融合而得到。

具體而言，首先要將曝光序列中的任一圖像分解為不同尺度下的基礎層和細節層，這里用3個不同尺度的高斯卷積核分別對待處理圖像進行濾波，即：

式中Vn為曝光序列中第n幅圖像，Bn，i(i=1，2，3)為第n幅曝光圖像在不同尺度下的基礎層，Dn，i(i=1，2，3)為第n幅曝光圖像在不同尺度下的細節層，Gi(i=1，2，3)為標準差為σ1=1，σ2=2和σ3=4的高斯核，?表示卷積運算。

然后，取最小尺度的高斯核卷積得到的基礎層作為后續融合的基礎層圖像，即第n幅曝光圖像對應的基礎層Bn=Bn，1，細節層圖像則由上述3種尺度下的細節層加權重構得到：

式中w1、w2、w3為權重系數，sgn為符號函數。

接著，采用將像素顯著性和空間一致性相結合的方法計算Bn和Dn的權重圖，其步驟如下：

（1）利用3×3的拉普拉斯濾波器L與每幅圖像Vn進行卷積，得到高通圖像Hn：

用Hn絕對值的局部高斯平滑處理結果構建顯著性圖像Sn：

式 中Rrg，σg是 大 小 為(2rg+1)×(2rg+1)、標 準 差為σg的高斯低通濾波器，其中rg=5，σg=5。

（2）通過比較不同的Sn中相同位置像素的顯著性數值確定初始的權重圖中對應位置的權重值為：

式中N為圖像的數量，為第n幅圖像在第k個像素處的顯著性數值。

（3）利用引導濾波能保持像素空間一致性的優點來改善初始權重圖Pn，將Pn作為引導濾波的輸入圖像，將與Pn對應的圖像Vn作為引導圖像，即：

然后，將N個基礎層權重圖和N個細節層權重圖在相同像素位置分別做和為1的歸一化處理，再通過線性加權的方法分別進行融合，即：

最后，將融合后的基礎層與融合后的細節層Dˉ相加，得到最終的重構圖像I：

4 實驗結果及分析

為了驗證文本方法對非均勻光照圖像增強的可行性與有效性，選取DICM［14］、LIME-data［15］、NPE-data［4］及其擴展集NPE-ex1、NPE-ex2、NPEex3以及VV［16］等7個公開數據集進行了對比實驗，實驗后進行了圖像質量的主客觀評價。對比方法包括經典的方法NPE［4］和SRIE［5］、基 于 圖像融合的方法YING-EF（Exposure Fusion）［7］和VMEF（Virtual Multi-Exposure Fusion）［8］、基于深度學習的方法LightenNet［17］，其中對比方法的參數設置保持原論文設置不變。

4.1 實驗結果客觀評價

為了客觀評價本文方法，采用圖像信息熵、平均梯度、圖像對比度、顏色一致性作為客觀指標來衡量方法性能。圖像對比度代表了圖像亮區暗區拉伸的對比程度，其值越大說明圖像的灰度反差越大，圖像的動態范圍越高，其計算公式如式（21）所示：

其中，δ(i，j)=|i-j|，即相鄰像素間灰度 差；Pδ(i，j)為相鄰像素間的灰度差為δ的像素分布概率。將圖像中每個像素點的R、G、B值看作3維空間的1個顏色向量，則顏色一致性度量為計算原圖像與增強圖像所有對應像素點的顏色向量夾角余弦值［18］的平均值，其值越大表明圖像增強后的顏色與原圖像差異越小，其計算公式如式（22）所示：

其中，I和E分別為原圖像和增強圖像，θp為像素點P處的顏色向量夾角，n為像素點總數。

客觀評價指標的實驗結果如表1~4所示。表中每個數據集對應的結果是該數據集上所有圖像相應評價指標的平均值，最后也記錄了所有數據集上圖像的整體平均值。

表1 不同方法在各數據集上的圖像信息熵Tab.1 Image information entropy of different methods on each dataset

結果表明，NPE、SRIE、YING-EF和Lighten?Net方法的增強效果比較接近，均處于較低水平；VMEF方法略高于NPE、SRIE、YING-EF和Light?enNet方法；而本文方法在圖像信息熵、平均梯度、圖像對比度、顏色一致性等客觀評價指標上均表現為最高，在7個公開數據集上相應評價指標的整體平均值分別達到了7.644，9.209，450.683，0.962，與對比方法相比均有顯著提升。

表2 不同方法在各數據集上的平均梯度Tab.2 Average gradients of different methods on each dataset

表3 不同方法在各數據集上的圖像對比度Tab.3 Image contrast of different methods on each dataset

表4 不同方法在各數據集上的顏色一致性Tab.4 Color consistency of different methods on each dataset

4.2 實驗結果主觀評價

為了能夠真實地反映本文方法對非均勻光照圖像增強的直觀效果，從實驗結果中挑選了兩幅具有代表性的圖像及其細節放大圖（紅色方框標出），如圖4、圖5和圖6所示。可以看出，SRIE和YINGEF方法對于圖像的增強并不明顯，增強后圖像對比度仍偏低，不利于人眼分辨圖像信息；圖4中汽車和街道部分、圖5中樹和沙灘部分以及圖6中洞壁和人臉部分，由NPE、VMEF和LightenNet方法處理的圖像亮度較暗；而本文方法增強的圖像不僅對比度較高，而且細節清晰、色彩層次感豐富，相較于其他算法的可視化效果有了明顯提升。

圖4 非均勻光照圖像增強結果對比（示例1）Fig.4 Comparison of image enhancement results for non-uniform illumination image（Example 1）

圖5 非均勻光照圖像增強結果對比（示例2）Fig.5 Comparison of image enhancement results for non-uniform illumination image（Example 2）

圖6 非均勻光照圖像增強結果對比（示例3）Fig.6 Comparison of image enhancement results for non-uniform illumination image（Example 3）

5 結 論

為解決非均勻光照圖像出現的各種問題，如對比度低、細節不清晰、可視化效果差等，本文提出了一種基于對稱亮度映射和虛擬多曝光融合的非均勻光照圖像增強方法，通過兩條對稱的亮度映射函數曲線分別對非均勻光照圖像的欠曝光區域做增強曝光處理，對過曝光區域做減弱曝光處理，然后使用帶細節提升的多曝光融合方法對原圖像、減弱曝光圖像和增強曝光圖像組成的曝光序列進行融合得到最終的增強圖像。在7個公共數據集上的實驗表明，本文方法取得的圖像信息熵、平均梯度、圖像對比度、顏色一致性4種客觀評價指標均值分別為7.644，9.209，450.683，0.962，均優于對比方法，獲得了動態范圍高、對比度強、細節清晰和可視化效果好的增強結果。