面向低照度圖像增強的雙曝光融合處理算法

劉婷婷，張玉金，熊士婷

(上海工程技術大學 電子電氣工程學院,上海 201620)

在低照度條件下拍攝的圖像通常會出現不同程度的質量退化，雖然專業設備和先進的攝影技術可以在一定程度上緩解這些退化，但固有原因產生的噪聲是不可避免的。由于沒有足夠的光，相機傳感器的輸出易受系統的固有噪聲干擾，因此輸出的圖像可能會在曝光不足的區域丟失部分重要信息，從而加大了計算機視覺任務的難度。相機的動態范圍有限，如果增加相機曝光量來揭示曝光不足區域的信息，那么曝光良好的區域可能會出現過度曝光甚至飽和的現象。為了解決這一問題，研究人員提出了一些有效的圖像增強技術[1-5]。采用這些方法雖然可以獲到良好的主觀質量，卻不能準確地反映場景圖像的真實亮度和對比度。

文獻[6]在Retinex理論的基礎上，提出一種新的彩色圖像增強算法。根據Gray World理論，引入動態參數來提高圖像的動態范圍，在保持增強彩色圖像高頻成分的同時，較好地保留了部分低頻成分。文獻[7]使用熵控制的灰度分配方案來分配新的輸出灰度范圍，并獲得新的閾值，在直方圖均衡處理之前重新劃分直方圖。倒置的低照度圖像與霧霾圖像類似，因此一些研究人員采用去霧方法，將去霧結果再一次轉化為增強結果[8]。大多數基于Retinex的方法通過去除光照部分得到增強結果。文獻[9～10]通過保持部分照明以保持自然性而獲得增強結果。文獻[11]用兩個增強的光照融合來調整光照分量。文獻[5]設計了一個用于低照度圖像增強的多曝光融合框架，并提出了一種雙曝光融合算法，以提供精確的對比度和亮度增強。

本文利用一種基于人類視覺系統(Human Visual System，HVS)的多曝光融合框架增強低照度圖像，如圖1所示，該框架主要包括兩個階段：人眼曝光調整和人腦曝光調整。第一階段模擬人眼調整曝光，生成多曝光圖像集；第二階段模擬人腦將生成的圖像融合到最終的增強結果中。首先，利用照度估計技術來建立圖像融合的權重矩陣；然后根據觀測結果建立攝像機的響應模型；接著對低亮度像素和亮度分量進行定義以計算最佳曝光率，并改善原始圖像曝光不足的區域，從而得到曝光良好的合成圖像；最后，利用權矩陣將輸入圖像與合成圖像融合，得到增強結果。

圖1 多曝光融合框架Figure 1. Multi-exposure fusion framework

1 多曝光融合框架

多曝光融合框架主要由4個部分組成[5]：多曝光采樣器、多曝光生成器、多曝光評估器和多曝光融合器。文中根據權重矩陣將生成的圖像融合到最終的增強結果中。

1.1 多曝光采樣器

在生成多曝光圖像集之前，要確定圖像數量及其曝光率。由于多曝光集中的一些圖像無法提供附加信息，因此將這些圖像考慮在內是對計算資源的浪費，甚至會惡化融合結果。采樣器通過選擇合適的曝光率，可以利用較少的圖像來顯示場景中的所有信息。采樣器的輸出是一組曝光率{k1,k2,…,kN}，其中N是要生成的圖像數量。

1.2 多曝光生成器

如上所述，不同曝光的圖像是相關的。多曝光生成器根據指定的曝光率集將輸入圖像映射為多曝光圖像。多曝光發生器的關鍵部分是相機響應模型，用于尋找合適的亮度變換函數(Brightness Transform Function，BTF)進行映射。給定曝光率k和BTFg(·)，可以將輸入圖像P映射到曝光集中的第i個圖像。

Pi=g(P,ki)

(1)

1.3 多曝光評估器

為了估計生成圖像中每個像素的健康度，多曝光評估器接收一幅圖像，并輸出一個表示每個像素健康度的權重矩陣。權值矩陣對所有像素都是不均勻的，曝光好的像素權值較大，曝光差的像素權值較小。對所有圖像評估后，輸出矩陣按像素進行歸一化，以確保每個像素的和等于1。

(2)

1.4 多曝光融合器

為了獲得所有像素均曝光良好的圖像，根據權重矩陣將這些圖像簡單地融合為

(3)

其中，c是3個顏色通道的索引；R是增強的結果。其他融合技術如多尺度融合[12]和增強拉普拉斯金字塔融合[13]也可以獲得一定的融合效果。

2 雙曝光融合算法

為了減少計算復雜度，這里只生成一個適當曝光的圖像，并通過融合輸入圖像和生成的圖像獲得增強結果[1]。基于前文的框架，融合圖像被定義為[5]式(4)。

(4)

2.1 多曝光評估器

W的設計是增強算法的關鍵，既要增強曝光不足區域的低對比度，又要保持曝光良好區域的對比度，因此對不同曝光的像素賦予不同的權重值。權重矩陣與場景照度正相關，高照度區域有很大的曝光可能性，為它們指定較大的權重值以保持其對比度。權重矩陣計算為[5]

(5)

式中，T為場景照明映射；μ為控制增強程度的參數。當μ=0時，得到的R等于P，即不執行增強；當μ=1時，曝光不足像素和曝光良好像素都被增強；當μ>1時，像素可能飽和，并且結果R遭受細節損失。為了在保留曝光良好區域的同時進行增強，經過多次實驗，將μ設置為0.4。通過求解一個優化問題來估計場景照明映射T。

2.1.1 優化問題

亮度分量可以作為場景照明的估計值，采用亮度分量作為照明的初始估計[5]。

(6)

對于每一個像素x，理想照明對于結構相似的區域具有局部一致性。換句話說，T應該保留圖像有意義的結構并去除紋理邊緣。通過求解以下優化方程來優化T[9]

(7)

M的設計對于光照圖的精細化具有重要意義。與具有復雜圖案的紋理相比，局部窗口中的主邊緣具有更多相似方向的梯度。因此，包含有意義邊緣的窗口的權重應小于僅包含紋理的窗口的權重。權重矩陣設計為[5]

(8)

其中，|·|是絕對值運算符；ω(x)是以像素x為中心的局部窗口，取值為5；ε是一個非常小的常數，取值為0.001，以避免零分母。

2.1.2 閉式解

為了降低復雜度，文獻[9]中的方程(7)可近似為式(9)。

(9)

可以看出，這個問題僅涉及二次項。設md、l、t和?dI分別表示Md、L、T和?dL的矢量化形式，通過求解以下線性函數可以得到相應的解[5]

(10)

其中，I為單位矩陣；Diag(v)算子使用向量v構造對角矩陣；Dd為前向差分離散梯度算子的Toeplitz矩陣。

2.2 多曝光生成器

本文利用相機響應模型實現多曝光生成器。攝像機響應模型[5]由兩部分組成：攝像機響應函數(Camera Response Function，CRF)模型和BTF模型。CRF模型的參數僅由相機決定，而BTF模型的參數由相機和曝光率決定。本文首先介紹了基于兩幅不同曝光圖像觀測的BTF模型；然后求解比較方程得到相應的CRF模型；最后確定模型參數并給出g的最終形式。

2.2.1 BTF估計

為了估計BTFg，選擇一對僅曝光不同的圖像P0和P1。曝光不足圖像的直方圖主要集中在低亮度區域，如果在傳統的gamma校正之前對像素值進行線性放大，則得到的圖像非常接近真實曝光良好的圖像[5]。因此，使用雙參數函數將BTF模型進行如下描述[5]

(11)

其中，β和γ是與曝光率k有關的BTF模型中的參數。對于一般相機而言，不同顏色通道因響應曲線近似相同而具有相似的模型參數。

2.2.2 CRF估計

在BTF模型中，β和γ是由相機參數和曝光率k確定的。為了獲得它們之間的關系需要相應的CRF模型，可通過求解如下方程(將g=βfγ代入f(kE)=g(f(E)))得到[5]

f(kE)=βf(E)γ

(12)

f的封閉形式解為

(13)

其中，a和b為γ≠1時的模型參數

(14)

c是γ=1時的模型參數。

c=logkβ

(15)

通過式(13)可以導出兩個CRF模型。當γ=1時，CRF模型是冪函數，而BTF模型是簡單的線性函數。有些相機制造商將f設計成gamma曲線，可以較好地擬合這些相機特性。當γ≠1時，CRF模型是一個雙參數函數，BTF模型是一個非線性函數。大多數相機的BTF是非線性的，因此主要考慮γ≠1的情況，BTFg(·)解為式(16)[5]。

g(P,k)=eb(1-ka)P(ka)

(16)

β和γ兩個模型參數由攝像機參數a、b和曝光率k計算。這里假設沒有提供關于相機的信息，使用一個固定的相機參數(a=0.329 3，b=1.125 8)，該參數可以適用于大多數相機。

2.3 多曝光采樣器

如前所述，本算法只生成一幅圖像，因此僅需要確定生成圖像的最佳曝光率。為了僅使用輸入圖像和生成的圖像來表示盡可能多的信息，需找到最佳曝光率，使合成圖像在原始圖像曝光不足的區域得到良好的曝光。

首先排除曝光良好的像素，只提取低亮度像素，得到一個整體曝光不足的圖像。圖像亮度在不同曝光量下變化較大，而顏色基本相同，因此估計g時只考慮亮度分量。低亮度像素的場景照明映射在各通道有不同的體現，為了避免因差距過大導致亮度分量B不夠準確，將亮度分量B定義為三通道的算術平均值。同時為了避免因此帶來的亮度分量過大的情況，定義了低亮度像素Q

Q={P(x)|T(x)<0.4}

(17)

其中，Q只包含曝光不足的像素。亮度分量B表示為

(18)

其中，Qr、Qg和Qb分別為輸入圖像Q的紅色、綠色和藍色通道。曝光良好的圖像比曝光不足或曝光過度的圖像具有更高的可視性，能夠提供更豐富的信息。因此，最優的參數k應該提供最大的信息量。為了測量信息量，利用圖像信息熵

(19)

其中，pi為B的直方圖的第i個bin；B計算數據值在[i/N,(i+1)/N]中的數量；N是bin的數量(N通常被設置為256)。通過最大化增強亮度的圖像熵來計算最佳曝光率k。

(20)

3 實驗結果與分析

為了評估本方法的性能，與近期已有的幾種方法包括多通道融合的方法(BIMEF)[5]、帶色彩恢復多尺度Retinex算法(MSRCR)[14]、自然保留增強算法(NPE)[10]、基于光照估計的方法(LIME)[9]、多偏差融合方法(MF)[11]、反射光照估計方法(SRIE)[15]進行比較。本文在兩個公共數據集(LIME數據[9]和DICM數據[16])的低照度圖像上對上述方法進行了性能評估。

3.1 算法的評價標準

本文使用亮度順序差(Lightness Order Error，LOE)來客觀地測量增強結果的亮度失真。LOE定義為

(21)

其中，RD(x)為像素x的原圖P與其增強圖P′亮度的相對順序差，定義為

(22)

其中，m是像素數；⊕為異或操作；L(x)和L′(x)分別為輸入圖像和增強圖像在x處的亮度分量。U(p,q)的輸出結果為式(23)。

(23)

3.2 圖像增強與對比結果

圖2給出了不同場景下圖像增強的視覺對比結果。其中，第1列為輸入圖像，第2列～第8列分別為SRIE[15]、NPE[10]、LIME[9]、MF[11]、MSRCR[14]、BIMEF[5]以及本文方法得到的增強圖像。從中可以看出，各種算法均可以提高圖像內容的可視性。其中，SRIE提升效果不如其他算法明顯；LIME和MSRCR雖能有效提升圖像亮度，卻丟失了自然性；NPE、MF、BIMEF和本文算法得到的增強圖像保留了圖像的自然性，在視覺上是可以接受的。

圖2 不同場景下的視覺對比Figure 2. Visual comparisons of different scenes

文獻[9～10]采用下采樣來降低LOE計算的復雜度。當圖像下采樣到不同大小時，由于RD將隨著像素數m的增加而增加，LOE可能會顯著改變。同時為了和文獻[5]形成對比，本文將所有的圖像下采樣到一個固定大小，即均勻地收集100行和100列，形成一個100×100的下采樣圖像。表1給出了本文算法與其他算法在亮度順序差上的定量測量結果。

表1 亮度順序差的定量測量結果

綜合圖2和表1可以發現：雖然NPE、MF、BIMEF和本文算法得到的增強圖像在視覺上相近，但本文算法具有最小的亮度失真；MSRCR的結果遭受嚴重的亮度失真；LIME的結果雖然在視覺上令人滿意，但亮度失真明顯；SRIE的結果只能在曝光良好的區域保持亮度順序差。從表1中能夠觀察出本文算法在所有數據集中均優于其他算法，這也說明本文算法能夠較好地保持圖像的自然性。

3.3 時間成本

實驗使用的筆記本電腦配置如下：Windows 10操作系統，1.6 GHz Intel(R) Core(TM) i5-8250U 處理器和8.00 GB內存。本文利用MATLAB 2018a軟件進行編程仿真。

圖3 不同方法在不同圖像尺寸下的時間比較Figure 3. Time comparison among different methods with varying image sizes

圖3為不同方法在不同圖像尺寸下的時間比較結果。結合圖3和表1可以看出，雖然SRIE產生的亮度失真較小，但它耗時較多； MSRCR和LIME耗時較少，但是失真較大；NPE在亮度失真和時間成本上都不能讓人滿意； BIMEF和MF具有較小的亮度失真和計算成本，但本文方法得到的結果均優于兩者，可見本文方法能夠較好地權衡亮度失真和時間代價，效率最優。

4 結束語

本文提出了一種面向低照度圖像增強的雙曝光融合處理算法。首先，利用照度估計技術得到用于圖像融合的權重矩陣；然后，通過攝像機響應模型合成雙曝光圖像。鑒于不同曝光量下圖像顏色基本相同，定義低亮度像素和亮度分量找到最佳曝光率，使合成圖像在原始圖像曝光不足的區域得到更好的曝光；最后，根據權重矩陣將輸入圖像與合成圖像進行融合，得到增強結果。和已有算法相比，本文方法能夠獲得較小的亮度失真，且具有合理的時間開銷。由于實際環境的復雜性，對過度曝光進行優化建模仍是一個充滿挑戰性的問題，未來將對此展開進一步研究。