基于導向濾波的鬼影消除多曝光圖像融合

安世全，張 莉，瞿 中

(重慶郵電大學 計算機科學與技術學院，重慶 400065)

0 引 言

普通數碼相機所捕獲圖像的動態范圍遠遠低于現實場景。為解決該問題，通過合并同一場景中不同曝光量的低動態范圍圖像序列[1,2]，實現高動態范圍成像。近年來，國內外研究學者已提出了多種融合高動態范圍圖像的算法。Mertens等[3]提出將對比度、飽和度及良好曝光度作為權重值，結合拉普拉斯和高斯金字塔進行融合。Vanmali等[4]提出了一種低復雜度的融合算法，對源圖像序列加權相加。Li等[5]提出了利用空間一致性融合基礎層和細節層。Kinoshita等[6]提出了一種基于輸入多重曝光圖像的亮度分布自動確定程度的方法。

在現實場景通常是包含移動物體[7,8]。因此，如何生成動態場景的無鬼影高動態范圍圖像是近年來研究的熱點。Li等[9]提出遞歸濾波細化權重圖，并利用直方圖均衡化和中值濾波檢測運動物體。Liu等[10]提出密集尺度不變特征變換實現局部對比度提取和鬼影去除。Ma Kede等[11]提出圖像分塊思想實現多曝光圖像融合。Wang等[12]利用亮度線性地取決于曝光時間的理論實現檢測移動物體以進一步曝光融合。

為了有效地解決邊緣細節失真、運動物體的鬼影現象，首先通過差分圖像和最大類間方差作為預處理步驟；然后計算3個不同的質量衡量因子估計權值；改進導向濾波，增加邊緣與非邊緣的差距，達到去噪效果；最后，利用加權平均和獲得融合圖像。

1 動態場景的鬼影消除

在本文研究中，假設圖像通過將相機放在三腳架上或使用一些注冊技術進行對齊[13，14]。傳統算法是選擇適度曝光的圖像選為參考圖像，并采用差分法評估運動像素點，可消除簡單運動場景中的鬼影現象。本文在消除簡單運動場景的鬼影現象的同時，對復雜場景同樣有效。

對于多曝光圖像序列為In(n=1,2,…,N，N為圖像的數目)，為消除曝光差異對檢測運動像素的影響，選擇參考圖像Iref，對待融合圖像進行直方圖匹配，如式(1)所示

(1)

(2)

并確保相鄰像素具有相似的權重，計算差分圖像Dn的類間方差最大值，排除異常值。對于每一幅差異圖像Dn，采用圖像分割被分割為兩類C1類、C2類，使得兩類像素的區分度達到最大，如式(3)、式(4)所示

(3)

(4)

當差分圖像大于最優分割閾值時，表示該像素處于運動狀態，否則，表示靜態。運動物體的檢測如式(5)所示

(5)

(6)

2 質量衡量因子

圖像的細節信息主要體現在該圖像的結構特征、對比度以及色彩飽和度方面。對于靜態場景中的多曝光圖像序列，通過提取圖像的局部對比度、適當曝光度和色彩飽和度，構造初始權值圖。

2.1 局部對比度

人類視覺系統對局部對比度信息的感知更加敏感。通過Scharr算子計算圖像的局部對比度。則局部對比度Cn(x,y) 如式(7)所示

(7)

其中，Gx(x,y)、Gy(x,y) 分別表示灰度圖像沿x、y方向的梯度信息。

2.2 適當曝光度

圖像曝光度是決定圖像質量的重要指標。利用高斯模型對所有曝光像素點分配合理的權值，如式(8)所示

(8)

2.3 色彩飽和度

色彩飽和度是突出圖像細節的重要因素。本文通過計算每個像素點各個通道內的標準差得到色彩飽和度Sn(x,y)，其式(9)如下所示

(9)

2.4 構造初始權重圖

(10)

3 優化導向濾波的圖像融合

3.1 傳統導向濾波

導向濾波是一種基于局部線性模型的邊緣保持濾波器[15]，計算時間與濾波器尺寸無關。為了輸出圖像與輸入圖像之間的差距最小，用最小二乘法擬合線性關系，式(11)如下所示

(11)

其中，ak和bk是以像素點k為中心的局部窗口ωk的線性變換系數，Pi是輸入圖像，Ii是導向圖像，ε是平滑系數。通過計算得到ak和bk，公式如下所示

(12)

(13)

(14)

3.2 初始權重圖細化

為減少噪聲對融合結果的影響，本文根據導向濾波對初始權重圖進行處理。在導向濾波中，ak決定最終圖像的邊緣保持程度。對于局部窗口，ak值隨著像素間的紋理差異而變化，而ε值是賦予固定的參數，使得像素點被疊加的平滑力度完全相同。雖然彌補了部分像素點的欠平滑問題，但也會導致過度平滑。當邊緣像素點過度平滑時，就會發生光暈、梯度反轉現象。因此，在邊緣信息豐富的區域中，ak值較大，則需要較小的ε值，使得疊加平滑倍數??；在平滑區域中，ak值較小，則需要較大的ε值，使得疊加平滑倍數大。因此，本文設計了一個自適應的加權函數，解決了不同局部窗口的紋理特性，式(15)如下所示

(15)

其中，β為區別邊緣的閾值，λ表示該圖像邊緣的限制因子。當像素點的梯度信息大于β時，表示該像素點處于邊緣區域，否則表示處于平滑區域。改進的導向濾波使得邊緣與平滑的差異程度增加，避免在邊緣處模糊疊加，提高圖像質量，具有較好的魯棒性。本文根據實驗取β=0.3，取λ=2，若λ>2時存在局部失真，若λ<2時仍有較少的光暈。將式(11)、式(12)優化如式(16)、式(17)如下所示

(16)

(17)

根據改進的導向濾波細化初始權重圖，式(18)如下所示

(18)

(1)判斷像素 (x,y) 是否處于邊緣區域。

(2)當像素 (x,y) 處于邊緣區域時，φ(x,y) 值變大，對邊緣紋理敏感，放大該像素的邊緣信息，正則項的值變小。

(3)當像素 (x,y) 處于非邊緣區域時，φ(x,y) 值變小，對邊緣紋理不敏感，抑制該像素的邊緣信息，正則項的值變大。

3.3 加權融合

在獲得精確的權值圖后，可以從靜態圖像序列直接計算融合結果，得到最終的融合圖像F(x,y)，式(19)如下所示

(19)

4 實驗結果與分析

根據提出的算法使用各種曝光序列進行測試，其涵蓋不同類型的靜態場景和動態場景，并將本文算法與Mertens等、Vanmali等、Li等[5]、Li等[9]、Liu等、提出的算法進行比較。

4.1 靜態場景的測試與分析

在靜態場景中，本文算法與Mertens等、Vanmali等、Li等[5]3種算法進行了實驗對比。圖1(a)、圖2(a)分別為多曝光圖像序列Candle、Windows場景。圖1(b)-圖1(e)、圖2(b)-圖2(e)是Mertens等、Vanmali等、Li等[5]、本文算法的實驗結果呈現，并放大了局部區域。

根據實驗結果可知，Mertens等具有較好的色彩飽和度信息，但是局部對比度較低，導致細節不夠清晰(如圖1(b)火焰，圖2(b)的窗簾、放大區域的臺燈過亮而失去細節)。Vanmali等提出的算法存在明顯的顏色退化、細節失真等現象(如圖1(c)的火焰周圍及玻璃杯，圖2(c)的墻壁菱角模糊)。Li等的算法采用傳統的導向濾波，存在嚴重的光暈、梯度反轉的現象(如圖1(d)的墻壁區域及桌子區域出現大量的光暈，圖2(d)的墻壁及窗戶簾子上出現大面積的光暈、放大區域的臺燈暗沉有光暈)。本文算法的實驗結果呈現了較豐富的細節信息和較鮮艷的色彩信息(如圖1(e)燃燒著火苗)，同時消除了光暈的現象。

圖1 Candle場景實驗結果對比

圖2 Windows場景實驗結果對比

4.2 動態場景的測試與分析

圖3(a)、圖4(a)、圖5(a)分別為多曝光圖像序列Arch、SculptureGarden、Horse場景。圖3(b)-圖3(e)、圖4(b)-圖4(e)是Mertens等、Li等[9]、Liu等、本文算法的實驗結果呈現，并放大了局部區域。圖5(b)-圖5(e)是 Mertens等、Li等[9]、Liu等、本文算法的融合圖像進行比較。

由實驗結果得出，Mertens等提出的算法雖具有較好的表現力，卻產生了嚴重大面積的鬼影(如圖3(b)、圖4(b)的行人，圖5(b)的馬頭)，并出現顏色失真(如圖4(b)的背景色彩飽和度不夠)。Li等提出的算法在很大程度上去除了鬼影現象，但是對于復雜的運動場景中仍包含一些微弱的鬼影(如圖4(c)的行人，圖5(c)的馬頭)，并且對比度不夠清晰(如圖3(c)的柱子、圖5(c)的墻壁色調偏暗)。Liu等提出的算法雖然具有良好的對比度，但是沒有將鬼影完全消除干凈(如圖3(d)遠處拱形區域出現模糊的人影，圖4(d)的行人，圖5(d)的馬頭)，色彩整體偏暗淡(如圖3(d)的吊燈部分區域、遠處草木區域及柱子區域，圖4(d)的天空，圖5(d)的墻壁)。本文提出的算法能有效去除鬼影，在避免光暈現象的同時保留較豐富的場景信息。

圖3 Arch場景實驗結果對比

圖4 SculptureGarden場景實驗結果對比

圖5 Horse場景實驗結果對比

4.3 客觀評價

本文采用邊緣相似性 (QAB/F)[16]、圖像清晰度，客觀地評估不同融合算法的性能。QAB/F是衡量兩幅圖像的邊緣特征相似性。當圖像相似性越大時，QAB/F值越接近于1.0。圖像清晰度則是利用平均梯度進行描述，平均梯度與圖像清晰度呈正相關，平均梯度越大，細節越多。

本文評估了4組靜態場景和4組動態場景的圖像序列，分別通過計算QAB/F、圖像清晰度評價指標將本文算法與靜態場景算法、動態場景算法進行比較，評價結果見表1、表2。從測試數據可知，與傳統算法對比，本文算法具有較好的客觀結果與圖像質量(表1和表2中的粗體值代表每行的最佳值)。

表1 QAB/F的評價結果

表2 圖像清晰度的評價結果

4.4 運行效率

表3表示8組圖像3種關于動態場景算法的運行時間比較結果。該計算機的處理器為i5-3230M，主頻為2.60 GHz，內存為4.0 GB。在比較結果可以得出，本文算法的運行時間均低于其它算法，運行效率高于其它算法(表3中的粗體值代表每行的最佳值)。

表3 運行時間比較

5 結束語

本文提出了一種基于導向濾波的無鬼影曝光融合算法，有效消除復雜場景中的鬼影現象，并減少光暈的同時保留細節。首先，通過參考圖像與其它圖像匹配，使能夠保留更多圖像細節，尤其對于曝光量有嚴重偏差的區域。其次，為了進一步抑制融合中異常值，利用最大類間方差進行運動檢測。然后，使用質量衡量因子(局部對比度、適當曝光度和色彩飽和度)來計算權重圖。最后，為了提高準確性和消除導向濾波產生的光暈現象，使用改進的導向濾波對其細化，對區域的紋理差異實現自適應。從主觀視覺與客觀評價進行分析，實驗結果表明本文算法無論在動態場景還是靜態場景均具有較好的效果。