基于SWF技術的多曝光圖像融合算法

段晨龍 范銘賢 許可

（重慶郵電大學計算機網絡與通信技術重慶高校重點實驗室 重慶市 400065）

1 背景簡介

普通數碼相機成像的動態范圍一般為2～3 個數量級，而現實場景的亮度變化范圍高達8～10 個數量級[1]。在使用數碼相機時，在外界不同曝光度的情況下，得到的圖像很難展現出完整的細節。數碼相機通常會在曝光不足和過度曝光的區域拍攝細節不足的圖像。如今已經有了很多處理這一問題的方法，高動態范圍(HDR)成像技術克服了這一限制，首先捕獲具有不同曝光水平的多幅圖像，然后通過反轉相機響應函數(CRF)重建HDR 圖像。但這一方法得出來的圖像會出現失真。

近年來，許多學者都在多曝光圖像融合領域展開了研究，并提出了許多有效的算法，但都存在些許不足。Mansour 等[2]通過亮度分量構建了權重圖，這種方法的優勢在于其速度快效率高，可以得到較好的結果。Mertens 等[3]提出了基于金字塔結構的多曝光圖像融合算法，該方法獲得了較好的融合效果，但丟失了較亮區域和較暗區域的細節信息。Raman 等[4]采用基于雙邊濾波的圖像細節強度作為權重來指導融合過程。Shen 等[5]提出了一種新的基于細節和基信號的增強拉普拉斯金字塔結構，該結構以曝光權重為導向，較好地保留了細節信息,但增加了算法的運算復雜度。Li 等[6]提出的MEF 方法使用拉普拉斯濾波構建權重圖。Gu 等[7]使用了保存邊緣的遞歸濾波器來生成細化的邊緣對齊的權重映射。Liu 和Wang[8]應用密集尺度不變特征變換(SIFT)[9]獲得基于局部梯度信息的對比度和空間一致性權值，有效地保留了細節信息，在靜態圖像融合方面表現很好。Song 等[10]的融合方案使用了一個概率模型來保持最大的可見對比度和合成的最終圖像的梯度一致性。

為了進一步提升圖像細節的保留程度，并且避免時間過度消耗，本文主要采用了Mansour[2]的思想。首先計算得到以下三個信息值：圖像細節、曝光亮度和色彩信息。我們利用輸入源圖像的亮度分量來提取曝光特征，并通過曝光函數將其映射到基層和細節層的混合權值。最后根據加權融合的方式進行圖像融合，得到融合圖像。

2 方法

2.1 濾波器改進

令Ik表示輸入不同曝光度下的待融合圖像，k=1,...,K。對于每一幅圖片，我們先通過其紅綠藍通道計算出其亮度分量，表示為Lk，之后通過亮度分量求出融合的權重值。在我們的方法中，輸入圖像被分解成兩個尺度的表示，即基層和細節層。

基層可以對其亮度分量通過均值濾波器模糊實現，但這一方法會導致融合后的圖像在細節的邊緣處出現光暈。首先，我們依然是與Mansour[2]的處理思想相同，使用Zheng 等[11]提出的導向濾波器進行解決，但我們對其進行了改進，得到了更好的效果。我們采用了Yin 等[12]提出的SWF（Side Window Filter）的方法改進了Zheng[11]的導向濾波器，將導向濾波器的boxfilter 更換為加入了SWF 技術的Side Window Box Filter。

表1：SWF 算法流程

Yin 等[12]認為當一個像素在邊緣上時，將窗口的中心放在像素上是導致許多過濾算法模糊邊緣的根本原因之一。采用SWF 原理可以顯著提高其邊緣保持能力。將經典的boxfilter 與加入了SWF技術的Side Window Box Filter 進行對比可以發現，Side Window Box Filter 即使在迭代了多次之后，對于邊緣的保持還很好，只有極少數邊緣的細節丟失。算法過程如表1 所示。

因為傳統方法使用全窗口回歸，把窗的中心位置放在待處理像素的位置。即便是用非線性各向異性加權，仍然無法杜絕沿著圖像邊緣的擴散。而將待處理像素放在窗口的邊緣，這就切斷了可能的法線方向的擴散。

2.2 圖像細節

將圖像分解為基層Bk與細節層Dk。我們使用SWF 技術達到有效的邊緣保持，隨后通過均值濾波器達到邊緣平滑。利用表示導向濾波器，r1表示導向濾波器的半徑大小，其中引導圖像P 使用待融合圖像的亮度分量在改進的引導濾波器中利用SWFiteration(Img)對邊緣保留進行加強，iteration 表示迭代次數，在這一過程中我們發現它不能很好的做到圖像的模糊，于是通過均值濾波器進行邊緣平滑，r2表示均值濾波器核的大小，首先通過RGB 通道的加權和計算亮度分量，則

之后可以輕易得到細節層Dk，最后用原灰度圖減去濾波之后的圖像Bk便得到圖像細節Dk，即

表2：進行多項式回歸的數據集，對比度對應的最佳r1 與信息熵值對應的最佳r2

2.3 計算權值圖

得到基層與細節層時候還需要得到各個像素點的權值，便于之后融合，權值的由公式（3）得到，在該公式中φ 表示曝光特征，σ 控制高斯分布，Ce 表示曝光良好的常數，通常設置為曝光強度范圍的中間值。

在細節層的處理上，通過計算曝光特征在每個像素位置作為平均亮度在一個小的局部領域，圖像細節的曝光質量是基于局部強度變化的平均水平來評估的。對每一個位置(x, y)的像素點做了處理，用WkD表示圖像細節的權值，φkD通過亮度與大小7×7 的幺矩陣進行卷積來得到，其公式為：

基層Bk是由Side Window Box Filter 得到的，基層主要傳達圖像亮度的大規模結構信息。為了獲得該層的混合權值，考慮了局部和全局亮度的曝光質量，在每個像素位置的圖像亮度的局部平均值可以作為局部曝光質量評估的曝光特征。但是，為了在基層和它的權值映射之間有結構上的一致性，使用了基礎層本身作為曝光特征。對于局部曝光量的權值Wk

B,l，其公式為：對于全局曝光量Wk

B,g的權值有：

2.4 加權融合

所有輸入圖像的權值映射構造完成后，將其歸一化為每個像素位置上的單位和。最后，將基層和輸入圖像細節層的加權平均合并到融合圖像F 中，得到融合后的圖像

其中α 用于控制細節度。

2.5 函數擬合

在研究中發現，參數r1 與輸入圖像的對比度有關，r2 與輸入圖像的信息熵值有關，對這兩個參數進行了函數擬合。

2.5.1 多項式回歸原理

在現實中，許多關系往往具有很強的非線性關系。我們數據的散點圖也展現出了很強的非線性關系，圖1 中的wR 即r1，aR 即。

圖1

圖1 中的數據具有很強的非線性關系，因此直接使用線性回歸的方式來擬合這些數據得到的效果不會太好。通過不斷實驗我們得出，利用三次方程進行擬合得到的效果比較好。相應的方程可以寫為y=ax3+bx2+cx+d。

對于這樣的一個三次方程，本文是從x 的角度來理解的。如果從另一個角度理解的話，把x3理解成一個特征，x2理解成第二個特征，x 理解成第三個特征。換句話說，將原來理解的x 一個特征，轉變為了三個特征。其實，y=ax3+bx2+cx+d 本身依然是線性回歸的式子。通過這個轉換，就可以把它轉換為線性回歸問題了。

2.5.2 數據選取與收集

我們選取了8 組數據作為數據集。如表2 所示。

2.5.3 模型訓練

與線性回歸相同，我們的目標是最小化殘差平方和：

2.5.4 擬合結果

最終得到的函數為，其中cgavg代表圖像序列的平均對比度，Havg代表圖像序列平均信息熵：

其中r1與r2均為正整數。

3 評測與分析

通過多次測試得到了各個參數的最優值。σg=0.2，σl=0.5，σD=0.135，α=1.1，?=0.25，迭代次數iteration=4。

采用最近提出的MEF 質量評價模型MEF-SSIM[13]的結果表明，在與主觀判斷的相關性方面，該質量測度優于所有現有的MEF質量評價測度。利用這個模型將我們提出的方法與已提出的一些MEF 算法的融合性能進行了比較，其中包括Raman09[4]，Gu[7]，Shen11[14]，Bruce14[15]，Mertens09[3]，Li13[16]，Mansou[2]，其評價結果如表3 所示。可以看出，在MEF-SSIM 的質量測度方面，所提出的方法在大多數序列中性能最好或次之。平均而言，我們方法的性能最好，Mansou[2]與Mertens09[3]次之。

表3：使用mef - ssim[13]的現有mef 算法與本文提出算法的性能比較

表3（續）

圖2：Office 圖像序列Mansou[2]與提出算法對比

圖3：MadisonCapitol 圖像序列Li[6]與提出算法對比

質量值的范圍從0 到1，一個高的值表示更好的感知質量。

實驗選取了Arno, Balloons 等經典多曝光融合的典型組圖進行測試與對比，將本方法與Mansou[2]的融合結果進行可視化比較，如圖2 所示。在測評中對兩種算法評價值相同，但從視覺效果上來看，我們的算法得出的圖像色彩對比更加明顯，顏色更加鮮艷視覺效果更好。

將我們的算法與Li[6]進行對比，結果如圖3 所示。Li[6]融合算法不能很好地利用顏色信息，導致融合輸出顏色單調。此外，全局亮度在最終的結果中有很大的變化，圖像的中心部分明顯比底部和右側部分暗。

4 總結

本文提出了一種具有較好細節保留特點的多曝光圖像融合算法。該方法首先計算了輸入圖像對比度與信息熵的均值，以此計算出融合函數的參數。之后利用引導濾波器以及SWF 技術將輸入圖像分解為基圖像和細節圖像，利用曝光函數有效地計算混合權值，利用計算出的權值進行圖像融合，以此節省了算法的時間。最后通過MEF 質量評估模型的客觀評價驗證了該方法的有效性。我們的算法在對比度和色彩方面表現突出，同時保留了更多的細節。此外，我們算法的速度也比較快，適合消費性相機[17]。由于本次我們的算法只是在靜態場景中有較好的表現，我們之后的工作就是要繼續研究如何將該算法擴展到動態場景中[18]，讓其適應更加多變的情況，同時也要研究節省計算對比度和信息熵的時間，我們的算法得到的圖像質量[19]還有一定的上升空間，之后會不斷改進得到更好的結果。