多特征結合引導濾波的多聚焦圖像融合*

陳 蔓，胥小波

（中國電子科技集團 中國電子科技網絡信息安全有限公司，四川 成都 610000）

0 引言

圖像融合是將多幅源圖像中的互補信息結合到一起，合成一幅包含所有互補信息的過程。圖像融合被廣泛地應用到了各個領域，如數碼成像[1]、遙感圖像[2]、視頻監控以及醫學診斷等[3]。多聚焦圖像融合是圖像融合領域的一個重要分支，通過設置光學鏡頭的焦距，CCD 圖像傳感器得到的圖像中只有景深（Depth of Field，DoF）范圍內的物體呈清晰狀態，其他物體則呈模糊狀態，該圖像也稱為多聚焦圖像。因此，需通過多聚焦圖像融合算法提取所有多聚焦圖像中的清晰信息，合成一幅完全聚焦的圖像，進一步用于圖像識別等領域。圖像融合領域已提出了大量算法，大致可分為兩類：一是基于空間域的算法，二是基于變換域的算法。基于空間域的算法主要使用像素或圖像塊的梯度類信息進行清晰度評價，如Guo 等[4]利用圖像的自相似和深度信息進行圖像融合，Li 等[5]提出使用區域分割和空間頻率特征的圖像融合，De 等[6]提出基于q-d 樹的圖像融合，Li 等[7]提出引入引導濾波優化決策系數的圖像融合等。隨著深度學習的不斷發展，基于卷積神經網絡的特征也應用到了圖像融合[8-9]。基于空間域的算法空間結構保持較好，但細節保留不足，雖卷積神經網絡特征使融合效果有明顯提升，但僅限于兩幅源圖像，不適用于多幅源圖像。而基于變換域的算法起源較早，且隨著多尺度分解技術的不斷發展，從早期Burt 等[10]提出的拉普拉斯金字塔圖像融合和Jian 等[11]提出的基于小波變換的圖像融合，到最近基于其他變換和表示的圖像融合算法[12-14]，圖像融合的質量都有著持續提升。基于變換域的算法雖細節保持能力較好，但空間連續性較差。

本文提出一種多特征結合引導濾波的多聚焦圖像融合算法。該算法包括以下幾部分內容：（1）使用多清晰度評價特征，利用特征間的互補特性，克服單清晰度評價的局限性；（2）使用單個特征計算初始決策圖之前，源圖像作為引導圖像進行引導濾波，提升清晰度評價結果的細節信息；（3）根據多特征的有效性，計算單個特征的置信圖對融合結果進行加權；（4）對初始決策圖再次使用源圖像作為引導圖像進行引導濾波，使決策邊界更加平滑，進一步提升了空間連續性。實驗結果表明，多特征結合引導濾波的圖像融合算法在兩幅或多幅圖像融合結果的局部細節保留能力、空間結構保持以及空間連續性方面都取得了良好結果。

1 多特征

1.1 Gabor 特征

Gabor 濾波器[15]是一種由高斯包絡調制的正弦函數，已經廣泛應用于計算機視覺與圖像處理領域，如圖像識別、圖像壓縮、圖像分割等。而二維Gabor 濾波器可同時獲得空間域和頻率域的局部信息，其一般形式為：

式中θ、λ分別為正弦波的方向和波長，σ為高斯包絡的標準差，ψ為相位偏移，γ為空間橫縱比。

本文取θ={0°，45°，90°，135°}4 個方向的Gabor 濾波器，見圖1。然后提取源圖像的Gabor 特征，即取4 個方向Gabor 濾波后的幅值絕對值之和的均值，公式如下：

式中I為源圖像，為源圖像I在θ方向的幅值，Ig為源圖像I的最終Gabor 特征。

圖1 4 個方向的Gabor 濾波器

1.2 改進的Laplacian 和特征

Laplacian 算子是n維空間中的二階微分算子。若針對圖像，則n=2，即求x、y方向的二階微分。由于二階微分在x和y方向上的符號可能相反且傾向于互相抵消，為克服這一問題，使用改進的Laplacian（Modified Laplacian，ML），公式如下：

式中s為步長，通常s=1。為了抑制單點特征的噪聲，提升特征的魯棒性，對局部窗口的ML 特征求和，得到改進的Laplacian 和（Sum of Modified Laplacian，SML），公式如下：

式中w(x，y)為以(x，y)為中心的窗口內像素點的集合，p、q為窗口內元素的下標。

1.3 密集SIFT 特征

傳統的SIFT 算法包括特征檢測和特征描述兩個步驟，廣泛應用在多類計算機視覺領域，如圖像配準、目標識別等。具有旋轉不變、尺度不變的SIFT 描述子是通過表征感興趣的極值點周圍的局部信息而生成。因此，只有感興趣的點會計算SIFT描述子。SIFT 特征是圖像的稀疏特征表示，不能直接用于圖像融合。

密集SIFT[16]沒有特征檢測步驟，且局部特征描述子不再只針對感興趣的點，而是對每一個像素點，具體描述如下。

對圖像的每一個像素點，如取其48×48 的鄰域，分割成4×4 的單元陣列，對每一個單元陣列計算8個方向的方向直方圖，用于量化梯度信息，得到共4×4×8=128 維的特征向量。使用符號化表示為：

式中Idsift為源圖像I的密集SIFT 特征，若I∈Rm×n，則Idsift∈Rm×n×128（本文使用128 維向量）。為與1.1 節和1.2 節特征維度保持一致，將Idsift沿第3 維求和，公式如下：

式中Id為最終的密集SIFT 特征，x、y、z分別為3 個方向的坐標。

2 本文算法

本文提出的多特征結合引導濾波的多聚圖像融合算法主要包括5 個主要步驟。

2.1 計算源圖像多個特征

本文算法使用3 類具有代表性的特征：（1）Gabor 特征，具有多尺度多方向性，其頻率和方向與人類視覺系統（Human Visual System，HVS）相似，適合紋理的表示與判別；（2）Laplacian 和特征，根據文獻[17]的結論，Laplacian 和特征能夠較好地反映圖像的清晰度；（3）密集SIFT 特征，能夠較好地反映圖像的局部特征。

源圖像為Ii(i=0，2，…，N-1)，其中N為源圖像總數，設W、H分別為源圖像的寬、高。計算源圖像的3 類特征，分別得到，即：

式中I即Ii。

2.2 多特征引導濾波

由于引導圖像的高頻信息會轉移到輸出圖像[1]，因此可通過使用源圖像作為引導圖像對特征圖進行引導濾波，使特征圖獲取更多的高頻信息，效果見圖2。引導濾波計算公式如下：

式中G為特征引導濾波的結果，x、y為圖像像素的坐標，i為圖像下標，t={1，2，3}為特征索引值，fr，ε為引導濾波函數，r為引導濾波窗口大小，ε為引導濾波的模糊度參數。

圖2 SML 特征引導濾波結果

2.3 計算初始決策圖和置信圖

2.3.1 計算初始決策圖

由于特征提取的是源圖像的高頻信息，能夠反映圖像的聚焦程度，因此若特征為沿圖像序列方向的最大值，則對應的初始決策圖位置置1，否則置0，計算公式如下：

式中R為初始決策圖，maxindex為計算最大下標，j為圖像下標。

2.3.2 計算置信圖

若特征在某位置沿圖像序列方向的最大值與其他值的差距較大，則認為該特征在該位置進行清晰度評價是可靠的，對應位置的置信度取1，否則取0。由于涉及到多幅源圖像融合，可轉變為將特征值先沿圖像序列方向進行比例歸一化，再判斷最大值比例與閾值大小，公式如下：

式中，C為對置信圖；η為極小正值，防止分母為0；maxval為計算最大值；τ為均值往上浮動的閾值。

由于置信圖的特性，會出現以下2 種情況。

（1）情況1：同一位置，3 類特征的置信度值存在至少一個1，取1 的特征求均值即可，公式如下：

式中tt為特征索引值。

（2）情況2：同一位置，3 類特征的置信值全部為0，直接取簡單平均即可，即：

置信圖說明見圖3，由方框內容可見各特征間具有互補特性。

2.4 計算最終決策圖

由于平坦位置的聚焦和離焦圖像均不存在明顯高頻信息，導致初始決策圖存在局部較小孤立連通區域。針對這種情況可采用形態學濾波的方法，去除面積小于閾值T的連通域。

為進一步平滑決策邊界，增強融合圖像的空間連續性，再次使用引導濾波，公式如下：

式中D為最終決策圖。

圖3 置信圖的互補特性

2.5 融合規則

得到每類特征的決策圖后，沿圖像序列方向進行歸一化，公式如下：

再使用置信圖對歸一化后的決策圖加權，即：

最后將加權后的決策圖與源圖像對應相乘再相加即可，公式如下：

式中IF為最終融合圖。

整個融合過程見圖4。

3 實驗及分析

3.1 實驗數據和相關設置

為驗證提出算法的有效性，使用3 組實驗數據，包括2 組2 幅源圖像、1 組3 幅源圖像，見圖5。并與以下算法進行對比分析：基于引導濾波的圖像融合[7]（Image Fusion based on Guided Filtering，IF-GF）算法、基于非下采樣輪廓波變換的圖像融合[12]（Image Fusion based on Non-Subsampled Contourlet Transform，IF-NSCT）算法、基于密集SIFT 的圖像融合[16]（Image Fusion based on Dense SIFT，IF-DSIFT）算法進行對比分析。本文涉及參數設置如下：Gabor 濾波除了方向外的其他參數參考文獻[15]設置，密集SIFT 的參數參考文獻[16]設置，描述子為128 維，引導濾波窗口大小設置為7，引導濾波模糊度設置為0.3，具體可參考文獻[1]，浮動閾值τ=0.2，最新連通域閾值T=0.001（T為總面積的百分比）。

圖4 算法整體流程

圖5 多聚焦圖像數據

3.2 融合圖像質量評價

由于實際情況中很難獲取完全聚焦的圖像，融合圖像質量不能使用均方差等簡單評價函數進行衡量。但是，可借助一些已有融合評價指標，從融合圖像的結構、對比度等方面進行比較。本文使用4類質量評價函數[18]，每類評價函數均是值越大，表示融合質量越好。

（1）歸一化的互信息（Normalized Mutual Information，QNMI）來源于信息論，能夠測量融合圖像包含了多少源圖像的信息，式（21）使用其改進形式：

式中H(Si)、H(F) 為對應圖像的信息熵，MI(Si，F)為圖像間的互信息，其中i={0，2，…，N-1}。

（2）梯度相關性（Gradient-based Fusion Metric，QG）能夠度量融合圖像和源圖像邊緣信息之間的相關性，公式如下：

式中，x、y為圖像的坐標；QSiF為邊緣信息保留值；ωSi為權重，反映QSiF的重要程度。

（3）結構相似度（Structural Similarity，QS）是一直符合人類直覺的質量評價標準，能夠近似地反映出融合圖像的形變情況，公式如下：

式中W為局部窗口的集合，為W˙元素個數，為w顯著度的比值，Q(Si，F|w)為通用質量指數（Universal Image Quality Index，UIQI）。

（4）Chen-Blum 度量法（Chen-Blum Metrics，QCB）能夠計算融合圖像保留源圖像對比度的情況，公式如下：

式中x、y為圖像的坐標，λSi為對應源圖像的顯著特征，QSiF為信息保留值。

3.3 融合結果分析

圖6 分別顯示了IF-GF、IF-NSCT、IF-DSIFT和本文算法對3 組圖像的融合結果。為進一步分析細節，對3 組圖像分別求了殘差（見圖7），即將融合圖像與其中某幅源圖像（如第1 幅）相減。此外，為了顯示直觀，對殘差圖做了如下處理：

式中，Ires為殘差圖像；max(Ires)、min(Ires)分別為Ires的最大值、最小值；ζ＞0 為極小的正數，防止分母為0。

圖6 多聚焦圖像融合結果

圖7 殘差圖

從殘差圖中可看出，3 組實驗的IF-NSCT 均存在較明顯誤差，如對應的方框所示，表明IF-NSCT空間連續性較差；IF-GF 和IF-DSIFT 則效果較好，但是在模糊與清晰的融合邊界處有一些瑕疵，邊界融合沒有本文算法表現好，如方框所示；本文算法則在內容區域和邊界區域都有較好的表現，異常不明顯。

除了對融合圖與源圖像的殘差圖進行分析外，還使用融合評價指標對3組實驗數據進行定量分析。本文使用3.2 節的4 個融合質量評價指標，見表1。表1 中的數據可看出，本文算法各項指標的數值在大多數情況下都較高，說明該算法在原始信息保留、細節保留、結構保持、對比度保持等方面都表現較好。此外，本文算法較單獨使用密集SIFT 特征的結果有一定提升，進一步說明了置信圖互補的有效性。

表1 不同融合算法的融合質量比較

4 結語

本文提出了一種多特征結合引導濾波的多聚焦圖像融合算法。該算法使用兩次引導濾波，分別增強了清晰度評價特征的細節和融合結果的空間連續性，并選擇3 個魯棒性較高的特征，借助置信圖的方式，將其優勢相結合，進一步提升融合的質量。通過選取3 組廣泛應用于研究的多聚焦圖像，使用4 類通用質量評價指標驗證了提出算法在原始信息保留、空間連續性、對比度保持等方面的有效性。