基于梯度理論的多聚焦圖像融合

官澤瑾，毛義坪

（重慶師范大學計算機與信息科學學院，重慶401331）

0 引言

圖像融合是圖像處理研究的領域之一，由于拍攝圖像的相機景深是有限的，所以不能使圖像中的每個部分都聚焦。因此只要相機聚焦了某個點，相應的其他部分就不能聚焦。不在聚焦范圍內的部分給人的感覺就是模糊不清的。多聚焦圖像融合技術就是研究這樣實際的問題，目的是使圖像的每個部分清楚。

中外研究者提出了多種圖像融合可行的方法，大致分為兩類，即變換域法和空域法。最初提出圖像融合方法的變換域法是基于多尺度分解（Multi-Scale Transform，MST）的算法。其中最早基于拉普拉斯金字塔變換[1]的方法已經提出三十多年的歷史。通常上述基于多尺度分析方法一般有三個步驟，即，變換圖像、融合系數、反變換重組圖像[2]。通常，圖像被變換后會得到高頻系數和低頻系數，低頻是對原始圖像的近似。高頻部分是圖像的細節。除了分解方法以外，系數融合也對融合質量好壞有比較大的影響。

近幾年來，學者提出了一種新的基于變換域的方法，并且迅速成為了圖像融合領域熱門方法。與多尺度分析方法不同的是，此方法是用了比較先進的信號表示理論把原始圖像變換成單一尺度特征空間。例如用獨立成分分析理論、稀疏表示理論（Sparse Representation，SR）。為了保證融合圖像結果的平移不變性，此類方法通常會用到滑動窗口技術，這其中最重要的問題是探索最有效的特征域來表示圖像的高頻信息?；谙∈璞硎纠碚揫3]的圖像融合技術就是把圖像塊映射到稀疏領域，用稀疏系數的L0 范數來表示圖像塊的重要信息。

空域法圖像融合方法是基于圖像空域來處理的。早期空域法是把圖像分塊，然后比較原始圖像對應位置的聚焦程度，聚焦值大的塊作為融合圖像的相應塊。以此類推，比較所有原始塊。聚焦程度一般采用空間頻率、拉普拉斯算子和、方差，等等[4]。此類方法對融合結果有較大的影響，例如遇到復雜圖像，不能良好的區分到底哪塊是聚焦圖像塊，而且很容易引入塊效應。由于手動分塊會產生上述問題，V. Aslantas 等人提出了采用差分進化算法自適應分塊算法[5]，彌補了手動分塊算法的不足。相應的還有基于形態學的四叉樹結構聚焦檢測法[6]，也靈活的選擇了原始圖像塊，比原始手工分塊的融合效果提高了不少。其算法克服了塊效應和一些傳統算法的缺點，得到了很好的融合效果。

上述方法都能實現較好的效果，其中基于稀疏表示的方法中，由于無法充分對其進行表達，因此導致圖像在融合之后，容易丟失紋理，并且采用該方式，容易導致其時間較長、方法較復雜，因此在實際操作中很少使用。基于多尺度分析方法中，其在對平均值進行融合的時候，是以低頻融合的，因此降低了圖像的對比度。早期空域法需要對圖像進行分割，或者對其進行分塊操作，因此可能會導致圖像有模糊的區域。為了讓以上不足能夠得到有效改善，研究學者提出基于梯度信息（GDF）的多聚焦融合算法，首先利用梯度算法求取圖像水平、垂直方向的梯度信息，在獲得不同方向絕對值之后，再把其相加，從而得到活躍程度度量圖。在對比不同度量圖的時候，使用的技術是滑動窗口技術，通過策略，最終獲得決策圖。在決策圖的基礎上對原始圖像進行加權，最終獲得的圖像就是融合圖像。其實驗結果表明其有效性。

1 梯度理論

1.1 理論基礎

從數學角度進行分析可以明確，梯度是不僅具有方向，同時還具有大小，其可以表示某函數在某方向變化率到最大值。

從學微積分角度進行分析可以明確，一維函數一階微分定義如下：

由于圖像是二維的，因此應該使用二維微分方式進行表達，其公式為：

由于圖像是二維離散的，并且符號ε 可以取值為1，因此可以把公式（2）進行改寫，從而獲得以下公式：

顯然圖像f 在點(x,y)處x 方向的梯度Gx，和y 方向的梯度Gx 定義為：

1.2 改進梯度

其計算規則為，[Fx,Fy]=gradient（f），其中Fx 為其水平方向上的梯度，Fy 為其垂直方向上的梯度。Fx 的第一列元素為原矩陣第二列于第一列之差，Fx 的第二列元素為原矩陣第三列與第一列元素之差除以2，以此類推：

最后一列為最后兩列之差。同理，可得圖像在垂直方向上的梯度Fy。

2 算法

2.1 聚焦程度度量

由于梯度理論有表示變化快慢的特性，梯度絕對值大證明變換越快。因此可以在對圖像進行多聚焦融合的時候引入梯度理論，即梯度值越大，圖像越活躍。

這里以融合兩幅圖像為例。首先對原始圖像O1進行梯度算法變換，得到水平方向的梯度矩陣O11和垂直方向的梯度矩陣O12；分別取O11、O12矩陣的絕對值操作得到 ||O11、 ||O12；最后 ||O11、 ||O12矩陣對應坐標位置相加得到聚焦度量圖A1。同理，對原始圖像O2操作的到其圖像的聚焦度量圖A2，然后通過一定策略比較聚焦度量圖得到決策圖。

2.2 決策圖形成

深入研究和分析文獻[19]可以明確，在對度量圖進行比較的時候，如果使用滑動窗口技術，可以獲得較好的效果。如果比較的是單獨像素點，則容易受到較大干擾，為了讓圖像區域的聚焦度量可以得到提升，不僅需要使用滑動窗口法，還需要使用分塊法。有兩個聚焦度量圖，分別為A1、A2。對其相同坐標的塊進行對比，如果塊內所有值之和大的，相應的得分圖區域+1，從而獲得決策圖，其步驟為：

（1）假設H*W 為源圖像大小，使用滑窗技術把兩個聚焦度量圖A1、A2聚焦程度度量圖分為n*n 的圖像塊，順序為從左上至右下，步長為1 個像素，共可得到Q=(H-n+1)*(W-n+1) 個圖像塊對，分別記為和

（2）新建兩個全零矩陣M1、M2，其需要與源圖像具有相同尺寸。從而使分值可以得到保存。對塊內的和進行計算，記為。對塊內的和進行計算，記為。當時，M1對應塊內所有元素加1，否則，M2對應塊所有元素加1，如圖1。

在步驟（2）完成之后，即可獲得得分圖M1、M2。由于使用的技術是滑動窗口技術，因此會導致比較聚焦度量的時候有重復的地方。得分圖大多數點比較次數為n*n 次，取值最低為0，最高為n*n。

（3）在獲得得分圖M1、M2之后，可以對原始圖像對應像素進行劃分，分為三種情況，分別為不確定、散焦和聚焦。O1為原始圖像，其三種情況可以表示為：

對于上述分類規則，O1(x,y) 、O2(x,y) 、M1(x,y) 、M2(x,y)表示為對應的像素點。為了嚴謹，上述表達式可以看成只有同時滿足M1得分和M2不得分的情況下O1(x,y)才聚焦，同理，只有M1不得分和M2得分的情況下O2(x,y)才聚焦，當不滿足該條件的時候則視其為不確定。

在獲得聚焦得分圖后，可以對像素進行賦值，如果賦值為0，則說明其為不確定或者不焦距，如果賦值為1，則說明其為聚焦。由于圖像具有一定的不確定性，并且比較復雜，所以在對其進行賦值之后，在圖像上可能會存在小洞，此時就需要使用MATLAB 自帶函數對其進行修復。

根據以上操作可以獲得融合決策圖：

2.3 圖像融合

通過上面的決策圖規則得到決策圖，我們可以看出決策圖只含三個值1、0、0.5。最后得到融合圖像策略如下：

3 實驗結果分析

3.1 實驗參數設置

為了驗證方法的有效性，研究和分析了最近幾年研究學者提出的多尺度分析和稀疏表示（MST_SR）[7]，同時也研究和分析了研究學者提出卷積稀疏表示法（CSR）[8]。深入研究文獻[20]可以明確，是以拉普拉斯金字塔為基礎的，具體參數在網址[9]可見。在進行仿真實驗的時候，使用的計算機軟件為MATLAB 2014a，內存為Kingston 4GB，處理器為Intel Core i5-3210M，頻率為2.5GHz。

3.2 評價指標

（1）峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）

該指標表示的是信號最大功率和對信號精度造成影響噪音功率的比值。該指標越小，說明信號的保持度較低。其計算公式為：

其中MAX 是信號的最大可能功率，MSE 表示均方誤差。

（2）互信息量（Mutual Information，MI）

MI[10]不僅包括輸入的信息，還包括輸出的信息，如果該數值較小，則說明其輸入輸出的交互信息較少，因此融合效果較差。其計算公式為：

（3）結構相似性（Structural Similarity Index Measure，SSIM）

在需要對兩張圖像的結構相似性進行計算的時候，就可以使用該算法[11]，如果有兩張圖，分別為x,y，則對其結構相似度進行計算的公式為：

其中，μx是x 的平均值，μy是y 的平均值是x 的方差，是y 的方差，σxy是x,y 的協方差。是維持方程穩定的常數。L 是圖像像素值的范圍，一般情況下。該計算法計算出的結果在0 和1 之間，結果越趨近于1，就說明兩張圖的結構相似性越高。

（4）梯度相關指標

文獻[12]介紹的梯度指標是一個評級指標，其可以用于對圖像融合進行評價。其原理是對原始圖像到處理后圖像之間的信息梯度進行檢測，公式為：

3.3 實驗結果分析

圖2 所示的是本文選擇的幾對測試圖像。

圖2 原始多聚焦圖像

三種圖片都是圖像部分對焦其他區域散焦。對圖2 進行研究可以發現，“clock”圖片遠景對焦的是右圖，時鐘看起來模糊，書架看起來清晰。近景對焦的是左圖，時鐘看起來清晰，書架看起來模糊?！發ab”圖片近景聚焦的是左圖，人物部分看起來模糊。“pepsi”圖片也是部分比較清晰，部分比較模糊。

圖3“clock”三方法融合結果

在對圖像進行融合處理之后，結果詳見圖3-6。從圖像邊緣角度進行分析，可以認為和其他算法相比，GDF 算法較好，因為該算法可以對圖像聚焦區域進行準確判斷，從而避免圖像邊緣出現模糊的情況。但是，使用GDF 算法可能會導致平均化失真，或者無法對聚焦區域進行判斷。如果使用稀疏算法，則可能會導致圖像邊緣比較模糊，或者紋理流失。如果使用尺度算法進行融合，可能會導致有大量的信息丟失。

圖4“lab”三方法融合結果

圖5“clocks”三方法融合結果

圖6“pepsi”三方法融合結果

“clock”圖像融合指標可以看出（見表1），前三個指標GDF 的結果都優于對比算法。尤其是MI 指標，明顯優于對比算法。其中最后一個指標幾個融合算法結果相差不遠，最優的算法是基于多尺度分析和稀疏表示算法MST-SR。

“lab”融合指標結果如表2 所示，PSNR 指標中，最優的是MST-SR 算法，其他指標均是GDF 表現最好?！癱locks”融合指標結果如表3 所示，和其他算法相比，GDF 算法較好，和其他算法相比，稀疏表示法較差。

表1 不同算法“clock”圖像融合結果一覽表

表3 不同算法“clocks”圖像融合結果一覽表

“lab”融合指標結果如表2 所示，PSNR 指標中，最優的是MST-SR 算法，其他指標均是GDF 表現最好?！癱locks”融合指標結果如表3 所示，和其他算法相比，GDF 算法較好，和其他算法相比，稀疏表示法較差。

表4 不同算法“pepsi”圖像融合結果一覽表

“pepsi”原始圖像融合結果如表4 所示。雖然MST-SR 算法指標PSNR、大于提出的GDF 算法，但其實兩個指標非常接近，其他指標GDF 表現是最好的。由于圖像不僅具有復雜性，同時還具有不確定性，因此導致了在某些測試圖像上，基于多尺度與稀疏表示算法的效果較高，但是綜合對其進行對比和分析可以明確，依然是GDF 算法效果較好。

4 結語

根據多方向梯度算子，對圖像進行水平、垂直方向梯度計算。在獲得不同方向絕對值之后，再把其相加，從而得到活躍程度度量圖。在對比不同度量圖的時候，使用的技術是滑動窗口技術，通過策略，最終獲得決策圖。在決策圖的基礎上對原始圖像進行加權，最終獲得的圖像就是融合圖像。本文算法主要用于對圖像聚焦區域進行判斷，當完成聚焦區域判斷之后，就把其劃為最終融合結果。從而獲得質量較好的圖像。分別對客觀評價指標和主觀評價指標進行分析可以明確，和傳統算法相比，總體基于多方向梯度圖像融合（GDF）算法效果較好。本算法主要用于對圖像聚焦區域進行判斷，其方式和劃分聚焦、散焦分界線相似。如何能夠讓聚焦區域得到準確劃分，如何能夠讓圖片具有較好的融合質量，是研究學者未來需要展開進一步研究的核心。