基于滑窗方差和形態學的多聚焦圖像融合

羅回彬，林梓鑫，懷國威，溫煥錦

（1.北京理工大學珠海學院，珠海 519000；2.澳門科技大學資訊科技學院，澳門 999078）

0 引言

隨著信息技術的發展和人們生活水平的提高，人們對圖像數據的采集提出的要求與日俱增。目前市場上雖然已經有了各式各樣能采集高質量圖像的先進傳感器設備，但每一種傳感器設備都只針對一定的目標，其功能有一定的局限性，只能獲取部分場景信息。例如，在日常攝影拍照中，當鏡頭聚焦于前景（近焦）時，其在前景目標圖像比較清晰，但遠景目標容易呈現模糊情況。由于上述缺陷，多聚焦圖像中包含有不同的清晰區域和模糊區域。因此，在圖像全聚焦采集過程中，需要采用圖像融合技術，找出每個多聚焦源圖像中的清晰區域進行融合。多聚焦圖像融合技術將兩張或兩張以上的圖像信息融合到一張圖像上，可以克服單個傳感器圖像的局限性和差異性，其融合過程如圖1所示。

圖1 多聚焦圖像融合

融合后的圖像含有豐富準確的信息，便于人眼觀察和機器檢測。

1 相關研究

圖像融合可以分為像素級、特征級和決策級融合。而本文主要研究的像素級多聚焦圖像融合可以分為基于變換域和基于空間域融合算法。

1.1 基于變換域算法

近幾十年來，常用的基于變換域的圖像融合算法有基于金字塔變換、小波變換以及多尺度幾何變換。其中基于多尺度幾何變換融合算法深受研究人員的追捧，該融合方法主要包括曲波（curvelet）、輪廓波（contourlet）、非下采樣輪廓波NSCT、剪切波（shearlet）和非下采樣剪切波（NSST）等，其融合效果較好，但如果融合規則選擇不當，其圖像融合結果就容易造成銳度損失。

1.2 基于空間域算法

常用的基于空間域算法包括加權平均法和PCA方法等。加權平均法通過對多聚焦源圖像的對應像素進行加權處理，其方法最簡單，可是多聚焦源圖像中的非聚焦區域也保存在融合圖像中，其融合結果并不理想。同樣，基于塊或區域的多聚焦圖像融合方法，如果不能很好的選取塊，也容易造成塊偽影。

此外，近年來隨著人工智能的發展，研究人員也提出了一些基于深度學習的像素級圖像融合算法，但是眾所周知，深度學習的訓練需要大量的經過標簽的多聚焦圖像數據集。

2 提出的融合算法

本文針對多聚焦圖像，提出一種基于圖像方差的逐像素投票的多聚焦圖像融合方法。首先，計算像素點灰度值在其鄰域內的方差，通過比較方差的差值來進行融合像素的選取。其次，通過形態學處理噪點，隨后應用邊緣檢測算法進行邊緣軟化。最后，根據最終的決策圖和融合規則進行生成融合圖像。

2.1 圖像滑窗法

圖像滑窗法就是根據指定的單位長度的滑窗在圖像水平和垂直方向進行平移，從而實現通過滑窗計算每個滑動單元框內的統計指標。本文中提出的圖像滑窗法計算的指標是計算當前滑窗內所包含像素的方差值，然后對比兩個不同聚焦圖的同一位置的方差值。滑窗圖像過程如圖2所示。

圖2 圖像滑窗處理的過程

具體操作如下：

（1）計算滑窗方差。通過指定滑動窗口大小和滑動步長對圖像進行滑動掃描，并計算滑動窗口內的像素的方差大小，如圖3所示，本文中將源圖像劃分為像素大小為×（此處設置為3×3）的模塊，并逐個比較所對應區域的灰度方差值。而圖像的方差反應圖像像素的灰度值變化，這與圖像的清晰度有關，如公式（1）所示。當滑窗方差值較大時，則該滑窗中的像素差異變動較大，可初定選取方差數值較大的滑窗作為聚焦區域。

圖3 滑窗方差的計算

（2）計算像素在源圖像的選取次數。對同一滑塊區域的像素的方差相減，方差較大者，記這些像素選取該圖的次數加1，如圖4所示，假設圖A方差值為VarA，圖B方差值為VarB，若VarA-VarB大于零，便記錄當前滑窗內應選取圖A對應像素作為融合的次數加1，而當VarAVarB小于零，便記錄當前滑窗內應選取圖B對應像素作為融合的次數加1。

圖4 每個像素在源圖像的選取次數計算過程

（3）融合像素的判定。通過比較每個像素在圖A和圖B相應選取次數，進行最終融合像素選定的判定。假設某像素的圖A選取次數為Fu?seA，某像素的圖B選取次數為FuseB，若FuseA-FuseB的絕對值大于閾值，則將選取次數多的圖片的像素作為融合像素，如圖5所示，若閾值設定為2，則第一個像素點選擇圖B作為融合像素點，第三個像素點選擇圖A作為融合像素點，第四個像素點暫不做選擇。同理，當完成整個圖像的滑窗后，每個像素都有其對應的選取圖A與圖B的次數，當選取圖A次數與選取圖B次數之差大于或小于指定閾值時，就指定該點像素選取其對應的圖的像素。

圖5 融合像素的判定過程

（4）采用歐式距離的判定方法。假設某像素的源圖像選取次數差值未大于閾值的，設置該點為某一指定大小區域的中心點，對比融合圖與源圖像的歐式距離。對比該區域中融合圖與圖A、融合圖與圖B的歐式距離，選取距離較小者作為融合像素。當某一指定區域大小為3×3時，那么選取次數相減圖中數字1的位置作為中心點，選定一個3×3區域，計算圖A和融合圖、圖B和融合圖對應位置的歐式距離分別為distA和distB。圖6中distA=8.94，distB=6.93，說明圖B和融合圖在該位置的歐式距離更小，所以紅色框內應選取圖B的像素作為融合像素。

圖6 采用歐式距離的判定過程

2.2 形態學的應用

形態學方法的基礎是集合論，形態學通常用于二值圖像的邊界提取、骨架提取、孔洞填充、角點提取等，其基本算法包括膨脹、侵蝕、開運算和閉運算。其中形態學中的閉運算過程是首先膨脹圖像，然后使用相同的結構元素對圖像執行腐蝕操作。而本文中多聚焦圖像融合方法的一個關鍵環節是在同一場景中的多聚焦圖像中尋找更清晰的像素。上一小節中闡述了滑窗圖像算法是通過比較滑窗內像素的方差值大小，進而選取清晰的像素，但圖像還是粗糙的，存在一定的噪聲，如圖7（b）所示的白色孔洞和黑色斑點。因此，我們可以使用形態學運算來去除這些噪聲，具體實現過程及效果如圖7所示，我們首先使用skimage庫中的re?move_small_holes和remove_small_objects函數來將初次融合圖中顆粒狀的噪聲消除，然后再使用形態學閉運算。

圖7 圖像形態處理

2.3 邊緣處理

當圖像完成融合時，融合圖像的聚焦和非聚焦邊緣部分往往因像素相差過大而導致融合圖片并不柔和，因此本文將形態學處理過后的圖像進行Canny算法的邊緣檢測，并進行邊緣加權軟化，以增強圖像柔和性。如圖8所示。

圖8 邊緣處理

3 實驗結果

在本節中，為了驗證我們提出的融合方法的有效性，我們使用多聚焦圖像集進行相關的定性和定量實驗。實驗數據集如圖9所示，我們采用“lytro”數據集的五組多焦圖像（lytro-02、lytro-08、lytro-12、lytro-13和lytro-18）進行融合，實驗環境為python-IDE。為了有效地驗證我們提出的算法，我們綜合比較了基于變換域DWTDE、GD、MSVD、基于空間域BGSC和基于深度學習ECNN的融合算法。通常，我們可以通過人眼的視覺觀察直接、快速地了解到多聚焦圖像融合算法的效果，其不同融合算法的圖像融合結果如圖10所示。從圖10可以看出，BGSC算法的融合結果較差，其融合圖像的右側海面部分存在顆粒狀模糊，GD算法的融合結果的顏色也發生了扭曲。

圖9 用于融合的五組“lytro”多聚焦真實環境源圖像

圖10 不同融合算法的圖像融合結果

但由于人類視覺的主觀性，人眼判斷其存在一定程度的誤差，為了更客觀地評價融合后的圖像的好壞，目前常用的客觀評價指標主要有標準差（SD）、平均梯度（AG）、互信息（MI）、空間頻率（SF），值得注意的是以上評價指標值越大，表示圖像融合后的質量效果越好。不同算法的結果如表1所示。

表1 不同算法的融合評價指標結果

續表1

在表1中，為了便于觀察，我們將最好的客觀指標標記為加粗。可以看出，在五組圖像數據集中累計20個指標結果，本文提出的融合算法的量化指標共累計有11個最優，此外在lytro-02數據集中，在4個評價指標中，雖然GD算法有3個指標最優，而本文提出的方法1個指標最優，3個指標次優，但是在圖10中人眼可見其融合結果顏色發生了扭曲。因此，顯而易見，本文提出的融合算法在定性和定量評價方面都有較好的效果，且該方法的穩定性高。

4 結語

本文提出的多聚焦圖像融合算法，采用圖像滑窗的方法進行滑窗方差大小的比較，實現每個像素的源圖像選取，很好地改進了傳統基于空間域融合算法準確性低的問題。通過歐式距離判定也優化了相似滑窗方差的像素無法判定的問題。我們運用形態學對初步融合的圖像進行去噪處理，可以較好的實現了圖像融合效果。我們還對圖像進行邊緣加權軟化，可以更好地滿足人眼的視覺需求。實驗結果表明，我們提出的融合算法能夠簡單有效的進行圖像的快速融合，且融合結果的穩定性較好。