針對多模態圖像的自適應引導形態學設計

孫夢迪，孫忠貴，孔 旭，韓紅燕

（聊城大學 數學科學學院，山東 聊城 252000）

0 引言

作為一種傳統的非線性方法，數學形態學（Mathematical Morphology，MM）［1］建立在嚴謹的格論和拓撲學理論基礎之上，并在圖像處理領域有著廣泛應用［2-3］。形態學算子起初主要針對二值圖像設計，后逐漸被拓展至灰度圖像、彩色圖像等應用場景［4］。這些算子主要通過一個被稱為結構元素的信息子集對輸入圖像進行探測。腐蝕和膨脹是兩個最基本的形態學算子，其他算子，如開、閉運算等往往可由二者組合而成［5］。

傳統數學形態學（Traditional Mathematical Morphology，TMM）所使用的結構元素具有空間不變性，即圖像中所有像素的結構元素形狀和大小完全相同。這意味著，TMM 的結構元素由先驗確定，并獨立于圖像內容。這種不變性使得形態學算子在具備優異計算效率的同時，還能保持一些重要的數學性質，如保序性、附益性等［6-7］；然而，這種不變性也不可避免會帶來非自適應性的缺陷，即固定的結構元素往往不能與圖像不同區域的具體特征相適應。

為克服傳統數學形態學中結構元素不變性所帶來的缺陷，近年來，自適應形態學的相關研究引起了廣泛關注［8］。現有工作主要通過考慮輸入圖像的不同屬性，如灰度值（亮度、對比度）、空間距離、噪聲等來實現結構元素的自適應性，使其能夠應用于不同圖像內容。文獻［9］中提出了一種基于同質區域的自適應形態學方法，通過包含結構元素原點的連通分量獲取空間自適應結構元素。著名的形態學變形蟲算法［10］則是基于測地線距離來確定結構元素，能夠同時兼顧當前像素點與其結構元素成員的空間距離和灰度差異。文獻［11］在文獻［10］的基礎上通過修正測地線距離度量，對形態學變形蟲算法做了進一步推廣。通過在結構元素的構建過程中引入排序策略，文獻［12］中實現了一個魯棒自適應形態學（Robust Adaptive Mathematical Morphology，RAMM）并取得了較好效果。

需注意，由于圖像在實際獲取或傳輸過程中不可避免會受到噪聲影響，故基于圖像內容的自適應算法通常對噪聲并不魯棒［13］。為解決這一問題，基于多模態場景的濾波算法在近年成為圖像處理領域的一個研究熱點。與僅依賴于單幅輸入圖像的傳統方法不同，多模態方法往往借助不同模態且更為可靠的引導圖像進行濾波設計。這一類型的濾波器也被稱為引導濾波器，其典型代表有聯合雙邊濾波［14］、引導濾波［15］及一些改進算法［16-18］等。與傳統濾波算法相比，這類濾波器依然把輸入圖像中像素的相應輸出表示為鄰域像素灰度值的加權平均。然而，其權值大小主要取決于引導圖像（或引導圖像與輸入圖像的結合）。受益于引導圖像的可靠性，這類引導濾波器算法通常較單模態方法具有更強的抗噪性與更好的濾波輸出。

基于上述認識，本文提出了一個自適應引導形態學（Guided Adaptive Mathematical Morphology，GAMM），相較于傳統的單模態方法，本文借助一幅相對可靠的引導圖像定義結構元素，成員更為可信，從而提高了相應算子對噪聲的魯棒性，并最終達到提升算法性能的目標。GAMM 的設計過程主要關注以下3 個方面：1）為了實現形態學算子對噪聲的魯棒性，充分考慮輸入圖像與引導圖像的聯合信息進行結構元素定義；2）為了使算子對不同圖像內容具有自適應性，借助3σ 原則［19］來動態定義結構元素成員；3）通過對結構元素施加對稱性約束，從理論上保證了本文形態學算子繼承了傳統數學形態學的一些重要數學性質，從而使它依然具有嚴格的理論基礎。在跨模態圖像去噪、閃光燈圖像修復等多個場景的實驗均表明了本文算法的有效性。

1 形態學基本理論

1.1 形態學基本概念

一幅圖像f在數學上可看成一個由定義域E到值域T 上的映射函數。對于灰度圖像而言，E是離散空間Zn的一個子集（n=2），即像素的坐標空間；T 則是相應的灰度空間。具體到灰度圖像f，可表示為f：E→T，f∈F(E，T)。其 中F(E，T)是由E映射到T 的所有函數的集合。即f把每個像素x∈E（x=(x1，y1)）映射到灰度值t∈T：f(x)=t。又由于灰度值的大小關系為偏序關系，故F(E，T) 構成一個完備格［20］。

在形態學中，結構元素B可以被看作是用于探測圖像的“窗口”。其形狀和大小根據特定的任務確定，因此需要謹慎設計。事實上，結構元素也可被看作是一個映射函數b∈F(E，T)。根據函數值的不同，可被分為非平坦結構元素和平坦結構元素兩類。相對于非平坦結構元素中b(x)不能恒為常數，平坦結構元素的函數值在任意像素坐標均為0，即b(x) ≡0，完全由相應空間范圍（定義域）所定義。因此，在不引起混淆的前提下，平坦結構元素B往往也可代指其相應定義域。由于平坦結構元素所定義的形態學算子，能有效避免空間范圍與灰度值不同量綱間的混和計算，在實踐中被廣泛應用［5，7］。本文的形態學設計也是基于平坦結構元素展開的。

傳統數學形態學中的兩個最基本的操作算子，即膨脹（δ）和腐蝕（ε），由結構元素所確定的鄰域像素的灰度最大值和最小值分別定義：

其中B(x)表示以x為原點的結構元素。

其他一些在實際應用中經常使用的形態學算子，如開運算（γ）、閉運算（ψ），往往可看由上述兩個基本算子的不同組合進行定義：

1.2 形態學重要性質

數學形態學建立在嚴格的理論基礎上，故具有許多良好的數學性質，其中保序性和附益性尤為重要［7，21-22］。

保序性是指用結構元素B對圖像f的腐蝕結果小于等于用同一結構元素所得到的膨脹結果。特別地，若像素x包含在以它原點的結構元素B(x)中，則保序性描述［5］如下：

進一步，基于保序性可進行圖像的形態學梯度定義：

梯度ρ可用于邊緣提取，在實際中具有重要作用［23-25］。

完備格上的附益性理論在數學形態學中起著舉足輕重的作用［26］。膨脹算子δ和腐蝕算子ε滿足附益性是指：

式（7）表明，對于給定的一個膨脹算子，有且僅有唯一的一個腐蝕算子與其相對應［27］。事實上，附益性是驗證腐蝕和膨脹算子是否被正確定義的常用手段，也是開閉算子具有冪等性的重要理論保證［8］。

2 引導形態學算子

2.1 算法提出

由于成像設備或成像場景的差異，由同一目標所獲得的圖像往往展現出不同模式，稱之為多模態圖像。常見的多模態圖像有可見光圖像、近紅外圖像、深度圖像、閃光燈圖像、非閃光燈圖像等。由于不同模態的圖像通常具有不同的圖像信息，將其結合使用能夠得到更為豐富有用的圖像信息，從而有利于后續的圖像處理任務。以閃光燈-非閃光燈圖像修復任務為例，圖1 給出了本文所提自適應引導形態學（GAMM）的算法流程。設計思想主要體現在多模態輸入、自適應結構元素構建以及對稱性約束三個方面，分別說明如下。

圖1 自適應引導形態學算法流程Fig.1 Flowchart for GAMM

1）多模態輸入：受傳統引導濾波算法的啟發，為使GAMM 中算子對噪聲具有魯棒性，本文在進行結構元素構建時，不但考慮輸入圖像（非閃光燈圖像f），還考慮噪聲較少結構信息更為可靠的引導圖像（閃光燈圖像g）。

2）自適應結構元素構建：本文借助3σ 原則［19］來分別定義不同模態的結構元素成員，從而使其對圖像內容具備自適應性。

假設傳統數學形態學的結構元素（濾波窗口）中灰度值服從正態分布，結合形態學結構元素設計的具體實際，引入經驗參數λ，并用當前像素的灰度值代替分布期望，分別得到在兩個不同模態上的自適應結構元素：

其中：wf(x)和wg(x)為圖像f和g上以當前像素x為中心且半徑為r的矩形濾波窗口；σ為不同濾波窗w(x)中灰度值的標準方差。由于不同濾波窗口中的像素往往具有不同的灰度方差，故不同濾波窗中結構元素成員的選取閾值也會有所不同，從而使結構元素的構建具備了自適應性。不同的λ取值會使整個結構體的構建對噪聲展現出不同的魯棒性。

將上述兩個結構元素取交集，得到本文跨模態結構元素(x)的一個初步形式（后將對其施加對稱性約束）：

需注意，為使形態學算子具備好的數學性質，其結構元素的構建往往需滿足如下兩條規則：

①具體像素點的結構元素一旦確定，就不能改變［6-7］；

②任何像素點的結構元素其成員均須滿足對稱性［7，21］：

由于本文結構元素的定義僅依賴于原始輸入圖像與引導圖像，其顯然滿足第①個規則。然而，由于不同濾波窗w(x)的方差σ往往不同，這意味著，由式（10）所定義的初步形式(x)尚不能滿足第②個規則。

3）對稱性約束：本文借助稀疏矩陣的哈達瑪積對式（10）所定義結構元素的初步形式(x)施加對稱性約束［7］。

假設單幅圖像的像素總數為n，則所有以像素xi(i=1，2，…，n) 為中心的自適應結構元素(xi)的成員xj(j=1，2，…，n)可用一個n×n的稀疏矩陣W存儲：

其中：WT為W的轉置，?表示哈達瑪積。則由所確定的GAMM 的最終結構元素B如下：

由的定義可知，B滿足對稱性，即

同時，由式（8）（9）中兩個單模態結構元素的初始定義可知，B也滿足自包含性，即

算法1 簡要給出了本文GAMM 的結構元素構建過程：

算法1 GAMM 的結構元素構建。

輸入 輸入圖像f；引導圖像g。

參數 濾波窗口半徑r；經驗參數λ。

輸出 結構元素B。

在上述構建的結構元素B的基礎上，得到本文自適應引導形態學（GAMM）的膨脹、腐蝕算子：

類似于傳統數學形態學，由其復合可進一步定義開、閉運算等其他算子。限于篇幅，此處不再贅述。

2.2 性質證明

由其定義過程顯然能夠看出GAMM 的腐蝕和膨脹算子具有跨模態的自適應性。下面定理1 和定理2，則進一步表明這兩個算子也同時具備了與傳統形態學算子所具備的保序性與附益性。為使理論敘述相對完整，我們給出了這兩個定理的相應證明。

定理1保序性。

εB(f) ≤f≤δB(f)；?f∈F(E，T)

證明

類似可證，f≥εB(f)，?x∈E也成立。

故εB(f) ≤f≤δB(f)，?f∈F(E，T)。證畢。

定理2附益性。

3 GAMM算子的性質驗證和實驗比較及分析

除了上述理論證明，本章對GAMM 算子的數學性質還進行了仿真驗證。在3 個不同應用場景，將其與傳統數學形態學（TMM）以及文獻［12］所提出的魯棒自適應形態學（RAMM）進行實驗效果比較。

3.1 GAMM算子的性質驗證

為驗證保序性，與文獻［21-22］類似，本文采用形態學梯度（即膨脹和腐蝕之間算術差）進行邊緣檢測實驗。通常情況，保序性能夠使檢測出的邊緣較為合理。此處采用文獻［14］所提供的圖像，如圖2 所示，在引導圖像（b）的幫助下，對原始圖像（a）分別進行膨脹（c）和腐蝕（d）操作，從而計算得到形態學梯度（e）。從主觀視覺上可以明顯看出物體的邊緣。

圖2 性質驗證Fig.2 Verification of properties

對于附益性的驗證，本文也采用類似文獻［21-22］中的方法，通過開運算和閉運算的冪等性進行驗證，其理論基礎是：腐蝕、膨脹算子的附益性是開、閉運算滿足冪等性的充分條件［8］。相應的視覺效果見圖2（f）～（i）。顯然，圖像經過1次開、閉運算和10 次開、閉運算在視覺上并無差異。除了視覺效果，式（19）（20）中歐幾里得范數度量的差異為0，也從數值上表明了GAMM 的開、閉運算具有冪等性。

3.2 不同場景的比較實驗

3.2.1 彩色圖像-深度圖像去噪

本文選取了3 個不同的應用場景，對本文所提的GAMM與TMM 以及RAMM［12］進行對比實驗。具體場景分別為彩色圖像-深度圖像去噪、閃光燈-非閃光燈圖像修復和近紅外圖像-彩色圖像去噪。在參數設置上，為了能夠較為全面地進行比較，對于所有的形態學算子，均選取了3 個不同大小的濾波窗口半徑，即r=1，2，3。對GAMM，本文經驗地設置其參數λ=2。而RAMM 中的參數均采用了原文獻［12］的推薦值。在具體的濾波算子上，3 個形態學均采用實際中常用的OCCO（Open Close-Close Open）方法［28］，即取開閉運算和閉開運算的平均作為最終濾波輸出。

本文采用文獻［29］所提供的圖像集進行實驗，具體包括6 組常用的彩色-深度圖像對（圖3）。為了模擬深度退化，比較不同噪聲對算法的影響，對原始深度模態分別添加方差δ=10，30，50 的高斯白噪聲作為輸入圖像，并將噪聲較少相對可靠的彩色模態作為引導圖像。

圖3 彩色圖像-深度圖像測試集Fig.3 RGB-depth image test set

表1 和表2 分別給出了不同噪聲水平的6 幅深度圖像去噪結果的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似性度（Structural SIMilarity，SSIM）的量化指標。對TMM，當結構元素大小為3×3 時，取得了此場景下的自身最優去噪性能。隨著結構元素的增大，其PSNR 和SSIM 值明顯下降。通過引入自適應性和魯棒性，RAMM 取得了相對較好的去噪效果。PSNR 和SSIM 指標除結構元素為3×3 時略低于TMM，在另外兩個大小不同（即5×5 和7×7）的結構元素上，量化指標均略優于TMM。通過引入跨模態方法，本文GAMM 能夠很好地借助引導圖像的可靠性優勢，且其算子同時具備自適應、魯棒性以及良好的數學性質，從而在不同的濾波窗大小，GAMM 較TMM 和RAMM 均能夠取得最好的去噪結果，且對不同大小的噪聲具有魯棒性。

表1 彩色圖像-深度圖像去噪的PSNR結果 單位：dBTab.1 Results of PSNR in RGB-depth image denoising unit：dB

以一幅經典Art 圖像為例，修復后的視覺效果如圖4 所示。對于TMM（圖3（b）～（d）），即使是使用大小為3×3 的最小結構元素，依然會對圖像的細小結構造成破壞；且隨著結構元素的增大，TMM 輸出的破壞程度更加明顯。對于RAMM，盡管其在理論上較TMM 具有自適應性和魯棒性，但如圖3（e）～（g）所示，但其主觀視覺的去噪效果提升并不十分明顯。對于本文所提出的GAMM，圖3（h）～（j）給出了在使用3 個不同大小濾波窗口情況下的去噪效果，其在主觀視覺上均展示出較好的處理結果。甚至當使用大小為7×7 的濾波窗口時，一些細節結構也會得到較好保持。為便于視覺比較，相應局部放大圖放置于圖像左下角。

圖4 彩色圖像-深度圖像去噪的視覺效果Fig.4 Visual effect of RGB-depth image denoising

3.2.2 閃光燈-非閃光燈圖像修復

如圖5 所示，本文選取一個常用的閃光燈-非閃光燈場景［14］進行圖像修復實驗。用閃光燈圖像（圖5（b））作為引導圖像對非閃光燈圖像（圖5（a））修復。從主觀視覺上可以看出，對于TMM（圖5（c）～（e）），由于其結構元素固定，不能對不同的圖像結構進行自適應感知，使其在一些邊緣區域出現過光滑現象，甚至完全模糊。圖5（f）～（h）展示了RAMM 的圖像修復結果，由于其較好的自適應性和魯棒性，取得了優于TMM 的視覺效果。得益于引導圖像的可靠性，本文提出的GAMM 在3 個不同形態學中依然取得了最好的圖像修復效果，具體如圖5（i）～（k）所示，相應局部放大圖見圖像右下角。

圖5 閃光燈-非閃光燈圖像修復的視覺效果Fig.5 Visual effect of flash-flash-free image restoration

3.2.3 彩色圖像-近紅外圖像去噪

在彩色圖像-近紅外圖像去噪場景［30］下，本文將近紅外圖像（圖6（b））作為引導，對帶有噪聲的彩色輸入圖像（圖6（a））進行去噪實驗，如圖6 所示。不同于TMM（圖6（c）～（e））所使用的固定結構元素，RAMM（圖6（f）～（h））能夠根據圖像內容改變結構元素的形狀，并展現出一定的魯棒性，從視覺效果上可以看出，其結構保持性能較TMM 有所提升。借助引導圖像的可靠信息，本文所提GAMM 在性能上進一步提升。如圖6（i）～（k）所示，在所有實驗算法中取得了最好的視覺效果。為便于比較，局部放大圖也相應給出。

圖6 近紅外圖像-彩色圖像去噪的視覺效果Fig.6 Visual effect of NIR-RGB image denoising

4 結語

本文提出一個針對多模態圖像的自適應引導形態學，即GAMM。首先，通過采用輸入圖像和引導圖像的聯合信息進行結構元素構建，使其算子具有更強的可靠性。其次，類似3σ 原則選取與中心像素點相似的像素作為結構元素成員，使結構元素對不同圖像內容具有自適應性。最后，通過對結構元素施加對稱性約束，嚴謹的數學證明和仿真實驗均表明，它能夠繼承傳統數學形態學好的數學性質，從而具有了堅實的理論基礎。不同多模態場景下的比較實驗，均表明了GAMM 的優越性能。