結合NSST與GA參數優化PCNN圖像融合

劉 棟，聶仁燦，周冬明，侯瑞超，熊 磊

云南大學 信息學院，昆明 650500

1 引言

圖像融合（Image Fusion，IF）是指將多源信道所采集到的關于同一目標的圖像數據經過圖像處理和計算機技術等，最大限度地提取各自信道中的有用信息，最后綜合成高質量的圖像，以提高圖像信息的利用率，改善計算機解譯精度和可靠性，提升原始圖像的空間分辨率和光譜分辨率。縱觀圖像融合技術的發展歷史，脈沖耦合神經網絡（Pulse Coupled Neural Network，PCNN）在圖像融合領域已成為研究熱點[1-2]，圖像融合效果得到進一步改善。PCNN作為第三代的人工神經網絡，它與傳統人工神經網絡的不同之處在于PCNN是一個單一的二維連接網絡，并且不需要對PCNN進行訓練便可以直接應用。近年來，越來越多的基于PCNN的圖像融合算法相繼被提出，例如：基于非下采樣剪切波變換（Non-Subsampled Shearlets Transform，NSST）的PCNN圖像融合（NSST-PCNN）[3-4]；利用空間頻率（Space Frequency，SF）驅動PCNN的改進型NSST變換等。

在本文中，提出了一種基于非下采樣剪切波變換（NSST）結合遺傳算法（GA）來優化PCNN參數的圖像融合算法。NSST將非下采樣拉普拉斯金字塔變換（Non-Subsampled Laplacian Pyramid transformation，NSP）與多個剪切濾波器及方向濾波器組（Directional Filter Bank，DFB）結合在一起，NSST具有更好的稀疏表示能力和更小的計算代價，同時，PCNN在圖像處理領域也展現出一種無與倫比的優勢[5]。因此，本文運用遺傳算法對PCNN進行了參數的優化，利用其在空間頻域（Spatial Frequency）內的作用效果，并與NSST相結合，提出了一種經過參數優化后的NSST-SF-PCNN圖像融合方法，該方法吸收了NSST和PCNN在圖像處理領域的共同優勢。在圖像融合過程中，首先，利用NSST對兩幅源圖像進行分解，分別得到兩幅圖像的高頻和低頻系數（AHigh、BHigh），利用經GA參數優化的SFPCNN和SML分別對高頻、低頻系數進行融合，然后通過逆NSST變換得到融合圖像。為了驗證所提方法的有效性，與NSST-SF-PCNN方法[5]、PCNN方法[6]、NSST-PCNN方法[7]做了對比實驗，其主觀及客觀結果均顯示本文方法在多聚焦圖像及醫學圖像的融合方面有著一定優越性。

2 PCNN模型及其參數優化

2.1 PCNN模型

PCNN是一種基于貓的視覺原理所構建的簡化神經網絡模型，它是根據貓、猴等動物的大腦皮層上的同步脈沖發放現象而提出的一種具有生物學的背景的人工神經網絡。與BP神經網絡和Kohonen神經網絡相比，PCNN省去了數據學習訓練的麻煩，便能從復雜背景下提取出有效的圖像信息，同時PCNN還具備同步脈沖發放和全局耦合等優勢，因而它能保留圖像更多的細節信息，PCNN模型中的神經元唯一對應著圖像中的一個像素點，這些優勢使得PCNN在圖像融合、分割、邊緣檢測、目標識別等方面均有著廣泛的應用。PCNN是由若干個PCNN神經元互連所構成的反饋型人工神經網絡，其每一神經元由三部分組成：接受域、調制域和脈沖產生器[8]，其結構如圖1所示，在PCNN模型中，脈沖發生器由對網絡輸出進行漏電容積分的變閾值特性和硬限幅函數組成，其中變閾值特性用來對神經元進行激活，而硬限幅函數則起到抑制該神經元的作用，由此，便可以實現對神經元的“點火”。PCNN的數學模型可由以下幾個數學表達式構成[9]：

式中，下標ij表示單個神經元所在位置，n表示當前迭代次數，β為鏈接強度，αL、αθ表示相應的時間衰減常數，其中神經元內部狀態Uij由鏈接器以乘積耦合形式構成，它表示該神經元在其鄰域內與其他神經元的信息傳遞；饋送輸入Fij和鏈接輸入Lij由接受域的兩個分支形成，并且Fij、Lij是分別以相對較小或較大的時間常數對神經元某鄰域內的其他神經元輸出進行漏電容積分的加權和的結果；Sij為神經元的外部刺激，即當前系數的拉普拉斯能量和（SML），它將作用于饋送輸入Fij；Wijkl為鏈接權矩陣；VL、Vθ為幅度常數；θij為動態閾值；Yij為神經元的二值輸出結果。

圖1 PCNN結構模型

在圖像融合中，PCNN模型中的參數設置對于融合效果有著很大的影響，因此為了得到相對較好的效果，摒棄了傳統的PCNN參數設置，利用遺傳算法（GA）對其參數進行了優化處理，得到了一組優化后的數據作為PCNN圖像融合參數。

2.2 遺傳算法

遺傳算法[10]（GA）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優解的方法。遺傳算法是從代表問題可能潛在的解集的一個種群（Population）開始的，而一個種群則由經過基因（Gene）編碼的一定數目的個體（Individual）組成。每個個體實際上是染色體（Chromosome）帶有特征的實體。染色體作為遺傳物質的主要載體，即多個基因的集合，其內部表現（即基因型）是某種基因組合，它決定了個體的形狀的外部表現，如黑頭發的特征是由染色體中控制這一特征的某種基因組合決定的。因此，在一開始需要實現從表現型到基因型的映射即編碼工作。由于仿照基因編碼的工作很復雜，往往進行簡化，如二進制編碼，初始種群產生之后，按照適者生存和優勝劣汰的原理，逐代（Generation）演化產生出越來越好的近似解，隨著不斷的迭代，當滿足終止條件時，所求的值逼近最優解，在每一代，根據問題域中個體的適應度（Fitness）大小選擇（Selection）個體，并借助于自然遺傳學的遺傳算子（Genetic Operators）進行組合交叉（Crossover）和變異（Mutation），產生出代表新的解集的種群。這個過程將導致種群像自然進化一樣，后代種群比前代更加適應于環境，末代種群中的最優個體經過解碼（Decoding），可以作為問題近似最優解。

2.3 GA參數優化過程

在基于PCNN的圖像融合過程中，需要研究人員對PCNN的各個參數進行設置，在傳統的應用中，其參數往往是憑人工經驗來設置的，然而對于不同的圖像，往往需要設置不同的參數，以達到一個更好的融合效果，所以引入GA來對PCNN的參數進行優化，可以根據不同的需要自動選擇并設置合適的參數，省去了人工試驗的麻煩。在此PCNN數學模型中，需要設置的參數有：鏈接強度β、時間衰減常數αθ、幅度常數Vθ、鏈接權矩陣Wijkl以及閾值θ。傳統PCNN參數設置為：β=0.1，θ=0，αθ=20，Vθ=0.2，VL=1，n=200，Wijkl=[0.5 1 0.5;1 0 1;0.5 1 0.5]。

如圖2所示，根據遺傳算法流程圖，基于GA的PCNN參數優化步驟如下[11]。

步驟1初始化：以圖像融合客觀評價指標為遺傳算法目標函數，首先對參數進行初始化，種群大小為40，最大遺傳代數為20，初始交叉及變異概率分別為0.7和0.35；然后進行個體初始化，利用隨機函數的循環工作，隨機生成0-1之間的8個數值，對這8個數值進行基因判斷，若大于0.5，則該位為1，否則為0。

步驟2編碼：由于PCNN模型的輸出只有0和1，所以采用簡單實用的二進制編碼的方式對待求解的參數進行編碼，以產生初始種群。

步驟3適應度的計算：設高于或低于給定閾值的灰度值和像素數的總和分別為hs、ls和hn、ln，并分別計算其平均灰度值：U1=ls/ln，U2=hs/hn，則單一個體的適應度可由下式計算得出：

步驟4按照從小到大的順序對適應度進行排序，并統計出最優閾值及最優適應度。

步驟5選擇：適應度值越大的個體，被選擇的概率越大，選擇優勝的父代個體以保留到子帶中，以精英選擇的方式進行選擇操作，將適應度值較大的前5%的優良父本復制到子帶中，對剩下的父本個體執行交叉和變異操作。

步驟6交叉：當滿足交叉條件時，隨機選取偶數對的父本進行兩兩配對，并隨機交換對應位置上的基因。

步驟7變異：執行變異操作以保持種群的多樣性，避免某些信息的過早丟失，同時對各代中的基因變異個數進行計算，確定其變異位置及編號，并進行0、1互換的變異操作。

步驟8重復以上步驟，直到滿足終止條件或達到最大遺傳代數時停止實驗，得出最佳閾值，代入程序中進行實驗。

經過以上參數優化步驟后，確定PCNN待優化參數β、αθ、Vθ的值并帶入程序實驗，當取Wijkl=[0.707 1 0.707;1 0 1;0.707 1 0.707]時，圖像融合效果更佳，另外取VL=1，n=200與傳統設置值一致。

圖2 遺傳算法流程圖

3 NSST變換

輪廓波（Shearlet）變換是由Labate等人在小波變換基礎上提出的[12-13]，其仿射變換二維表達式如下：

在NSST變換中，NSST包含非下采樣金字塔濾波器（NSP）和剪切濾波器（SF）兩部分。NSP被用來代替剪切波變換，這種操作避免了上采樣和下采樣帶來的影響，源圖像在經過NSP分解后，會產生大小相同的低頻子帶和高頻子帶，如圖3、圖4所示。對產生的低頻子帶進行k級NSP分解，最終會形成大小相同的1個低頻子帶和k個高頻子帶[7]。

圖3 剪切波誘發頻率結構圖

圖4 NSP分解過程

圖5 NSST-GA-SF-PCNN圖像融合結構圖

4 算法實現

4.1 算法流程

傳統的PCNN模型一般是由一個單一系數來進行驅動的，然而人類視覺系統通常對圖像的特征較為敏感。在基于PCNN的圖像處理領域中，圖像空間頻率（Spatial Frequence，SF）[14]通常被視為圖像的梯度特征，因此為了獲得更好的融合效果，本文利用SF來驅動PCNN模型。SF通過使用子帶中系數的滑動窗口來測量，通過行和列中的梯度能量來衡量基于窗口的系統中的整個活動，每個子帶中的SF被輸入到PCNN以激勵神經元并產生神經元脈沖，SF可由下式定義：

本文提出了一種基于GA參數優化的SF-PCNN模型在NSST域內的圖像融合算法，為了驗證該算法的優越性，本文將該算法與已有算法（NSST-SF-PCNN[5]、PCNN[6]、NSST-PCNN[7]）的圖像融合效果進行比較，并通過計算客觀評價指標（互信息MI、圖像邊緣信息保留量QAB/F、圖像信息熵EN、空間頻率SF、圖像標準差STD和圖像平均梯度AG）的數值進行客觀比較說明。本文算法結構流程如圖5所示，該算法的圖像融合步驟如下：

（1）通過NSST變換對兩幅實驗源圖像進行多尺度分解，得到大小相同的高頻和低頻子帶。

（2）運用經過參數優化后的SF-PCNN和SML融合規則分別對高頻系數和低頻系數進行融合，得到高頻融合點火圖像和低頻融合點火圖像。

（3）通過逆變換NSST，對高、低頻點火圖像進行融合，得到最終融合圖像。

（4）計算客觀評價指標，通過實驗與相關算法比較，得出結論。

4.2 高頻子帶融合規則

由于人類視覺系統在直觀上對圖像的邊緣等特征更為敏感，所以傳統單純使用單一子帶系數作為PCNN輸入來驅動PCNN是不夠的。因此，在文獻[14]中，Qu等人使用空間頻率（SF）作為輸入來驅動PCNN，圖像的SF反映的是一幅圖像的總體活躍程度，SF越大，圖像活躍度越高，相應圖像也就越清晰。根據文獻[14]，一種改進的空間頻率可由如下公式定義：

式中，SF為圖像空間頻率，RF、CF、DF1、DF2分別為圖像行頻率、列頻率和兩個對角頻率。在式（1）中，取Fij(n)=SF作為PCNN的輸入刺激。

4.3 低頻子帶融合規則（SML）

在經過NSST變換分解后的圖像所得到的低頻子帶中，包含了源圖像中大量的能量信息[15]。為了更好地展示圖像的灰度信息的突變，并在一定程度上更好地反映出圖像邊緣的變化，文獻[16-17]提出了運用拉普拉斯能量和（SML）的低頻子帶融合規則，實驗證明SML在圖像低頻子帶系數的融合中有良好的效果，能更好地辨別圖像的清晰度。像素(x,y)的拉普拉斯能量和SML可由以下公式定義：

式中，n表示用離散差分求拉普拉斯梯度時采用的空域間隔，通常取n=1，N=4，T=0為門限值[18]。

5 實驗結果及分析

本次實驗運行環境為Intel Corel 2，CPU 3.00 GHz，內存4 GB，Windows 7操作系統，MATLAB R2014a。為了驗證算法的有效性，本文選取多聚焦實驗圖像Clock、醫學圖像和紅外與可見光圖像分別進行實驗得出其融合圖像，將經過GA優化后得到的PCNN參數代入程序中，運行并分別計算其互信息MI、圖像品質因數QAB/F、圖像信息熵EN、空間頻率SF、標準差STD和平均梯度AG的值與對比實驗方法所得出的值進行比較。多聚焦圖像、醫學圖像和紅外及可見光圖像融合對比結果，如圖6、圖7和圖8所示?？陀^評價指標如表1、表2和表3所示。

圖6 Clock多聚焦圖像對比實驗結果

圖7 醫學圖像對比實驗結果

圖8 紅外及可見光圖像融合實驗結果

表1 圖像Clock融合結果評價指標

表2 醫學圖像融合結果評價指標

表3 紅外及可見光圖像融合結果評價指標

6 結論

本文運用遺傳算法對PCNN參數進行優化后，利用NSST對源圖像進行分解得到高頻和低頻子帶，用SML、GA優化SF-PCNN分別對低頻子帶、高頻子帶進行融合，再利用NSST逆變換來獲得最終融合圖像。從主觀視覺來看，本文圖像融合結果也要優于對比實驗結果，同時通過對表1、表2和表3的圖像融合質量客觀評價指標的對比，可以看到本文算法在圖像互信息MI、圖像邊緣信息保留量QAB/F、圖像信息熵EN、圖像空間頻率SF、圖像標準差STD和圖像平均梯度AG等6個指標中，幾乎全部的指標值都要優于對比方法的值，這幾個指標的值越大，說明圖像融合的效果越好，這也恰恰說明使用本文算法對PCNN的重要參數進行GA優化后，使得多聚焦圖像、醫學圖像及紅外與可見光融合的效果都得到了一定的改善。