基于改進PCNN模型的偏振圖像融合算法?

姜兆禎 韓裕生 任帥軍 張延厚

（1.陸軍炮兵防空兵學院信息工程系 合肥 230031）（2.偏振光成像探測技術安徽省重點實驗室 合肥 230031）

1 引言

偏振圖像可以獲得目標與背景的粗糙度、含水量、物質理化及紋理特征等信息，對其進行解析融合處理，可快速識別復雜背景中的目標［1］。金字塔變換是早期用于圖像融合領域的算法，福州大學葉銀芳［2］等針對紅外/被動毫米波圖像提出一種基于拉普拉斯金字塔的融合方法，提高了多元傳感器獲得信息的利用率。但是金字塔因為自身原理性的問題，導致其分解變換得到的子帶之間存在相關性。為克服金字塔變換融合方法穩定性的不足，王遠軍［3］等利用小波變換對醫學圖像的融合進行改良，既增加了目標的對比度同時抑制了背景噪聲。但小波變換的缺點之一就是分解效率低下，所以朱達榮等［4］在小波變換之后選擇利用多尺度分解采用非下采樣輪廓波變換，對偏振圖像進行融合處理，該算法提升了融合效率，減少了耗時，但在最后融合高頻和低頻子帶過程中細節損失較多。為解決上述問題，本文利用雙通道PCNN模型將強度參量與偏振度參量融合，實驗結果表明本算法相對其他傳統算法能夠保留目標更多輪廓邊緣細節信息，可以將目標有效信息從復雜環境背景中快速識別出來。

2 PCNN的工作原理

本文采用的PCNN模型（Pulse Coupled Neural Network）具有生物學背景，因為其脈沖調制和耦合連接特性而在圖像處理領域得到廣泛應用［5］。圖1為該模型的基本結構［6］。

圖1 PCNN神經元模型

PCNN模型主要組成部分有信號接收、調制耦合以及脈沖發生。第一部分主要包括輸入和反饋兩個通道：Aij和Bij，Aij負責接收網絡內其他單元傳遞的信息Ykl，而Bij負責接收外部激勵信息Sij。第二部分的作用主要是調制輸入信號，并根據信號數值大小判斷能否產生脈沖，數學公式如下：

式中n代表迭代次數，V代表輸入電勢，α代表衰減時間常數值，β表示耦合鏈接系數，W和M表示傳遞信息的強弱程度，Uij為脈沖產生器閾值，Eij表示門限。當閾值大于門限時，神經元點火；當閾值小于門限時，不產生脈沖。

在本文的融合算法中，代表著某個像素的神經元被點火后，將引起該像素鄰域內具有相近灰度的其他像素神經元產生脈沖點火。而通過網絡內各單元之間的耦合作用，可以減少偏振圖像處理中的輪廓邊緣以及細節信息損失［7］。

3 融合算法

3.1 算法創新點

針對單通道模型計算量繁多復雜的問題，本文在將單通道PCNN模型改進到雙通道模型，有效地提高了融合效率。新模型的數學公式有些許變動：

此外在PCNN模型中存在很多具有不同意義的參數，各參數的取值大小將直接決定最終實驗結果效果好壞與否。

神經網絡模型中最關鍵的參數之一就是神經元的鏈接強度，它可以在很大程度上影響著最終的脈沖激發和調制結果。目前PCNN模型中鏈接系數的選擇多為人工經驗值［8］，針對這點，本文將鏈接系數由固定值改為隨區域特征自適應調整，這樣可以保證融合圖像實驗結果更為清晰，細節保留效果更好。

像素的平均梯度（AG）可以表示圖像的細節和紋理變換特征［9］。偏振圖像的清晰度與其對應的平均梯度成正比。因此，本文采用AG作為模型的鏈接系數。若H(i，j)表示M×N區域窗口內的中心像素點，則區域窗口內像素的AG表示為

將鏈接系數設置為對應區域像素的平均梯度，可以反映圖像的清晰度，從而可以通過鏈接強度直接判斷圖像邊緣的保留程度。利用平均梯度作為鏈接強度的選取依據，可以抵消由區域加窗引起的圖像細節丟失、邊界輪廓模糊問題。為進一步減弱區域窗口對融合結果的不良影響，本算法將模型的輸入項設置為偏振圖像區域像素的空間頻率。空間頻率（SF）表示圖像灰度值的總體活躍程度［10］，與平均梯度類似，空間頻率的數值與偏振圖像的清晰度也是正相關。偏振圖像的空間頻率定義為

式中，M×N表示區域矩形窗尺寸大小。在本算法AG以及SF的計算過程中，M×N都取中心像素點3×3鄰域區域。

3.2 算法實現步驟

本文融合算法實現步驟如下：

1）在改進PCNN模型中輸入待融合源圖像（強度圖與偏振度圖像），激勵神經元點火，產生脈沖；

2）分別對強度圖與偏振度圖像中H(i，j)區域的點火次數進行計算；

3）利用空間頻率SF激勵PCNN神經元，以平均梯度作為鏈接強度系數，來決定決策圖，確定融合系數；

4）根據融合系數重構得到最終強度圖與偏振度圖像融合結果。

4 偏振圖像融合實驗

為驗證上述方法，本文采用Matlab對強度圖和偏振度圖進行了融合處理實驗。采用的筆記本電腦處理器為Inter（R）Core（TM）i7-4710HQ CPU@2.50GHz，軟件版本為Matlab R2016a。數據為本實驗室做外場試驗時像元耦合相機拍攝所得，像素都為640×512。

對源圖像分別運用主成分分析、拉普拉斯金字塔變換、小波變換和本文所述四種融合算法進行融合處理，最后同時運用主觀和客觀評價指標對四種算法的融合結果進行比較分析。

4.1 融合圖像質量客觀評價指標

為了使融合效果更有說服力，本文在采用主觀肉眼觀察實驗結果之余，結合客觀評價指標對最終融合結果進行綜合評價，以定值、定量的形式給出結果［11］。擬打算采用平均梯度、圖像信息熵、空間頻率和標準差四個指標來對融合結果進行評估。

1）平均梯度

上文已有介紹，此處不加以重復。

2）信息熵

信息熵是計算圖像所含信息量的指標［12］。圖像的信息熵（EN）定義為

式中，Z表示圖像的灰度值，Zi表示相應灰度的概率大小。

3）空間頻率

上文已有介紹，不加以重復。

4）標準差

標準差是度量圖像信息豐富程度的一個指標［13］。圖像的標準差定義為

式中，H(i，j)表示單像素灰度值；Hˉ表示灰度平均值。

4.2 實驗結果與分析

對源圖像采用本文算法及其他三種常見算法進行融合處理所得結果如下所示。圖2、圖3、圖4分別為第一、二、三組源圖像與融合結果圖。其中每組圖中的圖（a）、圖（b）為源圖像，圖（c）為拉普拉斯金字塔算法融合結果，圖（d）為PCA法融合結果，圖（e）為小波變換算法融合結果，圖（f）則為本文算法融合結果。

圖2 第一組源圖像和融合結果圖

圖3 第二組源圖像和融合結果圖

圖4 第三組源圖像和融合結果圖

在公園人物的融合結果中，PCA法丟失了部分小細節，而本文算法結果可以有效從復雜背景中突顯出人物的動作及位置信息。拉普拉斯金字塔融合算法結果有明顯的信息丟失。小波變換算法效果和拉普拉斯金字塔效果類似。肉眼觀察，不論是艦船、汽車還是人物，本文算法融合結果中的目標特征明顯，區域細節更加連貫完整，邊緣輪廓分明，相比于其他三種算法有著更好的視覺效果。

分別計算三組圖片的以上客觀評價指標，得到數值大小如表1、表2和表3所示，將表中每個指標的最優值加粗顯示。從表中數據可以看出，本文融合算法所得到的結果具有最佳的平均梯度、最大的信息熵、最好的空間頻率值以及最大的標準差。

表1 圖2中各融合方法評價指標

表2 圖3中各融合方法評價指標

表3 圖4中各融合方法評價指標

5 結語

為更好利用偏振圖像的強度和偏振度信息，本文基于雙通道PCNN模型對兩種源圖像實施融合處理。雙通道的PCNN模型有效減小了圖像融合過程中的計算量，提高了融合效率。此外，采用偏振圖像的區域像素空間頻率作為模型輸入項，同時將鏈接系數由固定值改為隨圖像區域窗口內像素平均梯度變化自適應調整，可有效減少源圖像的邊緣信息損失，增加紋理細節的保留度，以獲得最佳的融合圖像。通過實驗比較分析本文算法與主成分分析算法、拉普拉斯金字塔算法以及小波變換算法，最終的客觀評價指標證明本文所述算法確實要優于其他幾種融合算法。