基于簡化脈沖耦合神經網絡的圖像融合實驗

史敏紅 李樹文

DOI：10.16644/j.cnki.cn33-1094/tp.2021.11.016

摘? 要： 將基于NSST域的簡化脈沖耦合神經網絡（Simplified Pulse Coupled Neural Network，SPCNN）模型應用到圖像融合中。文章選取一組醫學圖像（CT和MRI）和一組遙感圖像（可見光和紅外），分別采用SPCNN算法和傳統算法進行圖像融合對比實驗。實驗結果表明，SPCNN算法在主觀視覺方面得到較好的效果，還提高了算法運行速率，保留了更多的圖像細節信息。

關鍵詞： NSST變換; 脈沖耦合神經網絡; 圖像融合; 人工智能

中圖分類號：TP391.4? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2021）11-63-03

Experiment of image fusion with simplified pulse coupled neural network

Shi Minhong， Li Shuwen

（Shanxi Engineering Vocational College， Taiyuan， Shanxi 030032， China）

Abstract： The Simplified Pulse Coupled Neural Network （SPCNN） model based on the NSST domain is applied to image fusion. In this paper， a pair of medical images （from CT and MRI） and a pair of remote sensing images （visible and infrared） are selected， and the image fusion contrast experiments are carried out on them by using SPCNN algorithm and traditional algorithm respectively. The experimental results show that SPCNN algorithm not only achieves good results in subjective vision， but also improves the running speed of the algorithm and retains more image details.

Key words： NSST transform; pulse coupled neural network; image fusion; artificial intelligence

0 引言

近年來，圖像融合研究成為當下研究的熱點。例如可見光和紅外圖像融合，紅外圖能夠表征地物熱輻射的分布情況，熱目標突出，而可見光圖像成像原理是依據反射成像，場景信息豐富，利用兩者信息互補性，將紅外與可見光圖像進行融合，可以得到一幅既包含紅外圖像顯著目標信息，又包含可見光圖像豐富背景信息的融合圖像，在軍事、遙感、計算機視覺等領域有著廣泛的應用。醫學影像如CT（Computed Tomography，計算機斷層掃描成像）和MRI（Magnetic Resonance Imaging，核磁成像）為醫生的診斷提供方便。CT對骨骼成像比較清晰，MRI對軟組織成像較好，將它們融合在一幅圖像中，形成信息互補，幫助醫生更加準確快速的識別病變[1]。

多尺度變換是圖像融合研究的熱點，D.Lee等[2]提出了Shearlet變換（Shearlet Transform，ST），非下采樣 Shearlet變換（Non-subsampled Shearlet Transform，NSST）具有平移不變形，數學結構簡單。

脈沖耦合神經網絡（PCNN）是由Eckhorn等[3]在90年代提出的。目前PCNN被廣泛的應用于圖像融合領域，傳統的PCNN模型只有一個輸入激勵，而單通道PCNN無法處理整個融合過程，圖像融合需要多通道PCNN。謝秋瑩等[4]提出一種基于SML和PCNN的NSCT域多聚焦圖像融合方法，算法將改進拉普拉斯能量作為PCNN的輸入激勵，解決了融合過程中偽影問題，但是算法采用非下采樣Contourlet變換，使得算法復雜度較高。Wang等[5]提出了一種m-PCNN（Multi-channel Pulse Coupled Neural Net-work，m-PCNN）模型將其運用于醫學圖像融合，m-PCNN模型的特點是外部通道的數量可以根據實際需求改變，此模型適用于多幅圖像的融合，缺點是模型結構復雜，參數靠人工經驗設置固定值。本文采用簡化脈沖耦合神經網絡模型進行圖像融合實驗，模型涉及參數少，且結構簡單，實驗表明在圖像融合中本文算法效果較好，能更好的保留圖像細節信息。

1 SPCNN模型

SPCNN也是由接受部分、調制部分和脈沖產生部分組成。SPCNN的模型中參數較少，模型結構簡單。采用簡化PCNN模型，其數學模型為：

其中，[SKi，j（K=1，2）]表示外部刺激，[fk]是相鄰神經元對當前神經元的影響因子，[HKi，j]為鏈接輸入，[VT]為鏈接輸入放大系數，[αT]為時間常數，W權系數矩陣，[βk]為鏈接強度，[Li，j]為鏈接輸入，[Ti，j]為閾值函數，[Yi，j（n）]為神將元輸出，其值為0或1，[Ui，j]為神經元內部行為，當[Ui，j（n）>Ti，j（n）]時，神經元被點火，輸出信號[Yi，j=1]。當[Ui，j

2 本文融合方法及步驟

⑴ 對圖像進行NSST變換，分別得到兩幅源圖像的低頻子帶系數分別為[{CAL， CBL}]，高頻子帶的系數分別為[{Cl，kA（i，j）， Cl，kB（i，j）}]，其中[CXL（i，j）]為低頻系數，[Cl，kX（i，j）]表示為[l]尺度、k方向的高頻系數，X代表A，B兩幅圖像;

⑵ 對于圖像低頻子帶采用邊緣能量和梯度能量和的融合規則，增加邊緣特征的提取能力;對高頻部分采用SPCNN模型進行融合，鏈接強度采用可見度值，減少誤差;

⑶ 進行逆變換得到融合圖像。

3 仿真實驗

3.1 兩組實驗

實驗環境 MATLAB R2013a，[VT=4000]，[fk=0.5]，[N=200]，[W=0.10910.14090.10910.140900.14090.10910.14090.1091]。

本文選取了一組人腦腦中風圖像（CT和MRI）和一組可見光和紅外圖像進行實驗。對每一組圖像，本文將該算法與以下對比算法進行對比：

算法1：傳統像素值取大的算法;

算法2：本文簡化脈沖耦合神經網絡融合算法。

圖1（a）和圖2（b）分別為已經配準好的腦中風圖像，大小均為[256×256]。圖1（c）和圖1（d）為各算法融合結果。

從視覺效果上看，算法1得到的圖像邊緣出現偽影，圖像紋理細節信息不清晰，圖像整體模糊，算法2得到的圖像具有較好的亮度，融合圖像清晰，視覺效果較好。

圖2（a）和圖2（b）分別為已經配準好的可見光和紅紅外圖像，大小均為[256×256]。圖1（c）和圖1（d）為各算法融合結果。

從視覺效果上看，圖像紋理細節信息不夠清晰，圖像整體模糊，整體圖像較暗，算法2得到的圖像具有較好的亮度，融合圖像清晰，視覺效果較好。

4 結論

通過本文的實驗，對可見光和紅外圖像、腦部CT和MRI圖像進行融合，驗證了脈沖耦合神經網絡的算法的有效性。將遙感圖像和多模態醫學圖像融合，具有現實意義。

參考文獻（References）：

[1] Guo K， Labate D. Characterization and analysis of edges?using the continuous shearlet transform[J]. Siam Journal on Imaging Sciences，2012.2（3）：959-986

[2] Eckhorn R， Reitboeck H， Arndt M， et al. Feature Linking via Synchronization among Distributed Assemblies： Simulations of Results from Cat Visual Cortex[J]. Neural Computation，2014.2（3）：293-307

[3] 謝秋瑩，易本順，柯祖福等.基于SML和PCNN的NSCT域多聚焦圖像融合[J].計算機科學，2017.44（6）：266-269

[4] Wang Z， Ma Y. Medical image fusion using m-PCNN[J].Information Fusion，2008.9（2）：176-185

[5] Wang Z ， Ma Y ， Gu J . Multi-focus image fusion using?PCNN[M]. Elsevier Science Inc，2010.

[6] 史敏紅.基于非負矩陣分解的多模態醫學圖像融合研究[D].中北大學，2018.