基于生物機制脈沖神經網絡的特征提取

張振敏 ?k林秀芳 范群貞

摘要：脈沖神經元可以被用于處理生物刺激并且可以解釋大腦復雜的智能行為。脈沖神經網絡以非常逼近生物的神經元模型作為處理單元，可以直接用來仿真腦科學中發現的神經網絡計算模型，輸出的脈沖信號還可與生物神經系統對接。而小波變換是一個非常有利的時頻分析工具，它可以有效的壓縮圖像并且提取圖像的特征。本文中將提出一種與人類視覺系統的開/關神經元陣列相結合的脈沖神經網絡，來實現針對視覺圖像的快速小波變換。仿真結果顯示，這個脈沖神經網絡可以很好地保留視覺圖像的關鍵特征。

關鍵詞：快速小波變換；脈沖神經元網絡；圖像壓縮；特征提取

中圖分類號：TP183文獻標識碼：A

1引言

眾所周知，擁有超級智能的大腦通過一個非常龐大且復雜的神經網絡來處理信息。隨著腦神經科學研究進展，發現了許多大腦處理感知信息的神經網絡計算模型。Hodgkin-Huxley脈沖神經元模型于1952年由Hodgkin和Huxley提出。以此神經元模型為基礎，之后的科研工作者提出了一套更加靠近生物神經網絡的脈沖神經網絡理論，這被稱為第三代人工神經網絡。脈沖神經網絡以非常逼近生物的神經元模型作為處理單元，可以直接用來仿真腦科學中發現的神經網絡計算模型，輸出的脈沖信號還可與生物神經系統對接。因此，可將腦神經科學與人工智能科學有機地結合起來，這對于人工智能系統和計算機視覺的研究有重要意義。近年來基于這種模型的神經網絡的研究層出不窮[1-3]。但是這種模型一旦被應用于大型網絡仍將會面臨非常復雜的計算量[4]。因此，針對脈沖神經元網絡（spikingneuronnetwork，SNN）中的各個單個神經元，我們將使用簡化后的基于電導率的累積放電模型進行計算[5]。在人類視覺系統中，從初級視覺皮層中的細胞到視網膜和外側膝狀體核中的簡單細胞都有著不同的感受野[6-8]。視覺圖像在這些神經元中以脈沖訓練的形式通過ON或OFF通道進行傳輸[9-10]。假設每一個神經元都接收來自開神經元的激勵型突觸和關神經元的抑制型突觸的脈沖訓練。不同的開/關通路以一種生物方式被用于構建特定的網絡[11]。在神經網絡的研究方面，國內學者也有著出色的進展。如藺想紅等人在脈沖神經網絡的理論研究方面進行了細致的研究[12-13]，而在其應用方面也有著可喜的進展，具體可參考文獻[14-15]。另一方面，基于小波變換能夠有效的提取圖像的關鍵特征[16-18]，在本文中，一個特定的基于小波變換算法的脈沖神經元網絡將被提出并用于模擬人類視覺系統中的脈沖神經元的行為，同時此網絡可以提取出視覺圖像的主要特征信息。

2快速小波變換算法

Mallat于1987年提出了快速小波變換（fastwavelettransform，FWT）[19-20]。快速小波變換是一種實現離散小波變換的高效計算方法。二維快速小波變換的計算流程圖如圖1所示。

如圖1所示，f（m，n）為數字輸入信號，h0（m，n）是低通濾波器的沖激響應，h1（m，n）是高通濾波器的沖激響應，h0（m，n）和h1（m，n）共同組成了分析濾波器組。2表示間隔性下采樣。當輸入信號連續通過各個濾波器并分別作下采樣操作后，最終得到的四個信號即為小波變換的近似系數wA，水平分量wH，垂直分量wV和對角分量wD。

3構建基于快速小波變換算法的脈沖神經

元網絡

基于Mallat算法和視覺系統開/關通道機制[11，21，22]，本文建立了一個累積放電的脈沖神經元模型，記為SNNFWT模型，如圖2所示。

計算技術與自動化2016年3月

第35卷第1期張振敏等：基于生物機制脈沖神經網絡的特征提取

其中，輸入神經元陣列的維度是M×N。圖像的每一個像素相當于一個信號接收器。假設Gm，n（t）表示一幅圖像像素的灰度級，每一個光接收器都將像素亮度轉化為突觸電流Im，n（t）[23-25]。那么電流Im，n（t）和神經元的膜電壓vm，n）（t）將滿足以下公式：

dlm，n（t）dt=-1τIm，n（t）+αGx，y（t） （1）

cdvm，n（t）dt=gl（El-vm，n（t））+Im，n（t）+I0（2）

其中m=1，…，M；n=1，…，N；a，τ是常數，gl是膜電導，El是反轉電勢，c表示膜電容，I0是背景噪聲。如果膜電壓超過了門限值vth，那么神經元就發出一個脈沖。令Sm，n（t）表示這個神經元所產生的脈沖訓練：

Sm，n（t）=1ifneuron（m，n）firesattimet.

0ifneuron（m，n）doesnotfireattimet.（3）

中間神經元陣列第一層由三個維度是M×（N+1）的神經元陣列構成，如圖2所示。前兩個是開神經元陣列，記為1ON1（p，q）和1ON2（p，q），第三個是關神經元陣列，記為1OFF（p，q），其中p=1，…，M；q=1，…，N+1。快速小波變換的卷積運算就相當于不同神經元陣列的累加。假設脈沖訓練通過激勵型突觸W1ON1（p，q），W1ON2（p，q）和抑制型突觸W1OFF（p，q）被傳送至開/關神經元陣列。突觸強度分布設置為：

W1ON1（p，k）=αONf（p，q），W1OFFi（p，q）=αOFFf（p，q）（4）

其中i={1，2}，1≤p≤M，1≤q≤N。如果i=1，k=q，那么k=q+1。aON=1/√2，aOFF=-1/2。突觸電流I1ON1（p，q）（t）和I1OFF（p，q）（t）由電流約束方程計算得到：

dI1σ（p，q）（t）dt=-1τI1σ（p，q）（t）+

∑Mp=1∑N+1q=1W1σ（p，q）β1Sσ（p，q）（t）（5）

其中σ∈{ON，OFF}，Sσ（p，q）（t）表示脈沖訓練。開/關陣列的神經元電壓則由電壓約束方程得到。

中間神經元陣列第二層由兩個維度是M×（N+1）的神經元陣列2ON（p，q）和2OFF（p，q）構成。每一個神經元都接收來自激勵型突觸W2ON（p，q）和抑制型突觸W2OFF（p，q）的脈沖訓練，設置方式如下：

W2ON（p，q）=

W1ON2（p，2）-W1OFF（p，q），ifW1ON2（p，q）-W1OFF（p，q）>0

0ifW1ON2（p，q）-W1OFF（p，q）≤0（6）

W2ON（p，q）=

-（W1ON2（p，2）-W1OFF（p，q）ifW1ON2（p，q）-W1OFF（p，q）<0

0ifW1ON2（p，q）-W1OFF（p，q）≥0（7）

其中1≤p≤M，1≤q≤N+1。開/關陣列中的突觸電流和神經元電壓仍舊由電流和電壓約束方程計算得到。

中間神經元陣列第三層同樣由兩個維度為M×（N+1）的神經元組成。在這些陣列中神經元被記為3CN1*（p，q）和3CN2*（p，q）。其中的突觸強度分布可以通過下述方程計算得到：

W3CN1*（p，q）=W1ON1（p，q）+W1ON2（p，q）（8）

W3CN2*（p，q）=W2ON（p，q）+W2OFF（p，q）（9）

突觸電流的計算方程為：

dl3CN1*（p，q）（t）dt=-1τI3CN1*（p，q）（t）+

∑Mp=1∑N+1q=1W1ON1（p，q）β2Sp，q（t）-

∑Mp=1∑N+1q=1W1ON2（p，q）β2Sp，q（t）-（10）

dI3CN2*（p，q）（t）dt=-1τI3CN2*（p，q）（t）+

∑Mp=1∑N+1q=1W2ON1（p，q）β2Sp，q（t）-

∑Mp=1∑N+1q=1W2OFF（p，q）β2Sp，q（t）-（11）

其中，β1，β2是常量。

在信號累加完成之后，對3CN1*和3CN2*層的神經元進行設置，即令只有偶數列的神經元會被激發從而發出脈沖信號，而奇數列的神經元則不會被激發。之后將兩個新得到的神經元陣列記為3CN1和3CN2。突觸強度將由下式計算得到：

W3CNi（p，q）=W3CNi*（p，2k）（12）

其中i={1，2}，i=1，2，…，N/2；1≤p≤M，1≤q≤N/2。此后網絡中的剩余的突觸強度分布的計算都由類似的迭代方式和下采樣方法計算得到。最終我們可以獲得四個輸出神經元陣列OUT1，OUT2，OUT3和OUT4，這些神經元層的激發率的計算公式如下：

rOUT{j}（m，n）（t）=1T∑t+TtSOUT{j}（m，n）（t）（13）

其中j={1，2，3，4}，SOUT{j}（m，n）（t）表示輸出陣列的脈沖訓練。

4基于SNNFWT網絡提取圖像特征

本文中將利用Matlab軟件對所構建的脈沖神經元網絡SNNFWT進行仿真測試。在實驗中根據Euler方法，步長設置為0.1ms。根據生物神經元特性將參數設置如下：vth=-60mv，El=-70mv，gl=1.0ms/mm2，c=8nF/mm2，τ=16ms，T=400ms，α=0.02，β1=4.3，β2=5.1，I0=7μA。這些參數可以被調整以獲得高質量的輸出圖像。

實驗中所使用的測試圖像如圖3所示。圖3（a）為高斯灰度分布圖像，像素為16×16。圖3（b）為Lena圖像，該圖像是在圖像處理領域廣泛使用的基準圖像，大小為512×512。

（a）高斯分布圖（b）Lena圖像

圖中橫縱坐標均表示像素位置，黑白色條表示圖像灰度范圍在0～255

高斯圖像的測試結果如圖4所示。其中，圖4（a）-（d）是高斯圖像經過Mallat小波變換得到的四個變換系數。圖4（e）-（h）則是通過SNNFWT脈沖神經元網絡所得到的四個近似結果。圖4中所有圖像維度為8×8，分辨率為原始圖像的四分之一。

Lena圖像的實驗結果如圖5所示。實驗中，由于該圖像維度超過了Matlab默認的矩陣維度，因此該圖像被切割為32×32個子塊，每個子塊的像素數是16×16。圖5（a）-（d）是通過數學方法所得到的結果，圖5（e）-（h）的結果則來自于脈沖神經元網絡。以上實驗結果說明所構建的脈沖神經元網絡可以實現與小波變換類似的特征提取工作，同時又忽略了微弱的噪聲信息。眾所周知，圖像的主要能量，即圖像的主要信息被保存在其低頻分量中，而高頻分量則只含有較少的能量信息。與數學方法實現小波變換相比，盡管視覺圖像信號通過了復雜龐大的神經元網絡并且丟失了一些細節，但是最終保留了所有的低頻分量，只有一些最高頻分量損失。

圖6顯示了原始圖像和經過SNNFWT網絡的一階和二階的近似系數圖像。從二階圖像效果上看，盡管信號經過了兩組復雜神經元網絡，整體能量有所降低，但是圖像的關鍵信息，比如人物和背景輪廓，草帽以及面部細節信息都仍然被很好的保留下來。

5討論

在文章中，我們提出了一個結合了生物神經元開/關通道和突觸電流機制的累積放電脈沖神經元網絡來提取視覺圖像的特征信息。在模型構建的過程中，不同神經元陣列的累加被用于實現FWT的卷積運算，而神經元的選擇性激發替代了下采樣算法。仿真結果顯示了這種SNN算法可以實現FWT。并且在通過了復雜的脈沖神經元網絡之后，圖像的關鍵信息得以很好保存。

參考文獻

[1]MEROLLAPA，ARTHURJV，ALVAREZR.ARTIFICIALBRAINSAmillionspikingneuronintegratedcircuitwithascalablecommunicationnetworkandinterface[J].Science，2014，345（6197）：668-673.

[2]RICHMONDP，COPEA，GURMEYK.FromModelSpecificationtoSimulationofBiologicallyConstrainedNetworksofSpikingNeurons[J].Neuroinformatics，2014，12（2）：307-323.

[3]HUT，GENKINA，CHKIOVSKIIDB.ANetworkofSpikingNeuronsforComputingSparseRepresentationsinanEnergyEfficientWay[J].Neuralcomputation，2012，24（11）：2852-2872.

[4]HODGKINAL，HUXLEYAF.Aquantitativedescriptionofmembranecurrentanditsapplicationtoconductionandexcitationinnerve[J].TheJournalofphysiology，1952，117（4）：500-544.

[5]MULLERE.SimulationofHighConductanceStatesinCorticalNeuralNetworks[M].Mastersthesis.UniversityofHeidelberg，2003.

[6]MASLANDRH.Thefundamentalplanoftheretina[J].Natureneuroscience，2001，4（9）：877-886.

[7]TAYLORWR，VANEYDI.Newdirectionsinretinalresearch[J].Trendsinneurosciences，2003，26（7）：379-385.

[8]KANDELER，SHWARTZJH.PrinciplesofNeuralScience[M].EdwardAmold（Publishers）Ltd，1981.

[9]DEMBJB.Cellularmechanismsfordirectionselectivityintheretina[J].Neuron，2007，55（2）：179-186.

[10]NELSONR，KOLBH.OnandOffPathwaysintheVertebrateRetinaandVisualSystem[M].MITPress，Cambridge，Lonton，2003.

[11]WUQX，MCGINNITYTM，MAGUIREL，eta1.SpikingNeuralNetworkPerformsDiscreteCosineTransformforVisualImages[C].EmergingIntelligentComputingTechnologyandApplications：WithAspectsofArtificialIntelligence，2009，5755：21-29.

[12]藺想紅，王向文，張寧，等.脈沖神經網絡的監督學習算法研究綜述[J].電子學報，2015，43（3）：577-586.

[13]張玉平，藺想紅.基于卷積計算的多層脈沖神經網絡的監督學習[J].計算機工程與科學，2015，37（2）：348-353.

[14]劉海華，莊如云.脈沖神經網絡自適應側連接的運動檢測[J].中南民族大學學報，2014，33（2）：65-71.

[15]李奕，吳小俊.粒子群進化學習自適應雙通道脈沖耦合神經網絡圖像融合方法研究[J].電子學報，2014，42（2）：217-222.

[16]DAUBECHIESI.TenLecturesOnWavelets[M].SocietyforIndustrialandAppliedMathematics，61，1992.

[17]CHUICK.AnIntroductiontoWavelets[M].AcademicPress，NewYork，1992.

[18]CLIN，L.ATutorialoftheWaveletTransform[D].GraduateInstituteofCommunicationEngineeringofNTU，2010.

[19]MALLATSG.Atheoryformultiresolutionsignaldecomposition：thewaveletrepresentation[J].IEEETransactionsonpatternanalysisandmachineintelligence，1989，11（7）：674-693.

[20]MALLATS.AWaveletTourofSignalProcessing[M].AcademicPress，2008.

[21]WUQX，MCGINNITYTM，MAGUIREL，etal.2Dcoordinatetransformationbasedonaspiketimingdependentplasticitylearningmechanism[J].NeuralNetworks，2008，21（9）：1318-1327.

[22]WUQX，MCGINNITYM，MAGUIREL，etal.LearningMechanismsinNetworksofSpikingNeurons，StudiesinComputationalIntelligence[J].StudiesinComputationalIntelligence，2006，35：171-197.

[23]WUQX，MCGINNITYM，MAGUIREL，etal.EdgeDetectionBasedonSpikingNeuralNetworkModel[M].SpringerBerlinHeidelberg，2007.

[24]WUQX，MCGINNITYTM，MAGUIRELP，etal.Learningunderweightconstraintsinnetworksoftemporalencodingspikingneurons[J].Neurocomputing，2006，69（16-18）：1912-1922.

[25]WUQX，CAIR，MCGINNITYTM，etal.RememberingKeyFeaturesofVisualImagesbasedonSpikeTimingDependentPlasticityofSpikingNeurons[C].Proc.oftheInternationalCongressonImageandSignalProcessing，IEEE，2009，2168-2173.