基于自適應(yīng)編碼的脈沖神經(jīng)網(wǎng)絡(luò)

摘 要： ""脈沖神經(jīng)網(wǎng)絡(luò)（SNN）采用脈沖序列表征和傳遞信息，與傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)相比更具有生物可解釋性，但典型SNN的特征提取能力受到其結(jié)構(gòu)限制，對(duì)于圖像數(shù)據(jù)等多分類(lèi)任務(wù)的識(shí)別準(zhǔn)確率不高，不能與卷積神經(jīng)網(wǎng)絡(luò)相媲美。為此提出一種新型的自適應(yīng)編碼脈沖神經(jīng)網(wǎng)絡(luò)（SCSNN），將CNN的特征提取能力與SNN的生物可解釋性結(jié)合起來(lái)，采用生物神經(jīng)元?jiǎng)討B(tài)脈沖觸發(fā)特性構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，并設(shè)計(jì)了一種新的替代梯度反向傳播方法直接訓(xùn)練網(wǎng)絡(luò)參數(shù)。所提出的SCSNN分別在MNIST和Fashion-MNIST數(shù)據(jù)集進(jìn)行驗(yàn)證，取得較好的識(shí)別結(jié)果，在MNIST數(shù)據(jù)集上準(zhǔn)確率達(dá)到了99.62%，在 Fashion-MNIST數(shù)據(jù)集上準(zhǔn)確率達(dá)到了93.52%，驗(yàn)證了其有效性。

關(guān)鍵詞： "脈沖神經(jīng)網(wǎng)絡(luò)； 自適應(yīng)編碼； 替代梯度反向傳播； 漏電積分發(fā)放神經(jīng)元模型

中圖分類(lèi)號(hào)： "TP391 """文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： "1001-3695（2022）02-047-0593-05

doi：10.19734/j.issn.1001-3695.2021.06.0239

Self-adaptive coding for spiking neural network

Zhang Chi1，2，3， Tang Fengzhen1，2

（1.State Key Laboratory of Robotics， Shenyang Institute of Automation， Chinese Academy of Sciences， Shenyang 110169， China； 2.Institutes for Robotics amp; Intelligent Manufacturing， Chinese Academy of Sciences， Shenyang 110169， China； 3.University of Chinese Academy of Sciences， Beijing 100049， China）

Abstract： "Using spikes to represent and convey information，

SNN is more biologically plausible than traditional artificial neural networks.However，a classical SNN has limited feature extraction ability due to the shallow network structure，leading to inferior classification performance to CNN especially on multi-class classification tasks such as object categorization.Inspired by the powerful convolutional structure of CNN，this paper proposed a SCSNN.By exploiting convolutional structures and dynamic impulse triggered property of biological neurons，the proposed SCSNN organized integrate-and-fire models in a convolutional fashion，and trained by a new surrogate gradient back-propagation algorithm directly.It validated the proposed SCSNN on the MNIST and Fashion-MNIST dataset respectively，obtaining superior performance to state-or-the-art SNN on both datasets.The classification accuracy reaches 99.62% on the MNIST dataset，

and 93.52% on the Fashion-MNIST dataset，which verifies the effectiveness of the proposed model.

Key words： "spiking neural networks； adaptive coding； surrogate gradient backpropagation； leaky integrate and fire（LIF） neuron model

0 引言

目前，人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）已被廣泛應(yīng)用于如語(yǔ)音識(shí)別、圖像分類(lèi)和自然語(yǔ)言處理等各種任務(wù)［1］。但在相關(guān)的生物研究中發(fā)現(xiàn)，與傳統(tǒng)的ANN不同的是，生物神經(jīng)網(wǎng)絡(luò)是通過(guò)離散的脈沖進(jìn)行通信，而不是具體的數(shù)值。在此基礎(chǔ)上，研究者提出了與大腦工作方式類(lèi)似的脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural network，SNN）［2］，主要利用離散的動(dòng)作電位（脈沖）來(lái)表征和傳遞信息，對(duì)SNN的進(jìn)一步探索在一定程度上可以幫助本文理解大腦的工作機(jī)制［3］。此外，由于時(shí)間動(dòng)力學(xué)特征，SNN通過(guò)脈沖學(xué)習(xí)和記憶機(jī)制有助于處理時(shí)空信息［4］，并且在大多數(shù)情況下SNN的神經(jīng)元收到輸入脈沖信號(hào)才會(huì)興奮，高效節(jié)能，具有廣泛的應(yīng)用前景［5］。

就學(xué)習(xí)算法而言，訓(xùn)練大規(guī)模SNN存在三大挑戰(zhàn)［6］：a）SNN有時(shí)間域和空間域，這里面復(fù)雜的神經(jīng)動(dòng)力學(xué)使得反向傳播（back-propagation，BP）訓(xùn)練變得模糊，具體來(lái)說(shuō)，神經(jīng)活動(dòng)不僅在空間域中逐層傳播，而且還影響著沿時(shí)間方向傳遞的狀態(tài)，這比典型的神經(jīng)網(wǎng)絡(luò)更復(fù)雜；b）由事件驅(qū)動(dòng)的脈沖活動(dòng)是離散的、不可微的，阻礙了BP訓(xùn)練方法的實(shí)現(xiàn)，需要找尋新的方向；c）由于脈沖是由0和1的二進(jìn)制來(lái)表示，SNN對(duì)參數(shù)配置變得更加敏感，特別是在訓(xùn)練階段，網(wǎng)絡(luò)需要確保對(duì)突觸前刺激的及時(shí)反映，并且避免產(chǎn)生過(guò)多的脈沖，這可能會(huì)降低神經(jīng)元的選擇性。因此，如何構(gòu)建有效的SNN模型具有極大的挑戰(zhàn)性。

目前，研究人員在模型設(shè)計(jì)方面做了很多努力。在神經(jīng)元模型研究中，文獻(xiàn)［7］利用生物學(xué)上合理的學(xué)習(xí)規(guī)則，即神經(jīng)突觸可塑性STDP（spike timing dependent plasticity）［6］，采用無(wú)監(jiān)督的學(xué)習(xí)方式訓(xùn)練了一個(gè)具有橫向抑制的兩層SNN。一些研究者對(duì)STDP進(jìn)行了改進(jìn)，提出了變種學(xué)習(xí)規(guī)則［8］，將漏電積分發(fā)放模型轉(zhuǎn)換為一個(gè)迭代單元，并提出一種偽導(dǎo)數(shù)方法來(lái)克服不可微的問(wèn)題，然后使用反向傳播算法成功地訓(xùn)練了更深的SNN［9，10］。隨著B(niǎo)P反向傳播算法和其變種學(xué)習(xí)規(guī)則在多種深層SNN模型訓(xùn)練中的成功應(yīng)用，SNN在語(yǔ)音識(shí)別和圖像分類(lèi)等任務(wù)上取得了較好的結(jié)果［11］。

在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方面，鑒于對(duì)CNN的認(rèn)識(shí)，文獻(xiàn)［12］提出了結(jié)合CNN和SNN的增強(qiáng)型脈沖框架，命名為CSNN，該框架在卷積層采用了CNN的特征提取能力，在全連接層采用了SNN的生物合理性，該模型在神經(jīng)元和訓(xùn)練樣本明顯減少的情況下取得了與其他認(rèn)知模型相當(dāng)?shù)男阅?，但從?yán)格意義上講，它不是真正卷積結(jié)構(gòu)的SNN。文獻(xiàn)［13］利用具有卷積感受野的脈沖神經(jīng)元來(lái)構(gòu)建網(wǎng)絡(luò)，提出了一種神經(jīng)元?dú)w一化技術(shù)，調(diào)整神經(jīng)元的選擇性設(shè)計(jì)了一種可以直接訓(xùn)練深度脈沖神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，并通過(guò)縮小速率編碼窗口將漏電積分發(fā)放模型轉(zhuǎn)換為顯式迭代形式，在圖像數(shù)據(jù)集上取得了較好的識(shí)別結(jié)果。在此基礎(chǔ)上，文獻(xiàn)［14］在脈沖卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的第一層中使用高斯差分（difference of Gaussians，DoG）濾波器提取邊緣信息，然后通過(guò)DoG濾波器將輸入圖像的像素值編碼為延遲脈沖。文獻(xiàn)［15］提出了一種多層SNN的反向傳播方法，通過(guò)轉(zhuǎn)換方法構(gòu)造了一個(gè)微分函數(shù)，將輸入的脈沖時(shí)刻與輸出神經(jīng)元的第一個(gè)脈沖時(shí)刻聯(lián)系在一起。文獻(xiàn)［16］提出了一種SNN的卷積自編碼學(xué)習(xí)方法，是一種無(wú)監(jiān)督學(xué)習(xí)算法，將輸入映射到一個(gè)低維特征空間，從低維空間中重建輸入數(shù)據(jù)。文獻(xiàn)［17］的方法是對(duì)空間相鄰神經(jīng)元之間的橫向交互進(jìn)行建模，并將其整合到脈沖神經(jīng)元LIF模型的膜電位公式中，采用泊松編碼的脈沖編碼方法，然后在流行的深度學(xué)習(xí)框架即PyTorch上構(gòu)建多層SNN。

在目前的SNN研究中，通常需要將實(shí)數(shù)的輸入值轉(zhuǎn)換為脈沖，再輸入到SNN中進(jìn)行處理。常用的脈沖編碼方式有速率編碼和時(shí)間編碼兩種。時(shí)間編碼采用單個(gè)脈沖的相對(duì)定時(shí)來(lái)編碼信息［18，19］；速率編碼在SNN模型中更常用，它利用一個(gè)時(shí)間窗內(nèi)脈沖序列的速率來(lái)編碼信息［20］。最常用的速率編碼為泊松編碼［13］，其基本理論是認(rèn)為脈沖網(wǎng)絡(luò)的輸出是一段時(shí)間內(nèi)的發(fā)放頻率（或稱(chēng)發(fā)放率）。發(fā)放率的大小表示該神經(jīng)元對(duì)輸入響應(yīng)的大小，因此網(wǎng)絡(luò)需要運(yùn)行一段時(shí)間，使用 T 時(shí)刻內(nèi)的平均發(fā)放率作為分類(lèi)依據(jù)。泊松編碼采用概率模型，具有一定的隨機(jī)性，仿真時(shí)長(zhǎng) T 不能設(shè)置太小，這種預(yù)編碼方式會(huì)信息丟失，造成SNN無(wú)法接收輸入全部的信息，可能會(huì)影響其后續(xù)處理效果。

為了解決該問(wèn)題，本文提出一種新的自適應(yīng)編碼的脈沖神經(jīng)網(wǎng)絡(luò)（self-adaptive coding for spiking neural network，SCSNN），結(jié)合CNN強(qiáng)大的特征提取能力和SNN的脈沖傳遞信息能力， 由卷積層、池化層和全連接層組成基本框架。卷積層將采用積分發(fā)放（integrate-and-fire，IF）神經(jīng)元模型，實(shí)現(xiàn)整個(gè)網(wǎng)絡(luò)在時(shí)間上層間的交互；全連接層采用漏電積分發(fā)放（leaky integrate and fire，LIF）神經(jīng)元模型，使得整個(gè)網(wǎng)絡(luò)在時(shí)間上具有層間累加能力，完成具體分類(lèi)任務(wù)。本文設(shè)計(jì)了一種新的網(wǎng)絡(luò)訓(xùn)練方法，引入梯度替代，采用梯度反向傳播方法訓(xùn)練所提出的SCSNN。

本文所提出的SCSNN具有自適應(yīng)的編碼能力，能夠直接接收外部輸入信息，避免了傳統(tǒng)SNN采用脈沖編碼預(yù)處理過(guò)程的信息丟失，提升了網(wǎng)絡(luò)的信息處理能力。與此同時(shí)，由于可以直接接收源輸入信號(hào)，無(wú)須較大的仿真時(shí)長(zhǎng)，就能取得較好的識(shí)別結(jié)果，提高了網(wǎng)絡(luò)的計(jì)算速度；另外，梯度替代反向傳播方法為后續(xù)的脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法提供一種新的思路。

1 研究方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文所提的SCSNN架構(gòu)如圖1所示。該網(wǎng)絡(luò)采用IF神經(jīng)元模型構(gòu)成卷積層、LIF神經(jīng)元模型構(gòu)成全連接層以及下采樣池化層，深度融合CNN和SNN的優(yōu)點(diǎn)，實(shí)現(xiàn)了圖像的自適應(yīng)脈沖編碼，避免了傳統(tǒng)SNN中泊松編碼預(yù)處理帶來(lái)的信息損失。第一層卷積層作為網(wǎng)絡(luò)的感受野和基本輸入處理單元，對(duì)原始視覺(jué)圖像進(jìn)行脈沖編碼和特征提取。卷積層內(nèi)采用的IF神經(jīng)元模型使得整個(gè)網(wǎng)絡(luò)在時(shí)間上有層間的交互，模仿了生物神經(jīng)元的短時(shí)記憶能力；然后采取下采樣最大池化對(duì)卷積層的輸出進(jìn)行降維和優(yōu)化。在第一個(gè)卷積和池化模塊的基礎(chǔ)上增加兩個(gè)卷積和池化模塊，進(jìn)一步提取和優(yōu)化特征。最后是全連接層，該層采用LIF神經(jīng)元模型使得整個(gè)網(wǎng)絡(luò)在時(shí)間上具有層間累加能力，完成具體分類(lèi)任務(wù)。

1.2 神經(jīng)元模型

在脈沖神經(jīng)元模型中，神經(jīng)元膜電位達(dá)到點(diǎn)火閾值，神經(jīng)元就會(huì)發(fā)放脈沖［21］。本文采用積分發(fā)放IF神經(jīng)元模型和漏電積分發(fā)放LIF神經(jīng)元模型，IF神經(jīng)元模型可以看做理想積分器［22］，表示為

d V（t） "d t = 1 C I（t） ""（1）

其中： V（t） 表示神經(jīng)元的膜電位； I（t） 表示輸入電流； C 代表電容，是一個(gè)常數(shù)。使用離散的差分方程來(lái)近似連續(xù)的微分方程，得到 t 時(shí)刻的神經(jīng)元膜電位表示為

V t=f（V t-1，I t）=V t-1+X t ""（2）

其中： t 時(shí)刻的神經(jīng)元膜電位 V t 取決于 t-1 時(shí)刻的膜電位和 當(dāng)前時(shí)刻輸入 X t 的值。脈沖神經(jīng)元內(nèi)部的前向傳播分為膜電位充電和放電兩個(gè)階段。膜電位充電時(shí)累積電壓值，即式（2）。膜電位累積值達(dá)到所設(shè)閾值 V th 產(chǎn)生放電，得到

S t=g（V t-V th）=Θ（V t-V th） ""（3）

Θ（x）= "1 x≥0

0 xlt;0 """""（4）

其中： S t 是輸出脈沖，0表示無(wú)脈沖，1表示發(fā)放脈沖； Θ（x） 表示Heaviside階躍函數(shù)。神經(jīng)元膜電位 V t 重置為

V t=1-S t ""（5）

LIF神經(jīng)元模型是在IF神經(jīng)元模型的基礎(chǔ)上提出的，前者比后者更加接近真實(shí)的生物神經(jīng)元。其中，leaky表示泄露。在生物神經(jīng)元中，由于細(xì)胞膜不間斷進(jìn)行膜內(nèi)外離子的交換，如果僅有一次輸入刺激時(shí)，電壓會(huì)自發(fā)地發(fā)生泄漏，逐漸下降低于靜息電位 V reset ，然后再上升到 V reset 處。前文提到的IF神經(jīng)元模型一般被認(rèn)為直接回落到靜息狀態(tài)處，沒(méi)有泄露過(guò)程。LIF模型的具體表達(dá)形式如下：

τ m "d V（t） "d t =-（V（t）-V reset）+R mI（t） ""（6）

I（t）=∑ n i=0 ω i∑ "k Θ（t-t k） ""（7）

其中： τ m 是時(shí)間常數(shù)； I（t） 是收集自突觸的輸入電流，并整合到 V（t） 中，即神經(jīng)元膜電位中； Θ（x） 是來(lái)自時(shí)間 t k 的突觸前神經(jīng)元的脈沖事件，如式（4）所示。如果 V（t） 大于某個(gè)閾值 V th ，神經(jīng)元就會(huì)發(fā)出一個(gè)輸出脈沖。釋放脈沖會(huì)消耗神經(jīng)元之前積累的電荷，因此膜電位會(huì)有一個(gè)瞬間的降低，最終回到靜息膜電位 V reset 。

1.3 基于自適應(yīng)編碼的卷積層

研究表明，相比于傳統(tǒng)CNN，SNN采用脈沖序列進(jìn)行傳遞信息的方式更符合類(lèi)腦處理機(jī)制。實(shí)際中處理的圖像數(shù)據(jù)是一個(gè)具體的像素值，如何將輸入實(shí)際值轉(zhuǎn)換為脈沖序列是本文首要面對(duì)的一個(gè)難題。目前的研究中常采用基于頻率的泊松編碼以及基于時(shí)間的延遲編碼，這些編碼方式類(lèi)似于對(duì)圖片進(jìn)行預(yù)處理，將圖片編碼成脈沖后輸入到訓(xùn)練網(wǎng)絡(luò)。但實(shí)際生物大腦中是否有特定的編碼方式還有待研究，目前的基本認(rèn)知是大腦看到圖像信息后直接傳入到視網(wǎng)膜，通過(guò)感受野和傳入神經(jīng)進(jìn)一步傳輸?shù)揭曈X(jué)皮層進(jìn)行處理。 為了接近大腦的圖像信息處理機(jī)制，本文提出了在SNN內(nèi)部進(jìn)行數(shù)據(jù)編碼的一種自適應(yīng)編碼方法，如圖2所示。在每個(gè)時(shí)間步長(zhǎng)中直接將原始圖像輸入到SCSNN中與卷積核進(jìn)行卷積，然后在突觸后神經(jīng)元膜電位中累積電壓。當(dāng)膜電位超過(guò)閾值 V th 時(shí)，突觸后神經(jīng)元就會(huì)發(fā)放脈沖，再回落到靜息電位（ V reset=0 ）；否則，直接泄露到下一個(gè)時(shí)間步長(zhǎng)中。為了實(shí)現(xiàn)該過(guò)程，本文采用IF神經(jīng)元模型。

首先，采用離散的時(shí)間步長(zhǎng)對(duì)該過(guò)程的前向傳播中脈沖神經(jīng)元內(nèi)部進(jìn)行時(shí)間上層間交互，通過(guò)對(duì)神經(jīng)元模型和卷積層的分析，將式（2）改寫(xiě)為

V t=V t-1（1-S t-1）+X t ""（8）

S t= "1 V t≥V th

0 "otherwise """（9）

其中：膜電位 V t 取決于前一時(shí)間的膜電位 V t-1 、脈沖發(fā)放狀態(tài) S t-1 以及外部輸入 X t 。

1.4 全連接層實(shí)現(xiàn)分類(lèi)

通過(guò)卷積層的操作得到若干特征點(diǎn)陣圖，隨著時(shí)間一步一步輸入到全連接層進(jìn)行最后分類(lèi)操作。在本層設(shè)計(jì)中應(yīng)用LIF神經(jīng)元模型。由于LIF模型內(nèi)部結(jié)構(gòu)復(fù)雜，與現(xiàn)在的深度學(xué)習(xí)框架不兼容，通過(guò)使用離散的差分方程來(lái)近似連續(xù)的微分方程，使得LIF可用于深度學(xué)習(xí)框架：

V t=f（V t-1，I t）=V t-1+ 1 τ m （-（V t-1-V reset）+X t） ""（10）

在全連接層，由式（10）可知，對(duì)于下一層，突觸后脈沖的和等于突觸前脈沖序列的和，同時(shí)在最后一層中，加權(quán)的脈沖會(huì)累積在膜電位中并隨時(shí)間衰減。在最后一個(gè)時(shí)間步，累積的膜電位除以總時(shí)間步數(shù) T 以量化輸出分布：

output= VL（t） T """（11）

其中： T 表示仿真時(shí)長(zhǎng)； VL（t） 表示最后一層的膜電位。將式（11）中的量化輸出值最大的神經(jīng)元對(duì)應(yīng)的類(lèi)別作為輸入圖像的標(biāo)簽。

1.5 梯度替代反向傳播

將損失函數(shù)定義為目標(biāo)標(biāo)簽與所提網(wǎng)絡(luò)預(yù)測(cè)的輸出之間的差異（平方誤差和），如式（12）所示。

E= 1 2 ∑ n j=1 e2 j，e j=output j-label j ""（12）

其中： e j 是每個(gè)輸出神經(jīng)元的預(yù)測(cè)誤差，通過(guò)將輸出分布 output j 與所呈現(xiàn)的輸入圖像的期望目標(biāo)標(biāo)記 label j 進(jìn)行比較來(lái)評(píng)估。采用替代反向傳播計(jì)算損失函數(shù)的梯度，輸入數(shù)據(jù)前向傳播到最后一層，然后在最后一層計(jì)算損失函數(shù)的梯度，該梯度通過(guò)隱含層一直反向傳播到輸入層，使用遞歸鏈規(guī)則，如式（13）所示。

E "ω = "E "output j """output j "a LIF """a LIF "net """net "ω """（13）

最后一層梯度為

E "output j = """output j （ 1 2 ∑ n j=1 （output j-label j）2）=output j-label j=e j "（14）

最后一層的梯度通過(guò)遞歸鏈規(guī)則反向傳播計(jì)算代價(jià)函數(shù)對(duì)整個(gè)網(wǎng)絡(luò)參數(shù)的梯度。在梯度反向傳播中發(fā)現(xiàn)梯度 ""a LIF "net "無(wú)法計(jì)算，因?yàn)樯窠?jīng)元模型式（4）和（9）不可微，即不能直接通過(guò)反向傳播、梯度下降的方式來(lái)訓(xùn)練SCSNN模型，所以采用梯度替代的方式來(lái)解決該問(wèn)題。本文選用了兩種特定函數(shù)的導(dǎo)數(shù)來(lái)替代脈沖階躍函數(shù)式（4）（9）的導(dǎo)數(shù)，所選用的兩種函數(shù)分別為

f 1（x）= 1 "π arctan（ π 2 "αx）+ 1 2 """（15）

f 2（x）= 1 "1+e -αx nbsp;""（16）

其中： f 1（x）和f 2（x） 分別為反切（Atan）和sigmoid函數(shù)，對(duì)應(yīng)的反向傳播梯度函數(shù)為

f 1′（x）= α 2（1+（ "π 2 "αx）2） ，f 2′（x）= α e -αx （1+ e -αx）2 """（17）

其中： α 可以控制函數(shù)的平滑程度， α 越大越逼近 S t ，但越容易在靠近 x =0時(shí)梯度爆炸；遠(yuǎn)離 x =0時(shí)則容易梯度消失，導(dǎo)致網(wǎng)絡(luò)也會(huì)越難以訓(xùn)練。圖3（a）展示了脈沖活動(dòng)的階躍函數(shù)曲線和它的兩種逼近函數(shù)的曲線，可以看出，Atan函數(shù)在0點(diǎn)更逼近階躍函數(shù)；圖3（b）描述了這兩種替代函數(shù)的梯度曲線，Atan函數(shù)的梯度更陡。本文將在實(shí)驗(yàn)部分進(jìn)一步比較不同的替代梯度對(duì)網(wǎng)絡(luò)分類(lèi)性能的影響。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)設(shè)置

本文提出的SCSNN在Python上實(shí)現(xiàn)。環(huán)境搭建在PyTorch框架下，網(wǎng)絡(luò)的權(quán)重由PyTorch的默認(rèn)方法隨機(jī)初始化。此外，網(wǎng)絡(luò)采用dropout策略，將全連接層的隱含層30%的節(jié)點(diǎn)輸出隨機(jī)置0，防止過(guò)擬合；同時(shí)在網(wǎng)絡(luò)訓(xùn)練時(shí)采用批量標(biāo)準(zhǔn)化（batch normalization，BN）的方法對(duì)每層的輸出規(guī)范化其均值和方差，防止梯度消失、梯度爆炸和網(wǎng)絡(luò)退化。

本文采用MNIST［23～25］和Fashion-MNIST［26］兩個(gè)靜態(tài)圖像數(shù)據(jù)集驗(yàn)證該自適應(yīng)編碼脈沖神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的有效性。其中，MNIST數(shù)據(jù)集是由大小為28×28的手寫(xiě)數(shù)字組成，F(xiàn)ashion-MNIST數(shù)據(jù)集是由大小為28×28的更加具象化的人類(lèi)必需品（服裝）灰度圖像組成。為了直接與現(xiàn)有方法作對(duì)比，本文只采用給定的訓(xùn)練樣本集對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用給定的測(cè)試樣本集進(jìn)行分類(lèi)得到其分類(lèi)精度。

2.2 訓(xùn)練結(jié)果

2.2.1 卷積編碼過(guò)程

對(duì)本文中卷積編碼層在MNIST和Fashion數(shù)據(jù)集上驗(yàn)證SCSNN模型，結(jié)果如圖4所示。將原始圖像4（a）（d）輸入到自編碼器中，第一次編碼結(jié)果如圖4（b）（e）所示，基本能編碼部分信息，經(jīng)過(guò)八次卷積累積后的結(jié)果如圖4（c）（f）所示。 編碼器的累計(jì)輸出脈沖 ∑ tS t 非常接近原圖像的輪廓，表明這種帶有卷積層的自適應(yīng)編碼方式具有很強(qiáng)的編碼能力，能直接將原始圖像輸入到整個(gè)網(wǎng)絡(luò)模型中，以便后面進(jìn)行全連接層的分類(lèi)。

本文對(duì)原始圖像輸入和經(jīng)過(guò)泊松編碼輸入的卷積層輸出作一比較，結(jié)果如圖5所示。從圖5中可以看到，（a）中原始圖像經(jīng)過(guò)卷積后輸出的點(diǎn)陣圖能比較明顯地顯示數(shù)字“8”的輪廓，（b）中經(jīng)過(guò)泊松編碼后的卷積輸出有部分點(diǎn)陣圖存在消失的問(wèn)題，證明了本文提出的原始圖像直接輸入的自適應(yīng)編碼方法具有一定的效果。

2.2.2 不同替代梯度對(duì)訓(xùn)練結(jié)果的影響分析

在本節(jié)中對(duì)引入的兩種不同的近似梯度函數(shù)對(duì)SCSNN模型訓(xùn)練的影響進(jìn)行分析比較，以設(shè)計(jì)更加魯棒、 高效的系統(tǒng)。以MNIST和Fashion-MNIST數(shù)據(jù)集的訓(xùn)練過(guò)程為例，圖6中展示了基于不同近似導(dǎo)數(shù)訓(xùn)練過(guò)程的準(zhǔn)確率變化曲線。其中，sigmoid和Atan函數(shù)中時(shí)間步長(zhǎng) T =8，參數(shù) α =4.0。從圖6可以看到，雖然兩種近似導(dǎo)數(shù)都能在 epoch =30次后達(dá)到很好的收斂效果，但與sigmoid函數(shù)相比，Atan的導(dǎo)函數(shù)在兩個(gè)數(shù)據(jù)集上都取得了更好的識(shí)別性能，穩(wěn)定性也相對(duì)更好。這可能是由于Atan的函數(shù)曲線更加接近于階躍函數(shù)，更有利于模擬其非線性特性；與此同時(shí)，Atan導(dǎo)數(shù)計(jì)算速度更快，更有利網(wǎng)絡(luò)的訓(xùn)練。本文后續(xù)實(shí)驗(yàn)采用Atan導(dǎo)數(shù)替代。

2.2.3 時(shí)間步長(zhǎng)對(duì)模型性能的影響分析

脈沖神經(jīng)網(wǎng)絡(luò)采用脈沖事件（由0或1 組成）來(lái)表征和傳遞信息，神經(jīng)元會(huì)在時(shí)間上累積上游神經(jīng)元傳遞來(lái)的信息，以觸發(fā)脈沖事件，向下游神經(jīng)元傳遞信息，因此，累積信息的時(shí)間步長(zhǎng)對(duì)于模型的性能具有一定的影響。如果時(shí)間步長(zhǎng)太小， IF神經(jīng)元和LIF神經(jīng)元的累積和不足以產(chǎn)生輸出脈沖，SNN將不能接收到足夠的信息用于訓(xùn)練或推斷；相反，較大的時(shí)間步長(zhǎng)雖然會(huì)減少簡(jiǎn)單網(wǎng)絡(luò)的隨機(jī)性，消除噪聲和不精確性，但需要以高延遲和高功耗為代價(jià)。因此，需要在訓(xùn)練中確定最佳時(shí)間步長(zhǎng)以?xún)?yōu)化模型訓(xùn)練的效果和功耗，使得訓(xùn)練效果在盡可能好的情況下能耗更低。下面將詳細(xì)分析時(shí)間步長(zhǎng) T 對(duì)本文所提模型的影響。

由于采用的是自適應(yīng)編碼方法，所需時(shí)間步長(zhǎng)不需要像泊松編碼一樣那樣大，只需要從個(gè)位數(shù)開(kāi)始實(shí)驗(yàn)。首先，對(duì)MNIST數(shù)據(jù)集進(jìn)行訓(xùn)練，過(guò)程和結(jié)果如圖7（a） 所示?？梢园l(fā)現(xiàn)，當(dāng) T =2時(shí)，測(cè)試集分類(lèi)正確率振蕩較大，在迭代次數(shù)達(dá)到70時(shí)也沒(méi)有收斂到一個(gè)穩(wěn)定的點(diǎn)；當(dāng) T =4時(shí)，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)學(xué)習(xí)越來(lái)越好，基本上收斂到一個(gè)穩(wěn)定值；在 T =6～12個(gè)時(shí)間步長(zhǎng)時(shí)， 網(wǎng)絡(luò)的收斂性更好；在 T =8時(shí)，網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)從30次開(kāi)始已經(jīng)接近完全飽和，收斂較為快速；當(dāng) T 進(jìn)一步增加到12時(shí)，網(wǎng)絡(luò)訓(xùn)練效果并沒(méi)有明顯的改善。本文在Fashion-MNIST數(shù)據(jù)集中觀察到了類(lèi)似的趨勢(shì)，如圖7（b）所示。因此，8～10個(gè)時(shí)間步長(zhǎng)是最佳時(shí)間步長(zhǎng)。

2.2.4 與當(dāng)前算法的識(shí)別結(jié)果比較

將本文所提模型在MNIST和Fashion-MNIST數(shù)據(jù)集上與當(dāng)前較新的SNN進(jìn)行比較。本文所提方法的超參數(shù)，包括時(shí)間步長(zhǎng)、批量大小、學(xué)習(xí)速率等，如表1所示。其中，時(shí)間步長(zhǎng) T 是根據(jù)2.2.2節(jié)得到的，在保證魯棒性和測(cè)試準(zhǔn)確性盡可能好的情況下能耗更低；本文中其余超參數(shù)大小是在實(shí)際實(shí)驗(yàn)過(guò)程中估計(jì)出來(lái)的。可以看出，兩種數(shù)據(jù)集超參數(shù)基本一致，具有一定的適應(yīng)性，不會(huì)隨著樣本的改變而重新調(diào)超參數(shù)，對(duì)比方法的正確率摘自其對(duì)應(yīng)原文獻(xiàn)。

表2給出了MNIST數(shù)據(jù)集上不同SNN的分類(lèi)正確率。結(jié)果表明，SCSNN在MNIST上的分類(lèi)正確率為99.62%，與其他七個(gè)主流算法相比達(dá)到了目前的最好性能。將SCSNN在Fashion-MNIST數(shù)據(jù)集上與其他幾個(gè)算法進(jìn)行性能比較，結(jié)果如表3所示?？梢钥闯?，SCSNN在Fashion-MNIST上比當(dāng)前其他算法性能都更好，取得了目前最高的識(shí)別精度，高達(dá)93.52%，比第二名 LISNN算法提高了1.45%。兩種數(shù)據(jù)集測(cè)試結(jié)果SCSNN都達(dá)到了對(duì)比模型中的最好性能，應(yīng)該歸功于SCSNN的網(wǎng)絡(luò)設(shè)計(jì)、自適應(yīng)編碼方式以及所采用的反向傳播替代函數(shù)。

3 結(jié)束語(yǔ)

本文主要是從視覺(jué)神經(jīng)系統(tǒng)的神經(jīng)元活動(dòng)機(jī)制出發(fā)，借鑒了傳統(tǒng)的CNN，將初始層作為一種自適應(yīng)編碼器，避免了現(xiàn)有脈沖神經(jīng)網(wǎng)絡(luò)預(yù)編碼過(guò)程中的信息損失。本文提出的SCSNN采用積分發(fā)放神經(jīng)元模型與漏電積分發(fā)放神經(jīng)元模型來(lái)構(gòu)建脈沖神經(jīng)網(wǎng)絡(luò)的卷積層和全連接層，采用反向梯度替代的方法來(lái)訓(xùn)練整個(gè)模型。SCSNN模型在MNIST和Fashion-MNIST數(shù)據(jù)集上取得了與當(dāng)前較優(yōu)性能算法相媲美的識(shí)別結(jié)果；與其他使用泊松編碼的SNN模型相比，本文所提的模型仿真時(shí)長(zhǎng) T 更小，迭代次數(shù)更少、收斂更快。雖然提出的SCSNN具有較好的仿真結(jié)果，但是所提出的模型如何能更符合人腦機(jī)制、更有利于探索大腦活動(dòng)以及如何在減少迭代次數(shù)的同時(shí)提高準(zhǔn)確率和魯棒性，這都將是下一步的研究方向。

參考文獻(xiàn)：

［1］ "曾毅，劉成林，譚鐵牛.類(lèi)腦智能研究的回顧與展望［J］.計(jì)算機(jī)學(xué)報(bào)，2016， 39 （1）：212-222. （Zeng Yi，Liu Chenglin，Tan Tieniu.Retrospect and outlook of brain-inspired intelligence research［J］. Chinese Journal of Computers ，2016， 39 （1）：212-222.）

［2］ 陳國(guó)軍，藺想紅，王國(guó)恩，等.一種脈沖神經(jīng)元監(jiān)督學(xué)習(xí)的直接計(jì)算方法［J］.電子學(xué)報(bào)，2021， 49 （2）：331-337. （Chen Guojun，Lin Xianghong，Wang Guo’en， et al .A direct computation method of supervised learning for spiking neurons［J］. Acta Electronica Sinica ，2021， 49 （2）：331-337.）

［3］ Ghosh-Dastidar S，Adeli H.Spiking neural networks［J］. Interna-tional Journal of Neural Systems ，2009， 19 （4）：295-308.

［4］ Hu Jun，Tang Huajin，Tan K C， et al .How the brain formulates memory：a spatio-temporal model research frontier［J］. IEEE Computa-tional Intelligence Magazine， 2016， 11 （2）：56-68.

［5］ Pfeiffer M，Pfeil T.Deep learning with spiking neurons：opportunities and challenges［J/OL］. Frontiers in Neuroscience .（2018-10-25）.https：//doi.org/10.3389/fnins.2018.00774.

［6］ "Bi G Q，Poo M M.Synaptic modifications in cultured hippocampal neurons：dependence on spike timing，synaptic strength，and postsynaptic cell type［J］. Journal of Neuroscience ，1998， 18 （24）：10464-10472.

［7］ Diehl P U，Cook M.Unsupervised learning of digit recognition using spike-timing-dependent plasticity［J/OL］. Frontiers in Computational Neuroscience .（2015-08-03）.https：//doi.org/10.3389/fncom.2015.00099.

［8］ Hu Zhanhao，Wang Tao，Hu Xiaolin.An STDP-based supervised learning algorithm for spiking neural networks［C］//Proc of the 24th International Conference on Neural Information Processing.Cham：Springer，2017：92-100.

［9］ Woniak S，Pantazi A，Bohnstingl T， et al .Deep learning incorporating biologically-inspired neural dynamics［J］. Nature Machine Intelligence， 2020， 2 ：325-336.

［10］ Wu Yujie，Deng Lei，Li Guoqi， et al .Spatio-temporal backpropagation for training high-performance spiking neural networks［J］. Frontiers in Neuroscience ，2018， 12 （5）：article No.331.

［11］ 王清華，王麗娜，徐頌.融合LSTM結(jié)構(gòu)的脈沖神經(jīng)網(wǎng)絡(luò)模型研究與應(yīng)用［J］.計(jì)算機(jī)應(yīng)用研究，2021， 38 （5）：1381-1386. （Wang Qinghua，Wang Lina，Xu Song.Research and application of spiking neural network model based on LSTM structure［J］. Application Research of Computers ，2021， 38 （5）：1381-1386.）

［12］ Xu Qi，Qi Yu，Yu Hang， et al .CSNN：an augmented spiking based framework with perceptron-inception［C］//Proc of the 27th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：1646-1652.

［13］ Wu Yujie，Deng Lei，Li Guoqi， et al .Direct training for spiking neural networks：faster，larger，better［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press.2019：1311-1318.

［14］ Kheradpisheh S R，Ganjtabesh M，Thorpe S J， et al .STDP-based spiking deep convolutional neural networks for object recognition［J］. Neural Networks， 2018， 99 （3）：56-67.

［15］ Mostafa H.Supervised learning based on temporal coding in spiking neural networks［J］. IEEE Trans on Neural Networks and Lear-ning Systems， 2018， 29 （7）：3227-3235.

［16］ Panda P，Roy K.Unsupervised regenerative learning of hierarchical features in spiking deep networks for object recognition［C］//Proc of International Joint Conference on Neural Networks.Piscataway，NJ：IEEE Press，2016：299-306.

［17］ Cheng Xiang，Hao Yunzhe，Xu Jiaming， et al .LISNN：improving spiking neural networks with lateral interactions for robust object recognition［C］//Proc of the 29th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：1519-1525.

［18］ Comsa I M，Potempa K，Versari L， et al .Temporal coding in spiking neural networks with alpha synaptic function［C］//Proc of IEEE International Conference on Acoustics，Speech and Signal Processing.Piscataway，NJ：IEEE Press，2020.

［19］ Zhang Lei，Zhou Shengyuan，Zhi Tian， et al .TDSNN：from deep neural networks to deep spike neural networks with temporal-coding［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：1319-1326.

［20］ Jin Yingyezhe，Zhang Wenrui，Li Peng.Hybrid macro/micro level backpropagation for training deep spiking neural networks［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：7005-7015.

［21］ Jolivet R，Lewis T J，Gerstner W.Generalized integrate-and-fire mo-dels of neuronal activity approximate spike trains of a detailed model to a high degree of accuracy［J］. Journal of Neurophysiology ，2004， 92 （2）：959-976.

［22］ Brunel N，Hakim V.Neuronal dynamics［M］//Encyclopedia of Complexity and Systems Science.New York：Springer，2009：6099-6116.

［23］ LeCun Y，Bottou L，Bengio Y， et al .Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86 （11）：2278-2324.

［24］ 曾文獻(xiàn)，孟慶林，郭兆坤.基于深度卷積自編碼神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別研究［J］.計(jì)算機(jī)應(yīng)用研究，2020， 37 （4）：1239-1243. （Zeng Wenxian，Meng Qinglin，Guo Zhaokun.Research on handwritten digit recognition based on deep convolution self-coded neural network［J］. Application Research of Computers ，2020， 37 （4）：1239-1243.）

［25］ 任曉奎，丁鑫，陶志勇，等.基于多分類(lèi)器的無(wú)分割手寫(xiě)數(shù)字字符串識(shí)別算法［J］.計(jì)算機(jī)應(yīng)用研究，2020， 37 （7）：2222-2226. （Ren Xiaokui，Ding Xin，Tao Zhiyong， et al .Undivided handwritten number string recognition algorithm based on multiple classifiers［J］. Application Research of Computers ，2020， 37 （7）：2222-2226.）

［26］ 陳麗麗，韓潤(rùn)萍.基于卷積神經(jīng)網(wǎng)絡(luò)的服飾圖像分類(lèi)［J］.北京服裝學(xué)院學(xué)報(bào)：自然科學(xué)版，2018， 38 （4）：31-36，58. （Chen Lili，Han Runping.Clothing image classification based on convolutional neural network［J］. Journal of Beijing Institute of Clothing Technology， 2018， 38 （4）：31-36，58.）

［27］ Lee J H，Delbruck T，Pfeiffer M.Training deep spiking neural networks using backpropagation［J］. Frontiers in Neuroscience ，2016， 10 （11）：DOI：10.3389/fnins.2016.00508.

［28］ Shrestha S B，Orchard G.SLAYER：spike layer error reassignment in time［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：1419-1428.

［29］ Zhang Wenrui，Li Peng.Spike-train level backpropagation for training deep recurrent spiking neural networks［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2019：7800-7811.

［30］ "Orchard G，Jayawant A，Cohen G K， et al .Converting static image datasets to spiking neuromorphic datasets using saccades［J］. Frontiers in Neuroscience， 2015， 9 （11）：DOI：10.3389/fnins.2015.00437.

［31］ Agarap A F.Deep learning using rectified linear units（ReLU）［EB/OL］. （2019-02-07）.https：//arxiv.org/pdf/1803.08375.pdf.