基于梯度下降的脈沖神經元精確序列學習算法

楊 靜，趙 欣，徐 彥，姜 贏

1.北京師范大學珠海分校 管理學院，廣東 珠海 519087

2.南京農業大學 信息科技學院，南京 210095

1 引言

脈沖神經元的輸入輸出均為一串離散的脈沖激發時間，通過脈沖序列表示并處理信息。脈沖神經網絡以脈沖神經元為基本構成單元，相比傳統的人工神經網絡有著更強大的計算能力。因此，脈沖神經網絡已有越來越多的研究者從不同方面對其進行研究[1]。由于基于脈沖激發時間的編碼方式能夠在一個相對短的時間內攜帶更多的復雜信息[2]，研究者希望能通過樣本學習使得脈沖神經元能夠在精確的時間點上激發出脈沖而不是僅僅學習激發出特定激發率的脈沖序列。

在生物學研究中有大量的證據表明：在大腦皮層中的確存在著有監督學習的行為[3]，因此有監督學習算法在脈沖神經網絡中也被廣泛應用。現有的脈沖神經網絡有監督學習算法大致可以分為三大類：基于梯度下降的、基于突觸可塑性的以及基于脈沖序列卷積的學習算法[4]。例如，Bohte等人最早提出了一種單脈沖神經網絡的反向傳播算法：SpikeProp[5]，該方法通過近似的將脈沖激發時刻附近的神經元內部狀態看作線性函數的方法將BP算法推廣到脈沖神經網絡中。在此基礎上還出現了各種推廣算法，例如：帶動量的反向傳播，QuickProp，Rprop，Levenberg-Marquardt BP以及基于隱層多脈沖的反向傳播學習算法[6-9]。Xu等人提出了一種基于梯度下降的多層前饋脈沖神經網絡多脈沖輸出的有監督學習方法（MSGDB），該方法中各層神經元的輸出均可以為多脈沖[10-12]。Florian提出了一種名為Chronotron[13]的方法，其中包括了兩種學習機制：E-learning和I-learning。E-learning學習機制同樣基于梯度下降，不同的是該方法采用VP距離來度量實際輸出與目標輸出脈沖之間的差異。最近Lin等人提出了另一種基于反向傳播的脈沖神經網絡的學習算法，其中誤差函數是基于輸出脈沖序列的內積而構建，算法同樣可以推廣至多脈沖激發的多層脈沖神經網絡[14]，也有研究者提出了一種基于反向傳播的脈沖神經元深度學習算法[15]。

突觸可塑性的有監督學習方法主要基于生物神經元的突觸調整機制，例如STDP（Spike-Timing-Dependent-Plasticity）規則[16]。ReSuMe方法[17]是一種基于 Widrow-Hoff規則并結合STDP規則的脈沖神經元有監督學習方法，具有較好的學習性能和適用性，但該方法只適合于單層網絡的學習。Sporea[18]等人提出一種結合BP算法的Multi-ReSuMe方法，以解決多脈沖激發的多層網絡學習問題。文獻[19]中提出了一種基于ReSuMe方法的輸入脈沖選擇改進學習算法以提高學習的精度。Wade等人結合STDP規則與BCM（Bienenstock-Cooper-Munro）學習規則給出了一種名為SWAT[20]（Synaptic Weight Association Training）的多層前饋脈沖神經網絡的學習算法。Chronotron中的I-learning學習機制[12]也是依據STDP規則調整權值，不同的是該方法以在線方式運行，更加符合生物神經元的行為特性。

基于脈沖序列卷積的有監督學習算法通過選擇合適的核函數將脈沖序列轉換成一個連續函數以進行進一步的定量分析。例如SPAN（Spike Pattern Association Neuron）算法[2]采用卷積方式將離散的脈沖激發時間轉換為所對應的實數值并將其代入Widrow-Hoff規則得到權值調整公式。類似的方法PSD（Precise-Spike-Driven）[21]基于LIF神經元模型提出，但該方法只對輸入脈沖進行卷積。Lin等人[22]提出了一種基于nSTK（nonlinear Spike Train Kernels）的在線有監督學習算法，該算法利用Laplacian核函數與一個非線性函數一起完成對輸入脈沖序列的轉換。另一種基于脈沖序列卷積學習方法FILT（FILTered-error）[23]利用一個濾鏡函數處理目標與實際輸出脈沖之間的誤差后再通過調整權值逐步降低這個誤差值，該方法是基于隨機的學習模型提出的。

基于梯度下降的多脈沖神經元學習算法中的MSGDB方法具有較高的學習精度[24]，但該方法采用一種動態誤差函數來計算權值調整值，在神經元的序列學習中有可能會遇到實際輸出脈沖個數和目標脈沖個數不等但算法已經收斂并結束的情況。基于MSGDB方法的這一固有缺陷，本文提出了一種基于梯度下降的脈沖神經元精確序列學習算法。該算法通過引入虛擬激發脈沖，使得算法能在提前結束時利用虛擬激發脈沖繼續進行學習，并最終使得神經元能夠精確激發出和目標序列個數一致的脈沖序列。

2 SRM神經元模型簡介及相關算法介紹

2.1 SRM神經元模型

脈沖神經元的種類較多，例如：SRM模型（Spike Response Model），LIF模型（Leaky Integrate-and-Fire Model）和HH模型（Hodgkin-Huxley model）等[25]。其中SRM模型具有顯式的膜電位表達式，可以方便地對表達式進行求導計算，進而研究神經元的運行方式以及學習算法。同時LIF模型和HH模型都可以通過求解微分方程等方法將其轉換成類似SRM模型的形式，本文選用SRM神經元模型作為研究對象。

在SRM模型中，神經元接收由多個突觸傳輸過來的一串離散的脈沖時間序列。所有的脈沖在到達神經元后就會產生突觸后電位（Postsynaptic Potential，PSP），并和突觸的權值一起作用使得神經元的內部狀態即膜電位值（membrane potential）發生變化，其計算公式如下所示：

其中，N為神經元輸入突觸的個數；wi為神經元的第i個輸入突觸的權值；為第i個突觸的第g個脈沖到達神經元的時間；Gi為第i個突觸的輸入脈沖集合；為當前時刻t(t＞0)之前最近的一次脈沖激發時刻；Ra為絕對不應期長度。從上式中可以看出，當時，也就是如果脈沖到達時間小于等于最近一次脈沖激發時刻與絕對不應期長度之和時，該脈沖在膜電位的計算中是無效的。Ra直接決定了神經元在激發后的一個短時期內不會再次激發脈沖，這個時期被稱為絕對不應期。ε()為反應函數，它決定一個輸入脈沖產生的PSP大小，其表達式如下所示：

其中τ是決定反應函數形態的時間延遲常數。

當神經元的膜電位值不斷增加直到超過神經元的激發閾值?時，神經元就會在該時刻激發出一個脈沖，并且膜電位值立即降為0。隨后神經元會進入一個相對不容易再次激發脈沖的時期，這個時期稱為相對不應期。相對不應期由膜電位計算公式（1）中的η(t)函數描述：

其中τR是決定不應期函數形態的延遲常數。顯然這是一個恒負函數，t越小也就是當前時刻和最近激發時刻越接近時，η(t)值越小，從而導致膜電位值越小，越不容易超過閾值。當神經元還沒有脈沖激發時，η(t)恒等于0。

2.2 MSGDB算法及其缺陷

MSGDB算法根據神經元實際輸出序列和目標序列構建誤差函數，通過計算梯度調整權值并最小化該誤差函數。由于脈沖神經元的輸出是一串脈沖序列，在學習過程中可能出現神經元的實際脈沖輸出個數和目標脈沖輸出個數不相等的情況。MSGDB的解決方案則是采用動態選取脈沖的方法，即選取相對應的實際輸出脈沖和目標輸出脈沖進行誤差計算。MSGDB算法有兩種運行方式：在線和離線學習方式。離線學習方式在神經元每一輪運行結束后根據實際輸出脈沖序列和目標輸出脈沖序列構建誤差函數，并進行權值調整。而在線學習方式當神經元一旦有實際脈沖激發時就立刻和相對應的目標脈沖構建誤差函數以調整權值。這種學習方式更符合生物學基礎，大量實驗也證明在線學習方式有著更高的學習精度。因此本文也以在線學習方式為研究對象開展討論。

當實際激發序列和目標激發序列脈沖個數不相等時，就會有實際激發脈沖或者目標激發脈沖沒有相對應的激發脈沖來構建誤差函數。如果此刻之前的誤差函數并未完全等于零，學習將繼續調整權值。然而當誤差函數完全等于零時即前若干個輸出脈沖已經完全學會時，就會由于沒有可計算的誤差函數而導致神經元在未完全學會的情況下提前停止學習。提前停止分為兩種情況。情況1：神經元僅僅學會了目標序列中的前若干個脈沖而未能激發出最后的若干個脈沖；情況2：神經元學會了全部目標序列但在目標序列最后一個激發脈沖之后還激發了若干個多余的脈沖。在以上兩種情況下，誤差函數均為0，算法認為學習已經收斂而停止學習。圖1為這兩種情況的具體示意圖。

圖1 梯度下降學習算法中兩種提前結束的情況示意圖

3 精確脈沖序列學習算法

基于2.2節中所討論的多脈沖神經元梯度下降學習算法可能收斂于個數不等的脈沖序列的缺陷，本文給出了一種基于虛擬脈沖的改進算法。以下分別以實際輸出脈沖個數不足以及實際輸出脈沖個數多余兩種情況為例具體介紹該算法。

3.1 實際輸出脈沖序列個數不足情況

如圖2所示，神經元的運行時間為Tt；接收突觸傳遞過來的若干輸入脈沖；目標輸出序列為；實際輸出序列為。顯然神經元已完全學會了目標輸出序列中的前F個脈沖，但卻未能激發出目標輸出序列中的最后M個脈沖如果將神經元的運行看作是一個連續過程，并且在Tt時刻之后繼續接收后續輸入脈沖等，那么隨著輸入脈沖對于神經元膜電位的不斷積累增加作用，可以預見神經元將在Tt之后的某時刻繼續激發出脈沖（如圖2所示）。那么讓神經元繼續激發出額外的脈沖就可以看作是使得未來的輸出脈沖提前激發至運行時間之前。然而由于的具體激發時間無法得到，采用虛擬實際激發脈沖來與目標序列中被遺漏的最后M個脈沖配對來構建近似的誤差函數。應該大于運行時間Tt以保證權值調整方向的正確，并且取值越大意味著調整幅度越大。

圖2 實際激發個數不足情況下虛擬脈沖示意圖

由于神經元已經完全學會了前F個輸出脈沖，那么前F個誤差函數均等于零。為了使得神經元繼續激發，新的誤差函數由目標輸出序列中的最后M個脈沖分別與M 個虛擬實際激發脈沖構建：

權值的更新值Δwi為：

類似于MSGDB算法：

B部分的計算方法和多脈沖神經元梯度下降學習算法類似：

3.2 實際輸出脈沖序列個數多余情況

類似的，實際輸出多余情況如圖3所示，神經元已完全學會了全部的目標輸出序列，但卻多激發出了最后M個脈沖。那么讓神經元不激發出這些額外的脈沖就可以看作是使得這些多余的輸出脈沖延后激發至運行時間之后。同樣可以假設目標輸出序列在運行時間Tt之后還有額外的期望輸出脈沖，并采用一個虛擬目標激發脈沖來近似代替與實際輸出序列中多余的最后M個脈沖配對來構建一個近似的誤差函數。同樣需要大于運行時間Tt以保證權值調整方向的正確，并且取值越大意味著調整幅度越大。

圖3 實際激發個數多余情況下虛擬脈沖示意圖

類似的，在這種情況下為了使得神經元繼續激發，新的誤差函數構建如下：

同樣，Δwi的計算如下所示：

類似的，有：

D′部分的計算方法與上一節類似。

3.3 精確脈沖序列學習算法討論

以上分別介紹了兩種輸出脈沖個數不等情況下利用虛擬激發脈沖構建誤差函數和調整權值的方法。在該方法的實際應用中還有一點需要仔細討論，即究竟在什么時候采用虛擬激發脈沖構建新的誤差函數。2.2節中提到的原始的MSGDB算法本身是有一定的脈沖個數收斂能力的。在算法運行過程中可能出現輸出脈沖個數不等的情況，而算法也有可能將其糾正過來。由于神經元在學習結束前并不知道學習是否會收斂于個數不等的脈沖序列，那么精確脈沖序列學習算法有兩種運行方式：（1）只有當算法已經收斂且輸出脈沖個數不等時才采用虛擬激發脈沖進行糾正；（2）在每輪學習結束后一旦遇到輸出脈沖個數不等的情況就采用虛擬激發脈沖進行糾正。這兩種算法分別縮寫為V1-MSGDB和V2-MSGDB。對于V1-MSGDB而言，在算法第一次收斂之前的學習軌跡和MSGDB是完全一致的。而對于V2-MSGDB而言，只要在運行過程中出現輸出個數不等的情況，那么算法將增加虛擬脈沖來構建誤差函數，這將導致學習軌跡和MSGDB完全不一樣。兩種算法的學習效率是有差異的，流程分別如下所示：

V1-MSGDB算法流程

輸入：輸入脈沖序列，目標序列，初始權值以及學習速率

（1）利用MSGDB訓練神經元

（2）如果C=1且目標序列中脈沖個數大于實際輸出序列中脈沖個數

（2.1）利用公式（5）構建誤差函數

（2.2）利用公式（6）～（12）計算 Δwi并更新權值（2.3）轉到（1）

（3）如果C=1且目標序列中脈沖個數小于實際輸出序列中脈沖個數

（3.1）利用公式（13）構建誤差函數

（3.2）利用公式（14）～（19）計算 Δwi并更新權值

（3.3）轉到（1）

輸出：權值

V2-MSGDB算法流程

輸入：輸入脈沖序列，目標序列，初始權值以及學習速率

（1）利用MSGDB訓練神經元

（1.1）如果一輪學習結束后目標序列中脈沖個數大于實際輸出序列中脈沖個數

（1.1.1）利用公式（5）構建新誤差函數

（1.1.2）利用公式（6）～（12）計算 Δwi并更新權值

（1.1.3）繼續下一輪學習

（1.2）如果一輪學習結束后目標序列中脈沖個數小于實際輸出序列中脈沖個數

（1.2.1）利用公式（13）構建新誤差函數

（1.2.2）利用公式（14）～（19）計算Δwi并更新權值

（1.2.3）繼續下一輪學習

輸出：權值

另一個需要說明的問題是：虛擬脈沖激發時間的取值。在算法中需要利用虛擬脈沖來和實際激發時間或目標激發時間配對構建誤差函數，一個合適的虛擬脈沖應該能盡快地使得神經元激發出額外脈沖或者消除多余脈沖，但同時又使得權值調整對原學習結果的破壞最小。而這個合適的取值和神經元的突觸權值大小，輸出脈沖時間以及目標脈沖序列等參數緊密相關。類似于學習速率的取值，目前并無一個明確的取值方案。從最小調整的原則出發和可以取值為Tt+1。因為虛擬脈沖的取值直接和權值的調整幅度相關，取值越大，調整幅度越大。為了避免權值調整過大對原有學習結果的破壞，可以采用最小值。而Tt+1只是保證調整方向正確的最小的虛擬激發時間并不能保證一定獲得最好的學習效果。在下一章的實驗中，將通過設置不同取值的虛擬脈沖對其進行進一步的結果分析。總之，本文提出的基于梯度下降的精確序列學習算法在原有MSGDB算法的基礎上，引入虛擬脈沖構建誤差函數來對神經元的輸出脈沖個數進行調整。其中虛擬實際脈沖可以使得神經元增加脈沖激發個數而虛擬目標脈沖的引入可以使得神經元減少激發個數。算法通過比對實際輸出脈沖個數和目標輸出脈沖個數采取新的誤差函數引導學習朝著正確激發個數的方向進行，并最終達到精確學習的目標。

4 算法實驗驗證

本章通過一系列對比實驗來驗證所提出的精確脈沖序列學習算法的效果。實驗中的神經元的輸入脈沖序列和目標輸出脈沖序列均為給定激發頻率的Poisson序列，Fin代表輸入激發頻率，Fout代表輸出激發頻率。其他一些神經元的參數如下所列：τ=7 ms，τR=80 ms，?=1，Ra=1 ms。神經元的初始權值是在給定區間內取的均勻分布的隨機值，學習速率設為0.003，每次學習的最大步數設為1 000步。

在第一個實驗中，選取的神經元有200個輸入突觸，在200 ms的運行時間內接收Fin=5 Hz的輸入脈沖，其學習目標脈沖序列為Fout=80 Hz的Poisson序列，初始權值的產生區間為：[0，0.25]。首先取進行實驗，圖4、圖5分別顯示了V1-MSGDB的學習結果。

圖4 V1-MSGDB學習精度變化示意圖（激發個數不足）

圖5 V1-MSGDB從53步到225步學習過程示意圖（激發個數不足）

從圖4中可以看出算法在53步時第一次達到精度1，但此刻神經元的輸出少激發了最后兩個目標脈沖。MSGDB算法將在53步時停止學習而V1-MSGDB算法在檢測到輸出個數不等后利用虛擬脈沖繼續調整權值，又通過172步學習使得神經元精確激發出目標脈沖序列。在圖4中可以看到在第54步時精度有一個急劇下降，這是由于虛擬脈沖帶來的精度損失，但之后可以看到精度隨著學習步數的增加逐漸增大，最終達到1，并激發出了全部目標脈沖。

圖6、7分別顯示了另一種算法V2-MSGDB的學習結果。

圖6 V2-MSGDB學習精度變化示意圖（激發個數不足）

圖7 V2-MSGDB學習過程示意圖（激發個數不足）

可以看出V2-MSGDB只有1次也就是最后一步收斂于精度1，并且激發出了全部的目標脈沖。相比V1-MSGDB的225步的收斂步數，整個學習過程只花了117步。因為該算法在每一輪學習結束時一旦遇到激發個數不等立即使用虛擬脈沖來調整權值，能有效避免算法收斂但激發個數不同的情況出現。在本例中，第一輪學習結束后精度為0.134 5，神經元輸出為脈沖12個，與目標脈沖個數相等；第二輪學習結束后精度為0.173 5，神經元輸出脈沖為19個，比目標脈沖個數多了7個。在第三輪學習中，V2-MSGDB檢測到輸出個數不足立刻引入了虛擬目標脈沖來構建誤差函數使得這一輪學習結束后神經元激發個數降到10個，而V1-MSGDB仍然采用原有的誤差函數調整，并使得調整結束后神經元激發個數變為13個。因此從這一輪開始兩種算法的學習軌跡完全不同。

表1 不同取值虛擬脈沖的收斂步數（實驗一）

第二個實驗中，利用和實驗一相同的神經元參數設置，不同的是選取了一個神經元有多余激發例子來進行實驗。圖8、9為V1-MSGDB的學習過程示意圖。

圖8 V1-MSGDB學習精度變化示意圖（激發個數多余）

圖9 V1-MSGDB從480步到506步學習過程示意圖（激發個數多余）

圖8 顯示出神經元在480步時達到精度1，但從圖9中可以看出此刻神經元激發了11個輸出脈沖，比目標輸出序列多了3個脈沖。V1-MSGDB采用虛擬脈沖繼續調整權值，并在506步時消除了所有多余的輸出脈沖達到精度1。此例中輸出神經元個數差異數達到3個，但算法仍能夠逐一消除輸出脈沖的個數差異。從圖9中可以看出算法在糾正過程中是逐個消除多余輸出的脈沖的。V1-MSGDB的糾正學習過程中，有5次達到精度1，分別是：482、487、490、493、500步，但這些時刻神經元仍然均有多余的輸出脈沖，因此算法持續調整權值直到精確激發出目標序列。

圖10、11展示了V2-MSGDB在的學習過程，可以看出算法總共花了635步精確收斂到精度1比V1-MSGDB的學習效率稍低。這也說明了雖然V2-MSGDB從算法開始就一直糾正輸出脈沖個數不同的情況，但這并不意味著該算法就能獲得更好的學習效果。

同樣對于實驗二，也分別采用了不同的虛擬脈沖取值來學習，表2為相應的結果。在實驗二中，不同的虛擬脈沖取值仍然會帶來不同的收斂速度且并無明顯規律。對于V1-MSGDB算法，不同的取值帶來的收斂速度差異并不是太大，而對于V2-MSGDB算法差異則較大。因此最優虛擬脈沖的取值受到多個因素影響比較困難確定，需要進一步深入研究。

圖10 V2-MSGDB學習精度變化示意圖（激發個數多余）

圖11 V2-MSGDB學習過程示意圖（激發個數多余）

表2 不同取值虛擬脈沖的收斂步數（實驗二）

V1-MSGDB和V2-MSGDB均能使得神經元激發出精確的目標輸出序列，但在不同的情況下有著不同的學習效率。在該算法的實際應用中，一個神經元在正常學習結束之前，是無法得知它是否會收斂到一個輸出脈沖個數不等的情況。因此如果采用V1-MSGDB算法，則對原來就能夠正確激發的神經元學習過程無影響，而如果采用V2-MSGDB則很有可能會改變原來就能正確激發的神經元的學習軌跡。以下通過兩組實驗來進一步驗證這兩種不同的精確學習算法的效果。第一組實驗采用和實驗一類似的設置，不同的是神經元的初始權值是在區間[0，0.5]中產生，這種設置可以使得神經元的初次激發個數大約是目標輸出脈沖個數的兩倍左右。使用這種方式產生50組不同的初始權值，并分別用MSGDB、V1-MSGDB和V2-MSGDB訓練該神經元。首先，在這50次實驗中，MSGDB算法出現了31次收斂于不相等輸出脈沖個數的現象，出現概率高達62%，這也說明當初始輸出與目標輸出相差較大時，MSGDB是有大概率出現收斂于不相等輸出的現象。圖12分三組不同情況分別列出了50次實驗的平均結果，其中A組結果顯示的是所有這50次實驗的平均結果，B組顯示的是所有出現收斂于不相等輸出脈沖個數情況的實驗結果，C組顯示的是所有未出現收斂于不相等輸出脈沖個數情況的實驗結果。

圖12 初次激發個數大約是目標輸出脈沖個數的兩倍時MSGDB、V1-MSGDB和V2-MSGDB的平均收斂步數

可以看出，在考慮所有50次實驗時，帶虛擬激發脈沖的算法顯然需要更多的學習步數達到收斂，而MSGDB雖然只需要約264步的平均收斂步數，但超過一半是收斂于不相等的輸出脈沖個數情況。當處理收斂于不相等輸出脈沖個數的現象時V2-MSGDB的學習效率稍高于V1-MSGDB。而在本來就能被MSGDB精確學習的情況下V2-MSGDB則需要額外的學習步數達到收斂，這是由于V2-MSGDB算法破壞了原來學習的結果。

第二組實驗使用在區間[0，0.15]的初始權值，這種設置可以使得初次激發的脈沖個數大約是目標輸出脈沖個數的一半左右。同樣，利用不同的初始權值進行了50次實驗。在這組實驗中，MSGDB算法出現了32次收斂于不相等輸出脈沖個數的現象，概率仍然高達64%，這與前一組實驗結果是基本一致的。從圖13中可以看出不同于前一組實驗結果，V2-MSGDB在這三組情況下均為學習效率最低的，當處理不能精確激發的情況時，V2-MSGDB也有可能需要更多的學習步數。

圖13 初次激發個數大約是目標輸出脈沖個數的一半時MSGDB、V1-MSGDB和V2-MSGDB的平均收斂步數

從以上結果可以看出，在MSGDB本來能夠激發出精確的輸出脈沖時，由于V2-MSGDB采用了虛擬激發脈沖糾正學習，破壞了原有學習結果，因此需要更多學習步數，而當神經元不能精確激發時，V1-MSGDB和V2-MSGDB的學習效率并沒有明顯的好壞區別，在不同情況下有著不同的結果。而實際應用中，并不能事先判斷出學習是否會收斂于不相等的輸出序列，因此綜合考慮V1-MSGDB這種形式的精確序列學習算法更具有優勢。

5 結束語

本文主要針對多脈沖神經元梯度下降學習算法MSGDB的固有缺陷進行改進，使得神經元通過樣本學習后能夠激發出和目標序列個數一致的精確脈沖序列。該算法引入虛擬激發脈沖來構建誤差函數，不但能解決激發個數多余的問題還能解決激發個數不足的問題。同時本文提出的精確序列算法也在解決輸入、輸出個數差異較大時同樣能獲得較好的學習效果。

本文的后續工作將對如何確定最優的虛擬脈沖激發時間展開進一步研究，并將其結果延伸到脈沖神經網絡的學習算法研究中。