卷積神經網絡中的脈沖神經元模型分析

摘要：根據脈沖神經元的響應模式和生化模型，學者們提出了一些用于模擬脈沖神經元行為的數學模型，該文將提出三種具體的脈沖神經元模型——漏積分點火模型、脈沖響應模型和概率脈沖響應模型，并對這三種模型的表達式進行相對應的分析。

關鍵詞：脈沖神經元;數學模型;漏積分點火;脈沖響應;概率脈沖響應

中圖分類號：TP3 文獻標識碼：A

文章編號：1009-3044（2020）19-0170-02

開放科學（資源服務）標識碼（OSID）：

1 脈沖神經元模型

傳統的人工神經元模型主要包含兩個功能，一是對前一層神經元傳遞的信號計算加權和，二是采用一個非線性激活函數輸出信號。前者用于模仿生物神經元之間傳遞信息的方式，后者用來提高神經網絡的非線性計算能力[1]。相比于人工神經元，脈沖神經元則從神經科學的角度出發，對真實的生物神經元進行建模。

2 漏積分點火模型

在模擬脈沖神經元的過程中，有一類人工神經元使用電容器和模擬電路來實現對電荷存儲和電位的改變。RC電路在實現這個功能方面具有一定的優勢，而且，用電容來表達神經元對脈沖的積累是比較好的選擇。LIF模型，我們也成為漏積分點火模型就是借助RC電路實現點火動作，更準確地說，LIF模型把神經元模擬成了一個簡單的低通濾波器[2]。外界的刺激被模擬成電流，電流使得電容積累電荷，當電壓達到電路預設的較高電位閾值時，電容發生放點的行為，于是便在電路中產生了回路電流，回路電流連接下一神經元向下一神經元充電。

一般的漏積分點火模型可以用如圖1的電路來模擬：如圖所示，利用漏積分點火模型模擬的脈沖神經元的結構主要由RC電路電阻R、累積電容C和閾值電阻組成，一旦電容電荷量超過閾值電阻，電路便向下一電路輸出電流，同時，隨著電荷的流出，電流逐漸減小最終消失。對于以上模型，可以用一個一階線性微分方程求解，如式1：

上式引用了之前模型中描述細胞膜電位時間常數的Tm，同時將靜息電位設置為0從而簡化方程計算。根據式1可以解得式2：

但是，對于式子2來說，并不是對給定時刻膜電壓的良好表達，為了更好地表達激發后某一時刻細胞的膜電位，還需要為式2添加約束，用來保證激發時刻的精確定義：

3 脈沖響應模型

相較于漏積分點火模型，脈沖響應模型的應用更加廣泛，因此脈沖響應模型（ Spike Response Model）【3】更加值得討論，它的形式更加簡潔容易理解，同時也比較方便實現。為丁提出脈沖響應模型，需要回到之前提到的脈沖鏈定義上去。我們定義脈沖激發時刻組成的序列為脈沖鏈：

注意，這里更加明確地提出激發時刻是膜電壓達到閾值的時刻。一次神經元點火是由累積時間、點火時間、絕對不應期、相對不應期和恢復期這些時間段組成的。于是，我們根據以上幾個時間階段分別討論脈沖響應模型的模擬。

首先，在脈沖積累期間，脈沖響應模型用以下表達式神經元受到刺激而膜電位上升的流程。

式5設計的初衷來源于以下幾點：前突觸神經元群i與后突觸神經元j的連接強度是由權值w決定的，通過計算來自各個前突觸神經元PSP的時間強度，加上當前后突觸神經元既有的外部激勵。形成對后突觸神經元膜電壓表達。該階段的PSP刺激可以是興奮性的也可以是抑制性的。

考慮描述神經元點火之后膜電位驟減到絕對不應期再回歸到正常水平的過程。在這里我們利用一個核函數描述膜電位在衰減期的行為，如式6所示：

4 概率脈沖響應模型

概率脈沖響應模型（PSRM）從另外一個角度描述了神經元之間的運行邏輯[4]。PSRM模型將神經元一切組成結構的動作都看作是“不確定”的，而后用各自的動作概率表示。這些動作概率包括：突觸前神經元發出PSP的概率，神經元產生脈沖的概率以及某神經元收到前突觸神經元脈沖的概率。這些不確定性為描述脈沖神經元之間的信息傳遞不確定性和連接的多樣性提供了可能。

從神經動力學的角度來講，使用概率作為描述神經元連接強度的表示具有一定的實際意義。在一般的SRM模型中，使用固定的連接權值來模擬神經動力學過程中的連接強度，但是，在實際生物神經元連接中，神經元之間的連接強度并不是一成不變的。通過概率模擬神經元連接強度和其他結構緊密程度能夠描述神經元間的隨機相互作用和環境噪聲，這一點和神經元突觸生理結構和特征是相符合的。在突觸的生理結構構成中，由于突觸壑的存在，導致神經遞質在通過突觸壑向突觸后神經元傳播時具有一定的不確定性[5]。

PSRM模型主要對SRM模型突觸連接機制做了修改，添加了概率項來表征連接有效的概率。具體表達式如下：

5 結束語

對于卷積神經網絡，還有許多不同的脈沖神經元模型，但是以上三種脈沖神經元模型是使用最為頻繁同時在圖像相關任務中效果最好的神經元模型，通常的網絡設計和實現也多借助與以上這三種模型。

參考文獻：

[1]蔡榮太，吳慶祥，王平.脈沖神經元的信息處理[J].計算機與現代化，2010（11）：45-49.

[2] Maezawa S，Aomori H，Tanaka M.Image Processings of aLeaky Integrated-and-Fire Neuron by CNN[J]. leice Techni-cal Report， 2011， 111：113-118.

[3] Gerstner W. Chapter 12 Aframework for spiking neuron mod-els： The spike response model[M]// Handbook of BiologicalPhysics，2001：469-516.

[4]張強.廣義脈沖響應模型及其在貨幣政策非對稱性效應分析中的應用[D].長春：長春工業大學，2010.

[5]陳燕.神經元的突觸可塑性與學習和記憶[Jl.生物化學與生物物理進展，2008，35（6）：610-619.

【通聯編輯：代影】

基金項目：川北醫學院生物醫學工程一流學科群建設項目（CBY19-YLXK04）

作者簡介：賴策（1991-），男，四川南充人，碩士研究生，主要從事醫學人工智能、教師教育等研究。