基于Nios Ⅱ的脈沖神經網絡硬件實現方法

張文娟，王 蕾，王連明

(東北師范大學物理學院，吉林 長春 130024)

基于Nios Ⅱ的脈沖神經網絡硬件實現方法

張文娟，王 蕾，王連明

(東北師范大學物理學院，吉林 長春 130024)

將脈沖神經網絡的理論和算法應用于函數擬合研究，通過使用Cyclone Ⅱ EP2C35F672C8N型FPGA芯片和基本外圍電路，并基于Nios Ⅱ軟核技術，建立了脈沖神經網絡硬件模型.以指數函數為例擬合曲線，系統訓練結束后穩定誤差可達到0.2.實驗結果表明，基于Nios Ⅱ的硬件實現方法能夠成功地實現脈沖神經網絡，為人工神經網絡的研究提供了有效的仿真平臺，同時該方法能夠有效地模擬連續函數，擴展了神經網絡的應用領域.

脈沖神經網絡；硬件實現；Nios Ⅱ；曲線擬合

近年來，人工神經網絡在信號處理、人工智能、醫療、控制系統、模式識別等領域中得到了廣泛的應用.目前，基于計算機的軟件仿真是人工神經網絡實現的主要方法，它具有應用靈活且不需要專用硬件等優點，但無法應用在某些對體積、穩定性、功耗等要求嚴格的嵌入式領域.因此，人工神經網絡硬件實現是神經網絡發展的必然趨勢，其硬件實現技術也將成為研究的熱門課題.

1 神經網絡的硬件實現方法

人工神經網絡硬件實現方法的研究成果眾多[1]，主要有基于電子技術和基于光電子技術兩種實現方法.由于電子技術的快速發展，絕大多數神經網絡是基于電子技術硬件實現的，它可以分為基于通用處理器單元的神經計算方法和基于超大規模集成電路(VLSI)的神經芯片方法.其中基于VLSI技術的實現方法包括模擬方法、數字方法和數模混合方法[2].

(1)神經網絡的數字實現方法具有精度高、靈活性大、工藝成熟、易于存儲和權值更新等優點，但缺點是電路規模大、集成電路的幾何尺寸大、集成難度大，而且成本高[3].

神經網絡的模擬實現方法優點是突觸和神經元電路易于集成，和外界易于接口，但缺點是對器件參數的變化敏感，權值的存儲和修改十分困難[4-5].

(2)神經網絡的數模混合方法優點在于具有數字實現的靈活性，易解決大批量權值的快速存儲和修改問題，同時又兼有模擬實現的乘加電路簡單的特點，是較理想的實現通用神經網絡的途徑.但該方法中模擬信號和數字信號之間需要DAC和ADC電路，因此電路規模較大.

自從Murray和Smith在1987年將脈沖技術用于神經網絡的VLSI實現以來，神經網絡的脈沖技術實現引起人們的關注[6-7].脈沖技術是將神經元狀態編碼調制在脈沖波形上，可用脈沖寬度的變化PWM或脈沖頻率的變化PFM來表示神經元的狀態.脈沖信號可以簡化運算電路(例如突觸電路)使神經元間有較高的互聯密度，也可以使神經芯片與數字電路及計算機的其他外圍設備易于接口.用脈沖技術實現神經網絡，可融合模擬和數字技術兩者的優點，是一種較好的神經網絡實現方法.

2 脈沖神經網絡

近年來，脈沖神經網絡的研究越來越受到人們的重視.該神經網絡是直接利用精確的脈沖發放時間對數據進行處理，而傳統的神經網絡模擬的是生物神經元的脈沖發放頻率，因而脈沖神經網絡更接近于真實的生物系統，更加符合生物信息處理機制.

2.1 脈沖神經元模型

圖1 I&F神經元模型

脈沖神經元模型是更接近生物神經元的一個數學模型.傳統的Sigmoid神經元模型是將一個實數輸入，再通過傳遞函數轉換成一個實數輸出.而脈沖神經元模型則不同，該模型的本質是當脈沖神經元受到外界的刺激，膜電位會升高，當其超過閾值電壓時，該神經元產生一個脈沖，并發送一個輸出信號.在脈沖神經網絡中常見的神經元模型有I&F(Integrate and Fire)模型、LI&F(Leaky Integrate and Fire)模型、H-H(Hodgkin-Huxley)模型、SRM(Spike response model)模型等.綜合比較發現，I&F模型能夠更好地獲得神經系統的動態特性，且實現相對比較簡單，因此本文采用的是I&F神經元模型.該模型基本電路如圖1所示[8].

I&F模型的原理電路是由電流I(t)驅動一個電容C和一個電阻R組成.驅動電流可以分成2個部分，I(t)=IR+IC.IR是通過線性電阻器R的電阻電流，它可以根據歐姆定律IR=u/R計算，u是電阻兩端的電壓.IC為電容C充電，從C=q/u(q是電荷)得出IC=Cdu/dt.因此有

(1)

(1)式子兩端都乘以R，并引入積分時間常數項τm=RC，得出標準方程

(2)

為了對I&F神經元模型進行精確的事件驅動模擬，本文假設積分發放神經元由一個恒定輸入電流I(t)=I0刺激，復位電壓ur為0.假設在t=t(1)時，一個尖峰發生.根據(2)式和初始條件u(t(1))=ur=0得出膜電壓的軌跡，即

(3)

2.2 脈沖神經網絡的學習算法

大腦具有很強的學習記憶功能，它是基于神經元間的突觸可塑性，即突觸前后神經元內部連接強度自適應的改變能力.對應到神經網絡中，這就涉及突觸權值和閾值的改變.STDP(Spike Time Dependent Plasticity)規則是一種突觸可塑性規則，它與前后神經元發放脈沖時間順序息息相關[9-10]，其時間依賴性理論更接近生物特性，且在目前應用比較廣泛，因此本文采用該學習算法.

STDP利用相連的脈沖神經元發放脈沖的時間差信息對突觸權值進行修改，其數學模型為：

(4)

(5)

3 Nios Ⅱ軟核處理器

Nios Ⅱ[11]是一種通用流水線型的RISC處理器內核的軟核處理器，等同于微控制器或者“片上計算機”.Nios Ⅱ處理器系統是將Nios Ⅱ處理器核、片內外設集合、片內存儲器和片外接口等集成在一塊單一的FPGA芯片上.所有的Nios Ⅱ處理器系統使用統一的指令集和編程模型.

因為FPGA器件的引腳和邏輯資源是可編程的，可以實現許多用戶自定義的特性.同時，用戶能夠重新安排芯片上的引腳，因此在電路板設計上更加容易、靈活.片上額外的引腳和邏輯能用來為Nios Ⅱ處理器系統實現附加的外設和硬件邏輯.

本文采用的FPGA芯片是Cyclone Ⅱ 系列的EP2C35F672C8N.經過實驗驗證，該器件資源符合存儲計算功能要求.器件主要參數見表1.

表1 Cyclone Ⅱ EP2C35F672C8N參數表

4 實驗過程和結果

本文基于Nios Ⅱ處理器采用脈沖神經元構造了一個三層的指數曲線函數神經網絡模型，具體實現過程如下：

(1) 在Quartus中使用SOPC Builder搭建軟核處理器系統；

(2) 在Nios Ⅱ IDE中實現脈沖神經網絡模型，并將實驗數據通過串口輸出；

(3) 用脈沖神經網絡輸出的實驗數據繪圖.

4.1 搭建軟核處理器系統

在Quartus軟件中使用SOPC Builder建立軟核處理器系統，使用的ip核包括標準型cpu、片上32K ram、uart和8位pio輸出口，如圖2所示.圖2中uart是RS-232串口控制軟核，網絡運行結束后將計算結果通過串口顯示.8位pio輸出口用于顯示網絡計算過程中運行的標志和狀態.

圖2 軟核處理器系統

4.2 Nios Ⅱ IDE中實現的脈沖神經網絡模型

在Nios Ⅱ IDE中實現擬合指數曲線函數的脈沖神經網絡模型.該模型主要包含信息編碼層、處理層和輸出層.信息編碼層主要接收函數輸入值，并將其轉化為具有不同發放時間的脈沖序列；處理層主要是將上一層輸出的脈沖序列送入神經元組成的處理網絡；輸出層則將處理層的處理結果以數組的形式輸出.

(1) 信息編碼層

脈沖神經網絡的輸入輸出是脈沖序列，因此不能直接進行模擬量的計算，必須要先將模擬量編碼為脈沖序列后再作為神經網絡的輸入.本文采用線性編碼方式，將函數輸入x轉化成脈沖發放時間n，如(6)式所示.其中，時間窗設定為20 ms，x取20個點，取值范圍是-1.2～6.根據要擬合的函數y=ex計算，實際函數范圍是0.301 194～403.428 793.將理想的輸出時間也同樣轉化到時間20 ms內，理想輸出為：

(6)

(7)

(2) 處理層

實驗中脈沖神經網絡采樣時間為0.01 s，時間窗為20 ms，即共采樣2 000次.分別將信息編碼層輸出的20個脈沖信號時間上加寬0.04 s作為網絡輸入，實驗證明此處理方法有利于電壓信號累積，累積達到1.2 V時發放脈沖，記錄發放時間并作為臨近的脈沖輸入信號的計算結果，實現了將脈沖序列轉換成脈沖電壓信號，再基于STDP規則更新網絡權值，本文中學習率取值為A+=1，A-=0.5，時間參數取值為τ+=20，τ-=50，保證A-τ->A+τ+整體范圍內學習強度減弱.

(3) 輸出層

由于網絡輸入和理想輸出是經過編碼實現的，因此實際輸出結果也要經過解碼才能與實際輸入對應.解碼公式為

(9)

其中u(n)為對應輸入脈沖n的發放脈沖的時間，y(x)表示對應輸入的實際輸出值.最后網絡將實際輸入和實際輸出通過串口輸出，網絡計算過程中首次數據結果見圖3.圖3中n表示網絡輸入的脈沖時間，d表示函數期望值，u表示實際輸出的電壓脈沖值，w表示網絡權值，e表示誤差.

圖3 串口調試助手接收實驗數據

4.3 實驗結果

實驗數據見圖4.實際輸入x=[-1.2，0，0.5，1.4，1.8，2.1，2.2，2.3，3.1，3.5，4，4.2，4.3，4.4，4.7，5.2，5.7，5.8，5.9，6]，共20個數值，經過脈沖神經網絡的信息編碼層處理后轉化成脈沖發放時間n，n=[1.777 8，4.444 4，5.555 6，7.555 6，8.444 4，9.111 1，9.333 3，9.555 6，11.333 3，12.222 2，13.333 3，13.777 8，14.000 0，14.222 2，14.888 9，16.000 0，17.111 1，17.333 3，17.55 56，17.777 8]，脈沖幅值為1，見圖4(a)，其橫坐標表示時間，縱坐標表示脈沖幅值.脈沖神經網絡運行過程中輸出電壓根據輸入脈沖的刺激，不斷出現累積和發放的現象，見圖4(b)，其橫坐標表示時間，縱坐標表示輸出電壓值.網絡共運行了50次，更新了50次權值，網絡訓練后的實際輸出結果和函數期望值見圖4(c)，其橫坐標表示實際輸入值，縱坐標表示函數期望值和輸出值.網絡實際輸入共20個點，圖4(d)給出了其中一個點n=8.444 4 的運行過程中誤差的變化規律，其橫坐標表示網絡運行次數，縱坐標表示誤差.網絡中其他各點誤差變化趨勢大體相同.通過計算數據得出，網絡訓練結束后實際輸出值與函數期望值平均誤差值為0.3.

(a)網絡輸入的脈沖信號

(b)網絡輸出的電壓脈沖信號

(c)訓練結束后實際輸出值與期望值

(d)網絡中n=8.444 4的誤差變化

圖4 實驗數據

5 結論

本文提出了一種基于Nios Ⅱ的脈沖神經網絡的硬件實現方法，完成了網絡建模，并以擬合指數函數為例給出了實驗結果.整個系統具有器件少、成本低、靈活性強、數據存儲方便、開發周期短等眾多優點，對促進神經網絡乃至智能信息處理技術的發展具有重要的工程實踐價值.同時解決了多數脈沖神經網絡在圖像處理方面的應用缺點，而將其擴展到模擬連續函數等問題上，擴展了神經網絡的應用領域，具有一定的理論研究價值和現實意義.

[1] 程丹，王連明.基于NIOS Ⅱ多核技術的Hopfield神經網絡硬件實現方法[J].東北師范大學(自然科學版)，2011，43(3)：65-68.

[2] 陳瓊，鄭啟倫.人工神經網絡系統硬件實現的研究進展[J].電路與系統學報，2000，5(1)：48-51.

[3] TAKAO WATANABE，KATDUTAKA KIMURA，MASAKAZU AOKI，et al.A single 1.5-V digital chip for a 106 synapse neural network [J].IEEE Transactions on Neural Networks.1993，4(3)：387-393.

[4] 高麗娜，邱關源.一種連續可調權值CMOS 神經網絡[J].電子學報，1998，26(2)：120-122.

[5] LINARES-BARRANCO，SANCHEZ-SINENCIO B，RODRIGUEZ-VAZQUEZ E，et al.A modulart-mode design approach for analog neural network hardware implementations [J].IEEE Journal of Solid-State Circuits，1992，27(5)：701-712.

[6] YASUHIRO OTA，BOGDAN M WILAMOWKI.Analog implementation of pulse-coupled neural networks [J].IEEE Transactions on Neural Networks，1999，10(3)：539-544.

[7] EZZEL-MASRY，YANG H-K，YAKOUT M A.Implementations of artificial neural networks using current-mode pulse width modulation technique [J].IEEE Transactions on Neural Networks，1997，8(3)：532-548.

[8] GERSTNER W，KISTLER W.Spiking neuron models：single neurons，populations，plasticity[M].Cambridge：Cambridge University Press，2002：116-117.

[9] SONG S，MILLER K D，ABBOTT L F.Competitive Hebbian learning through spike-timing-dependent synaptic plasticity[J].Nature Neuroscience，2000(3)：919-926.

[10] DAN Y，POO M.Spike timing-dependent plasticity of neural circuits[J].Neuron，2004，44(1)：23-30.

[11] 赫建國，倪德克，鄭燕.基于Nios Ⅱ內核的FPGA電路系統設計[M].北京：電子工業出版社，2010：3-5.

(責任編輯：石紹慶)

Method for hardware implementation of spiking neural network based on Nios Ⅱ

ZHANG Wen-juan，WANG Lei，WANG Lian-ming

(School of Physics，Northeast Normal University，Changchun 130024，China)

Spiking neural network theory and algorithm are applied to fitting function in this paper，and spiking neural network model is founded based on Nios Ⅱ software using Cyclone Ⅱ EP2C35F672C8N and basic peripheral circuit.Exponential function is fitted and the stabilization error after training is 0.2.The results show that hard implementation of spiking network based on Nios Ⅱ which can provide an effective simulation platform for the research of artificial neural network is successful.At the same time this method can simulate the continuous function effectively and expands the application fields of the neural network.

spiking neural network；hardware implementation；Nios Ⅱ；fitting curve

1000-1832(2016)04-0057-06

10.16163/j.cnki.22-1123/n.2016.04.013

2016-07-21

吉林省科技應用基礎研究項目(20130102028JC)；中央高校基本科研業務費專項資金資助項目(2412015KJ006).

張文娟(1983—)，女，博士，工程師，主要從事嵌入式系統、智能信息處理研究；通信作者：王連明(1972—)，男，博士，教授，主要從事嵌入式系統、智能信息處理研究.

TP 183 [學科代碼] 520·20

A