基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)Softmax層實現(xiàn)

李理，應(yīng)三叢

（四川大學(xué)計算機學(xué)院，成都 610041）

基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)Softmax層實現(xiàn)

李理，應(yīng)三叢

（四川大學(xué)計算機學(xué)院，成都 610041）

FPGA能夠充分發(fā)揮卷積神經(jīng)網(wǎng)絡(luò)的并行特性，并在小尺寸、低功耗的條件下，實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的運算，是人工智能研究和發(fā)展的新方向。其中，Softmax層函數(shù)是神經(jīng)網(wǎng)絡(luò)的輸出層函數(shù)，主要用于神經(jīng)網(wǎng)絡(luò)的最后一層。首先簡要介紹Softmax層函數(shù)，分析幾種實現(xiàn)函數(shù)的方案，然后采用分段擬合的方法在MATLAB上對Softmax層函數(shù)進行逼近，對數(shù)據(jù)進行量化和分析，在FPGA平臺用硬件描述語言實現(xiàn)Softmax層函數(shù)，并通過Vivado進行仿真，結(jié)果表明誤差可以控制在較小數(shù)量級。

神經(jīng)網(wǎng)絡(luò)；FPGA；Softmax；分段擬合

0 引言

神經(jīng)網(wǎng)絡(luò)作為機器學(xué)習(xí)的一個重要領(lǐng)域，隨著集成電路的發(fā)展，計算機處理能力不斷提高，神經(jīng)網(wǎng)絡(luò)依然是當(dāng)今人工智能研究和發(fā)展的熱點。目前，為了高效地實現(xiàn)對卷積神經(jīng)網(wǎng)絡(luò)的計算，多塊GPU組成的并行運算平臺被廣泛運用。然而，由于存在GPU平臺體積大、功耗大的特點，小尺寸、低功耗的平臺上難以廣泛應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)。

FPGA又稱現(xiàn)場可編程門陣列，它的特點是能通過硬件編程來實現(xiàn)并行計算。因此，用FPGA來實現(xiàn)神經(jīng)網(wǎng)絡(luò)，不僅能大大加快計算速度，降低功耗，同時有助于將神經(jīng)網(wǎng)絡(luò)發(fā)展到嵌入式領(lǐng)域。

1 Softmax層簡介

Softmax函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一種輸出層函數(shù)，計算輸出層的值，主要用于神經(jīng)網(wǎng)絡(luò)最后一層。Softmax定義：

假設(shè)有一個數(shù)組V，Vi表示V中的第i個元素，∑jej表示從第一個元素值開始的求和，那么這個元素的Softmax值就是：

也就是說，是該元素的自然指數(shù)值，與所有元素自然指數(shù)值和的比值。由于分母是一個求和，只需要對每一個ei進行分析討論。下面主要對分子ei進行擬合分析。

本文首先對神經(jīng)網(wǎng)絡(luò)中Softmax層定義進行簡要介紹，接著提出基于FPGA平臺計算的幾種方案，并分析各個方案的優(yōu)缺點，最后采用分段擬合逼近的方法對Softmax進行仿真實現(xiàn)，并對誤差進行分析。

2 方案選擇

FPGA實現(xiàn)復(fù)雜函數(shù)計算，目前主要的逼近方法有泰勒展開法、查表法、多項式擬合法、CORDIC算法、分段擬合方法等。

泰勒級數(shù)展開的方法需要階數(shù)過多，運算量較大，會消耗FPGA大量乘法器，另外，后面矩陣乘法運算也需要大量乘法器，因此不適合在此處消耗大量乘法器。

查表法是比較直接簡單的方法，是將不同自變量對應(yīng)的函數(shù)值事先存入ROM中供查找。優(yōu)點是適用于任何復(fù)雜函數(shù)，理論上可以做到無限逼近。另外，這種方法不消耗乘法器，能在一個時鐘內(nèi)出結(jié)果。缺點是一旦精度要求高，查找表的尺寸就會增大，消耗存儲資源。

多項式擬合非線性函數(shù)的時候同樣存在需要階數(shù)過高，消耗資源較大的問題，而且計算時間長。

CORDIC算法即坐標(biāo)旋轉(zhuǎn)數(shù)字計算方法，消耗資源較少，但耗時長，同時存在精度不高的問題。

本文采用的是分段函數(shù)擬合逼近的方法實現(xiàn)Soft?max函數(shù)，即在一個范圍內(nèi)將Softmax函數(shù)劃分為幾段，每一段用次數(shù)較低的多項式進行擬合的方法。這種方法有著占用資源少，速度較快，精度較高的特點，相對可行。

3 MATLAB擬合及數(shù)據(jù)分析

用MATLAB內(nèi)置函數(shù)polyfit進行擬合，考慮到計算精度以及計算時間，本文主要對函數(shù)ei在（-8,8）區(qū)間上分成9個區(qū)間段，并設(shè)置最高階數(shù)為三次，可以依次得到每一階的系數(shù)。具體各個區(qū)間分段及其擬合函數(shù)如表1所示。

用MATLAB中的plot等繪圖工具，對函數(shù)ei，擬合函數(shù)，以及兩函數(shù)差的絕對值，三條曲線進行繪制，得到如圖1，圖2。

圖1為擬合曲線圖，可以看出兩函數(shù)差的絕對值對應(yīng)的誤差曲線基本與x軸重合，直觀上精度相對較高，由于圖1看不出有三條曲線，圖2為擬合曲線和指數(shù)曲線部分區(qū)域放大的截圖。下面輸入數(shù)據(jù)進行分析。

在區(qū)間（-8,8）隨機取10個數(shù)據(jù)，取點精度為0.01，得到的擬合值及誤差絕對值如表2：

從表可以看出，誤差絕對值基本在0.02以下，最大的數(shù)值達到0.2，輸入值越大，絕對誤差會相對大一些，相對誤差還是較小的，是由于函數(shù)ei圖像，隨著x值的增大，變化越劇烈造成的。另外，本文考慮到計算的速度時效，采用的擬合最高階次為3次，如果階次更高，相對精度也會更高。因此，擬合結(jié)果的誤差精度是可以接受的。

4 FPGA實現(xiàn)及誤差分析

本文使用xc7a35tcpg236-1 FPGA平臺去實現(xiàn)ei。

這里使用軟件Vivado中的IP核框圖調(diào)用例化去編程ei的擬合函數(shù)y=ax3+bx2+cx+d。首先，建立模塊，添加IP Catalog中的 Multiplier和 Adder/Substract?er，即乘法器和加法器，進行設(shè)置、連線，并添加輸入輸出。然后，Create HDL Wrapper，添加頂層文件，修改代碼進行例化即可完成。

同樣的，隨機的輸入8個x的值。圖3為其中一個輸入x=7.4的仿真結(jié)果圖。由于硬件語言限制，不顯示小數(shù)點，仿真圖中第二欄Value的值表示為16位的十六進制，小數(shù)點在正中間。

FPGA平臺上計算的擬合函數(shù)值及誤差表見表2。從表2可以看出，絕對誤差基本在0.05以內(nèi)，只有一個誤差超出，但是相對誤差精度較高，因此誤差是可以接受的。

5 結(jié)語

本文簡要介紹了神經(jīng)網(wǎng)絡(luò)系統(tǒng)的Softmax層函數(shù)，運用MATLAB采用分段擬合逼近的方法，并在FPGA平臺上去實現(xiàn)，對結(jié)果進行了誤差分析。通過數(shù)據(jù)分析，誤差基本保持在0.05以下，表明該算法可運用在神經(jīng)網(wǎng)絡(luò)系統(tǒng)的應(yīng)用方面，是今后很好的研究方向。

表1 MATLAB分段擬合函數(shù)表

圖1 MATLAB擬合曲線圖

圖2 放大截圖

圖3 仿真結(jié)果圖

表2 MATLAB擬合函數(shù)值及誤差表

表3 FPGA上計算的擬合函數(shù)值及誤差表

[1]張玉璽，劉寒穎，張耀天．基于FPGA的Sigmoid函數(shù)實現(xiàn)[J].計算機工程與應(yīng)用，2016，52（S1）：501-505.

[2]王羽．基于FPGA的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用研究[D].廣州：華南理工大學(xué)，2015.

[3]張智明，張仁杰.神經(jīng)網(wǎng)絡(luò)激活函數(shù)及其導(dǎo)數(shù)的FPGA實現(xiàn)[J].現(xiàn)代電子技術(shù)，2008（18）：139-142.

[4]陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D].杭州：浙江工商大學(xué)，2013.

[5]Alin TISAN,Stefan ONIGA,Daniel MIC,Attila BUCHMAN.Digital Implementation of the Sigmoid Function for FPGA Circuits[J]．Electronics and Telecommunications：Volume 50,Number 2,2009：15-19.

[6]王羽.基于FPGA的神經(jīng)網(wǎng)絡(luò)硬件實現(xiàn)[D].青島：中國海洋大學(xué)，2008.

[7]劉培龍.基于FPGA的神經(jīng)網(wǎng)絡(luò)硬件實現(xiàn)的研究與設(shè)計[D].成都：電子科技大學(xué)，2012.

Abstract：The FPGA can give full play to the convolution of the neural network parallel features,and under the condition of small size,low power con?sumption,realize convolutional neural network arithmetic,is the new direction of artificial intelligence research and development.The Soft?max layer function is the output layer function of the neural network,which is used primarily for the last layer of the neural network.Briefly introduces the Softmax layer function principle,analyzes the several functions for realizing scheme,then uses piecewise fitting method in the MATLAB function to approximate the Softmax layer,to quantify the data and analysis,the FPGA platform,uses hardware description language to realize the Softmax layer function and through Vivado simulation,the results show that error can be controlled in smaller orders of magnitude.

Keywords：Neutral Network;FPGA;Softmax;Piecewise Fitting

Softmax Layer Implementation of Neural Network Based on FPGA

LI Li，YING San-cong

（College of Computer Science,Sichuan University，Chengdu 610041）

1007-1423（2017）26-0021-04

10.3969/j.issn.1007-1423.2017.26.005

李理（1990-），男，安徽黃山人，在讀碩士研究生，研究方向為集成計算技術(shù)實驗

2017-06-27

2017-09-10