嵌入式系統(tǒng)中激活函數(shù)的快速計算

梁 東，楊 濤，曹鑫磊，呂建良

（中國航天空氣動力技術(shù)研究院，北京 100074）

0 引 言

在多層神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，上層節(jié)點的輸出與下層節(jié)點的輸入之間具有一個函數(shù)關(guān)系，這個函數(shù)被稱為激活函數(shù)。為了提高神經(jīng)網(wǎng)絡(luò)的適應(yīng)性，在神經(jīng)網(wǎng)絡(luò)計算中，必須引入非線性函數(shù)作為激活函數(shù)[1-3]，常用的激活函數(shù)包括Sigmoid函數(shù)[4]、Tanh函數(shù)和ReLU函數(shù)等。

隨著神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用普及，在嵌入式系統(tǒng)中進行神經(jīng)網(wǎng)絡(luò)計算的情況越來越多，雖然部分嵌入式處理器中增加了硬件乘法器，但多數(shù)嵌入式系統(tǒng)的性能較電腦仍有較大差距，且復(fù)雜非線性的激活函數(shù)計算耗時嚴(yán)重，因此提高神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的運算速度對于確保神經(jīng)網(wǎng)絡(luò)的實時性具有重要意義。

1 激活函數(shù)分析

常用的激活函數(shù)Sigmoid見式（1）：

Sigmoid函數(shù)輸出波形如圖1所示，其輸出范圍為0～1，一般用于預(yù)測概率作為輸出模型，但其輸出為非0均值，會降低權(quán)重更新的效率，同時冪函數(shù)運算求解復(fù)雜，降低了系統(tǒng)實時性。

圖1 Sigmoid函數(shù)波形

Tanh函數(shù)如下所示：

Tanh函數(shù)輸出波形如圖2所示，其解決了Sigmoid函數(shù)非零均值的問題，因此其應(yīng)用最為廣泛，但其仍存在梯度消失和冪函數(shù)運算的問題。在嵌入系統(tǒng)中應(yīng)用時可簡化為式（3），以減少冪函數(shù)的運算。

圖2 Tanh函數(shù)波形

ReLU是分段性函數(shù)，如式（4）所示，計算其實時性可以滿足使用要求，但其非線性較弱，因此，一般用于多層神經(jīng)網(wǎng)絡(luò)系統(tǒng)中。

綜上所述，Sigmoid函數(shù)和Tanh函數(shù)均存在冪運算復(fù)雜，降低了神經(jīng)網(wǎng)絡(luò)實時性的問題，進而限制了神經(jīng)網(wǎng)絡(luò)運算在嵌入式系統(tǒng)中的應(yīng)用。本文以ex為例，實現(xiàn)冪函數(shù)的快速計算。

2 快速計算原理

2.1 存儲格式

在嵌入式系統(tǒng)中，浮點數(shù)采用IEEE754格式存儲[5-7]，以單精度浮點數(shù)格式為例，IEEE單精度浮點數(shù)格式共32位，包含3個構(gòu)成字段，1位符號s，8位偏置指數(shù)e，偏置值為127，23位尾數(shù)f，如圖3所示。浮點數(shù)真值F見式（5）。

圖3 單精度浮點數(shù)存儲格式

以103.5為例，首先將十進制轉(zhuǎn)化為二進制數(shù)，見式（6）：

將式（6）進行規(guī)格化則有：

根據(jù)單精度浮點數(shù)的存儲格式則有：

因此，浮點數(shù)103.5在嵌入式系統(tǒng)中存儲的十六進制代碼為：42CF0000h。

2.2 計算原理

激活函數(shù)中常見的冪函數(shù)見式（11）：

首先，根據(jù)函數(shù)特點及浮點數(shù)的存儲格式可知，y=ex＞0，因為浮點數(shù)y的符號位s=0。為與嵌入系統(tǒng)中單精度浮點數(shù)的存儲格式對應(yīng)，對式（11）兩邊同時取2的對數(shù)則有：

進而可得：

式中：n=[xlog2e]是xlog2e的整數(shù)部分，須滿足n≤[xlog2e]；E為xlog2e的小數(shù)部分，E=xlog2e-n，須滿足0≤E≤1。

對比式（5）和式（13）可知，y的偏置指數(shù)為：

尾數(shù)見式（15）：

由于0≤E≤1，因此可直接利用2x在0處的泰勒展開公式進行估算[8]。為進一步降低泰勒展開公式的復(fù)雜度，對式（15）進行變換，換成ex的格式，見式（16）：

由0≤E≤1可知，0≤Eln2≤0.693 2，因此可利用式（17）進行估算：

式中，x=Eln2，計算出尾數(shù)f后，右移23位，即可寫入浮點數(shù)的尾數(shù)中。至此，y的符號位、偏置指數(shù)位、小數(shù)位均計算完成，y=ex計算完畢。

3 算法實現(xiàn)

利用C語言實現(xiàn)上述算法，流程如圖4所示。在計算中需考慮輸出結(jié)果是否在單精度浮點數(shù)的數(shù)據(jù)范圍內(nèi)。

圖4 函數(shù)實現(xiàn)流程

4 試驗驗證

在STM32F427上進行試驗驗證，其主頻為180 MHz，具有FPU（浮點運算器）單元[9-10]，首先進行精度驗證，為滿足輸出結(jié)果為單浮點精度數(shù)，x取[-87：1：88]，分別采用本文的方法（fast_exp）與math函數(shù)庫中的exp（）函數(shù)進行計算，按式（18）進行誤差計算：

相對誤差范圍量級在10-6，可以滿足一般神經(jīng)網(wǎng)絡(luò)的計算需求，若需進一步提高精度，將式（17）的高階泰勒展開項加入計算中即可。

為檢驗運算速度，分別采用本文的方法與exp（）函數(shù)計算10 000次，以隨機數(shù)x=12.543 36為例，試驗結(jié)果顯示，采用本文的方法耗時217.5 ms，采用exp（）函數(shù)計算耗時4 158.8 ms，計算時間減少了94.77%，大大提高了冪函數(shù)運算的實時性。

5 結(jié) 語

本文總結(jié)了神經(jīng)網(wǎng)絡(luò)系統(tǒng)中常用的激活函數(shù)，并對激活函數(shù)中冪函數(shù)的快速計算方法開展研究，利用嵌入式系統(tǒng)浮點數(shù)的存儲格式及泰勒級數(shù)展開，實現(xiàn)了冪函數(shù)的快速計算，在嵌入式系統(tǒng)中驗證后可知，計算精度達10-6以上，計算時間減少了94.77%，大大提高了冪函數(shù)的運算速度，對于提高神經(jīng)網(wǎng)絡(luò)算法在嵌入式系統(tǒng)中應(yīng)用的實時性具有重要意義。