基于誤差模型的權重二值神經網絡近似加速

朱新忠，程利甫，，吳有余，林閩佳，胡汝豪

（1.上海航天電子技術研究所，上海 201109；2.清華大學 集成電路學院，北京 100047）

0 引言

當前，在航天系統中需要進行很多的圖像或語音識別工作，在處理較為簡單的語音任務，尤其是指令任務時，對系統實時性、高能效的要求越來越高。而深度學習已被多媒體廣泛用于處理應用程序，包括圖像、視頻和語音的識別和分類等，其所在硬件平臺也在不斷發展和演進。對于航天系統而言，神經網絡也逐漸被采用到簡單的分類任務之中，如關鍵詞語音命令的識別（Keyword Spotting and Recognition，KWSR）。對于網絡結構逐漸復雜的深度神經網絡來說，其加速所需要的硬件能耗隨著網絡規模的增加而迅速增加，因此，近年來近似計算和更簡單的權重二值化神經網絡（Binarized Weight Neural Network，BWNN）結構逐漸被引入到實時性要求高的識別加速過程中。KWSR 往往應用在物聯網、手機或其他基于電池的邊緣智能設備中，由于功耗和面積非常敏感，因此，簡化的多層深度神經網絡廣泛地被應用于處理輸入數據，而這些技術成熟度較高，逐漸也被航天系統所采用。

在最近幾年的發展中，多類深度神經網絡被應用于KWSR 或者相關的航天系統中，包括深度神經網絡（Deep Neural Network，DNN）［1-2］、卷積神經網絡（Convolutional Neural Network，CNN）［3-4］、基 于長期和短期記憶的遞歸神經網絡（Long-Short Term Memory-Recurrent Neural Network，LSTMRNN）［5-6］、基于門控循環單元（Gate Recurrent Unit Network，GRUN）的神經網絡［7］和卷積遞歸神經網絡（Convolutional Recurrent Neural Network，CRNN）［8］。基于深度神經網絡的KWSR 提高了語音的魯棒性，但是其所包含的大量參數和引入的運算會產生大量在存儲和計算方面的硬件開銷。對于多層神經網絡的壓縮而言，量化是最為常用的方法之一。因此，通過探索和分析不同神經網絡結構和壓縮方法，BWNN 被發現可以用于實現超低功耗的KWSR［9-13］。其與傳統神經網絡的區別在于，傳統的神經網絡權重均為16 bit 或者更高的位寬，而這一網絡僅需要1 bit 位寬的權重即可實現高精度的識別，即：BWNN 將權重和隱藏層二值化，激活值設為+1 或-1。這樣的結構大大降低了存儲壓力和片上帶寬壓力，也因為1 bit 的位寬，幾乎將網絡中的乘法運算消除，僅需要優化加法運算的硬件實現。

本文提出了一個面向BWNN 的基于逐位量化的KWSR 網絡，針對KWSR 中的近似加法器進行了優化設計。針對近似計算引入的誤差，需要一個系統性的評估方法，本文提出了一種統計意義的誤差分析模型，可用于預測近似系統對神經網絡的加速效果。具體來說，使用本文的BWNN 量化方法，對不同種類的神經網絡進行二值化并測試其精度，從中選取最適合的網絡結構進行量化。隨后，通過提出的誤差統計模型，本文使用建模為軟件仿真的近似加法器進行神經網絡加速的精度評估。通過與功能仿真結果進行比較，本文的誤差統計模型預測精度很高，最終的系統誤差預測和真實系統誤差對比，相對偏差約在3%以內。

1 原理分析

對BWNN 而言，一方面其權重占用的存儲空間可以大大減少；另一方面可以使用位運算代替常規神經網絡中的乘法操作，這樣可以減少大多數乘法運算。總之，通過建立BWNN，只需要加法器就可執行幾乎所有的操作，因此，我們后續對硬件的分析也集中在加法器模型上。

1.1 BWNN 系統的訓練方案設計

傳統對神經網絡進行二值化的方法是在獲得定點神經網絡后進行截斷并微調，這樣的方式會不可避免地降低識別精度。基于權重位寬均為1 bit的XNOR-Net 的量化原理，本文提出了一種逐位量化的權重二值化方法。這一方法在網絡的訓練過程中介入，而非對最終的訓練結果二值化，從而減少KWSR 的準確率。

量化的具體方法如下：

式中：wi為第i層神經網絡的權重數值；k為目標的量化位寬數值；Qquantizek(·)、f(·)為量化函數和壓縮函數；wq為對應的權重量化數值結果。

因此，對于任意一層的神經網絡層，均有對應的量化結果。

式中：xi為當前神經網絡層的輸入；bi為量化前的偏置量；zq為當前神經網絡層的輸出數值。

本文所述的逐位量化算法流程如圖1 所示。

圖1 神經網絡的逐位量化算法流程圖Fig.1 Flow chart of the bit-by-bit quantization method for neural networks

在第k比特位寬度（k＞1），輸入層和批處理歸一化（Batch Normalization，BN）層將同時量化。實際上，由于BN 層包含數據壓縮處理，激活函數tanh的量化可以被舍棄，因此，壓縮函數fc(·)可以按以下方式優化：

在整個量化過程中，權重是首先壓縮為0～1 之間的數據。壓縮數據由式（1）和式（3）得出。隨后，權重量化為無損定點［-1，1］之間的數字。為了使量化權重在訓練過程中更接近理想值，在處理過程中采用逐位量化的方法進行反復訓練。第一次訓練量化的比特位寬度和訓練后的權重會保存下來以用于重新訓練，并且量化的位寬在下次訓練中逐漸降低。例如，量化位寬可以是從8 bit 寬度逐漸量化到4 bit 寬度，然后2 bit 寬度最終量化為1 bit 寬度。這樣漸進式權重訓練的最有利之處在于速度快，且可以提高權重的訓練效率和可靠性。

1.2 近似加法器的概率誤差分析

1.2.1 誤差評估量綱

為了使描述清晰，我們首先定義準確值為Laccu，近似值作為Lappro。

最大誤差量綱（Maximum Error Magnitude，MEM）即最大誤差，為準確值與近似值差值的絕對值，公式如下：

相對誤差量綱（Relative Error Magnitude，REM）即相對誤差，為準確值、近似值差值的絕對值和準確值絕對值的比，公式如下：

平均誤差量綱（Average Error Magnitude，AEM）為絕對差大小介于精確值和近似值之間所有差值的平均數，平均誤差滿足如下公式：

均方誤差量綱（Mean Squared Error Magnitude，MSEM）為在所有可能的精確值與近似值之間的大小距離值上取平均，平方誤差度量公式如下：

1.2.2 低延遲近似加法器模型

基于文獻［9］中的研究內容，代表基于塊的通用模型加法器結構如圖2 所示。輸入位分為多個不相交或重疊的子加法器。每個子加法器產生相應輸入的輸出部分和，同時使用前面子加法器的輸出進位來生成結果。

圖2 基于塊的通用模型加法器結構［6］Fig.2 Structure of generic block-based approximate adder［6］

文獻［6］中提出的誤差模型如下：

式中：Ei為二進制變量，當第i個子加法器錯誤時，Ei=1，否則Ei=0。考慮任何第i個加法器，當2≤i≤L，Ei=1，會有

式中：A1-K+B1-K為沒有輸入到第i個子加法器的較低比特位置；Pr[Pi；N]為之前的子加法器生成的進位數值參與計算；Pr[Gi；K]為之前的較低有效位在第i個子加法器產生一個進位；N為加法器的位寬；K為產生進位的低比特數據位寬；⊕為異或運算符；Pi為第i個子加法器產生了進位這一事件；Gi為第i個子加法器的低比特位產生進位這一事件。

1.3 近似加法器陣列的誤差統計模型

對于由近似加法器組成的近似計算陣列，可分為兩種不同的情況：如果加法器用于不同的計算源，例如不同的神經元，其誤差統計模型則為單獨考慮，近似加法器陣列的誤差模型是所有加法器的最大誤差，即MEM 值；如果近似加法器形成一個累加結構，將陣列的誤差模型視為所有加法器的平均誤差，即AEM 值。

2 實現方案

在這一部分，進行了以下實驗。首先，本文為KWSR 系統設計了各種網絡，見表1，它們由不同的層組成；然后，將所有網絡通過前述的方法進行二值化，對于模型驗證，使用Matlab 模擬近似加法器的功能行為并獲得BWNN 的準確性；最后，將誤差模型引入BWNN 以獲得模型輸出精度，兩者精度在本文末尾進行了比較。

表1 深度神經網絡的實現方案與對比Tab.1 Implementation schemes and specifications of DNN models

2.1 BWNN 的設計

使用Google 語音命令數據集（Google Speech Command Dataset，GSCD）作為訓練集和驗證集。GSCD 中有10.5 萬組1 s 長的音頻數據，集中包含35 個關鍵字的片段。當訓練神經網絡時，我們將卷積層的權重和完全連接的層量化至1 bit 位寬。BWNN 模型經過培訓，可以將音頻識別分類為10個關鍵字之一，“YES”“NO”“UP”“DOWN”“RIGHT”“LEFT”“ON”“OFF”“STOP”“GO”“沉默”（即不說任何話）和“未知”（即所說詞語不在10 個關鍵詞以內）。

表1 總結了所測試的神經網絡的層次類型、計算要求和準確性，其中部分結構來源于文獻［5-6，14-16］中采用GSCD 進行KWSR 命令的網絡。這些網絡架構的權重都進行了二值化測試。其中縮寫的含義：CONV 為卷積層，FC 為全連接層，LSTM 為LSTM 單元的個 數，GRU 為門遞歸單元個數。

表中可見，LSTM、GRU 和CRNN 都比CNN 的精度更高，但是它們在二值化后無法得到收斂的結果，即無法進行二值化。而為了提高語音識別的魯棒性并降低電路的功耗，可以適當犧牲網絡的識別精度，同時還需要控制識別精度高于85%。因此，CNN 是適用于BWNN 的結構。

2.2 二值化權重神經網絡的實現

由于權重在整個KWSR 系統中加載后，計算過程將不會更改，而數據將在整個操作過程中不斷變化，需要減少權重占用的存儲和數據刷新速度以進一步降低功耗。因此，需要根據網絡規模來評估和優化網絡卷積核、全連接層的權重第1 和第2 卷積層的輸出。本文將3×3 卷積核用于卷積運算，同時減少數據位寬并防止數據溢出。而最后卷積層的輸出結果直接影響第一全連接層的權重大小。因此，本文減少了卷積層的卷積核數量，并增加卷積核的步幅以減少輸出結果的大小。

3 驗證結果與分析

基于上述的方法，在實現了4 個BWNN 之后，評估了錯誤在軟件仿真結果和模型輸出結果之間，見表2。對于提出的4 個BWNN，仿真系統精度和預測系統精度之間的相對差異約為2%～3%。結果表明，采用的誤差統計模型可以預測本文所敘述的計算系統的精度。其中4 個網絡的拓撲結構闡述如下：BWNN 1～4 均由4 層卷積、1 層全連接（30 個神經元）組成，卷積層參數（通道數、卷積核的三維尺寸、步長）見表1。通過4 種不同的卷積網絡設計，可以應對不同復雜度的分類場景，針對不同步長、不同通道數均進行了驗證，體現了模型的精確性和普遍適用性。

表2 系統誤差的預測和實測對比Tab.2 Predicted and simulated accuracies

4 結束語

本文提出了系統的誤差統計模型，可用于BWNN 在近似加法器的近似加速系統中。本文為KWSR 提出了二進制加權神經網絡的量化方法，參考了近似加法器的基本誤差模型并針對KWSR 系統進行了優化。此外，對面向10 個命令詞識別的網絡進行實驗，并將其二值化為BWNN。通過使用誤差統計模型，可以預測BWNN 的系統精度。通過比較仿真結果和模型預測的系統精度，本文提出的方法可以實現3%以內的精度預測相對損失。這一工作對后續航天系統中KWSR 的系統設計，提供了有力的工具。