基于特征圖分塊偏移的二值化卷積神經網絡*

張邦源，沈 韜，曾 凱

（昆明理工大學，云南 昆明 650500）

0 引言

隨著深度學習[1]的不斷發展，卷積神經網絡（Convolutional Neural Network，CNN）在計算機視覺、自然語言處理、語音識別等領域都取得了顯著進展，并且CNN 已被證明在圖像分類[2-6]、目標檢測[7-10]和語義分割[11-13]等領域是可靠的，因此在實踐中得到了廣泛的應用。

為了追求更高的精度，近年來，CNN 模型的計算規模變得更加龐大，網絡結構更加復雜、不規則且參數量巨大，對運算平臺的存儲容量和計算能力也提出了較高的要求，這就限制了CNN 等算法在功耗和性能受限的嵌入式平臺上的發展。

因此，很多研究人員開始提出各種模型壓縮算法和技術，即容忍一定的精度下降，來降低CNN的運算強度和模型參數量。其中，量化模型由于在硬件上移植會非常方便，因此神經網絡模型的量化是一項有效的解決方案。神經網絡二值化能夠最大限度地降低模型的存儲占用和模型的計算量，將神經網絡中原本32 位浮點數參數量化至1 位定點數，降低了模型部署的存儲資源消耗，同時極大加速了神經網絡的推斷過程。二值化神經網絡（Binarized Neural Network，BNN）由于可以實現極高的壓縮比和加速效果，所以它是推動以深度神經網絡為代表的人工智能模型，在資源受限和功耗受限的移動端設備和嵌入式設備上落地應用的一種非常有潛力的技術。

二值化神經網絡最初源于Courbariaux 的BinaryNet[14]，在近幾年的發展中，各種二值化的優化方法被不斷提出，如XNOR-Net[15]、BNN+[16]、BinaryDenseNet[17]、Bi-Real Net[18]、MeliusNet[19]、IRNet[20]、ReActNet[21]等。

二值化神經網絡的提出是為了解決現階段神經網絡存在的浮點運算冗余、運算速度低、對硬件設備內存占用過高的問題。研究者期望無須借助片外存儲設備，通過二值化處理就可以將神經網絡模型應用在資源受限的硬件設備上，從而提高網絡模型計算的實時性。事實上，早在20 世紀50 年代，研究者提出的人工神經網絡模型就是一種二值神經網絡，但是二值神經網絡一直受困于缺乏有效的反向傳播算法。相比之下，全精度神經網絡因為有精確的梯度下降算法，可以很好地完成深度神經網絡的學習，從而取代二值化神經網絡成為神經網絡研究中的主流。

直到2015 年，Courbariaux 等人[22]提出的BinaryConnect，第一次把全精度網絡中的權重進行1 bit 量化，這為二值化卷積神經網絡的誕生打下了基礎。Courbariaux 等人[14]在另一篇文章中進一步介紹了BNN，在BinaryConnect 中只將權重量化到了1 bit，而BNN 進一步將激活值也變成1 bit，既減少了內存消耗，也將許多乘加操作簡化成了按位操作XNOR-Count。以上二值化方法具有節省計算資源的優點，因為它們以非常簡單的方式量化網絡。但是，由于不考慮二值化在前向和反向過程中的影響，這些方法不可避免地會在很多任務中造成精度損失。

近年來，研究人員從不同方向入手，對二值化卷積神經網絡進行優化，使其得到了較大發展?？紤]到權重二值量化的誤差，Rastegari 等人[15]提出了XNOR-Net，引入尺度因子縮小二值化的權重與全精度權重的誤差，并將網絡中第一層和最后一層保留為全精度權重，同時改變網絡中的卷積層和批歸一化（Batch Normalization，BN）層的順序，在alexnet 上將權重量化到1 bit 時，能夠達到跟浮點權重一樣的性能。BinaryDenseNet、Bi-Real Net和MeliusNet 的3 篇論文[17-19]在網絡結構中加入shortcut 和concat 操作，增強模型的質量和容量，從而提升性能。Qin 等人[20]提出的IR-Net 用一個自適應誤差衰減估計器（Error Decay Estimator，EDE）來減少訓練中的梯度誤差，并用其他可微的函數來代替Sign函數，并且在訓練過程中不斷地逼近真正的Sign，使得整個訓練過程中梯度傳遞得更加平滑。

雖然二值化卷積神經網絡近年來得到巨大發展，但是其中依舊存在一些問題沒有得到太多的關注，例如：

（1）二值化卷積神經網絡中特征圖的負值信息是否同樣重要？在降采樣層使用最大池化（MaxPooling）操作進行降采樣時，只保留了池化塊中的最大值，而這個值一般是大于0 的，這樣就導致降采樣層特征圖負值信息的丟失。

（2）二值化網絡中，全精度特征圖在進行二值化操作時，對于分布不均的特征圖，在數值較小的區域會全被二值化為-1，數值較大的區域則被二值化為+1，如此二值化后的特征圖在局部將無法保留細節特征。

鑒于國內外研究中存在的問題，本文有針對性地做出了研究，主要貢獻有以下3 點：

（1）提出了一種新的池化方法——最小池化（MinPooling），即在池化操作時，保留每個池化塊中最小的值，并結合最大池化和最小池化設計出一種新的降采樣層，有效保留了特征圖中的正負值信息。

（2）提出特征圖分塊偏移二值化，通過改變全精度特征圖的分布，使二值化卷積神經網絡得到保留了細節信息的二值化特征圖，提高了二值化網絡的特征提取能力。

（3）為了驗證二值化卷積神經網絡中負值信息與正值信息擁有同樣的重要性，本文進行了大量實驗。實驗表明，在降采樣層使用最大和最小池化比僅使用最大池化或者僅使用最小池化效果更好。實驗還驗證了特征圖分塊偏移二值化對網絡性能的提升。在CIFAR100 數據集上，本文提出的方法比目前所有的二值化網絡提升了3.08%的準確率，與全精度網絡的準確率差距僅有1.37%。通過消融實驗證明，相對于基準模型，使用最大最小池化提升了2.47%的準確率，使用特征圖分塊偏移二值化提升了0.98%的準確率，兩者同時使用提升了3.72%的準確率。

1 二值化卷積神經網絡

在全精度卷積神經網絡中，卷積核權重和中間層的激活值都是32 位浮點型的。二值化卷積神經網絡在全精度網絡的全精度卷積核的權重和激活值二值化為{+1,-1}。

在卷積神經網絡的前向推理過程中，卷積運算包含了大量的浮點運算，包括浮點乘法和浮點加法。大量的浮點運算造成了卷積神經網絡在前向推理過程中效率低下的問題，并且32 位浮點數權重需要占用較大的存儲空間。卷積神經網絡的二值化方法有以下優勢：

（1）能夠有效減少存儲消耗。相比全精度網絡的32 位浮點數權重，量化到{+1,-1}的二值化卷積神經網絡在實際部署模型時，每個權重僅占用1 bit，可以達到32 倍的存儲空間壓縮。

（2）降低卷積計算復雜度。當權重和激活值量化為{+1,-1}時，網絡中卷積層的大量浮點乘法操作可以使用位運算代替，從而能夠大幅度提高計算速度，降低計算能耗，并且利于現場可編程門陣列（Field Programmable Gate Array，FPGA）等硬件的部署。

1.1 二值化函數

網絡二值化的目標是通過二值化函數權值和激活值量化為{+1,-1}。二值化方法主要有確定型（Deterministic）和隨機型（Stochastic）兩種。其中確定型方法采用符號函數作為二值化函數，即大于等于0 時為+1，小于0 時則為-1，可以表示為：

式中：x為網絡模型中全精度的特征值（或權重）；xb為二值化后的特征值（或權重）；Sign是符號函數。

另一種方法是隨機型，即以一定的概率進行二值化。隨機型方法利用概率生成函數σ生成輸入數據x取值的概率圖，然后根據概率圖決定x的量化輸出，其中概率生成函數σ使用“hard sigmoid”函數，則其計算方式為：

式中：x為網絡模型中全精度的特征值（或權重）；min 表示取最小函數；max 表示取最大函數；clip為截取函數；σ為得到的概率生成函數。

隨機式二值化方法的二值化函數為：

式中：x為網絡模型中全精度的特征值（或權重）；xb為二值化后的特征值（或權重）；σ為得到的概率生成函數；p為全精度值量化為+1 的概率。

隨機二值化比符號函數更具吸引力，但需要額外的計算，而且硬件難以實現，因為它需要硬件產生隨機比特。相比隨機式方法，確定式方法更利于硬件部署，所以本文采用確定式方法作為二值化激活方法。

1.2 二值化卷積

二值化卷積是二值化卷積神經網絡的重要組成單元之一，對于一個全精度的卷積神經網絡，假設其某一層的輸入特征圖為I，該卷積層的權重為W，二值化后得到的特征圖為Ib，權重為Wb。為了近似全精度的權重，減少量化誤差，XNOR-Net 提出全精度的縮放因子α，并使用二值的權重以及一個縮放因子代替全精度的權重，即W ≈αWb，則二值化的卷積為：

式中：Z為二值化卷積的輸出特征圖；?表示卷積運算；⊕表示沒有乘法的卷積計算。

縮放因子α的計算公式為：

縮放因子的引入使二值化卷積神經網絡能更接近全精度的卷積神經網絡，但這樣做增加了網絡中的浮點運算。

1.3 二值化網絡的訓練

與訓練全精度神經網絡模型類似，在訓練二值化卷積神經網絡時，仍然可以直接采用基于梯度下降的反向傳播（Back Propagation，BP）算法來更新參數。然而，二值化函數（如Sign函數）通常是不可微的，函數的部分導數值會消失，如Sign函數導數值幾乎都為0。因此，常用的基于梯度下降的BP算法不能直接用于二進制權值的更新。

Hinton 等人[23]提出一種名為直接估計器（Straight-Through Estimator，STE）的技術，用于解決符號函數二值化訓練深度網絡時出現的梯度消失問題。STE 的定義如下：

通過STE，可以使用與全精度神經網絡相同的梯度下降法，直接訓練二值神經網絡。但由于Sign的實際梯度與STE 之間存在明顯的梯度不匹配，極易導致反向傳播誤差積累的問題，致使網絡訓練偏離正常的極值點，使得二值網絡優化不足，從而嚴重降低性能。對于近似Sign函數梯度的方波梯度，除了[-1,+1]范圍之內的參數梯度不匹配外，還存在[-1,+1]范圍之外的參數將不被更新的問題。精心設計的二值化近似函數可以緩解反向傳播中的梯度失配問題。Bi-RealNet 提供了一個自定義的近似Sign函數ApproxSign，來替換Sign函數，進行反向傳播中的梯度計算。該梯度以三角波形式近似Sign函數的梯度，擁有與沖激函數更高的相似度，因而更貼近于Sign函數梯度的計算。

2 二值化卷積神經網絡的優化

本文主要研究二值化卷積神經網絡在降采樣層保留負值特征信息的重要性和在特征圖二值化激活時特征圖局部信息丟失的問題。針對第一個問題，本文提出了新的池化方法——最大最小池化（Max-MinPooling）；針對第二個問題，提出了基于特征圖分塊偏移的二值化方法。

2.1 多分支的二值化卷積神經網絡

多分支與單路二值化卷積神經網絡的結構如圖1 所示。

圖1 多分支與單路二值化卷積神經網絡

從圖1 可以看出，在多分支的二值化卷積神經網絡結構中，shortcut 結構在兩個基本塊之間傳遞了浮點特征信息，增加了網絡的信息流，但這樣的結構中，網絡需要額外的空間來存儲全精度的特征值。然而，在單路的結構中，網絡在卷積求出浮點特征值后，可以立即進行二值化，不需要再對浮點特征值進行存儲，減少了硬件的存儲開銷，并且在單路的二值化卷積神經網絡中，可以在模型訓練結束后，將BN 層以及二值激活層進行合并，從而有效簡化模型，提高運算效率，具體合并方法在3.4節中詳細介紹。

2.2 最大最小池化

在卷積神經網絡的下采樣層，圖像分辨率會直接降低4 倍，這個過程中的信息損失是不可逆的，而在二值化卷積神經網絡中，會存在更加嚴重的信息丟失。目前的二值化卷積神經網絡有以下兩種常用的下采樣操作：

（1）最大池化作為下采樣層。最大池化只取覆蓋區域中的最大值，其他的值都丟棄。最大池化操作在不增加額外卷積運算和參數的前提下減小輸入大小，使得神經網絡能夠專注于最重要的元素。在全精度的網絡中，通常認為最重要的元素是最大的數，但在一個特征圖中，往往會出現在一個池化塊里最大數并非絕對值最大的情況。不同于全精度網絡，二值化卷積神經網絡中負值的特征值也是至關重要的，而最大池化卻忽略了負值特征信息。

（2）使用步長為2 的卷積層來進行下采樣。這種方法可以保留更多的信息。在目前的二值化卷積神經網絡中，通常使用全精度的卷積來計算，避免造成較大的精度損失，但這樣又帶來了大量的全精度卷積運算和額外的存儲空間消耗。

在二值化卷積神經網絡中，特征圖中的正負值是帶有等量的信息的，所以不能只關注正值特征信息，而最大池化在每個池化塊中只保留了最大值，池化后的結果大部分為正，主要保留了特征圖中的正值信息，這樣會導致大量的負值信息丟失?；诖?，本文提出了一種新的池化方法——最小池化，如圖2 所示，即在池化操作時，保留每個池化塊中最小的值?；诖耍Y合最大池化和最小池化設計出一種新的降采樣層——最大最小池化（Max-MinPooling），有效保留了特征圖中的正負值信息。

圖2 最大池化及最小池化

如圖3 所示，在降采樣層分別使用最大池化和最小池化，并將兩種池化后的結果拼接在一起，作為降采樣層的輸出。

圖3 基于最大最小池化方法的降采樣層

2.3 特征圖分塊偏移二值化

卷積神經網絡的內在特性是學習從輸入圖像到輸出的映射。一個性能良好的二值化卷積神經網絡應該擁有與全精度網絡接近的學習能力。然而，離散的量化值限制了二值化卷積神經網絡像全精度網絡一樣學習豐富的分布表示。為了解決這一問題，XNOR-Net 引入了縮放因子，將權重的分布近似于全精度網絡；IR-Net 提出Libra-PB 將權重量化值的量化誤差和二值參數的信息熵同時作為優化目標。

不同于關注對權重的優化，本文的研究關注對二值化特征圖分布的優化。在全精度特征圖中添加一個微小的偏移，會導致絕對值較小的部分特征值符號發生改變，這會極大地影響二值化后特征圖的+1,-1 分布，進而影響網絡最終性能。但在訓練一個網絡之前是無法提前找到合適的偏移量并設置在網絡中的，所以在二值化前的全精度特征值中引入了可學習的偏移，以增強二值卷積神經網絡學習二值特征圖分布的能力，減少特征圖二值化過程中的信息丟失。加入偏移后的二值函數可以表示為：

式中：x為網絡模型中全精度的特征值（或權重）；Sign為符號函數；b為特征圖的偏移量。

在全精度網絡中，因為權重和激活是連續的實值，對特征圖的微小偏移量只會使特征圖平移，并不會改變特征圖的整體分布。然而，對于二值化網絡來說，因為二值化網絡的激活值只能是{-1,+1}，在符號函數上加入一個小的偏移，可能會輸出完全不同的二值化特征圖，這將直接影響二值化特征圖的信息量，對最終的準確性產生重大影響。

為了更直觀地說明，繪制了實值輸入特征圖及二值化特征圖，如圖4。

圖4 偏移量對二值特征圖的影響

從圖4 可以看出，未偏移的二值特征圖中眼睛和嘴巴附近有嚴重的細節信息丟失，加偏移的二值特征圖能有效地改善未偏移的二值特征圖中的信息丟失問題，但卻完全丟失了左手的信息。因此，對全精度特征值進行的偏移雖然在一定程度上改善了二值化激活中信息丟失的問題，但局部的細節信息丟失卻是無法避免的?；诖藛栴}，如圖4（a），如果將特征圖分塊，在每一塊中使用不同的分布偏移，這樣在顏色較淺（特征值較大）的區域加上正偏移量，在顏色較深（特征值較?。┑膮^域加上負偏移量，就能保證二值化時不會出現局部特征值全為+1 或-1 的情況，有效保留了特征圖局部細節信息，從而得到保留了更多細節信息的二值化特征圖。如圖5，分塊二值化的二值特征圖更好地保留了特征圖信息。

圖5 基于特征圖分塊偏移的二值化特征圖

圖6 展示了一個更明顯的例子，可以看出，未偏移的二值特征圖中的臉部信息基本完全丟失；加偏移的二值特征圖中鼻子附近有所改善，但信息丟失依舊嚴重；特征圖分塊偏移的二值特征圖中保留了人臉上的細節信息。因此，對于特征值分布不均的全精度特征圖，使用分塊偏移的二值化方法效果更好。

圖6 使用不同方法得到的二值化特征圖對比

2.4 BN 層與二值化激活層的融合

對于BN 層，需要先計算一個minibatch 中元素的均值方差，然后對于x需要減去均值μ除以標準差，最后利用縮放因子γ和偏移β進行仿射變換，即可得到最終的BN 輸出，具體過程如下：

式中：xi為BN 前的特征值；x^i為特征值進行標準差標準化后的值。

BN 層與二值化激活層的融合為：

式中：yi為BN 后的輸出特征值；t為BN 層與二值化激活層融合后，二值量化的新閾值。

二值化卷積的輸出特征值xi為[-9,+9]區間內的整數，可以將t向上取整，則有：

式中：Ceil()為向上取整函數。BN 層和二值化激活層融合后可表示為：

其中，Sign(γ)和tI均可在模型訓練好后求出，這樣就簡化了網絡的前向傳播過程，即只需將二值化卷積計算出的特征值和提前計算好的二值化閾值進行比較，即可得到二值化的特征值。

3 實驗結果及分析

為了驗證本文提出的方法的有效性，使用Vggsmall 作為基準模型，對其進行二值化。Vggsmall是VGG 在小數據集上的衍生模型，包含了6 個卷積層和1 個全連接層，采取3 次下采樣。相比VGG 系列模型，Vggsmall具有更淺的網絡層和更少的參數量，在小數據集中擁有更高的參數效率。將Vggsmall 中除第一層卷積層和全連接層外全部進行二值化，得到本節實驗采用的二值化網絡模型，如圖7 所示，并在4 個常用的小型數據集MNIST[24]、SVHN[25]、CIFAR-10、CIFAR-100[26]上訓練和測試該模型。為了更客觀地評價所提方法的有效性，將使用上述方法得到的實驗結果與經典的二值化模型進行比較，評價指標是準確率（Accuracy），計算方法是預測正確的樣本數除以總樣本數。

圖7 二值化VGG-Small 結構

3.1 MNIST 和SVHN 數據集上的實驗結果

在MNIST 和SVHN 數據集上進行實驗的結果如表1 所示，在MNIST 數據集上，本文模型達到了98.63%的準確率，與其他二值化模型相比，本文模型基本能夠保持同樣的精度，而且在模型大小上本文模型小于其他模型。

表1 MNIST 數據集與SVHN 數據集的實驗結果

3.2 CIFAR-10 和CIFAR-100 數據集上的實驗結果

在CIFAR-10 和CIFAR-100 數據集上的實驗結果如表2 所示。在CIFAR-10 數據集上，本文模型取得了91.27%的準確率，與全精度的網絡僅相差0.63%；在CIFAR-100 數據集上，本文模型取得了71.86%的準確率，與全精度的網絡僅相差0.37%。與其他二值化模型相比，本文模型取得了更好的效果，超越了BNN、XNOR 這種同樣沒有額外分支的二值化模型。此外，ReActNet、IR-Net、Bi-RealNet-18 這類模型在CIFAR 數據集上存在過擬合現象，本文模型因為沒有了額外分支，在這種小型數據集上有效避免了過擬合。因此，本文模型不僅在模型大小上有一定的優勢，而且在精度上也得到了提升。在CIFAR-100 數據集上實驗得到的損失曲線和準確率曲線如圖8 和圖9 所示。

表2 CIFAR-10 數據集與CIFAR-100 數據集的實驗結果

3.3 CIFAR-100 數據集實驗結果

為了驗證本文提出的最大最小池化和特征圖分塊偏移二值化在模型中的提升效果，本文在CIFAR-100 數據集上進行了大量的對比實驗。

3.3.1 不同特征圖分塊大小的實驗結果

上文提出對全精度特征圖分塊后進行不同程度的偏移再二值化，能夠在二值化特征圖中有效保留局部細節信息，提升二值化卷積神經網絡的性能。而特征圖分塊方式與大小影響了二值化的性能，因此對不同的分塊方式進行了對比實驗。

（1）實驗1。無論特征圖大小，統一按照一定的塊尺寸對特征圖分塊，按照2×2，4×4，8×8，16×16 4種不同尺寸分塊得到的實驗結果如表3 所示。從實驗結果可以看出，使用該分塊方式時，將特征圖按照8×8 尺寸分塊得到的效果最優。

（2）實驗2。根據特征圖大小，將尺寸較大的特征圖分成較大的塊，將尺寸較小的特征圖分成較小的塊，即按照一定的比例將特征圖分塊，實驗結果如表4 所示。從實驗結果可以看出，使用該分塊方式時，特征圖按照(H/2)×(W/2)（H和W分別代表特征圖的高度和寬度）分塊得到的效果最優。根據以上實驗結果，第2 種分塊方式優于第1 種分塊方式。

表4 特征圖按不同比例分塊得到的準確度對比

3.3.2 不同池化方式的實驗結果

VGG-small 網絡在每一次降采樣操作之后的卷積層進行通道數擴張，Max-MinPooling 在降采樣層進行了通道數擴張。為了排除降采樣層擴張通道數這一操作的影響，本文使用不同降采樣方法做對比實驗，實驗結果如表5 所示。從實驗結果可以看出，降采樣層擴張通道數能夠給網絡帶來一定的增益，使用最大最小池化方法明顯優于僅使用最大池化或者最小池化。

表5 不同降采樣方法下模型準確率對比

3.3.3 消融實驗

為了驗證所提方法的有效性，對兩種方法進行了消融實驗，實驗結果如表6 所示。由表6 可知，本文提出的兩種方法都為二值化卷積神經網絡帶來了增益。

表6 消融實驗設置及對應準確率對比

4 結語

本文提出了一種基于特征圖分塊偏移激活的二值化卷積神經網絡，解決了二值化卷積神經網絡中信息丟失的問題。本文所提出的最大最小池化方法，充分考慮了二值化卷積神經網絡中正負值信息的重要性，有效減少了二值化卷積神經網絡中降采樣層的信息損失。此外，本文提出的特征圖分塊偏移的二值化方法，關注了特征圖的細節信息，保留了特征圖二值化激活過程中的局部細節信息，有效增強了二值化網絡學習特征圖分布的能力。在公開數據集CIFAR-100 上的實驗表明，本文提出的方法提高了二值化卷積神經網絡模型的性能。

考慮到二值化網絡提出的最初目的，就是在性能受限的嵌入式平臺上實現深度學習算法的部署，未來的工作將針對FPGA 特性進行網絡模型優化，將模型移植到FPGA 開發板上。