多分支輕量級殘差網絡的手寫字符識別方法

黎光艷，王修暉

中國計量大學 信息工程學院 浙江省電磁波信息技術與計量檢測重點實驗室，杭州 310018

手寫字符識別在結合了諸如深度學習之類的人工智能技術后，越來越多地在移動端和手持設備中使用，學生的作業圖像會被收集起來進一步分析處理[1]，但它仍然是一個具有挑戰性的問題。在低年級數學算術題的識別與評閱過程中，由于學生書寫不規范而導致數字之間重疊和粘連使得手寫字符分割識別效果不盡人意，如何提升現有方法的準確率和運行效率，是圖像處理與模式識別領域的重要研究內容。根據數字的粘連程度，姚紅革等人[2]使用MNIST數據集生成了100%重疊數據集進行識別，為真實情況下的粘連數字識別提供了新思路。

傳統的手寫數字識別大都使用MNIST數據集進行識別，且隨著卷積神經網絡的提出，國內外對手寫字符的識別研究也更加深入。Goodfellow等人[3]通過使用dropout技術設計了maxout模型來對手寫字符進行識別。He等人[4]在ReLU激活函數的基礎上，提出了一種參數修正線性單元（parametric rectified linear unit，PReLU），在幾乎不增加額外參數的前提下提升了字符識別模型的擬合能力。Ma等人[5]提出了一種基于特定的多特征提取和深度分析的有效手寫數字識別方法。為了方便提取數字特征，Ignat等人[6]結合了旋轉和邊緣濾波之類的基本圖像處理技術，使用k最近鄰（k-NN）和支持向量機（SVM）作為分類器。Srivastava等人[7]提出了一種組合架構的神經網絡系統，該系統使用自組織映射（SOM）以及反向傳播的概念從MNIST數據集中識別手寫數字。Nyide等人[8]將不同粒度級別的類似Haar的過濾器應用于手寫數字圖像，通過增加類似Haar的過濾器粒度來提高分類精度。Urazoe等人[9]將三種旋轉不變性學習方法應用于CNN架構來進行手寫字符識別，解決了數據增強時原始數字和旋轉數字之間的沖突。上述研究在MNIST上都取得了不錯的效果，但只是針對單字符數據集，無法對粘連數字進行識別。

深度卷積神經網絡的快速發展推動了手寫字符的實時檢測，但是大量的網絡參數會帶來計算資源和存儲資源的消耗，從而使目標識別的速度難以達到實時的要求，也難以部署到移動端設備中。模型壓縮是一類解決在資源受限條件下進行神經網絡部署的通用方法[10]，可以對分類模型進行壓縮來提升檢測的實時性。NasNet[11]在小型數據集上搜索架構構建塊，然后將塊傳送到更大的數據集。通過堆疊單元格應用于數據集中，顯著提高了模型的泛化能力，MobileNet[12]基于簡化的架構，該架構使用深度可分離卷積來構建輕量級深度神經網絡，可廣泛用于物體檢測，圖像分類等實驗。對網絡進行壓縮的方法還有剪枝[13-14]、量化[15-16]和低秩分解[17-18]。除此之外，還可以通過更有效的卷積[19-21]設計更加緊湊的結構，或使用知識蒸餾[22-25]，從一個大的“教師”模型中提取知識來幫助訓練一個小的“學生”模型，這樣可以提高“學生”模型的性能。

綜上所述，現有的手寫字符識別方法大多基于單個數字的識別，對于圖像中存在的粘連數字采用普通的分割方法難以準確分割出來，并且強行分割粘連數字會使分割后的字符丟失部分特征，從而影響對手寫數字的識別。雖然通過增加卷積神經網絡的深度可以顯著改善手寫字符識別效果，但是，其計算時間和內存消耗也同時增加。在低功率的嵌入式終端設備的實際應用場景中，計算資源和存儲資源是部署深度CNN模型的約束條件。

典型的解決思路是使用模型壓縮技術來壓縮分類任務中網絡的結構，最大程度地減小模型結構，降低模型存儲所需要的空間。使得模型壓縮后的輕量級網絡可以保持原始網絡的分類精度，甚至可以接近或超越原網絡的性能。

本文的主要創新如下：

（1）網絡結構：借用Inception[26]思想，通過適當分解的卷積和正則化的方式，將ResNet[27]殘差結構和注意力機制融合，構建了多分支輕量級殘差網絡GluNumNet。該模型能有效提取圖片特征，在保證分類網絡分類準確率的同時使得模型的計算開銷與內存開銷充分降低。

（2）擴充數據集：在MNIST數據集基礎上，制作了90類復合數字，重疊率在50%到75%之間隨機生成，以便提高手寫數字在粘連情況下不易分割的整體識別率。采用圖像變換技術，對MNIST進行數據增廣，解決樣本不平衡的問題。

（3）模型壓縮：將提出的模型采用知識蒸餾策略來學習深度神經網絡ResNet101，在降低模型大小的同時不影響其識別精度，使得壓縮后的模型在資源受限的樹莓派上也能高效運行。

1 多分支輕量級殘差網絡的手寫字符識別方法

由于小學生在書寫字符的過程中會產生粘連現象，影響了對此類字符的識別。為了提高低年級數學算術題中粘連手寫數字的識別率和運行效率，本文提出一種多分支輕量級殘差網絡的手寫字符識別方法。首先，在MNIST公開數據集的基礎上制作了10到99這90類兩位數的復合數字數據集，將其與MNIST數據集和7類數學符號混合得到107類手寫字符數據集，作為本文實驗的研究對象。并使用ResNet101對其進行建模生成手寫字符識別模型。然后，構建了一種多分支的輕量級注意力殘差網絡GluNumNet，該網絡借用Inception思想，將ResNet殘差結構和注意力機制融合，作為學生網絡對深度模型進行學習。

本文實驗的數據集為107類手寫字符，將其分為訓練集和測試集。首先，將訓練集先通過深度網絡ResNet101訓練出深度模型，采用知識蒸餾的方法，使用自己構建的輕量級模型GluNumNet對深度模型的網絡參數和損失函數進行學習，其中教師網絡的損失函數為：

學生網絡的損失函數為：

其中，y是真實標簽的one-hot編碼，q是教師網絡的輸出結果，p是學生網絡的輸出結果。α為0到1之間的小數，用來微調損失函數的值來增強模型識別的效果。

這個過程叫作知識蒸餾，最后，確定溫度參數T，訓練出輕量級神經網絡識別模型?？傮w網絡模型如圖1所示。

圖1 網絡模型圖Fig.1 Network model diagram

1.1 網絡框架GluNumNet

本文提出的基于多分支的注意力殘差網絡手寫字符識別方法網絡框架如圖1中的虛線框所示。GluNum-Net網絡主體結構是由三個塊狀結構block串聯而成，每個塊狀結構后面緊跟一個最大池化層。

塊狀結構block結合了Inception的分支思想，ResNet的殘差結構以及scSE注意力機制。為減少參數總量，GluNumNet學習了Inception用兩個3×3的卷積代替5×5的大卷積的方式，在降低參數的同時建立了更多的非線性變換，使得CNN對特征的學習能力更強。使用該結構可將稀疏矩陣聚類為較為密集的子矩陣來提高計算性能。如圖2，block的輸入是由4個分支組成，分支0是由一個BasicConv2d組成，分支1是由兩個BasicConv2d組成，分支2是由三個BacscicConv2d組成，分支3是由一個平均池化和BasicConv2d組成，輸入的張量分別經過這個四個分支，然后將結果cat拼接在一起。這樣可以將視覺信息在不同的尺度上進行處理然后聚合，同時從不同尺度提取特征，并最后做特征融合。

圖2 多分支的注意力殘差結構Fig.2 Multi-branch attention structure

然后再經過一個scSE（spatial and channel squeeze &excitation block）注意力機制模塊，scSE模塊由從sSE和cSE組成，cSE模塊是一種通道注意力模塊，具體流程如下：使用global average pooling方法將feature map從[C,H,W]變為[C,1,1]，對兩個1×1×1卷積進行信息處理，得到C維的向量。然后使用sigmoid函數進行歸一化，得到對應的mask，最后通過channel-wise相乘，得到經過信息校準過的feature map。而sSE模塊是一種空間注意力模塊，具體分析如下：對feature map直接使用1×1×1卷積，features從[C,H,W]變為[1,H,W]，然后使用sigmoid進行激活得到spatial attention map，施加到原始feature map中，完成空間的信息校準。scSE是這兩個模塊的并聯，將分別通過sSE和cSE模塊的輸入特征相加，得到更為精準校準的feature map，最后將結果與輸入張量相加，作為該block的輸出。scSE的結構如圖3所示。通過引入注意力機制，可以使得網絡在眾多的輸入信息中聚焦當前任務中更加關鍵的信息，抑制無用信息，解決信息過載問題，同時提高任務處理的效率和準確性。

圖3 scSE模塊示意圖Fig.3 Schematic diagram of scSE module

其中BasicConv2d是由一個包含殘差結構的卷積，一個BatchNormalization和一個Relu激活函數組成。如圖4。

圖4 殘差結構卷積Fig.4 Residual structure convolution

殘差結構來自于2015年何凱明等人[27]提出的神經網絡ResNet，其在傳統卷積神經網絡中引入殘差學習（residual learning）的思想，以解決深層網絡訓練時梯度彌散和精度下降的問題，使得網絡的性能不會因為深度的增加而降低。在對比多個CNN模型的基礎上，發現使用ResNet的效果最好且穩定。如圖5為ResNet的殘差結構。

圖5 殘差結構Fig.5 Residual structure

BatchNormalization的作用就是將輸入值進行標準化，計算所有的均值和標準差，使用這些值來對數據進行規范化，降低scale的差異至同一個范圍內。這樣做有助于結合數據特征進行更好的訓練，一方面提高梯度的收斂程度，加快模型的訓練速度；另一方面使得每一層可以盡量面對同一特征分布的輸入值，減少了變化帶來的不確定性，也降低了對后層網絡的影響，各層網絡變得相對獨立，緩解了訓練中的梯度消失問題。Relu激活函數增加了神經網絡各層之間的非線性關系。經過3個block的特征提取，復用以及融合，再經過一個全連接層，輸出分類結果。

1.2 數據準備

不同的人在書寫數字的過程中，都會產生不同程度的粘連，因此，將制作復合數字數據集來模擬手寫數字過程中會產生的粘連現象。制作方法為將第一張MNIST圖片的右邊部分與第二張圖片的左邊部分進行重疊，對MNIST灰度圖像的每個像素值進行二進制“或”操作。重疊率d為兩張圖片重疊部分占整張圖片的百分比，再將第一張圖片左邊，重疊圖片，第二張圖片右邊進行拼接，得到一張粘連數字的圖片。通過循環操作生成90類復合數字的訓練集和測試集，每一張粘連數字的拼接都采用隨機的重疊率。實驗中制作了重疊率在d=0.5到d=0.75之間的數據集，每類粘連數字制作10 000張訓練集和1 000張測試集。不同重疊率下的數字粘連情況如圖6所示。

圖6 不同重疊率下的粘連數字示例Fig.6 Examples of adhesion numbers under different overlap ratios

要識別的字符為0到99共100個數字，以及加號“＋”、減號“－”、乘號“×”、除號“÷”、等于“=”、左括號“（”、右括號“）”這7類常見算術運算符，共107類。將單個字符和復合數字進行混合進行訓練。由于90類復合數字每類有10 000張，而單字符訓練集每類只有6 000張，這種樣本不平衡問題降低了對107類字符的整體識別率。因此，采用圖像變換技術，對單字符進行數據增廣。從每類數據集隨機取4 000張，隨機旋轉?5°到5°的角度，旋轉后產生的圖片邊角用255像素填充。此外，將單字符和復合字符進行了歸一化處理，結果如圖7所示。

圖7 圖像歸一化Fig.7 Image normalization

1.3 模型壓縮

本文通過研究現有的輕量級神經網絡模型，對比其在字符識別任務上的優劣，最終選用知識蒸餾作為模型壓縮的方法。知識蒸餾由Hinton首次提出，該方法可以看作是知識遷移，將復雜模型的輸出和數據的真實標簽去訓練簡單網絡，并保留接近于復雜網絡的性能[23]。如圖8所示，知識蒸餾的主要步驟包括：

圖8 知識蒸餾示意圖Fig.8 Schematic diagram of knowledge distillation

（1）在原始數據集上，使用硬目標，用傳統方式訓練好一個教師網絡。

（2）建立學生網絡模型，模型的輸出采用傳統的softmax函數，擬合目標為one-hot形式的訓練集輸出，它們之間的距離記為loss1。

（3）將訓練完成的教師網絡的softmax分類器加入溫度參數T，作為具有相同溫度參數softmax分類器的學生網絡的擬合目標，它們之間的距離記為loss2。

（4）引入參數alpha，將loss1×(1-alpha)+loss2×alpha作為學生網絡訓練時使用的loss，訓練網絡。

（5）將教師網絡的輸出結果軟目標q作為學生網絡的目標，訓練學生網絡，使得學生網絡的結果p接近于q。

軟標簽的計算方法為：

其中，zi表示第i類的輸入數據，qi表示第i類經過softmax輸出的軟標簽。其中T為溫度參數，用來放大暗知識，將軟化后的輸入作為softmax層的輸入，并將其輸出的軟標簽作為訓練學生網絡時的目標，λ用來調節交叉熵的比重。

學生網絡的硬標簽通過logsoftmax的輸出概率和教師網絡的軟標簽通過softmax的輸出概率計算出來，輸入到KLDivLoss損失函數中，由此計算訓練中的loss2。KL散度定義如下：

其中，P(x)是作為硬目標的真實分布，Q(x)是擬合分布，xi是將輸出進行LogSoftmax變換后的標簽。

另一方面，在深度學習分類任務中，對于標簽label的處理通常編碼為one-hot形式，即為硬標簽。但這種標簽方式會因模型要盡可能去擬合one-hot標簽，容易造成過擬合，無法保證模型的泛化能力。因此，在知識蒸餾過程中使用標簽平滑（label smoothing regularization，LSR），即軟標簽，可以防止過擬合。

使用軟標簽的目的是放大輸出中的暗知識，為學生網絡訓練提供更多的信息，如圖9所示，左邊為識別數字69時的概率圖，可以看到，識別為69的概率最大，而其他數字的概率較低，且幾乎接近為零，右邊為軟化后的標簽概率分布，可以看到，經過暗知識放大后每個概率值更加明顯。這是因為，使用軟標簽后，放大了沒有被用到的暗知識，使得其他數字的概率大大提升，這些為識別數字提供了更多的信息。通過將硬標簽中的值平滑為0到1之間的浮點數，讓其他類別的概率凸顯得更加明顯，使得標簽沒有那么絕對化，可以從軟標簽中學習到更多信息，從而能夠提升整體的效果。

圖9 軟化后的概率大小對比Fig.9 Comparison of probability after softening

2 實驗及結果分析

2.1 實驗配置

實驗數據集：利用MNIST數據集進行擴充后，含有10萬張訓練樣本和1萬張測試樣本。7類數學符號一共含70 000張訓練樣本和7 000張測試樣本。復合數字數據集一共有90類，每類復合數字都由10 000個訓練樣本和1 000個測試樣本組成，含有數字10到99。將擴充后的單字符數據集與復合數字數據集進行混合訓練，共107類。

實驗環境：硬件環境為NVIDIA TITAN X顯卡，128 GB運行內存，Intel E5-2678V3處理器。軟件環境為Ubuntu16系統，Python3.6和Pytorch1.0開發環境。

數據預處理流程為：首先，由于生成復合數字時使用了隨機重疊率，所得圖片大小不統一，將圖片縮放為32×32，并對圖像每邊填充4個像素，把32×32擴展至40×40；其次，進行隨機裁剪、隨機左右翻轉和隨機鏡像、傾斜度為15°的隨機旋轉等操作，生成多樣化的訓練數據；最后，為了加快模型訓練時通過梯度下降法搜索最優解的速度，對圖像進行標準化處理，RGB每個通道歸一化用到的均值mean為（0.507 0，0.486 5，0.440 9），方差std為（0.267 3，0.256 4，0.276 1）。

訓練策略：訓練過程中，數據加載使用了多線程的方式，其中訓練集進程數為4，測試集進程數為2。

超參設置：教師網絡的訓練使用了SGD優化器，其中Nesterov參數為0.9，權重衰減系數為5E?4。損失函數使用交叉熵，學習率衰減方式初始為lr=0.1，在第15和25個epoch將學習率除以10，并以批量大小128訓練30個epoch。學生網絡采用學習率為0.001的Adam優化器對網絡訓練30個epoch，alpha參數設置為0.95，溫度參數T設置為2，在完全相同的條件下訓練5次，取測試集的平均識別結果。

教師網絡使用ResNet101，學生網絡采用GluNum-Net，對107類手寫字符進行混合訓練。對比其實驗精度以及模型壓縮對實驗精度的影響，并使用指標Top1和Top5錯誤率進行量化評測。

2.2 性能對比

為了驗證本文方法在手寫字符上的分級識別效果，使用現有分類網絡ResNet101、ResNet152、Vgg16、Vgg19等4種網絡進行了對比，訓練過程與訓練超參數完全相同，并保存最好的模型。在此基礎上，對107類手寫字符數據集進行模型訓練，在訓練時設置同樣的參數，其中，Batch Size為128、epoch為30、學習率為0.01，并在第15和25個epoch時，將學習率降低到原來的1/10。

表1為在不同分類網絡上，對107類單字符數據集進行模型訓練的結果。經多次驗證，在107類單字符數據集上，基于ResNet101的字符識別精度較高。雖然模型大小高于Vgg模型，但是由于尋找的是精度表現最好的網絡，以便于學生網絡能學習到更好的知識，所以不用考慮模型的大小。因此，將錯誤率表現最低的ResNet101作為教師網絡。而由于ResNet152層數過深，導致出現過擬合現象，使得結果反而不如ResNet101。

表1 在107類字符數據集上對比基準方法（深度網絡）Table 1 Contrast reference method on 107 class character datase（tdeep network）

為了對比出GluNumNet在知識蒸餾上的有效性，選用了現有的輕量級神經網絡InceptionV3，NasNet，MobileNet作為參照，同時選用了ResNet18來對比出深度網絡的有效性。對比表1中ResNet101和表2中ResNet18的結果，ResNet101在Top1和Top5的結果均優于ResNet18，ResNet101的錯誤率在Top1時僅有2.61%，而ResNet18的錯誤率在Top5時就達到了3.06%，可以發現，殘差結構在網絡層數深的時候，表現出更好的效果。雖然InceptionV3的結果與本文方法相差不多，但是參數量卻明顯上升。而本文提出的方法使用了1×1的小卷積，這樣能保證計算量低，同時由于加入了殘差結構，使得將輸出反饋給輸入時，數據豐富的特征被充分利用，得出更好的效果。將本文提出的方法對比于其他幾種輕量級網絡，GluNumNet在手寫字符數據集上效果均優于其他模型，也降低了模型參數。如表2。

表2 在107類字符數據集上對比基準方法（輕量級網絡）Table 2 Contrast reference method on 107 class character datase（tlightweight network）

2.3 知識蒸餾

使用知識蒸餾分別對模型進行優化，并將表1中效果最好的ResNet101作為教師網絡，指導學生模型GluNumNet的學習，損失函數均采用交叉熵函數。表3給出了在alpha為0.95和溫度為2的條件下五次測試的平均效果。其中ResNet18在學習了ResNet101之后，Top1錯誤率降低了3.94%，這說明，當需要網絡模型精度高同時模型小的時候，可以使用知識蒸餾的方法來提升淺層網絡的性能，使得淺層網絡學到更深的知識。而將本文方法GluNumNet與其他幾種結果較好的輕量級神經網絡進行對比，結果顯示，本文提出的方法更具有效性，且在教師網絡的指導下表現得更好，精度提升了1.09%，模型大小比壓縮前減少了37.9%，更有利于部署到移動端等實際場景。

表3 本文方法GluNumNet與其他輕量級網絡的知識蒸餾效果對比Table 3 Methods of GlunumNet and other lightweight network knowledge distillation results

2.4 溫度參數T和alpha取不同值時的效果

上面的實驗是在固定參數alpha為0.95和溫度參數為2時的實驗效果，為了對比參數對知識蒸餾效果的影響，將取不同的值來獲得最佳實驗效果。表4是不同參數對107類字符識別的影響，展示數據為Top1錯誤率，可以看出，使用GluNumNet對深度網絡進行學習時，采用alpha為0.95和T為10時，錯誤率最低，僅有2.78%。

表4 不同參數對GluNumNet結果的影響Table 4 Impact of different parameters on GluNumNet單位：%

在4 GB內存樹莓派上，使用知識蒸餾后的GluNum-Net模型進行測試，實驗5次后取平均結果，實驗結果如表5所示。從中可以看出，使用知識蒸餾后的學生網絡精度逼近于教師網絡的結果，Top1僅有2.78%，模型大小也縮減為18.82 MB，說明多分支的殘差結構充分提取了特征，采用的小卷積結構也降低了模型的參數量，引入的注意力機制提高了任務處理的效率和準確性。同時，結合表4可以看出，在同樣進行知識蒸餾的條件下，alpha和T值越高越能提升網絡性能。綜上所述，通過GluNumNet和知識蒸餾的方法，每張圖片測試時間耗時最短，且模型規模減小，可以在計算資源受限的樹莓派等終端上運行，證明了本文方法的有效性。

表5 知識蒸餾后的識別效果Table 5 Identification effect after knowledge distillation

3 總結

針對低年級數學算術題圖像中手寫字符粘連導致影響識別率的問題，本文將MNIST數據集通過隨機重疊和拼接方式進行組合，制作了90類復合數字數據集，并提出多分支輕量級殘差網絡的手寫字符識別方法。借用Inception思想，采用多分支結構，融合了ResNet殘差結構和注意力機制，提高網絡的特征學習能力。然后，將107類字符混合訓練出輕量級網絡模型對手寫字符圖像進行識別，使得粘連字符在沒有正確分割的時候也能達到較好的識別效果。此外，通過知識蒸餾將深度模型進行壓縮，使蒸餾后的網絡可以接近深層網絡的精度，同時加快識別速度，減少內存的消耗，使其能在資源受限的樹莓派等嵌入式設備上運行，解決了因為終端設備的計算資源不足而無法高效使用深度模型的問題。

在未來的工作中，除了考慮使用知識蒸餾來進行模型壓縮之外，找出更好的模型壓縮方法，使得網絡在不依賴于深度網絡的同時能達到高精度低參數的效果，將是下一步提高準確率以及降低模型復雜度的研究重點。