基于區(qū)域加權(quán)LeNet-5 網(wǎng)絡(luò)的漢字識(shí)別研究?

周 有 張珊珊

（西安郵電大學(xué)自動(dòng)化學(xué)院 西安 710121）

1 引言

漢字識(shí)別是一種使用計(jì)算機(jī)運(yùn)行用戶(hù)的預(yù)設(shè)算法來(lái)提取漢字的特征，并與機(jī)器內(nèi)預(yù)存特征進(jìn)行匹配識(shí)別，將漢字圖像自動(dòng)轉(zhuǎn)換成某種代碼的一種技術(shù)。字符識(shí)別的大致流程可以分為讀取原始圖片、圖像預(yù)處理、字符圖像特征提取與識(shí)別、結(jié)果輸出。其中預(yù)處理一般包括圖片的去燥、傾斜矯正、二值化、圖像歸一化、字符切分等，預(yù)處理的目的在于為后面的特征提取工作提供質(zhì)量更好的漢字圖像，以便提取出更準(zhǔn)確的字符特征。

漢字的特征提取識(shí)別工作是漢字識(shí)別的關(guān)鍵點(diǎn)，目前常用的漢字識(shí)別方法主要分為五大類(lèi)：基于統(tǒng)計(jì)的漢字識(shí)別方法、基于結(jié)構(gòu)的漢字識(shí)別方法、基于結(jié)構(gòu)和統(tǒng)計(jì)相結(jié)合的漢字識(shí)別方法、基于支持向量機(jī)的漢字識(shí)別方法和基于神經(jīng)網(wǎng)絡(luò)的漢字識(shí)別方法。

基于統(tǒng)計(jì)的特征提取方法主要是通過(guò)特征提取方法對(duì)漢字樣本的一組特征組成特征向量，根據(jù)決策函數(shù)對(duì)特征向量分類(lèi)來(lái)達(dá)到漢字識(shí)別的目的［2］。基于結(jié)構(gòu)的特征提取方法主要提取漢字的筆畫(huà)、輪廓等漢字的骨架特征。基于結(jié)構(gòu)和統(tǒng)計(jì)相結(jié)合的方法是將以上兩種方法相結(jié)合，結(jié)合的方式有兩種，第一種是在特征提取過(guò)程中同時(shí)提取漢字的結(jié)構(gòu)和統(tǒng)計(jì)特征。第二種是在識(shí)別的過(guò)程中先使用統(tǒng)計(jì)的方法對(duì)漢字進(jìn)行粗分類(lèi)，然后通過(guò)結(jié)構(gòu)方法對(duì)漢字進(jìn)行細(xì)分類(lèi)。

基于支持向量機(jī)的漢字識(shí)別方法是建立一個(gè)分類(lèi)超平面作為決策平面，使得正反之間的間隔邊緣被最大化。李志能等［4］提出了一種利用二值字符圖像投影的特征參數(shù)構(gòu)造字符的特征矢量的方法，采用支持向量機(jī)和多層感知器網(wǎng)絡(luò)對(duì)字符的特征矢量進(jìn)行訓(xùn)練，構(gòu)造出分類(lèi)器，但是由于攝像頭抓拍到的圖像模糊不清，致使在預(yù)處理階段丟失了一些特征，給分類(lèi)造成很大困難。

基于卷積神經(jīng)網(wǎng)絡(luò)的方法是現(xiàn)在主要研究的方法。王蕾等［17］提出一個(gè)用于特征提取的分塊獲勝序列模型，采用按行分塊原則進(jìn)行分塊，多個(gè)獲勝神經(jīng)元有序組合的方式表征特征，模型的輸出層為二維方形結(jié)構(gòu)，增加了輸出層神經(jīng)元可以表示的類(lèi)別數(shù)。代賀等［6］改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)刪減了部分全連接等并推導(dǎo)了前向和反向傳播算法，與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，處理速度快，識(shí)別準(zhǔn)確率高，具有良好的魯棒性和泛化性。但是由于書(shū)寫(xiě)風(fēng)格的不同，會(huì)導(dǎo)致識(shí)別錯(cuò)誤的情況。

傳統(tǒng)的字符識(shí)別方法和現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)方法，在漢字字符識(shí)別的過(guò)程中對(duì)漢字圖像的不同區(qū)域均采用了均等對(duì)待的方法提取特征，但因漢字的結(jié)構(gòu)特點(diǎn)，漢字圖像的不同區(qū)域的特征數(shù)量是不同的，因此對(duì)漢字圖像的不同區(qū)域做不均等的對(duì)待是很有必要的。

武子毅等［16］提出了基于集成注意力層的模型，將注意力放在圖像的某個(gè)部位，對(duì)目標(biāo)區(qū)域賦予更高的權(quán)重，注意力圖與圖像進(jìn)行濾波處理，將注意力圖融合到AlexNet 網(wǎng)絡(luò)中，提高漢字圖像八個(gè)區(qū)域的權(quán)重，有效彌補(bǔ)了普通卷積網(wǎng)絡(luò)丟失漢字微小特征的缺點(diǎn)。

但是該注意力網(wǎng)絡(luò)在八個(gè)區(qū)域上的權(quán)重是相同的，并沒(méi)有達(dá)到區(qū)分不同區(qū)域的目的，無(wú)法體現(xiàn)漢字的結(jié)構(gòu)特點(diǎn)。因此本文提出了基于區(qū)域加權(quán)的網(wǎng)絡(luò)模型，是在經(jīng)典的LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，引入了區(qū)域加權(quán)的思想，合理改變了卷積核的大小和數(shù)目，在第一層卷積層特征提取過(guò)程中，網(wǎng)絡(luò)能夠不均等的對(duì)待字符圖像的不同區(qū)域，經(jīng)過(guò)模型訓(xùn)練區(qū)域加權(quán)參數(shù)不斷更新達(dá)到最優(yōu)，使得網(wǎng)絡(luò)能夠以更高的識(shí)別率識(shí)別大字符集圖像的目的。

2 LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型

經(jīng)典的LeNet-5 網(wǎng)絡(luò)模型最早用來(lái)識(shí)別手寫(xiě)數(shù)字，當(dāng)然LeNet-5 網(wǎng)絡(luò)不僅僅是可以在字符識(shí)別領(lǐng)域應(yīng)用，張力超等提出一種基于LeNet-5 改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型對(duì)蘋(píng)果品種進(jìn)行自動(dòng)分類(lèi)識(shí)別，該模型的測(cè)試時(shí)間和測(cè)試精度均優(yōu)于SVM 方法；林哲聰［9］等設(shè)計(jì)一種全局中間值池化網(wǎng)絡(luò)，該網(wǎng)絡(luò)能有效抑制過(guò)擬合現(xiàn)象，并具有較快的識(shí)別速度和較高的魯棒性。

如圖1 是LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，使用漢字字符圖像作為輸入，通過(guò)卷積、池化、全連接對(duì)字符圖像進(jìn)行分類(lèi)。

圖1 LeNet-5卷網(wǎng)絡(luò)的基本結(jié)構(gòu)

LeNet-5 網(wǎng)絡(luò)模型一共七層，C1，C3 層是卷積層，卷積層通過(guò)卷積核提取該局部的特征，卷積核在處理圖像時(shí)，是以一定尺寸、一定步長(zhǎng)在圖像上進(jìn)行滑動(dòng)，每一次的滑動(dòng)都是一次卷積運(yùn)算，全部滑動(dòng)結(jié)束后，就生成了一張?zhí)卣鲌D，每個(gè)輸出特征圖通過(guò)權(quán)值共享來(lái)共享其所對(duì)應(yīng)的卷積核。在特征平面中，每個(gè)神經(jīng)元連接到前一個(gè)特征平面的特定區(qū)域中的神經(jīng)元。C1 層卷積核大小為5×5，卷積核數(shù)目為6，輸出6 個(gè)28×28 的特征圖；C3 層的卷積核大小為5×5，卷積核數(shù)目為16，輸出16個(gè)10×10的特征圖。卷積層的關(guān)系可以用式（1）表示：

pj是與L 層中的神經(jīng)元j相連的輸入特征平面的局部感受野，為一矩形區(qū)域。每個(gè)卷積核僅是對(duì)輸入局部感受野區(qū)域進(jìn)行卷積運(yùn)算，不改變像素之間的空間相關(guān)性。是第L 層特征平面上的第j個(gè)神經(jīng)元的值，是第L-1 層特征平面上的第i 個(gè)神經(jīng)元的值，是L 層卷積核的權(quán)重，bl是L層的卷積偏移量，f(·)是激活函數(shù)。

S2、S4 是池化層，即進(jìn)行降采樣工作，該層的主要作用是降維，對(duì)輸入的特征圖像進(jìn)行壓縮，使得特征圖的尺寸變小，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度。池化有最大池化和平均池化。平均池化的缺點(diǎn)是會(huì)模糊圖片中的特征，所以現(xiàn)在大多使用最大池化。S2輸出6 個(gè)14×14 的特征圖；S4 輸出16 個(gè)5×5 的特征圖。平均池化和最大池化算法由式（2）、（3）表示：

第五、六、七層是全連接層，全連接層完整的連接當(dāng)前層和前一層的所有特征平面神經(jīng)元，全連接層輸出是一維類(lèi)別向量，所以網(wǎng)絡(luò)中首個(gè)全連接層需要將二維特征平面轉(zhuǎn)化為一維向量形式。圖中各層節(jié)點(diǎn)數(shù)目分別為120，84，10，F(xiàn)7 的節(jié)點(diǎn)數(shù)目也是minist手寫(xiě)數(shù)字集的類(lèi)別數(shù)。全連接層使用Sigmoid激活函數(shù)如式（4）所示：

3 基于區(qū)域加權(quán)LeNet-5 網(wǎng)絡(luò)的漢字識(shí)別研究

傳統(tǒng)的LeNet-5 網(wǎng)絡(luò)在進(jìn)行卷積操作時(shí)，對(duì)字符圖像的不同區(qū)域采用均等對(duì)待的方式，無(wú)法區(qū)別對(duì)待字符的不同區(qū)域，因此不能體現(xiàn)漢字圖像的結(jié)構(gòu)特點(diǎn)。針對(duì)這樣的問(wèn)題，本文在第一層卷積層引入了區(qū)域加權(quán)系數(shù)，解決了網(wǎng)絡(luò)在特征提取過(guò)程中均等對(duì)待字符不同區(qū)域的問(wèn)題，更加突出體現(xiàn)了漢字的結(jié)構(gòu)特征。

3.1 基于區(qū)域加權(quán)的卷積操作

在對(duì)字符圖像進(jìn)行研究觀察后可以發(fā)現(xiàn)，每個(gè)漢字都有自己的結(jié)構(gòu)特點(diǎn)。如圖2 所示，漢字“個(gè)”四個(gè)對(duì)角區(qū)域沒(méi)有字符特征，漢字“由”的左上角和右上角沒(méi)有字符特征，漢字“圓”的各個(gè)區(qū)域的特征基本均等分布。根據(jù)漢字的結(jié)構(gòu)特點(diǎn)，提出了區(qū)域加權(quán)這一概念。區(qū)域加權(quán)是在圖像卷積每個(gè)區(qū)域的同時(shí)，對(duì)每個(gè)區(qū)域賦予不同的權(quán)值系數(shù)，旨在區(qū)別對(duì)待漢字圖像的不同區(qū)域，權(quán)值系數(shù)是通過(guò)卷積神經(jīng)網(wǎng)絡(luò)不斷的迭代更新優(yōu)化出來(lái)。

如圖3 是以漢字“卓”字為示例，表示漢字字符的區(qū)域加權(quán)系數(shù)K 示意圖，每個(gè)K 值都是不同的，i，j 取決于卷積核的大小和步長(zhǎng)，例如，圖像大小是64×64，卷積核大小是3×3，步長(zhǎng)是1，那么i，j的值是62（64-3+1）。這樣就可以計(jì)算出區(qū)域加權(quán)系數(shù)K 的個(gè)數(shù)。如“卓”字，字符的四個(gè)對(duì)角的特征很少甚至沒(méi)有，則四個(gè)對(duì)角部分的K 值較小甚至為零，字符圖像的中間區(qū)域的K 值較大，于是網(wǎng)絡(luò)重點(diǎn)關(guān)注中間區(qū)域的字符特征，根據(jù)K 值的不同，網(wǎng)絡(luò)對(duì)字符圖像的不同區(qū)域關(guān)注度也會(huì)不同。

圖2 部分漢字結(jié)構(gòu)特點(diǎn)

圖3 區(qū)域加權(quán)K值示意圖

如圖4 所示，輸入為一張字符圖像，當(dāng)卷積時(shí)，給字符的不同區(qū)域賦予了不同的權(quán)值系數(shù)K，權(quán)值系數(shù)越大則這一區(qū)域的特征得到了更多的關(guān)注，權(quán)值系數(shù)越小則說(shuō)明這一區(qū)域的特征較少，甚至這一區(qū)域沒(méi)有特征，則這一區(qū)域可以較少的甚至不去提取特征。將權(quán)值系數(shù)K 作為網(wǎng)絡(luò)的訓(xùn)練參數(shù)，通過(guò)網(wǎng)絡(luò)不斷的參數(shù)優(yōu)化，得到識(shí)別率最大的網(wǎng)絡(luò)結(jié)構(gòu)模型。

圖4 區(qū)域加權(quán)操作示意圖

在區(qū)域加權(quán)公式中，Input 表示輸入的字符圖像，K 表示權(quán)值系數(shù)，W 表示卷積核中的元素，m，n表示卷積核的大小，b 表示偏置，f（。）表示ReLU 激活函數(shù)，Output表示輸出的特征圖。區(qū)域加權(quán)卷積操作計(jì)算公式如式（5）表示：

ReLU 激活函數(shù)是分段線(xiàn)性函數(shù)，將所有的負(fù)值均變?yōu)?，而正值保持不變，被稱(chēng)為單側(cè)抑制。通過(guò)ReLU實(shí)現(xiàn)稀疏后的模型能夠更好地挖掘相關(guān)特征，擬合訓(xùn)練數(shù)據(jù)。ReLU 激活函數(shù)的式（6）如下：

相比于其他的激活函數(shù)，ReLU 激活函數(shù)的收斂速度更快，在反向傳播過(guò)程中也減輕了梯度彌散問(wèn)題，神經(jīng)網(wǎng)絡(luò)前幾層的參數(shù)也可以很快的更新。

3.2 基于區(qū)域加權(quán)LeNet-5網(wǎng)絡(luò)的漢字識(shí)別模型

基于區(qū)域加權(quán)的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 基于區(qū)域加權(quán)的LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)圖

基于區(qū)域加權(quán)LeNet-5 網(wǎng)絡(luò)包含五個(gè)卷積層、三個(gè)池化層和兩個(gè)全連接層。輸入層是尺寸為64×64 的字符圖像。C1 層是卷積層，卷積核大小為3×3，卷積核數(shù)目為64，經(jīng)過(guò)C1 卷積層可以得到64個(gè)尺寸為62×62 的特征圖；S2層是最大池化層，池化尺寸為2×2，步長(zhǎng)為2；C3 層是卷積層，卷積核大小為3×3，卷積核數(shù)目為128；S4 層是最大池化層，池化尺寸為2×2，步長(zhǎng)為2；C5 層是卷積層，卷積核大小為3×3，卷積核數(shù)目為256；S6 層是最大池化層，池化尺寸為2×2，步長(zhǎng)為2；C7 層是卷積層，卷積核大小為3×3，卷積核數(shù)目為512；C8層是卷積層，卷積核大小為3×3，卷積核數(shù)目為512；F9 是全連接層，輸出的數(shù)據(jù)與8192 個(gè)節(jié)點(diǎn)進(jìn)行全連接；F10 全連接層的神經(jīng)元是3755 個(gè)，相當(dāng)于一級(jí)字符3755 個(gè)字符類(lèi)別，組成特征向量輸入到Softmax層。Softmax的函數(shù)如式（7）表示。

假設(shè)包含m 個(gè)訓(xùn)練樣本的訓(xùn)練集為｛（x(1)，y(1)），…，（x(m)，y(m)）｝，其中，訓(xùn)練樣本x(i)∈Rn+1，為n 維，訓(xùn)練類(lèi)別為K 類(lèi)，即y(i)∈{1，2，…，k}。Softmax 用來(lái)估計(jì)訓(xùn)練樣本x(i)的每一種分類(lèi)結(jié)果出現(xiàn)的概率。因此，假設(shè)函數(shù)將要輸出一個(gè)K 維的向量用來(lái)表示K 個(gè)估計(jì)的概率值，其中向量元素的和為1。假設(shè)回歸函數(shù)hθ(x)形式如式（7）所示。

其中：p( y(i)=j|x(i);θ )表示樣本x(i)屬于第j 個(gè)的概率；Rn+1表示模型的參數(shù)。

基于區(qū)域加權(quán)LeNet-5 網(wǎng)絡(luò)的參數(shù)如表1 所示。

表1 基于區(qū)域加權(quán)LeNet-5網(wǎng)絡(luò)模型參數(shù)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)設(shè)置

漢字字符的數(shù)據(jù)集和手寫(xiě)字符的數(shù)據(jù)集不同，手寫(xiě)數(shù)據(jù)集有研究人員或?qū)嶒?yàn)室提供，網(wǎng)絡(luò)搜索下載需要的手寫(xiě)數(shù)據(jù)集即可，印刷體的數(shù)據(jù)集是通過(guò)代碼生成的。PIL（Python Image Libary）是Python平臺(tái)處理圖片的事實(shí)標(biāo)準(zhǔn)，它有漢字生成函數(shù)，用這個(gè)函數(shù)結(jié)合提供的字體文件，即可生成我們需要的漢字?jǐn)?shù)據(jù)集。

本文對(duì)3755 類(lèi)一級(jí)字符進(jìn)行數(shù)據(jù)集的生成，在生成的數(shù)據(jù)集文件夾下有兩個(gè)文件夾，分別是訓(xùn)練和測(cè)試文件夾，訓(xùn)練和測(cè)試文件夾下分別有3755 個(gè)字符文件夾，每個(gè)字符文件夾下又生成793個(gè)字符圖像，每個(gè)字符文件夾的命名是根據(jù)自身對(duì)應(yīng)的ID 決定的。其中80%用于訓(xùn)練，20%用于測(cè)試。這樣龐大的數(shù)據(jù)集對(duì)于漢字識(shí)別的精度是一個(gè)較好的前提條件。如圖6 所示是生成的大字符集的漢字圖像。

圖6 字符集

在對(duì)漢字?jǐn)?shù)據(jù)集的生成過(guò)程中，對(duì)字符集也做了相應(yīng)的增強(qiáng)處理，以擴(kuò)大數(shù)據(jù)集的規(guī)模，提高模型的魯棒性。圖像增強(qiáng)工作包括對(duì)字符圖像進(jìn)行傾斜處理、加燥處理、細(xì)化處理等，如圖7（a）、（b）、（c）、（d）是對(duì)數(shù)據(jù)集進(jìn)行了傾斜、加噪、變粗和細(xì)化等操作。

圖7 數(shù)據(jù)集增強(qiáng)

本文使用TensorFlow庫(kù)來(lái)實(shí)現(xiàn)LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型。使用的GPU 為NVIDIA GeForce GTX 1050 Ti 圖像處理器。在模型訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)模型不斷更新，按照本文的方法進(jìn)行訓(xùn)練，結(jié)束后保存訓(xùn)練模型。如圖8、9 所示，是本文網(wǎng)絡(luò)的訓(xùn)練結(jié)果圖，在訓(xùn)練過(guò)程中，隨著訓(xùn)練的次數(shù)增加，字符的錯(cuò)誤率越來(lái)越低，字符的準(zhǔn)確度越來(lái)越高。

圖8 網(wǎng)絡(luò)訓(xùn)練LOSS走勢(shì)圖

4.2 實(shí)驗(yàn)結(jié)果

本文將常見(jiàn)的幾種字符識(shí)別方法與本文方法進(jìn)行了比較，這三種方法都是在3755 類(lèi)字符數(shù)據(jù)集中進(jìn)行的識(shí)別分類(lèi)效果，從表中可以看出，本文的方法在相同的條件下識(shí)別率高于其他方法。

圖9 網(wǎng)絡(luò)訓(xùn)練精確度走勢(shì)圖

表2 神經(jīng)網(wǎng)絡(luò)改進(jìn)前后字符識(shí)別率比較

5 結(jié)語(yǔ)

本文使用的基于區(qū)域加權(quán)LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)對(duì)3755 類(lèi)一級(jí)字符大數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。研究結(jié)果表明，區(qū)域加權(quán)的引入可以突出漢字的結(jié)構(gòu)特點(diǎn)，與其他卷積神經(jīng)網(wǎng)絡(luò)方法和傳統(tǒng)方法相比，基于區(qū)域加權(quán)LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別率均優(yōu)于其他方法。