基于深度學(xué)習(xí)的手寫英文字體識別研究

高燕超

摘 要：針對化學(xué)信息手寫英文字體識別準(zhǔn)確率低，缺少類別信息的問題，本研究基于深度學(xué)習(xí)，在傳統(tǒng)降噪自動編碼器的基礎(chǔ)上，提出一種組合降噪自動編碼和分類降噪編碼的組合自編碼網(wǎng)絡(luò)算法，實現(xiàn)了對化學(xué)信息手寫英文字體的數(shù)據(jù)特征提取和類別特征提取。通過MNIST數(shù)據(jù)集和Chars74K數(shù)據(jù)集測試了該算法與分類降噪自動編碼算法在不同迭代次數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和降噪比例下對數(shù)據(jù)集的識別結(jié)果和識別性能。實驗結(jié)果表明，本研究提出的組合自編碼算法的識別錯誤率整體偏低，準(zhǔn)確包含了化學(xué)信息手寫英文字體的類別信息，證明該算法具有良好的手寫英文字體識別效果。

關(guān)鍵詞：深度學(xué)習(xí);手寫英文字體;自動編碼器;組合自編碼網(wǎng)絡(luò)

中圖分類號：TP391 ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?? ? ? ? ? ? ? ? ? 文章編號：1001-5922（2021）07-0084-04

Research on Handwritten English Font Recognition Baesd on Deep Learning

Gao Yanchao

（Baoji Vocational and Technical College， Baoji 721000， China）

Abstract：In order to solve the problem of low recognition accuracy and lack of category information of handwritten English fonts for chemical information， this study is based on deep learning， and on the basis of traditional noise reduction autoencoders， a combined self-encoding network algorithm combining noise reduction automatic coding and classification noise reduction coding is proposed， ， which realizes the data feature extraction and category feature extraction of chemical information handwritten English font. MNIST data set and Chars74k data set are used to test the recognition results and recognition performance of the algorithm and classification noise reduction automatic coding algorithm under different iteration times， network structure and noise reduction ratio. The experimental results show that the recognition error rate of the combined self coding algorithm is low as a whole， and contains the chemical information of handwritten English fonts accurately， which proves that the algorithm has a good recognition effect of handwritten English fonts.

Key words：deep learning; handwritten English font; automatic encoder; combined self coding network

化學(xué)書稿中的手寫英文字體包含了書寫者個人的書寫方式和書寫習(xí)慣，為字體識別造成了一定程度的識別困難。傳統(tǒng)的圖像識別方法，如Hinton根據(jù)多層神經(jīng)網(wǎng)絡(luò)構(gòu)建的深度置信網(wǎng)絡(luò)[1]，以及具有表征學(xué)習(xí)能力的卷積神經(jīng)網(wǎng)絡(luò)[2]。這些算法雖然在圖像識別過程中具有良好的特征提取能力，但隨著訓(xùn)練維度的增加，其處理的成本和復(fù)雜度更高，同時也無法解決手寫體字符識別正確率低的問題。因此，為解決以上問題，本研究基于自動編碼器，通過改進(jìn)分類降噪自動編碼算法，提出一種組合自編碼網(wǎng)絡(luò)算法，實現(xiàn)了對化學(xué)書稿中手寫英文字體的數(shù)據(jù)特征提取和類別特征提取，提高了對手寫英文字體識別的正確率，降低了處理此類信息的成本和復(fù)雜度。

1 基本算法

1.1 分類降噪自動編碼算法

分類降噪自動編碼器主要包括輸入層、隱藏層、輸出層三層結(jié)構(gòu)[3]，輸入層的節(jié)點數(shù)和輸出層的節(jié)點數(shù)分別由輸入圖像維度和輸出圖像類別數(shù)決定，并與之相同。令輸入數(shù)據(jù)為x，將x的分量隨機(jī)置為0得到? ? ，輸入? ?到分類降噪自動編碼器中，可得到輸出層第k個節(jié)點的輸出值為：

式（1）中，n表示隱藏層節(jié)點數(shù)，vkj表示輸出層節(jié)點k與隱藏層節(jié)點j的連接權(quán)重，aj表示隱藏層節(jié)點j的激活值。

為使分類降噪自動編碼器中的隱藏層重構(gòu)的數(shù)據(jù)與實際類別標(biāo)簽一一對應(yīng)，即輸出層的輸出值與輸入數(shù)據(jù)的類別實際值相近，還需通過訓(xùn)練網(wǎng)絡(luò)參數(shù)來使代價函數(shù)最小。代價函數(shù)J可表示為：

式（2）中，i 表示類別個數(shù)。在訓(xùn)練網(wǎng)絡(luò)參數(shù)過程中，最小化代價函數(shù)的大小通過調(diào)整誤差的負(fù)梯度實現(xiàn)[4]。其中，輸入層節(jié)點i與隱藏層節(jié)點j的參數(shù)梯度更新公式如（3）（4），隱藏層節(jié)點j和輸出層節(jié)點k的參數(shù)梯度更新公式如（5）（6）。

式中，t表示迭代次數(shù)，η表示學(xué)習(xí)步長，zj（t）表示輸入層的組合值，ek（t）表示實際值? ? 與預(yù)測值 yk在t次迭代后的誤差，zk（t）表示t次迭代后的隱藏層輸出組合值。

分類降噪自動編碼算法通過訓(xùn)練可獲得較多的類別特征[5]，但在實際應(yīng)用中，該算法容易忽略原始數(shù)據(jù)的數(shù)據(jù)特征，導(dǎo)致識別準(zhǔn)確率不高，故本研究對該算法進(jìn)行了改進(jìn)，將結(jié)合標(biāo)準(zhǔn)降噪自動編碼與分類降噪自動編碼，形成組合自編碼網(wǎng)絡(luò)算法，以提高算法識別的準(zhǔn)確率。

1.2 算法改進(jìn)

組合自編碼網(wǎng)絡(luò)算法包括降噪自動編碼器、分類降噪自動編碼器、組合特征分類器3個部分[7]。預(yù)訓(xùn)練過程中，降噪自動編碼與分類降噪自動編碼各自獨立完成數(shù)據(jù)特征提取和類別特征提取，并按照特征比例進(jìn)行拼接得到組合特征。然后，組合特征會進(jìn)入分類器進(jìn)行訓(xùn)練，此時，算法會根據(jù)最小化代價函數(shù)對模型參數(shù)進(jìn)行更新。最后，通過一定迭代次數(shù)的訓(xùn)練，得到識別結(jié)果。組合自編碼網(wǎng)絡(luò)算法結(jié)構(gòu)如圖1所示。

組合自編碼網(wǎng)絡(luò)算法流程首先是對輸入化學(xué)信息手寫英文字體進(jìn)行預(yù)訓(xùn)練，然后從樣本集中隨機(jī)選取一個批次樣本進(jìn)行降噪處理，將降噪后得到的數(shù)據(jù)作為組合自編碼網(wǎng)絡(luò)的輸入，并通過向前傳播提取到數(shù)據(jù)特征和類別特征[8]。最后，根據(jù)類別特征比重對特征進(jìn)行重新組合，并計算出代價函數(shù)。若代價函數(shù)小于設(shè)定值或網(wǎng)絡(luò)迭代次數(shù)達(dá)到最大值，則訓(xùn)練結(jié)束;若代價函數(shù)大于閾值，則重復(fù)以上步驟直至訓(xùn)練結(jié)束。組合自編碼算法網(wǎng)絡(luò)算法具體步驟如圖2所示。

2 圖像預(yù)處理

在利用組合自編碼網(wǎng)絡(luò)算法進(jìn)行識別前，還需要對手寫英文字體圖像進(jìn)行預(yù)處理，從而提高圖像處理的正確性。對此，本文采用灰度化、平滑去噪、二值化處理的方式對手寫英文字體圖像進(jìn)行處理。

2.1 灰度化處理

圖像灰度化處理即使原始圖像的RGB分量全部相等[9]。由于手寫英文字體識別只需識別圖像的形態(tài)信息，RGB并不能反映其形態(tài)特征，故采用圖像灰度化可除去對原始圖像中含有的不必要信息，進(jìn)而提高圖像的識別效率。目前，常用的圖像灰度化處理方法由分量法、最大值法等。

2.2 平滑去噪

平滑去噪即利用平滑濾波去除圖像中的噪聲。由于原始圖像采集過程中無法避免噪聲，這些噪聲對圖像特征提取產(chǎn)生影響，故需要進(jìn)行去噪處理。平滑去噪是圖像去噪常用的方法之一，其通過將原始圖像像素至與模板進(jìn)行對應(yīng)，計算出輸出圖像的像素值。

2.3 二值化處理

圖像二值化處理即圖像的像素值只能為0或255[10]。二值化處理的主要方法是在原始圖像中設(shè)置適合圖像的閾值，并通過與閾值比較進(jìn)行二值映射。二值映射函數(shù)可表示為：

式（7）中，g（x，y）表示二值化后像素值，f （x，y）表示原始像素值，T表示閾值。

3 仿真實驗

3.1 數(shù)據(jù)來源

本研究實驗在MATLAB R2014a上進(jìn)行，并通過調(diào)用MATLAB中函數(shù)對化學(xué)書稿中的手寫英文字體圖像進(jìn)行了預(yù)處理。實驗數(shù)據(jù)集選自NIST數(shù)據(jù)集中的MNIST子庫。該數(shù)據(jù)集子庫包括不同書寫風(fēng)格和不同書寫習(xí)慣的手寫體字符，其中有4萬個訓(xùn)練樣本和2萬個測試樣本，共6萬個樣本。樣本包括含訓(xùn)練樣本圖像庫、測試樣本圖像庫、訓(xùn)練樣本標(biāo)簽庫、測試樣本標(biāo)簽庫四個文件。為測試算法在更多類別的手寫英文體字符的識別性能，本研究還在Chars74K手寫英文字符數(shù)據(jù)集上進(jìn)行實驗。該數(shù)據(jù)集含26個類別，對應(yīng)英文26個大寫字母;每個類別含55個字符圖片，部分字母圖片如圖3所示。

為提高算法的訓(xùn)練速度，在利用各算法進(jìn)行測試前，需要將MNIST數(shù)據(jù)集和Chars74k數(shù)據(jù)集的像素大小和文字大小的數(shù)據(jù)值縮小到一定范圍內(nèi)。本研究根據(jù)MNIST數(shù)據(jù)集和Chars74k數(shù)據(jù)集像素值實際大小[0，255]，使用簡單縮放將圖像數(shù)據(jù)像素值縮放到[0，1]，并進(jìn)行仿真實驗。

3.2 仿真結(jié)果

為驗證本文提出的組合自編碼網(wǎng)絡(luò)識別手寫英文字體的有效性，本研究首先比較了該算法與單一特征提取算法分類編碼器在不同迭代次數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和降噪比例下對數(shù)據(jù)集的識別結(jié)果，然后在Chars74K數(shù)據(jù)集測試了該算法在類別復(fù)雜的情況下對手寫英文文字體圖像分類識別性能。

3.2.1 不同迭代次數(shù)下各算法結(jié)果分析

令迭代次數(shù)為100，經(jīng)過編碼器預(yù)訓(xùn)練后，可得到初始化參數(shù)，此時不同迭代次數(shù)中的各算法的識別錯誤率就反映了它們各自的初始化效果和特征提取能力。圖4表示組合自編碼網(wǎng)絡(luò)與分類編碼器算法的識別錯誤率。

由圖4可知，組合自編碼網(wǎng)絡(luò)的在MNIST數(shù)據(jù)集上的識別錯誤率明顯低于分類降噪自動編碼器的識別錯誤率，說明組合組合自編碼網(wǎng)絡(luò)可有效提高手寫英文字體識別的準(zhǔn)確率;組合自編碼網(wǎng)絡(luò)在迭代次數(shù)為20后逐漸趨于穩(wěn)定，而分類降噪自動編碼器在迭代次數(shù)為40后逐漸趨于穩(wěn)定，說明組合自編碼網(wǎng)絡(luò)算法的波動性更小，具有良好的穩(wěn)定性。

3.2.2 不同網(wǎng)絡(luò)結(jié)構(gòu)下各算法結(jié)果分析

測試節(jié)點數(shù)決定了特征提取過程中特征的維數(shù)，影響著算法的識別率，而不同的網(wǎng)絡(luò)結(jié)構(gòu)具有不同數(shù)量的測試節(jié)點。本研究將不同網(wǎng)絡(luò)結(jié)構(gòu)的算法在MINST數(shù)據(jù)集上進(jìn)行實驗，得到如表1所示的識別錯誤率。

由表1可知，不同網(wǎng)絡(luò)結(jié)構(gòu)中，組合自編碼網(wǎng)絡(luò)算法的識別錯誤率在0.012左右，分類降噪自動編碼器的識別錯誤率在0.016左右，可見組合自編碼網(wǎng)絡(luò)算法的識別錯誤率整體上低于分類降噪自動編碼器，說明不同的網(wǎng)絡(luò)結(jié)構(gòu)中，組合自編碼網(wǎng)絡(luò)算法具有更好的適用性。

3.2.3 不同降噪比例下各算法結(jié)果分析

通過改變降噪比例在區(qū)間[0，0.9]內(nèi)變化，得到各算法的識別結(jié)果如圖5所示。

由圖5可知，組合自編碼網(wǎng)絡(luò)算法的識別錯誤率在0.012～0.018之間，分類降噪自動編碼器的識別錯誤率在0.016～0.022之間，可見不同降噪比例下，組合自編碼網(wǎng)絡(luò)算法的性能優(yōu)于分類降噪自動編碼器，且穩(wěn)定性更強(qiáng)。

3.2.4 Chars74K數(shù)據(jù)集測試結(jié)果分析

通過比較組合自編碼網(wǎng)絡(luò)算法和分類降噪自動編碼器最后一個隱藏層不同節(jié)點數(shù)的分類錯誤率，得到各算法在Chars74K數(shù)據(jù)集上的識別錯誤率結(jié)果，如圖6所示。

由圖6可知，Chars74K數(shù)據(jù)集中，組合自編碼網(wǎng)絡(luò)算法在不同網(wǎng)絡(luò)結(jié)構(gòu)下的識別錯誤率均低于分類降噪自動編碼器，說明組合自編碼算法在特征提取過程中可以增加特征的多樣性，從而降低了識別錯誤率，進(jìn)而證明了組合自編碼算法的可行性和有效性。此外，當(dāng)最后一層隱藏層節(jié)點數(shù)為80時，組合自編碼算法和分類降噪自動編碼器均取得了較好的識別效果，說明適當(dāng)增加節(jié)點數(shù)可提高算法識別性能，而過度增加節(jié)點數(shù)會造成過度擬合，進(jìn)而降低算法的識別性能。

4 結(jié)論

手寫英文字體識別化學(xué)書稿，是為更好促進(jìn)化學(xué)信息的交流與應(yīng)用。本研究基于深度學(xué)習(xí)的特征提取算法提出組合自編碼網(wǎng)絡(luò)算法，通過對化學(xué)書稿中手寫英文字體特征的組合，實現(xiàn)對化學(xué)書稿手寫英文字體識別。為檢驗本研究提出的組合自編碼算法的有效性，通過MNIST手寫英文字體數(shù)據(jù)集測試了該算法與分類降噪自動編碼算法在不同迭代次數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)和降噪比例下對數(shù)據(jù)集的識別結(jié)果，并在Chars74K數(shù)據(jù)集測試了該算法在類別復(fù)雜的情況下對手寫英文文字體圖像分類識別性能。實驗結(jié)果表明，本研究提出的組合自編碼算法的識別錯誤率整體偏低，證明該算法具有良好的手寫英文字體識別效果。

參考文獻(xiàn)

[1]董麗麗，楊丹，張翔.基于深度學(xué)習(xí)的大規(guī)模語義文本重疊區(qū)域檢索[J/OL].吉林大學(xué)學(xué)報（工學(xué)版）：1-6[2020-10-04].

[2]吳睿智，朱大勇，王春雨，等.基于圖卷積神經(jīng)網(wǎng)絡(luò)的位置語義推斷[J].電子科技大學(xué)學(xué)報，2020，49（05）：739-744.

[3]徐琴珍，楊綠溪.基于改進(jìn)的混合學(xué)習(xí)模型的手寫阿拉伯?dāng)?shù)字識別方法[J].電子與信息學(xué)報，2010，32（02）：433-438.

[4]李其娜，李廷會.基于深度學(xué)習(xí)的情境感知推薦系統(tǒng)研究進(jìn)展[J].計算機(jī)系統(tǒng)應(yīng)用，2020，29（02）：1-8.

[5]陳廣，韓衛(wèi)占，張文志.基于深度學(xué)習(xí)的加密流量分類與入侵檢測[J].計算機(jī)測量與控制，2020，28（01）：54-60.

[6]張尚田，陳光，邱天.基于融合特征的LSTM評分預(yù)測[J].計算機(jī)與現(xiàn)代化，2020（03）：49-53+59.

[7]李良福，宋睿，馮建云，等.基于深度降噪自編碼器的多特征目標(biāo)融合跟蹤算法[J].光電子·激光，2020，31（02）：175-186.

[8]龐傳軍，余建明，馮長有，等.基于LSTM自動編碼器的電力負(fù)荷聚類建模及特性分析[J/OL].電力系統(tǒng)自動化：1-11[2020-10-03].

[9]徐其華，孫波.基于深度學(xué)習(xí)和證據(jù)理論的表情識別模型[J/OL].計算機(jī)工程與科學(xué)：1-10[2020-10-03].

[10]王生生，張航，潘彥岑.基于改進(jìn)SPNs的深度自動編碼器及短文本情感分析應(yīng)用[J/OL].哈爾濱工程大學(xué)學(xué)報：1-8[2020-10-03].