基于Keras和卷積神經(jīng)網(wǎng)絡(luò)CNN的手寫數(shù)字識(shí)別研究

趙亞騰 孫鈺

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；MNIST；手寫體數(shù)字識(shí)別；Keras

1引言

數(shù)字識(shí)別巳經(jīng)應(yīng)用到了生活中的各個(gè)領(lǐng)域[1]，如停車場停車按車牌號(hào)計(jì)費(fèi)、交通電子眼抓拍違章、大規(guī)模數(shù)據(jù)統(tǒng)計(jì)、文件電子化存儲(chǔ)等。作為一種全球通用的數(shù)字符號(hào)，阿拉伯?dāng)?shù)字跨越了國家、文化以及民族的界限[2]，在我們的身邊應(yīng)用非常廣泛。數(shù)字的類別數(shù)目適當(dāng)，僅有10類，方便對(duì)研究方法進(jìn)行評(píng)估和測試。研究基于深度學(xué)習(xí)的手寫數(shù)字識(shí)別方法不僅對(duì)理解深度學(xué)習(xí)有很大的幫助和對(duì)實(shí)踐深度學(xué)習(xí)理論有很重要的意義，而且在學(xué)習(xí)實(shí)踐中積累的經(jīng)驗(yàn)和教訓(xùn)可以應(yīng)用到其他文字識(shí)別的領(lǐng)域[3]。正如“一千個(gè)讀者心中有一千個(gè)哈姆雷特”，即使是只有10個(gè)阿拉伯?dāng)?shù)字，但是每個(gè)人寫出來的也是萬般不同，若要通過機(jī)器精準(zhǔn)識(shí)別不同人的寫法依舊困難重重，所以可知手寫數(shù)字識(shí)別的研究在現(xiàn)代科技的應(yīng)用中具有很廣闊的前景和較大的探索價(jià)值[4]。

2卷積神經(jīng)網(wǎng)絡(luò)的模型

2.1卷積神經(jīng)網(wǎng)絡(luò)概述

簡單來說，卷積神經(jīng)網(wǎng)絡(luò)（CNN）[5]是由一個(gè)多層神經(jīng)網(wǎng)絡(luò)組成的系統(tǒng)，其中每一層神經(jīng)網(wǎng)絡(luò)由多個(gè)二維平面組合而成，每個(gè)二維平面上又包含數(shù)個(gè)獨(dú)立神經(jīng)元。如圖1所示。

一般來說，CNN由兩層基礎(chǔ)結(jié)構(gòu)組合而成。其中，一層是卷積層（特征提取層）[6]。卷積層的工作原理是將其空間上的神經(jīng)元與上一層的感受一一對(duì)應(yīng)緊密相連，在運(yùn)行過程中提取圖像的局部特征。在提取局部特征的后，通過比對(duì)與關(guān)聯(lián)即可與其他局部特征的位置關(guān)系關(guān)聯(lián)起來；另外一層基礎(chǔ)結(jié)構(gòu)叫下采樣層（功能映射層）。采樣層的目的是實(shí)現(xiàn)樣本的采樣和計(jì)算，在計(jì)算的過程中依賴每個(gè)采樣點(diǎn)上的多個(gè)要素圖，要素圖分布在計(jì)算層的平面，而神經(jīng)元是等權(quán)重分布在要素圖上的。

2.2卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，神經(jīng)網(wǎng)絡(luò)卷積中大部分的計(jì)算內(nèi)容都由卷積層完成。卷積核其實(shí)就是通過各種濾波器集合而形成的，在卷積層上，卷積核只是占位空間很小的一部分，在深度計(jì)算過程中，通過計(jì)算分析輸入數(shù)據(jù)來得到卷積結(jié)果。卷積核的體積大小設(shè)置通過輸入?yún)?shù)，可以動(dòng)態(tài)靈活性選擇。卷積核的核心內(nèi)容是全連接神經(jīng)網(wǎng)絡(luò)找出要更新的權(quán)值w，即訓(xùn)練神經(jīng)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)的核心內(nèi)容就是卷積核。訓(xùn)練的目的和過程就是最終找到反映訓(xùn)練數(shù)據(jù)整體特征的濾波器。如圖2所示，左邊作為卷積層的輸入項(xiàng)圖片（image），經(jīng)過中間卷積核（filter）的處理，最終產(chǎn)生右邊卷積后的特征圖譜（featuremap）。

2.3子采樣層

子采樣層又被稱為池化層，部分文獻(xiàn)也將其稱作采樣層。加入自采樣層的目的是控制輸入數(shù)據(jù)量的大小，減小樣本規(guī)模，減少網(wǎng)絡(luò)中參數(shù)的數(shù)量，最終實(shí)現(xiàn)的效果是可以節(jié)省計(jì)算資源、加快訓(xùn)練速率、節(jié)省時(shí)間。采樣層的另一大優(yōu)勢是可以實(shí)現(xiàn)對(duì)擬合出現(xiàn)的有效控制。實(shí)驗(yàn)中使用最頻繁的采樣方式一般有兩種，即MaxPooling和MeanPooling。MaxPooling的保留方式是最終保留N*N數(shù)據(jù)樣本中的最大值，經(jīng)過實(shí)驗(yàn)驗(yàn)證，得出使用MaxPooling方式的效果更精準(zhǔn)的結(jié)論。2*2樣本的采樣過程和結(jié)果如圖3所示。

2.4全連接層

全連接層在卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中處于最后一層，即輸出層，它的目的和作用是解析輸出數(shù)據(jù)。此外，還需要對(duì)數(shù)據(jù)序列中的元素進(jìn)行分析提取，以達(dá)到元素和神經(jīng)元分別對(duì)應(yīng)的目的。經(jīng)過層層對(duì)應(yīng)，上下層的神經(jīng)元也響應(yīng)連接起來。全連接層則是將最終卷出來的訓(xùn)練模型進(jìn)行轉(zhuǎn)化，從而標(biāo)記空間。所以，在實(shí)際的操作過程中，全連接層也是可以由卷積層實(shí)現(xiàn)的。

3應(yīng)用CNN進(jìn)行數(shù)字手寫體識(shí)別流程

圖4所示為利用CNN系統(tǒng)對(duì)手寫體進(jìn)行計(jì)算機(jī)識(shí)別的步驟過程。首先選取訓(xùn)練集，然后將初始化完成后的參數(shù)注入訓(xùn)練集，可以進(jìn)行迭代形式的訓(xùn)練深度學(xué)習(xí)，經(jīng)過反復(fù)的訓(xùn)練和學(xué)習(xí)后，當(dāng)?shù)螖?shù)達(dá)到最大且輸入輸出數(shù)據(jù)在合理范圍內(nèi)，最后可以生成一個(gè)完整的CNN模型。選用測試集后將測試數(shù)據(jù)套人模型進(jìn)行識(shí)別測試，經(jīng)過大量的測試集數(shù)據(jù)的輸入及輸出后，最終得到一個(gè)比較公正可信的文字識(shí)別率。

4實(shí)驗(yàn)設(shè)置與實(shí)驗(yàn)結(jié)果

4.1實(shí)驗(yàn)環(huán)境

使用的計(jì)算機(jī)硬件配置為Intel（R） Core（TM） i5CPU，其主頻為2.67 GHz，內(nèi)存為8 GB，操作系統(tǒng)為微軟出品且一直在維護(hù)中的穩(wěn)定版Windows 10系統(tǒng)。語言框架為keras，運(yùn)行軟件為Pycharm。

4.2MINIST數(shù)據(jù)集

本文采用MINIST數(shù)據(jù)集為樣本庫，該數(shù)據(jù)集庫是一個(gè)專門為計(jì)算機(jī)數(shù)據(jù)集采集而成的數(shù)據(jù)集合，其中收集了超過70 000張手寫數(shù)字圖片，范圍包含阿拉伯?dāng)?shù)字0～9，每張圖片由28*28的像素點(diǎn)組成。

5實(shí)驗(yàn)結(jié)果與分析

本文使用的訓(xùn)練集是經(jīng)LeCun手寫后利用MINST構(gòu)建出來的訓(xùn)練數(shù)據(jù)庫。訓(xùn)練集數(shù)據(jù)1是根據(jù)MNIST數(shù)據(jù)庫的格式從該數(shù)據(jù)庫中分離出的部分?jǐn)?shù)據(jù)，與測試集沒有重疊部分。測試數(shù)據(jù)集2是由手寫轉(zhuǎn)化而成的圖片，從0～9共100個(gè)數(shù)字，訓(xùn)練過程中CNN每次耗費(fèi)75s進(jìn)行一次迭代執(zhí)行。模型訓(xùn)練結(jié)束后，經(jīng)過對(duì)識(shí)別精確度的評(píng)測確認(rèn)，不斷修改參數(shù)，以提高識(shí)別準(zhǔn)確率，最終達(dá)到精確度99%的效果。

6結(jié)束語

本文利用Python編程語言以及成熟可用的Keras框架，應(yīng)用Keras框架深度學(xué)習(xí)的機(jī)制完成神經(jīng)卷積網(wǎng)絡(luò)的手寫數(shù)字識(shí)別系統(tǒng)的研究和試驗(yàn)。實(shí)驗(yàn)最終實(shí)現(xiàn)了識(shí)別精準(zhǔn)度99%的效果，但還是有一些不足。首先，實(shí)驗(yàn)的輸入訓(xùn)練集神經(jīng)卷積網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)和訓(xùn)練，使用大量數(shù)據(jù)來模擬手寫輸入而實(shí)現(xiàn)機(jī)器一對(duì)一的識(shí)別。由于條件有限且硬件計(jì)算能力不足，導(dǎo)致本次卷積網(wǎng)絡(luò)的計(jì)算層數(shù)比較少。其次，測試集由于使用的是MINST數(shù)據(jù)集，并沒有較多真實(shí)手寫的數(shù)據(jù)供測試，所以測試數(shù)據(jù)離真實(shí)手寫還有一定差距。下一步的研究和進(jìn)步方向主要對(duì)神經(jīng)卷積模型進(jìn)行優(yōu)化，使之計(jì)算識(shí)別速率更快、準(zhǔn)確率更高。同時(shí)，尋找更多現(xiàn)實(shí)生活中的圖像作為測試集數(shù)據(jù)，進(jìn)行更多的深度學(xué)習(xí)、模型優(yōu)化，待模型成熟后，應(yīng)用識(shí)別系統(tǒng)進(jìn)行更加全面真實(shí)的識(shí)別測試，從而將研究成果更多地應(yīng)用在工作及生活中。