基于改進的卷積神經網絡的圖像分類性能

常 祥， 楊 明

(中北大學 a.信息探測與處理山西省重點實驗室; b.理學院， 太原 030051)

基于改進的卷積神經網絡的圖像分類性能

常 祥a， 楊 明b

(中北大學 a.信息探測與處理山西省重點實驗室; b.理學院， 太原 030051)

將改進的卷積神經網絡應用到圖片目標識別中。為了提高分類預測準確度，對傳統卷積神經網絡結構進行了改進，其具體結構為：卷積層C1—池化層S1—卷積層C2—池化層S2—卷積層C3—池化層S3—全連接層FC—輸出，主要增加了卷積層和池化層層數，且在卷積濾波器規格選擇上統一選擇了5×5。最后用這一網絡結構模型和其他模型(ReNet、APAC、PACNet)對CIFAR-10數據庫進行試驗對比，通過最終的預測準確度可以看出：改進后的卷積神經網絡的精度達90.37%，高于其他3種模型。

卷積神經網絡; 圖像分類技術;卷積層;池化層

layer

隨著互聯網平臺的迅速發展，人們在日常生活中通過各種搜索引擎獲取自己感興趣的圖片已經變得越來越簡單化。同時，人們也可以將各式各樣的圖片上傳到互聯網平臺，與他人進行分享。在搜索圖片時主要通過輸入關鍵信息，計算機再在云端數據庫中根據特定算法尋找符合條件的圖像，實質上就是根據算法對圖片中的物體或人物進行查詢與分類。由于網絡數據庫中信息基數較大，因此迫切需要具有較高準確度的算法和模型，改善對目標圖形的分類預測。

目前，對于圖像分類領域相關研究，大多都集中在遙感圖像和醫學圖像等領域，而對于自然圖像分類問題的研究較少。一般的圖像分類方法包括KNN算法[3]、多層神經神經網絡算法(BP神經網絡)[4]、支持向量機學習圖像分類[5]，還有先通過提取圖像的SIFT特征然后再用支持向量機分類[1]的綜合方法。這些分類方法都能達到很可觀的分類效果，但存在共同的缺點：由于模型結構的原因，對大數據庫的分類效果不佳，容易出現分類準確度低、訓練與測試樣本較少、易產生過擬合等缺點，系統對于實物部分遮擋識別效果的魯棒性低，很難實現多分類的要求。

本文通過提出一種改進后的卷積神經網絡。基于該神經網絡的圖像分類具有很強的抗干擾能力，在視角變化、目標大小變化、形變、光照改變的情況下依舊可以保持很好的分類效果。本文實驗部分主要是研究卷積神經網絡在大數據庫CIFAR-10下的分類預測效果，并與其他方法進行對比。

1 卷積神經網絡特點

卷積神經網絡(CNN)是一個多層感知器，能在各種實驗中獲得較好效果的原因主要在于它采用了局部連接和權值共享兩種連接方式。局部連接是指每一層網絡的神經元只與其上一層的一個方形鄰域內的神經單元連接，通過卷積塊賦予每個神經元權重，從而提取出目標圖像的特征。共享權值表示同一個特征圖所對應的神經元共用相同的權值，可減少所需要訓練參數的數量。

2 卷積神經網絡結構及改進

卷積神經網絡根據是否有目標類別輸出來區分，是一種典型的多層監督學習神經網絡,主要結構包括卷積層(convolution layer)、池化層(也稱亞采樣層，pooling layer)、全鏈接層(full connection layer)。

2.1 卷積層

卷積層主要是通過卷積塊(filter)對目標圖形做卷積處理，完成特征提取的任務。每個特征平面都代表上一層圖像經過特定卷積塊處理后在某一方面表現突出的特征，如方向線段、端點、角點等。卷積層結構如圖1所示。

圖1 卷積層結構示意圖

原始圖像大小為w×h，將其定義為Xlarge。通過從原始圖像中抽取圖像樣本Xsmall與卷積核建立關系:

(1)

該函數是一個ReLU函數。由此得到了k個特征,其中W1和b1是可視層單元和隱含單元之間的權重和偏差值。對于每一個圖像樣本Xsmall，計算出對應的值：

(2)

其中：a為卷積核的長；b為卷積核的寬。即得到k×(w-a+1)×(h-b+1)個卷積后的特征的矩陣。

在卷積層激活函數的選取上，本文選擇ReLU函數作為卷積層激活函數，其計算公式為：

(3)

其中：xijd是經過卷積處理后的第i行、j列、d層的輸出值；yijd為經過ReLU函數處理后的輸出值，即下一層池化層的輸入值。

該函數可以在很大程度上減少計算量，相比sigmoid有很大的優勢。在sigmoid 函數計算過程中易出現梯度消失的情況，會造成數據丟失，ReLU 函數可以避免這一現象的出現[12]。同時，ReLU函數會調整部分神經元的輸出為0，減少了參數的關聯性，一定程度上緩解了過擬合問題的發生。

2.2 池化層

在卷積神經網絡中，池化層通常在卷積層后，通過池化來降低卷積層輸出的特征向量維數。為了描述大的圖像，可以對圖像特征做聚合處理，從而提取出局部主要特征，加快訓練速度。池化層的主要作用是通過卷積獲得特征之后，對所得到的特征做聚合統計，在保證準確率的同時，減去了冗余重復特征。一般采用的池化方法有兩種：平均池化(mean pooling)和最大池化(max pooling)。

最大池化是選取圖像目標局部區域的最大值作為該區域池化后的值,兩者都伴隨著原始圖像維度的降低，計算公式如下：

(4)

其中：xijc為鄰域Ωi′j′內的i行、j列的函數值；Ωi′j′表示以xi′j′為中心的大小為某一定值的鄰域。

圖2為2×2的池化窗口對原始圖像的最大池化過程，左側為原始圖像的像素表示，右側為最大池化后的效果。

圖2 池化層結構示意圖

2.3 卷積神經網絡結構及改進

在處理大數據集方面，傳統卷積神經網絡由于卷積層和池化層數較少，獲得的特征圖數量相對不足，分類效果不佳。針對傳統卷積神經的缺點，本文的改進主要有兩點：

1) 分別增加卷積層和池化層層數至3層，提高各層提取出目標圖像的特征的能力，改善了分類效果。

2) 對于卷積層卷積窗口(pooling size)的規格，均選取5×5。一方面減少實驗參數，提高訓練效率；另一方面，對卷積窗口掃描的步長(stride)選擇為2，充分保留了圖像的原始特征，保證了分類精確度。

3 實驗及結果分析

3.1 實驗設置

實驗的操作環境為Anaconda3 (32-bit)-Ipython，windows 7操作系統，主頻 2.53 GHz,內存2 GB。實驗數據集為 CIFAR-10 dataset(數據來源：https://www.cs.toronto.edu/kriz/cifar.html)，其中包含 60 000幅32×32像素的照片，可分為有10類，每一類6 000幅，其中5 000幅為訓練數據，1 000 幅為實驗數據。部分圖形如圖3所示，其中左列表示分類標簽，每一行表示該類中的部分訓練樣本。

根據classification datasets results統計的各種算法對各類數據庫(MNIST,CIFAR-10,CIFAR-100,STL-10,SVHN)的分類準確率，目前對CIFAR-10分類效果最好的是Benjamin Graham 提出的Fractional Max-Pooling[11],精確度達到96.53%。其主要思想是在池化層中賦予池化窗一個整數α值。隨著對隱含層的池化處理，α值逐漸變小。這也是本文待優化的一個方向，即引入參數來提高池化效率，從而提高整體的分類效果。

本研究所用的卷積神經網絡一共有7層，其中有3個卷積層、3個池化層、1個全連接層。

在濾波器大小的選擇上，各卷積層都使用了規格為5×5的卷積塊，池化層則使用了規格為2×2的池化窗，如表1所示。同時表1也給出了各個網絡層的參數數目及其具體計算過程。

3.2 實驗結果分析

圖4為該結構卷積神經網絡對其中1幅圖片的識別過程。通過各層神經網絡處理后圖像發生變化，像素逐步由高到低。在前期特征提取中，飛機的整體輪廓特征保留得較為完整，在后期圖像識別過程中，突出提取出了飛機的局部特征，如機頭，尾翼等。

圖3 CIFAR-10部分圖像

圖4 一幅圖片的識別過程

訓練層C1S1C2S2C3S3FC濾波器5×5×32×25×5×162×25×5×202×2/參數數目1216/8020/10020/3210參數備注16×5×5×3+1620×5×5×16+2020×5×5×20+2010×320+10

由表2可以看出:卷積神經網絡的分類精度明顯高于其他3種預測方法。APAC(Augmented PAttern Classification)[14]是基于最優決策規則的增強數據學習方法，其在分類問題中具有優于其他傳統方法的歸一化性能。PCANet[15]是一種應用主成分分析的多級濾波器組合，具有很高的學習效率。這一方法被應用于Extended Yale B,AR,MNIST 數據集，都具有很高的分辨率。

表2 各層濾波器大小及參數數目

4 結束語

本文對卷積神經網絡進行了改進，并將其應用到了對數據庫CIFAR-10的實驗中。為了提高對大數量圖像數據進行分析處理的能力，對傳統的卷積神經網絡進行結構上的改進。研究結果顯示：改進后的卷積神經網絡模型能提取出圖像中目標的明顯特征，可精確地對目標數據集進行分類，準確度達到了90.37%。

在今后的研究中，可以考慮對前期圖像的預處理進行優化，提高后期特征提取效率，進一步提高分類準確度。

[1] 于麗莉,戴青.一種改進的SIFT特征匹配算法[J].計算機工程,2011(2):210-212.

YULili,DAIQing.AnimprovedSIFTfeaturematchingalgorithm[J].ComputerEngineering,2011(2):210-212.

[2] 王彥情,馬雷,田原.光學遙感圖像艦船目標檢測與識別綜述[J].自動化學報,2011(9):1029-1039.

WANGYanqing,MALei,TIANYuan.StateoftheartofShipDetectionandRecognitioninOpticalRemotelySensedImagery[J].Actaautomaticsinica,2011(9):1029-1039.

[3] 李艷靈,沈軼.基于KNN的均值漂移圖像分割算法[J].華中科技大學學報(自然科學版),2009(10):68-71.

LIYanling,SHENYi.KNN-basedmeanshiftalgorithmforimagesegmentation[J].JHuazhongUniversityofSci&Tech(NaturalScienceEdition),2009(10):68-71.

[4] 卜富清.基于人工神經網絡的圖像識別和分類[D].成都:成都理工大學,2010.

BUFuqing.ImageRecognitionandClassificationBasedonArtificialNeuralNetworks[D].Chengdu:ChengduUniversityofTechnology,2010.

[5] 肖靚.基于支持向量機的圖像分類研究[D].上海：同濟大學,2006.XIAOLiang.SupportVectorMachine-BasedImageClassificationResearch[D].Shanghai:TongjiUniversity,2006.

[6] 趙志宏,楊紹普,馬增強.基于卷積神經網絡LeNet-5的車牌字符識別研究[J].系統仿真學報,2010(3):638-641.

ZHAOZhihong,YANGShaopu,MAZengqiang.LicensePlateCharacterRecognitionBasedonConvolutionalNeuralNetworkLeNet-5[J].JournalofSystemSimulation,2010(3):638-641.

[7] 徐姍姍,劉應安,徐昇.基于卷積神經網絡的木材缺陷識別[J].山東大學學報(工學版),2013(2):23-28.

XUShanshan,LiuYing’an,XUSheng.Wooddefectsrecognitionbasedontheconvolutionalneuralnetwork[J].JournalofShandongUniverstiy(EngineeringScience),2013(2):23-28.

[8] 肖柏旭,張麗靜.基于分流抑制機制的卷積神經網絡人臉檢測法[J].計算機應用,2006(S1):46-48.

XIAOBaixu,ZHANGLijing.Afacedetectionmethodbasedonneuralnetworkbasedonthemechanismofshuntinginhibiton[J].ComputerApplications,2006(S1):46-48.

[9]RASEKHIJ,MOLLAEIMRK,BANDARABADIM,etal.Epilepticseizurepredictionbasedonratioanddifferentiallinearunivariatefeatures[J].Journalofmedicalsignalsandsensors,2015,5(1):1.

[10]賈世杰,楊東坡,劉金環.基于卷積神經網絡的商品圖像精細分類[J].山東科技大學學報(自然科學版),2014(6):91-96.

JIAShijie,YANGDongpo,LIUJinhuan.ProductImageFine-grainedClassificationBasedonConvolutionalNeuralNetwork[J].JournalofShandongUniversityofScienceandTechnology(NaturalScience),2014(6):91-96.

[11]GRAHAMB.Fractionalmax-pooling[J].arXivpreprintarXiv,2014(12):6071.

[12]IOFFES,SZEGEDYC.Batchnormalization:Acceleratingdeepnetworktrainingbyreducinginternalcovariateshift[J].arXivpreprintarXiv,2015(2):031675.

[13]HEK,ZHANGX,RENS,etal.Identitymappingsindeepresidualnetworks[J].arXivpreprintarXiv.2016(3):05027.

[14]SATOI,NISHIMURAH,YOKOK.APAC:AugmentedPAtternClassificationwithNeuralNetworks[J].arXivpreprintarXiv,2015(5):03229.

[15]CHANTH,JIAK.PCANet:ASimpleDeepLearningBaselineforImageClassification[J].arXivpreprintarXiv,2014(4):3606.

(責任編輯 楊黎麗)

Research on Image Classification Performance Based on Improved Convolution Neural Network

CHANG Xianga, YANG Mingb

(a.National Key Lab for Electronic Measurement and Technology; b.College of Science, North University of China, Taiyuan 030051, China)

An improved convolution neural network is applied to image object recognition. In order to improve the accuracy of classification prediction, this paper improves the structure of the basic convolution neural network. The concrete structure is as follows: Convolution layer C1—Pool layer S1—Convolution layer C2—Pool layer S2—Convolution layer C3—pool Layer S3—full-connect layer FC—output, ant it mainly increased the number of convolution layers, and unified selection of 5×5 in the convolution filter specification. Finally, this model is compared with other models (ReNet, APAC, PACNet) for CIFAR-10 database. Through the final prediction accuracy, it can be seen that the improved convolutional nerve has a better precision of 90.37% than the other three models.

convolution neural network; image classification technique; convolution layer; pooling

2016-12-15 基金項目：國家自然科學基金資助項目(61171179)

常祥(1991—),男,山西臨汾人,碩士研究生,主要從事圖像處理研究，E-mail:437345404@qq.com；楊明(1970—),男,四川閬中人,碩士,副教授，主要從事數據挖掘研究，E-mail:843628650@qq.com。

常祥， 楊明.基于改進的卷積神經網絡的圖像分類性能[J].重慶理工大學學報(自然科學)，2017(3):110-115.

format：CHANG Xiang, YANG Ming.Research on Image Classification Performance Based on Improved Convolution Neural Network[J].Journal of Chongqing University of Technology(Natural Science)，2017(3):110-115.

10.3969/j.issn.1674-8425(z).2017.03.016

TP391；O175.1

A

1674-8425(2017)03-0110-06