基于深度學習算法的圖像集識別

張玉冰，于威威

（上海海事大學信息工程學院，上海201306）

基于深度學習算法的圖像集識別

張玉冰，于威威

（上海海事大學信息工程學院，上海201306）

深度學習技術是機器學習技術的新發展。它結合機器學習中神經網絡的特點，通過構建多隱層的網絡結構，實現對人腦網絡的模仿。結合生物仿生學的研究，模擬人腦進行模式識別，包括文字，圖像及聲音等的特征提取及分類。深度學習網絡由于包含多層中間隱層，所以對輸入數據能逐級提取從底層到高層的特征，從而能很好地建立從底層信號到高層語義的映射關系。在圖像識別領域，卷積神經網絡表現優異。但傳統的卷積神經網絡的訓練速度過慢。自動編碼機可以實現圖像的壓縮和解釋。為提高速度，結合卷積神經網絡和自動編碼機提出一種針對圖像新的識別方式。將圖像先經過自動編碼機進行初步特征提取，再結合卷積神經網絡對圖像集進行識別。與已有的識別算法相比較，提高識別速度，保證識別率。

深度學習；卷積神經網絡；圖像識別；自動編碼機；特征提取；圖像預處理

0 引言

深度學習技術是機器學習技術的新發展。它結合機器學習中神經網絡的特點，通過構建多隱層的網絡結構，實現對人腦網絡的模仿。結合生物仿生學的研究，模擬人腦進行模式識別。包括文字，圖像及聲音等的特征提取及分類。深度學習是無監督學習的一種[1]。

深度學習起源于神經網絡，它是神經網絡的深度延伸。神經網絡中也包含深度學習的結構，如含多隱層的多層感知器。深度學習的原理是通過對原識別目標的低層特征進行提取和組合，最終生成目標內含的深層次的特征或屬性。通過這種方式，可以探究數據或圖像中深層次的特征[2]。

深度學習的根本目的就是通過大量的數據樣本來進行學習，借助多隱層的深度網絡結構，來提取到更有用的特征，從而最終實現對目標的分類，并且提高分類成功率。深度學習與傳統的淺層神經網絡的不同，主要包含以下幾個方面：（1）深度學習強調深度這個概念，其網絡的中間隱層一般有3層以上，多的甚至達到10層以上的中間隱層；（2）深度學習強調了對特征的學習，它將目標中的低層特征進行提取，然后經過低層特征的不同組合，形成目標內在不易發現的深層次特征，模擬人腦的學習方式，最終提高分類的準確性。相比于傳統的神經網絡，通過大量數據進行學習，并對其深層的特征進行構造和分類，深度學習網絡更能揭示數據的內在信息[3]。

當前深度學習已經有很多模型和算法，包括最基礎的深度網絡結構自動編碼器（AutoEncoder），以及對自動編碼機進行改動和提升的稀疏自動編碼器（Sparse AutoEncoder），降噪自動編碼器（Denoising Au?toEncoders）等，還包括深信度網絡（Deep Belief Net?work），以及卷積神經網絡（Convolutional Neural Net?works）等。在這其中，卷積神經網絡由于其特殊的構造方式，為模式識別領域（包括文字識別，圖像識別，語音識別等）帶來了福音。它的優點包括在網絡結構當中使用權值共享機制，對于同一個神經元的權值，在不同的區域進行權值共享。通過這種方式可以有效地減少網絡當中權值的數量，簡化網絡結構。另外對于卷積神經網絡來說可以將圖像進行簡單的處理之后直接輸入網絡進行學習，這樣就不需要像傳統的算法那樣有復雜的預處理（包括特征提取或數據重組）。卷積網絡是一個多層感知器[4]，專門為識別二維形狀而特殊設計。這種網絡結構對平移、傾斜、比例縮放或者其他形式的圖像變形具有高度不變性。但傳統的卷積神經網絡對于尺寸稍大的輸入圖像，將會花費相當久的訓練時間。

因此，本文結合自動編碼機對圖像特征的良好表示，提出了基于AE改進的卷積神經網絡方法。通過AE的一步簡單特征提取，大大減少了圖像的維度，顯著縮短了CNN的訓練過程，簡化了網絡結構，提高了識別效率[5]。

1 基于自動編碼機的改進卷積神經網絡

1.1 自動編碼器（AutoEncoderr，AE）

AE屬于無監督學習，不需要對訓練樣本進行標記。AE由三層網絡組成，其中輸入層神經元數量與輸出層神經元數量相等，中間層神經元數量少于輸入層和輸出層。在網絡訓練期間，每個訓練樣本在經過網絡后，會在輸出層產生一個新的信號。AE學習的目的就是使輸出信號與輸入信號盡量相似。

AE訓練結束之后，共包括兩部分，輸入層和中間層，我們可以用這兩層來對信號進行壓縮；其次是中間層和輸出層，我們可以用這兩層將壓縮的信號進行還原。

自動編碼機原理如下：假設我們輸入一個n維的信號x(x∈[0,1])，經由輸入層到達中間層，信號變為y，可以用如下公式（1）表示：

以上式子中的s是非線性函數，如sigmoid.W是輸入層到中間層的權值，b為中間層的偏置（bias），壓縮后的信號y可通過解碼層進行解碼，之后輸出到與輸入相同數量的n個神經元所構成的輸出層。假設重構之后的信號為z，則公式（2）如下：

同上，s為非線性函數，例如sigmoid函數。W'代表中間層到輸出層的鏈接權值。b'代表中間層的偏置（bias）。公式結果z被認為是通過網絡解析后對x的一個預測。一般認為，權重矩陣W'被設定為W的轉置：W'=WT.自動編碼機結構如圖1所示。

圖1 自動編碼機網絡結構

1.2 卷積神經網絡（CNN）

卷積神經網絡（CNN）是深度學習中的一種，類似于人工神經網絡。其已成為當前語音分析和圖像識別領域的研究熱點。它在網絡結構當中使用權值共享機制，對于同一個神經元的權值，在不同的區域進行權值共享。減少了權值的數量。且它可以將圖像進行簡單的處理之后直接輸入網絡進行學習，這樣就不需要像傳統的算法那樣有復雜的預處理（包括特征提取或數據重組）[6]。CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。再者由于同一特征映射面上的神經元權值相同，所以網絡可以并行學習，這也是卷積網絡相對于神經元彼此相連網絡的一大優勢。

卷積神經網絡的組成為第一層的輸入層，可直接將圖像作為輸入，也可以是提取后的特征。之后的層為卷積層和池化層[7]交替出現，來對輸入進行特征的提取，最后是一到兩層全連接層，將特征連接為長向量輸入到分類器中進行分類，如Softmax[8]。卷積神經網絡結構如圖2所示。

1.3 基于自動編碼機的改進卷積神經網絡

由于自動編碼機可以很好地壓縮圖像的特征，所以我們可作如下改進。以手寫數字數據集mnist為例，初始圖像大小為28×28。步驟為：

（1）構建一個28-18-28的自動編碼機。

（2）將圖像輸入自動編碼機進行訓練，學習權值W。

（3）將訓練好的自動編碼機的中間層連接到卷積神經網絡的輸入層。

（4）對卷積神經網絡進行訓練，由于維度變低，所以訓練時間大大縮短。

（5）訓練完成，即可進行圖像分類識別。

圖2 卷積神經網絡結構

改進算法結構如圖3所示。

圖3 基于自動編碼機的改進CNN算法[9]

2 實驗結果與分析

2.1 數據預處理

本節主要介紹算法數據預處理過程，為產生更有效的實驗結果，采用兩個數據集進行對比實驗分析。

Mnist數據集，mnist手寫數字集是LeNet-5算法的經典數據集[10]。

部分ImageNet數據集，ImageNet數據集是ILS?VRC比賽用數據集，屬于自然數據集。由于原Ima?geNet數據集過大，所以為更快顯示實驗對比結果，從中截取了部分圖像，共5類，每類200張圖像，尺寸統一為64×64。

2.2 算法實現與比較

實驗環境：Intel酷睿i7 CPU，內存4G，Win10 64位，編程環境為MATLAB R2015a

實驗數據：mnist手寫數字集、imagenet數據集

比較算法：卷積神經網絡算法、基于自動編碼機的改進卷積神經網絡算法

（1）mnist數據集

對于mnist數據集，構建的卷積神經網絡結構為，輸入層大小為28×28的，卷積層1提取6組特征圖[11]，卷積核大小為5×5，池化層1比例為1:2，卷積層2提取12組特征圖，卷積核大小為5×5，池化層2比例為1:2，頂層使用sigmoid做分類器[12]。

構建改進算法結構為，自動編碼機結構為28-18-28，CNN輸入層為18×18，卷積層1為提取6組特征圖，卷積核大小為3×3，池化層1比例為1:2，卷積層2為提取12組特征圖，卷積核大小為3×3，池化層2比例為1:2，頂層使用sigmoid做分類器。

進行一次迭代，算法實驗結果如下：

表1 mnist數據集實驗結果

由上表可知，在mnist數據集基礎上，改進算法所花時間要稍長于原算法，準確率方面相差不大。原因是對于小尺寸的圖像集，進行自動編碼機訓練所花的時間要長于因為特征提取而縮短的訓練時間。

（2）ImageNet圖像集

對于ImageNet圖像集，構建的卷積神經網絡結構為，輸入層大小為64×64的，卷積層1提取6組特征圖，卷積核大小為5×5，池化層1比例為1:2，卷積層2提取12組特征圖，卷積核大小為3×3，池化層2比例為1:2，卷積層3提取24組特征圖，卷積核大小為5×5，池化層3比例為1:2，頂層使用sigmoid做分類器。

構建改進算法結構為，自動編碼機結構為64-32-64，CNN輸入層為32×32，卷積層1為提取6組特征圖，卷積核大小為5×5，池化層1比例為1:2，卷積層2為提取12組特征圖，卷積核大小為5×5，池化層2比例為1:2，頂層使用sigmoid做分類器。

進行30次迭代，算法實驗結果如下：

表2 ImageNet數據集實驗結果

由上表可知，在ImageNet數據集基礎上，改進后的CNN算法所花的時間大大縮短，而準確度方面與改進前相當。

（3）綜合比較

不同數據集算法時間對比如圖4所示。

對于mnist圖像集，由于提取特征之后的尺寸相比較原圖像集并沒有差距很大，所以因為改進算法需要訓練自動編碼機的原因，所花費的時間要稍長于原CNN算法。

圖4 不同數據集算法時間對比

對于ImageNet圖像集，原始的CNN算法，由于圖像的尺寸變大，為提高識別率，不得不增加卷積網絡層數。但對于改進CNN來說，因為自動編碼機將原圖特征進行了很好地提取，同時縮小了尺寸，使用兩層的卷積網絡已經足夠，所以算法用時大大縮短。

3 結語

本文為解決傳統卷積神經網絡訓練時間慢的問題，提出了使用自動編碼機進行初步特征提取并降低圖像維度，之后再通過卷積神經網絡進行提取分類。進而加快卷積網絡的訓練速度。通過實驗，可以看出在圖像集分辨率較高的時候，改進算法可以很好地降低算法的時間，而當圖像尺寸較小時，由于需對自動編碼機進行訓練，所以花費時間會較多。

[1]孫志軍,薛磊,許陽明,王正.深度學習研究綜述[J].計算機應用研究,2012，08:2806-2809.

[2]HINTON G E,OSINDERO S,TEH Y W.A Fast Learning Algorithm for Deep Belief Nets[J].Neural Computation,2006:1527-1554.

[3]郭麗麗,丁世飛,深度學習研究進展[J].計算機科學,2015年05期:28-33.

[4]Y LeCun,L Bottou,Y Bengio,P Haffner.Gradient-based Learning Applied to Document Recognition[C].Proceedings of the IEEE 86, 1998.

[5]Sukittanon S,Surendran AC,Platt J C.Convolutional Networks for Speech Detection[C].Proceedings of the Eighth International Conference on Spoken Language Processing.Jeju Island:ISCA,2004:1077-1080．

[6]Steve Lawrence,C Lee Giles,Ah Chung Tsoi,Andrew D Back.Face Recognition:A Convolutional Neural Network Approach[J].IEEE Trans.on Neural Networks(S1045-9227),1997,8(1):98-113.

[7]Scherer D,Müller A,Behnke S.Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition[M].DiamantarasK,Duch W,Iliadis L S.Proceedings of the 20th International Conference on Artificial-Neural-Networks.BerlinHeidelberg:Springer-Verlag,2010:92-101.

[8]Tivive,Fok Hing Chi,Bouzerdoum,Abdesselam.An Eye Feature Detector Based on Convolutional Neural Network[C].Proc.8th Int. Symp.Signal Process.Applic.Sydney,New South Wales,Australia.USA:IEEE,2005.

[9]Sermanet P,LeCun Y.Traffic Sign Recognition with Multiscale Convolutional Networks[C].Proceedings of the 2011 International Joint Conference on Neural Networks.San Jose:IEEE,2011.

[10]趙志宏,楊紹普,馬增強.基于卷積神經網絡LeNet-5的車牌字符識別研究[J].系統仿真學報,2010，03:638-641.

[11]Chen Y,Han C,Wang C.A CNN-based Face Detector with a Simple Feature Map and a Coarse-to-fine Classifier[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(3):1-12.

[12]高學,王有旺.基于CNN和隨機彈性形變的相似手寫漢字識別[J].華南理工大學學報(自然科學版),2014，01：73-76.

Image Recognition Based on Depth Learning Algorithm

ZHANG Yu-bing，YU Wei-wei

（School of Information Engineering,Shanghai Maritime University,Shanghai 201306）

Deep learning is a new development of machine learning technology.It combines the characteristics of neural network in machine learning. By constructing the network structure of multi hidden layer,it can imitate the human brain network.Combined with the research of bionics, it simulates the pattern recognition of human brain include characters,image and voice.Deep learning network consists of multi-layer hid?den layer,so it extracts feature from the bottom to the top of the input data,establishes a good signal from the bottom to the high-level se?mantic mapping relation.In the field of image recognition,convolutional neural network performs well.But the traditional convolution neu?ral network is too slow for training.Automatic coding machine can compress and interpret images.Proposes a new recognition method based on convolutional neural network and automatic coding machine for improving time performance.Firstly,the image is extracted by au?tomatic coding machine,and then the image set is identified by convolution neural network.Compared with the existing recognition algo?rithm,the recognition speed is improved,and the recognition rate is improved.

1007-1423（2017）21-0026-05

10.3969/j.issn.1007-1423.2017.21.005

張玉冰（1993-03），男，山東煙臺人，碩士研究生，研究方向為信息處理與模式識別；于威威（1978-04），女，山東淄博人，副教授，碩士生導師，研究方向為模式識別、計算機圖像處理、數據挖掘；

2017-04-28

2017-07-25

Deep Learning;Convolutional Neural Network;Image Recognition;Automatic Coding Machine;Feature Extraction;Image Preprocessing