基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)

王振，高茂庭

（上海海事大學(xué)信息工程學(xué)院，上海 201306）

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別算法設(shè)計(jì)與實(shí)現(xiàn)

王振，高茂庭

（上海海事大學(xué)信息工程學(xué)院，上海 201306）

0　引言

讓計(jì)算機(jī)能夠識(shí)別出物體，具有類(lèi)似人類(lèi)的視覺(jué)一直是人工智能追求的一個(gè)目標(biāo)，經(jīng)過(guò)多年的發(fā)展，取得了長(zhǎng)足的進(jìn)步，然而卻始不盡如人意。

為了測(cè)試圖像識(shí)別算法的性能和準(zhǔn)確率，研究者們建立了一個(gè)準(zhǔn)確、足夠龐大的圖像數(shù)據(jù)庫(kù)ImageNet，以這個(gè)數(shù)據(jù)庫(kù)為基礎(chǔ)平臺(tái)，每年舉辦大規(guī)模視覺(jué)挑戰(zhàn)賽 ImageNet Large Scale Visual Recognition Challenge（以下簡(jiǎn)稱(chēng)ILSVRC），這是規(guī)模最大的圖像識(shí)別比賽，基本可以代表計(jì)算機(jī)視覺(jué)領(lǐng)域的最高水準(zhǔn)，在2012年以前，圖像識(shí)別的錯(cuò)誤率一直居高不下（26%左右）。

在ILSVRC-2012比賽中，使用卷積神經(jīng)網(wǎng)絡(luò)的算法［1］取得了非常不錯(cuò)的成績(jī)。從此，卷積神經(jīng)網(wǎng)絡(luò)成為這一比賽的主流算法，幾乎所有的隊(duì)伍都或多或少地使用了卷積神經(jīng)網(wǎng)絡(luò)，圖像識(shí)別所能夠取得的最好的成績(jī)都是由深度卷積網(wǎng)絡(luò)相關(guān)的算法創(chuàng)造的，這從側(cè)面反映深度卷積網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)方面的良好性能。很快地，在一些相關(guān)領(lǐng)域，例如人臉識(shí)別、手寫(xiě)字體識(shí)別，深度卷積網(wǎng)絡(luò)也取得了世界領(lǐng)先的成果。可以說(shuō)，深度卷積網(wǎng)絡(luò)是現(xiàn)在用于圖像識(shí)別的最好的算法，這也是本文決定采用深度卷積網(wǎng)絡(luò)算法的原因。

從算法本身的角度考慮，卷積神經(jīng)網(wǎng)絡(luò)在卷積層之間使用了共享的參數(shù)，這不僅減少了需要的內(nèi)存大小，也減少了需要訓(xùn)練的參數(shù)數(shù)量，提高了算法的性能。同時(shí)也幾乎不需要對(duì)圖像進(jìn)行一些預(yù)處理或者特征值提取，這是其他一些機(jī)器學(xué)習(xí)的算法所不具備的優(yōu)勢(shì)。

然而，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)算法［1］并沒(méi)有對(duì)算法進(jìn)行深入挖掘，卷積神經(jīng)層的卷積核較大，而且整體結(jié)構(gòu)的層數(shù)略少，算法的優(yōu)勢(shì)并沒(méi)有完全發(fā)揮。為了提高經(jīng)典算法的識(shí)別率并改進(jìn)算法性能，本文引入了一種使用較小卷積核的結(jié)構(gòu)，并進(jìn)行修改使得這種新的結(jié)構(gòu)可以簡(jiǎn)單地重復(fù)使用，這樣既能夠保證網(wǎng)絡(luò)的總體深度，又能夠有效地提高算法的識(shí)別率。

1　卷積神經(jīng)網(wǎng)絡(luò)的基本概念

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中的常用算法，最早是受到人體的視覺(jué)系統(tǒng)啟發(fā)提出的［2］，后來(lái)不斷加以修正［3-5］，最終形成為一個(gè)非常適合用于處理并識(shí)別圖像的多層神經(jīng)網(wǎng)絡(luò)。作為深度學(xué)習(xí)算法的一個(gè)實(shí)例，卷積神經(jīng)網(wǎng)絡(luò)在一些介紹深度學(xué)習(xí)算法的論文中也有所提及［6］。

經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)［1］包括卷積神經(jīng)層、Rectified Linear Units層 （以下簡(jiǎn)稱(chēng)為ReLU層）、Pooling層和規(guī)范化層，其結(jié)構(gòu)如圖1所示。

圖1　經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為了對(duì)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改進(jìn)，下面首先對(duì)卷積神經(jīng)網(wǎng)絡(luò)的這種結(jié)構(gòu)逐層進(jìn)行介紹，并在一些需要有所改進(jìn)的地方進(jìn)行論述。

1.1卷積神經(jīng)層

卷積是圖像識(shí)別中常用的算法，是指輸出圖像中的每個(gè)像素都是由輸入圖像的對(duì)應(yīng)位置的小區(qū)域的像素通過(guò)加權(quán)平均所得，這個(gè)區(qū)域就叫做卷積核。一般而言，卷積核都是正方形的，所以都是用類(lèi)似m×m的方式表達(dá)，這里的m即為區(qū)域的邊長(zhǎng)。卷積神經(jīng)層，其實(shí)就是對(duì)圖像的每個(gè)點(diǎn)進(jìn)行卷積運(yùn)算，卷積核都被作為訓(xùn)練參數(shù)。卷積神經(jīng)層可以看作是對(duì)輸入圖像進(jìn)行“抽象”的操作，經(jīng)過(guò)幾次處理之后，能夠提取出圖像的“特征值”。

一般而言，卷積神經(jīng)層中，卷積核越大，對(duì)圖像“抽象”的效果越好，但需要訓(xùn)練的參數(shù)就越多；卷積核越小，越能夠精細(xì)地處理圖像，但需要更多的層數(shù)來(lái)達(dá)到同樣的“抽象”效果。只是，較小的卷積核，就意味著更多的ReLU層，也就意味著整個(gè)結(jié)構(gòu)更加具有識(shí)別力。

經(jīng)典的結(jié)構(gòu)中，使用了11×11卷積核這樣的較大的卷積核，這樣的神經(jīng)層引入了很多的參數(shù)，雖然保證了最終的效果，但也降低了算法的性能。因此，在本文引入的結(jié)構(gòu)中，僅使用了3×3和5×5這樣的較小的卷積核。

1.2ReLU非線性函數(shù)

在經(jīng)典的結(jié)構(gòu)中，使用的神經(jīng)網(wǎng)絡(luò)激活函數(shù)是Rectified函數(shù)，在卷積神經(jīng)網(wǎng)絡(luò)中，這樣的神經(jīng)層一般叫做ReLU。

在文獻(xiàn)［15］中，有關(guān)于ReLU的詳細(xì)論證，而在經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)算法中，也將ReLU與傳統(tǒng)的激活函數(shù)進(jìn)行比較，得出的結(jié)論是ReLU能夠減少訓(xùn)練時(shí)間，提高算法性能。深度卷積網(wǎng)絡(luò)一般都需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練，以至于使用傳統(tǒng)的激活函數(shù)幾乎不能夠配合卷積神經(jīng)層完成訓(xùn)練。在這種情況下，ReLU幾乎就是最好的選擇。

在本文中，如非特指，每個(gè)卷積神經(jīng)層之后都用ReLU處理。

1.3Pooling層

輸入圖像經(jīng)過(guò)卷積神經(jīng)層和ReLU處理之后，圖像中的每個(gè)像素點(diǎn)都包含了周?chē)恍K區(qū)域的信息，造成了信息冗余。如果繼續(xù)使用包含了冗余信息的圖像，不僅會(huì)降低算法性能，還會(huì)破壞算法的平移不變性。

為了提高算法的性能和魯棒性，這里需要對(duì)圖像進(jìn)行二次采樣（Subsampling）。在深度卷積網(wǎng)絡(luò)中，這樣的操作又叫做Pooling，即將圖像分成一小塊一小塊的區(qū)域，對(duì)每個(gè)區(qū)域計(jì)算出一個(gè)值，然后將計(jì)算出的值依次排列，輸出為新的圖像。如果劃分的區(qū)域之間互不重疊，這樣的算法被稱(chēng)作Non-overlapping Pooling，否則稱(chēng)為Overlapping Pooling。對(duì)每個(gè)區(qū)域計(jì)算輸出的方法也分為兩種：求平均值（一般叫做Sum Pooling，也可以叫做Avg Pooling）或者取最大值（Max Pooling）。這一神經(jīng)層比較簡(jiǎn)單，不需要訓(xùn)練。另外，這一算法有時(shí)會(huì)忽略輸入圖像的邊緣部分，這對(duì)于算法整體而言也是可以接受的。如輸入圖像為13×13，而Pooling層選取的區(qū)域大小為3×3，則最下方和最右方邊緣的1個(gè)像素則會(huì)被忽略。

在經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)中，使用的是可以重疊的、取最大值的Pooling算法（Overlapping Max-Pooling），原因是可以稍微降低過(guò)度擬合。在本文中也使用了相似的算法。

1.4規(guī)范化神經(jīng)層（Normalization Layer）

規(guī)范化層是為了讓圖像更加具有對(duì)比性而設(shè)計(jì)的神經(jīng)層，這一神經(jīng)層的效果類(lèi)似于對(duì)圖像進(jìn)行“增加對(duì)比度”的操作。顯而易見(jiàn)的是，需要一個(gè)計(jì)算“平均值”的算法，然后按照一定的規(guī)則對(duì)圖像的每個(gè)像素進(jìn)行調(diào)整，使得圖像的主體部分能夠和背景更加具有區(qū)分度。目前常用的算法通常是Local Response Normalization［1］（以下簡(jiǎn)稱(chēng)LRN），這一算法可以很有效地提高主題部分與其他部分的區(qū)分度。

然而LRN并非必要，對(duì)效果的提升并不是很明顯，所以在使用深度卷積網(wǎng)絡(luò)時(shí)，一般只有當(dāng)卷積核較大，即處理得比較“粗糙”的時(shí)候，才會(huì)使用LRN。

2　網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)時(shí)，既需要考慮到深度學(xué)習(xí)算法的一般性，也要針對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化。在實(shí)際設(shè)計(jì)中，還需要兼顧到拓展性。在一般的深度學(xué)習(xí)算法中。

2.1網(wǎng)絡(luò)深度很重要

在大多數(shù)的深度學(xué)習(xí)算法里，網(wǎng)絡(luò)的深度都是很重要的參數(shù)［5，8，10］，深度卷積網(wǎng)絡(luò)也不例外。在文獻(xiàn)［14］中，VGG甚至專(zhuān)門(mén)驗(yàn)證了深度對(duì)于結(jié)果的影響，他們使用3×3卷積核，然后分別測(cè)試了11層、13層、16層和19層的不同網(wǎng)絡(luò)結(jié)構(gòu)所能夠取得的結(jié)果。雖然訓(xùn)練的參數(shù)有些許的增加（從133M個(gè)到144M個(gè)），但與正確率提高的幅度相比較，卻是微乎其微的。這也是深度卷積網(wǎng)絡(luò)的一個(gè)優(yōu)勢(shì)：增加深度并不會(huì)引起訓(xùn)練時(shí)間的爆炸性增長(zhǎng)，而是一個(gè)相對(duì)緩慢的增長(zhǎng)；網(wǎng)絡(luò)所能夠取得的結(jié)果卻往往能夠有明顯的改善。

在經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)的層數(shù)雖然多于普通的神經(jīng)網(wǎng)絡(luò)，但由于使用的是卷積核較大的神經(jīng)層，所以整體的層數(shù)略顯不足。

2.2引入的結(jié)構(gòu)

在文獻(xiàn)［7］中，經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)使用了11×11的較大的卷積核，雖然，這能夠有效地對(duì)圖像進(jìn)行“抽象”，但訓(xùn)練的參數(shù)較多，限制了整體算法的性能。為了改進(jìn)算法性能并增加神經(jīng)網(wǎng)絡(luò)的深度，在新引入的結(jié)構(gòu)中使用了卷積核較小的卷積層。同時(shí)，為了能夠方便地調(diào)整算法，并兼顧算法的拓展性，引入的結(jié)構(gòu)應(yīng)當(dāng)可以直接疊加而不必引入新的神經(jīng)層。為此，在本文中引入的新的結(jié)構(gòu)如圖2所示：

圖2　本文中引入的結(jié)構(gòu)

在圖2所示的新結(jié)構(gòu)中，每個(gè)卷積層之后都包含有一層ReLU。

在該結(jié)構(gòu)的首尾處各有一個(gè)1×1卷積核的神經(jīng)層，可以將其理解為“粘合劑”，即通過(guò)使用了1×1卷積核的神經(jīng)層之后，使得與使用任何卷積核的神經(jīng)層都可以直接相連。

中間使用了3×3卷積核和5×5卷積核的神經(jīng)層，既可以有效地提取圖像特征值，又保證了這樣的結(jié)構(gòu)不會(huì)像較大的卷積核一樣，引入過(guò)多的參數(shù)。我們也試過(guò)用3層3×3卷積核的神經(jīng)層，二者效果相差不大，但圖2中的結(jié)構(gòu)更易于調(diào)整。

2.3網(wǎng)絡(luò)的總體結(jié)構(gòu)

在最開(kāi)始的試驗(yàn)階段，我們?cè)?jīng)試過(guò)用4次圖2中引入的結(jié)構(gòu)，但訓(xùn)練的時(shí)間過(guò)長(zhǎng)；使用3次圖2中的結(jié)構(gòu)，訓(xùn)練時(shí)間可以接受，但取得的效果不甚理想，因此，在最后設(shè)計(jì)的結(jié)構(gòu)中，考慮使用一個(gè)7×7卷積核的神經(jīng)層取代原來(lái)的結(jié)構(gòu)，這樣既可以保證訓(xùn)練的時(shí)間不至于過(guò)長(zhǎng)，又能夠有效地降低錯(cuò)誤率。為此，網(wǎng)絡(luò)的總體結(jié)構(gòu)設(shè)計(jì)成圖3所示的結(jié)構(gòu)。

卷積神經(jīng)層之后，使用了傳統(tǒng)的全連接型的神經(jīng)網(wǎng)絡(luò)和Softmax回歸，這也是在文獻(xiàn)［1］中使用的經(jīng)典結(jié)構(gòu)。另外，Softmax的輸出并不是單一的圖像識(shí)別分類(lèi)，而是輸出概率最高的幾個(gè)，如此一來(lái)就能夠更方便地衡量算法的準(zhǔn)確率。

圖3　網(wǎng)絡(luò)的總體結(jié)構(gòu)

相比于經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，圖3這樣的結(jié)構(gòu)更容易調(diào)整，只要計(jì)算資源允許，就可以在網(wǎng)絡(luò)中增加圖2中引入的結(jié)構(gòu)。同時(shí)，這樣的結(jié)構(gòu)從卷積神經(jīng)網(wǎng)絡(luò)的出發(fā)點(diǎn)——提取圖像的特征值的角度考慮，抽象能力也更強(qiáng)。

3　實(shí)驗(yàn)結(jié)果與分析

在實(shí)現(xiàn)算法并驗(yàn)證其有效性時(shí)，需要首先選定一個(gè)足夠龐大、精細(xì)的圖像數(shù)據(jù)庫(kù)，之后在這個(gè)數(shù)據(jù)庫(kù)里甄選有代表意義的圖像。同時(shí)也需要確定較為精準(zhǔn)的算法優(yōu)劣的判別標(biāo)準(zhǔn)，這樣就能夠與當(dāng)前的世界先進(jìn)水平進(jìn)行對(duì)比。

3.1圖像的選取及預(yù)處理

深度卷積網(wǎng)絡(luò)需要大量整理好的圖像進(jìn)行訓(xùn)練，為了有一個(gè)通用的圖像數(shù)據(jù)庫(kù)，ImageNet被設(shè)計(jì)出來(lái)并廣泛應(yīng)用于科研領(lǐng)域。同時(shí)ImageNet還會(huì)在每年舉辦的ILSVRC中，選取出進(jìn)一步整理的圖像用來(lái)測(cè)試算法。

ILSVRC-2014的分類(lèi)比賽中，共計(jì)提供了1000個(gè)類(lèi)別的約120萬(wàn)幅圖像用作訓(xùn)練，5萬(wàn)幅圖像用作校正，10萬(wàn)幅圖像用作測(cè)試。雖然，這對(duì)于物體識(shí)別這一宏偉目標(biāo)相距甚遠(yuǎn)，但對(duì)于實(shí)驗(yàn)，這樣的深度卷積網(wǎng)絡(luò)一般就足夠了。實(shí)際上，訓(xùn)練全部圖像需要有不錯(cuò)的機(jī)器設(shè)備性能和很長(zhǎng)的時(shí)間，因此在實(shí)際實(shí)現(xiàn)中并沒(méi)有選取全部的圖像，而是挑選了其中100個(gè)類(lèi)別的共計(jì)99858幅圖像訓(xùn)練（針對(duì)每個(gè)類(lèi)別挑選1000幅圖像，但某些類(lèi)別不足1000幅）和2000幅圖像用作測(cè)試。

在使用卷積神經(jīng)網(wǎng)絡(luò)處理之前，需要先對(duì)圖像進(jìn)行預(yù)處理。由于圖像的大小直接關(guān)系到卷積核的選取，因此不宜太大；如果圖像太小，又會(huì)引起圖像關(guān)鍵細(xì)節(jié)的丟失。一般選取256×256像素作為圖像的標(biāo)準(zhǔn)大小。預(yù)處理時(shí)，可以將圖像的寬或者高之中較小的一個(gè)縮放到256像素，之后按比例調(diào)節(jié)圖像大小，然后裁剪出居中的224×224像素的部分作為算法的輸入。

3.2判別標(biāo)準(zhǔn)

衡量圖像識(shí)別算法效果的優(yōu)劣，一般都是計(jì)算錯(cuò)誤率。在本文中，由于選取的圖像是從ILSVRC中選取，所以為了能夠方便地將算法的結(jié)果和國(guó)際領(lǐng)先水平相比較，也引入了相同的錯(cuò)誤率算法。在ILSVRC中，比較不同隊(duì)伍間的成績(jī)是計(jì)算兩種錯(cuò)誤率：Top-1錯(cuò)誤率和Top-5錯(cuò)誤率。Top-5錯(cuò)誤率是指將算法輸出的結(jié)果與圖像的標(biāo)簽進(jìn)行比較，如果輸出的前5個(gè)結(jié)果中有任何一個(gè)命中 （不考慮順序），即視為正確。Top-1錯(cuò)誤率是指將算法的第一個(gè)輸出和圖像的標(biāo)簽作比較，相同則視作正確。

3.3程序框架

實(shí)現(xiàn)深度卷積網(wǎng)絡(luò)已經(jīng)有了成熟的框架，本文實(shí)驗(yàn)使用的是Caffe［9］。Caffe是一個(gè)可讀性、簡(jiǎn)潔性和性能都很優(yōu)秀的深度學(xué)習(xí)框架，并且直接集成了卷積神經(jīng)網(wǎng)絡(luò)神經(jīng)層。由于深度卷積網(wǎng)絡(luò)本身的特性，有時(shí)候用GPU加速運(yùn)算可以大大縮短算法訓(xùn)練時(shí)間，Caffe也提供了相應(yīng)的接口。

使用Caffe實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)時(shí)，需要預(yù)處理數(shù)據(jù)，然后根據(jù)設(shè)計(jì)好的網(wǎng)絡(luò)結(jié)構(gòu)配置相應(yīng)的文件，即可使用Caffe訓(xùn)練并測(cè)試結(jié)果。

3.4結(jié)果分析

在得出本文算法測(cè)試結(jié)果后，與ILSVRC一部分具有代表性的算法及其結(jié)果［11-12］進(jìn)行對(duì)比，如表1所示。

表1　實(shí)驗(yàn)結(jié)果與ILSVRC結(jié)果對(duì)比

在表1中，除最后一行所示算法（ISI），都使用了深度卷積網(wǎng)絡(luò)。可以看出，卷積神經(jīng)網(wǎng)絡(luò)所得到的結(jié)果還是相當(dāng)理想的。其中，排名靠前的算法都使用了卷積核較小的神經(jīng)層：VGG使用的全是3×3卷積核的神經(jīng)層，而GoogLeNet設(shè)計(jì)了一種比本文中的結(jié)構(gòu)更加復(fù)雜的模塊，并使用了更深的網(wǎng)絡(luò)結(jié)構(gòu)，所取得的結(jié)果也是目前所能夠取得的最好的結(jié)果。

從錯(cuò)誤率的角度來(lái)看，對(duì)比也是相當(dāng)明顯的。最初將神經(jīng)網(wǎng)絡(luò)應(yīng)用于ImageNet識(shí)別的文獻(xiàn)［1］中所得到的Top-5錯(cuò)誤率是16.4%，遠(yuǎn)遠(yuǎn)超過(guò)當(dāng)時(shí)沒(méi)有使用深度卷積網(wǎng)絡(luò)的算法（26.2%）。隨后，經(jīng)過(guò)兩年的研究和完善，現(xiàn)在所取得的最好的成果已經(jīng)可以達(dá)到6.67%的錯(cuò)誤率。這樣的成果是相當(dāng)振奮人心的，甚至在文獻(xiàn)［13］中將這一結(jié)果和普通人識(shí)別ImageNet的結(jié)果相比較，結(jié)果是普通人識(shí)別的錯(cuò)誤率在5%左右，最好的深度卷積網(wǎng)絡(luò)算法的結(jié)果已經(jīng)比較接近人識(shí)別的錯(cuò)誤率水平。

4　結(jié)語(yǔ)

本文引入的新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能夠有效地提高圖像識(shí)別的準(zhǔn)確度，并具備良好的擴(kuò)展性。對(duì)比經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，不僅在算法的效果上有所提高，而且訓(xùn)練的參數(shù)有所減少，訓(xùn)練所需的時(shí)間更短。雖然距離當(dāng)前世界先進(jìn)算法的水平尚有些差距，但算法的準(zhǔn)確率依舊比傳統(tǒng)的圖像處理算法高出許多，今后，將繼續(xù)在這方面進(jìn)行深入研究。

［1］Alex Krizhevsky，Ilya Sutskever，Geoff Hinton.Imagenet classification with deep con-volutional neural networks［J］.Advances in Neural Information Processing Systems 25，2012：1106-1114

［2］DH Hubel，TN Wiesel.Receptive fields，binocular interaction，and functional architecture in the cat's visual cortex［J］.Journal of Physiology（London），1962，160：106-154

［3］K.Fukushima，Neocognitron：A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position［J］.Biological Cybernetics，1980，36：193-202

［4］Y.Le Cun，L.Bottou，Y.Bengio，et al.Gradient-based learning applied to document recognition［J］.Proceedings of the IEEE，1998，86（11）：2278-2324.

［5］Y.LeCun，B.Boser，J.S.Denker，et al.Backpropagation applied to handwritten zip code recognition［J］.Neural Computation，1989，1（4）：541-551.

［6］Yoshua Bengio，Learning Deep Architectures for AI［J］.Machine Learning，2009，2（1）：1-127.

［7］Glorot X，Bordes A，Bengio，Y.Deep sparse rectifier networks［C］.Proceedings of the 14th International Conference on Artificial Intelligence and Statistics.JMLR W&CP Volume，2011，15：315-323.

［8］Yoshua Bengio，Aaron Courville，and Pascal Vincent，representation learning：A review and new rerspectives［J］.IEEE Transactions on Pattern Analysis&Machine Intelligence，2013，Issue No.08-Aug.（2013 vol.35）：1798-1828.

［9］JIA Yang-qing，Shelhamer Evan，Donahue Jeff，et al.caffe：convolutional architecture for Fast feature embedding［EB/OL］.2014，arXiv preprint arXiv：1408.5093

［10］Know your meme：We need to go deeper［EB/OL］［2014-12-01］.http：//knowyourmeme.com/memes/we-need-to-go-deeper

［11］Christian Szegedy，Wei Liu，Yangqing Jia，et al.Going deeper with convolutions［EB/OL］［2014-09-17］arXiv：1409.4842v1［cs.CV］

［12］Olga Russakovsky，Jia Deng，Hao Su，et al.ImageNet Large Scale Visual Recognition Challenge.？［EB/OL］，2014，arXiv：1409.0575

［13］Andrej Karpathy.What I learned from competing against a ConvNet on ImageNet［EB/OL］［2015-01-24］.URL：http：//karpathy.github. io/2014/09/02/what-i-learned-from-competing-against-a-convnet-on-imagenet/

［14］Karen Simonyan，Andrew Zisserman.Very deep convolutional networks for large-scale image recognition［EB/OL］，［2014-11-18］. arXiv：1409.1556v3［cs.CV］

［15］V.Nair，G.E.Hinton.Rectified linear units improve restricted boltzmann machines［C］.In Proc.27th International Conference on Machine Learning，2010

Convolutional Neural Networks；Deep Learning；Image Recognition；Machine Learning；Neural Network

Design and Implementation of Image Recognition Algorithm Based on Convolutional Neural Networks

WANG Zhen，GAO Mao-ting
（College of Information Engineering，Shanghai Maritime University，Shanghai 201306）

國(guó)家自然科學(xué)基金項(xiàng)目（No.61202022）、上海海事大學(xué)科研項(xiàng)目

1007-1423（2015）20-0061-06

10.3969/j.issn.1007-1423.2015.20.014

王振（1990-），男，江蘇沛縣人，碩士研究生，學(xué)生，研究方向?yàn)闄C(jī)器學(xué)習(xí)、深度學(xué)習(xí)，Email：wangzhen@gra.shmtu.edu.cn

高茂庭（1963-），男，江西九江人，博士，教授，研究方向?yàn)橹悄苄畔⑻幚怼?shù)據(jù)庫(kù)與信息系統(tǒng)

2015-06-19

2015-07-01

卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域取得很好的效果，但其網(wǎng)絡(luò)結(jié)構(gòu)對(duì)圖像識(shí)別的效果和效率有較大的影響，為改善識(shí)別性能，通過(guò)重復(fù)使用較小卷積核，設(shè)計(jì)并實(shí)現(xiàn)一種新的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，有效地減少訓(xùn)練參數(shù)的數(shù)量，并能夠提高識(shí)別的準(zhǔn)確率。與圖像識(shí)別領(lǐng)域當(dāng)前具有世界先進(jìn)水平的ILSVRC挑戰(zhàn)賽中取得較好成績(jī)的算法對(duì)比實(shí)驗(yàn)，驗(yàn)證這種結(jié)構(gòu)的有效性。

卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；圖像識(shí)別；機(jī)器學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)

Convolutional neural networks has achieved a great success in image recognition.The structure of the network has a great impact on the performance and accuracy in image recognition.To improve the performance of this algorithm，designs and implements a new architecture of the convolutional neural network by using convolutional layers with small kernel size repeatedly，which will reduce the number of training parameters effectively and increase the recognition accuracy.Compared with the state-of-art results in ILSVRC，experiments demonstrate the effectiveness of the new network architecture.