基于并行殘差卷積神經網絡的多種樹葉分類

魏書偉 曾上游 周悅 王新嬌

摘? 要： 樹葉分類識別對于鑒定新的或者稀缺樹種至關重要，采用卷積神經網絡算法可以實現對樹葉圖像特征的自動提取，減少繁瑣的人工成本，實現使用人工智能的方法來分類樹葉。實驗采用一種并行殘差卷積神經網絡和一種加入殘差學習的傳統Alexnet網絡在制作的30種分類樹葉的數據集上測試效果并作對比。以上兩種方式分別比傳統Alexnet網絡提高了15.36%和9.36%，而且使網絡更輕量化，最高準確率為90.67%，為樹種識別研究提供了有效的分類方法。

關鍵詞： 樹葉分類; 卷積神經網絡; 殘差學習; 圖像特征提取; 批量歸一化; 測試效果對比

中圖分類號： TN711?34; TP391.4? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）09?0096?05

Multiple types of leaves′ classification based on parallel

residual convolution neural network

WEI Shuwei， ZENG Shangyou， ZHOU Yue， WANG Xinjiao

（College of Electronic Engineering， Guangxi Normal University， Guilin 541004， China）

Abstract： The leaf classification and identification are of great importance for identifying new or scarce tree species. The convolution neural network algorithm can be used to automatically extract leaf image features， reduce fussy labor costs and classify leaves with the artificial intelligence method. In the experiment， a parallel residual convolution neural network and a traditional Alexnet network with residual learning are used to test the 30 kinds of classified leaves in the produced data set， and the testing effects of the two networks are contrasted. The accuracy obtained with the above two methods are respectively 15.36% and 9.36% higher than that obtained with the traditional Alexnet network， and the highest accuracy reaches 90.67%， which makes the network lightweight. Therefore， it provides an effective classification method for the research on tree species identification.

Keywords： leaf classification; convolutional neural network; residual learning; image feature extraction; batch normalization; testing effect contrast

0? 引? 言

世界上沒有完全相同的兩片樹葉，但是同一種樹木的樹葉會存在很多相似特征。現階段對各種樹木分門別類地建立數據庫，使用人工智能的方法對其進行分類和識別，這對稀有樹種的管理有著重要的保護意義。

目前的樹葉識別與分類主要由人工完成，但樹葉的種類成千上萬種，面對如此龐大的樹葉世界，植物學家也很難區分所有樹葉的種類，這給進一步研究樹葉帶來了困難。為了解決這一問題，一些模式識別方法，諸如支持向量機（Support Vector Ma?chine，SVM）[1]、K最近鄰（K?Nearest Neighbor，KNN）[2]等被引入，然而，隨著大數據時代的到來，這些傳統的分類算法暴露出越來越多的不足，比如難以提取特征和訓練時間過長等。

20世紀60年代開始，學者們相繼提出了各種人工神經網絡[3]模型，其中，卷積神經網絡通過數據集訓練可以使網絡自己學習圖像中的紋理特征[4]，采用卷積神經網絡算法省去了人工定義樹葉紋理特征的步驟[5]，以及神經網絡對于非線性問題處理能力強的優點[6]，綜上所述，本文選擇卷積神經網絡算法對樹葉圖像進行分類識別[7]。

1? 卷積神經網絡概述

1.1? 卷積神經網絡

卷積神經網絡目前被廣泛應用于圖像領域[8?9]，原因是其對幾何、形變、光照具有一定程度的不變性，其主要特點有：輸入圖像不需要預處理;特征提取和識別可以同時進行;權值共享，大大減少了需要訓練的參數數目，使訓練變得更快，適應性更強。

1.2? 卷積神經網絡的一般結構

傳統的卷積神經網絡主要結構有卷積層、池化層及全連接層。

1.2.1? 卷積層

卷積層是由多個特征圖組成，每一個特征圖是由多個神經元組成，而每一個神經元通過卷積核與上一層的特征圖進行卷積運算得出。卷積核為一個權值矩陣，涵蓋網絡需要學習的內容，它包括權值和偏置。此處的卷積運算不同于信號處理中一維的卷積運算，而是二維平面上兩個二維數據對應位置上的數據相乘后的總和而成。其計算公式為：

[xlm=fxl-1n*klnm+b]? ? ? ?（1）

式中：[f（? ）]代表激活函數;[xlm]表示下層輸出;[xl-1n]表示上層的輸出;[k]代表該層卷積核的權值;[b]代表該層卷積核的偏置。

在卷積神經網絡的結構中，卷積的層次越深，網絡的學習能力就越強，特征圖得到的信息就越全。但是，隨著網絡層次結構的加深，網絡的計算量將會隨之增加，也就導致網絡變得更復雜，這樣很容易會出現過擬合的現象。在一般的卷積神經網絡結構中，提取的特征都是逐級遞進的，由簡單的顏色、邊緣特征逐漸變為復雜的紋理特征，最后的網絡結構將提取關鍵特征，以便精確地辨別特征圖的屬性。

1.2.2? 池化層

池化層也被稱為采樣層，指的是對每張特征圖進行下采樣，池化層一般跟在卷積層之后，也是由多個特征圖組成，池化層在網絡結構中有對特征圖進行下采樣的同時對特征圖進行尺度縮小的作用。在搭建網絡過程中，之所以會使用池化層是因為在網絡結構中如果一直采用卷積操作，會使得整體網絡中的計算量過大而延長計算時間。

池化的方法有多種，通常用到的池化操作有：最大池化（max?pooling），即選取圖像區域的最大值作為該區域池化后的值;平均池化（mean?pooling），即計算圖像區域的平均值作為該區域池化后的值。簡單池化過程如圖1所示。

1.2.3? 全連接層

在卷積神經網絡中經過多次卷積層和池化層后，緊接著會跟一個或多個全連接層，其作用是將提取的特征圖轉化為一維特征向量，轉化的一維特征向量即為學習到的圖片的空間分布向量，將其作為分類器的輸入，通過分類器進行分類。

[Sj=fxi*wji+bj]? （2）

2? 基于并行殘差卷積神經網絡模型

2.1? 殘差學習和批量歸一化

殘差網絡結構的提出主要是為了解決在原始的卷積神經網絡隨著深度的增加而伴隨的網絡難以訓練的問題。其原理是在卷積層結構的外部使用一個短接（shourtcut）操作，構成一個基本的殘差模塊，通過逐級累加殘差模塊可以成功緩解網絡隨深度而增加的退化問題，從而提升整體網絡的性能。

傳統網絡結構（Tra?net）如圖2a）所示，輸入圖像后先經過卷積層（conv）再經過激活函數（relu），經過局部響應歸一化處理（LRN），最后經過池化層（pool）后輸出，作為下一層卷積的輸入;殘差網絡（Res?net）的結構如圖2b）所示，與傳統網絡不同的是，在輸入（input）和池化（pool）之間增加了一個殘差模塊，而且在卷積層后均接入一層BN（Batch Normalization）[10]層，即批量歸一化層，加入BN層的主要優點如下：

1） 網絡在選擇較大學習率時可以減緩梯度彌散[11]的現象，加快網絡的收斂速度;

2） 在一定程度上有防止過擬合的作用，網絡可以減少對Dropout[12]參數的需求;

3） 很完美地取代局部響應歸一化層;

4） 可以徹底打亂訓練數據。

BN層的計算公式可由式（3）給出：

[μB←1mo=1mxoσ2B←1mo=1m（xo-μB）2xo←xo-μBσ2B+εyo←γxo+β] （3）

式中：[o=1mxo]表示卷積層的輸出，即所學歸一化的數據;[μB]和[σ2B]分別表示均值和方差;[yo]是歸一化之后的輸出。

2.2? 分組瓶頸結構

傳統的卷積神經網絡是通過不同的卷積層和池化層級交替堆疊而成的通道，通過對卷積核大小及不同池化的設計來實現所需要的效果。而在一系列的操作過程中，一條通道、一種網絡對特征圖進行卷積，可能提取的圖像特征不夠充分。本文提出結合三條不同網絡對相同的特征圖進行卷積操作，最后再通過級聯操作使三條網絡的輸出結果結合在一起。本文的具體操作是將特征圖并行分為三條支路，采取分組瓶頸結構，先通過[1×1]的卷積核降維，再通過一條[3×3]或[5×5]的卷積核進行傳統的卷積操作，最后通過一條[1×1]的卷積核來升維。

模塊間的參數可以用式（4）表示：

[P=I*K*O] （4）

式中：[I]和[O]分別表示輸入輸出特征圖的個數;[K]表示卷積核的面積大小。

一般來說，1×1卷積核的作用可以歸納為三點：

1） 可以有效地減少網絡參數，如輸入輸出特征圖數量均為256，使用3×3卷積核參數[P=]256×3×3×256，使用1×1卷積核參數[P=]256×1×1×256，參數減少到原來的[19]。

2） 可以起到降維或升維的作用，這在三層卷積的瓶頸結構中有所體現，瓶頸結構如圖3所示，第一個1×1卷積用來降維，第三個1×1卷積用來升維。

3） 可以將各分組通道信息進行融合，這在MobileNet和Xception中取得了很好的效果。

MyNet中block模塊網絡結構如圖4所示。可以很清楚地看出：本文所采用的并行殘差卷積網絡（MyNet）將各個支路網絡，即含有殘差模塊的卷積神經網絡，通過級聯（concat）操作將三個不同大小卷積核提取的特征整合在一起，然后整體輸出。

2.3? 模型設置

并行殘差網絡的基本網絡架構參數設置如表1所示。

網絡采用模塊化設計，通過堆疊Block模塊以及在模塊中間穿插多個池化層而形成，池化層的操作經過多次試驗發現，采用Max?Max?Max?Ave（Max指最大值池化，Ave指平均池化）架構效果較好，網絡架構清晰明了，易于擴展和推廣。整體流程圖如圖5所示。

如圖5所示，輸入訓練數據集的圖像，先經過預處理，將圖片隨機修剪成統一大小規模后，再輸送給卷積神經網絡的數據層，經過前向傳播，計算網絡損失熵的大小，再通過隨機梯度下降不斷更新參數，反向傳播，使得損失熵不斷減小，尋找到最優參數，把測試集圖片輸入給當前正在訓練的網絡，測試當前網絡的準確率，當迭代到設定好的次數或者準確率達到一定要求后停止訓練，保存訓練好的模型參數，生成一個訓練好的網絡。

3? 實? 驗

3.1? 圖像數據采集和預處理

卷積神經網絡需要大量樣本進行訓練。實驗采集了30種樹葉，包含國內10種樹葉和國外20種樹葉，每種樹葉采集20張，共計600張圖像。使用佳能550D相機拍攝，以1[∶]3 的比例分為測試樣本與訓練樣本后，將文件名分類標注。由于單反相機拍攝照片尺寸較大，為了確保計算速度和計算機可承受數據量，使用OpenCV調整圖像尺寸，統一縮小為256×256像素，部分樣本如圖6所示。

將原始圖片數據通過cropcize分別對左上角、左下角、右上角、右下角、中心位置進行隨機剪裁為227×227大小圖片，再進行鏡像反轉操作，使得原數據集通過數據增強的方法擴增了10倍，將數據集變成6 000張圖片。

3.2? 實驗設置

實驗主要對比Alexnet網絡即傳統卷積網絡（Tra?net）、采用殘差結構的傳統網絡（Res?net）以及本文改進后的并行殘差卷積網絡（MyNet），在制作的30種樹葉分類的數據集上進行分類準確度測試。為了使本實驗結果更具有說服力，三種網絡的整體結構的層次深度保持一致。

實驗環境：整個實驗過程中所有網絡結構都是基于caffe框架[13]布置的。本實驗所用的計算機配置為i7?6700K四核CPU、Ubuntu 14.04操作系統、32 GB內存以及NVIDIA?GTX 1070的GPU。

參數設置：在卷積神經網絡中，學習率大小的選取對網絡訓練至關重要，學習率較大，網絡雖然收斂較快，但有可能跨過了全局最小點;但是學習率較小的情況下，網絡訓練速度比較慢，從而需要較長時間才能達到收斂。下面列出本實驗中所設定的學習率參數以及變化值，此時設置的參數值有較好的效果：學習率初始大小設置為0.001，學習率變化方式為step，[γ]為0.1，momentum為0.9，weight_decay為0.000 5，stepsize設置為100，最大迭代次數為1 000。

3.3? 實驗結果及分析

表2表示傳統網絡Tra?net、殘差網絡Res?net以及改進后網絡的MyNet在數據集上的分類精度、實驗所花時間以及實驗保存的Caffemodel大小。圖7給出了各模型在數據集上的準確率曲線。

從圖7中可以看出，在計算機僅迭代約400次后，網絡性能就趨于穩定，改進后的網絡MyNet和殘差網絡Res?net在數據集中都有較好的分類精度;傳統網絡Tra?net整體的參數較多，準確率不高，但是訓練的時間相對較少;加了殘差結構的Res?net整體參數與傳統網絡Tra?net的參數大致相同，引入殘差學習后增加了整個網絡的計算量，導致訓練所耗時間稍微加長，精度與傳統Alexnet相比有所提高。而改進后的并行殘差網絡，由于結合三條支路的特征，所得出的分類精度比其他兩種網絡任意一種都要高，而且網絡最后采用全局均值池化替代全連接層，使得整個網絡的參數大大減少，更輕量化，但由于網絡的加寬使整個實驗的訓練耗時有所加長。隨著計算機硬件的提升，網絡改進導致訓練時間加長的問題，很輕易得以解決，所以在準確率提高一定的前提下，訓練時間的改變對整個網絡增益沒有很大的影響。

綜合三種網絡的對比實驗可知：

1） 本文加入的Block模塊能有效地提升網絡性能。

2） 采用并行多支路多卷積核的特征提取對整體識別率有很大貢獻。

3） 1×1卷積層的降維操作可以有效控制網絡參數。

4? 結? 語

本文提出了一種結合瓶頸結構網絡和并行殘差結構網絡的新型網絡結構，將這個新網絡與傳統網絡和加入殘差的傳統網絡進行對比討論，并在數據集上進行實驗驗證。理論上，并行殘差網絡加寬了整體網絡結構的寬度，提高了網絡的復雜度，效果會更好。實驗結果也表明，并行殘差網絡比兩條傳統網絡中的任何一條網絡的精確效果都好，后面的工作是在本文模塊的基礎上繼續改進，進一步測試本文模塊在其他領域中的表現，例如，目標檢測、圖像分割等，并在更大規模的數據集上進行測試和優化來比較網絡的性能優劣，進一步提升網絡性能，減少模型大小。

參考文獻

[1] CAMPBELL W M， CAMPBELL J P， REYNOLDS D A， et al. Support vector machines for speaker and language recognition [J]. Computer speech & language， 2006， 20（2/3）： 210?229.

[2] ZHANG N， LIU W P. Plant leaf recognition method based on clonal selection algorithm and K nearest neighbor [J]. Journal of computer applications， 2013， 33（7）： 2009?2013.

[3] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston， MA， USA： IEEE， 2015： 1?9.

[4] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA： IEEE， 2016： 770?778.

[5] HUANG G， LIU Z， MAATEN L V D. Densely connected convolutional networks [EB/OL]. [2017?09?28]. https：//blog.csdn.net/lyy354500/article/details/78122165？locationNum=6&fps=1.

[6] LU Fang， WU Fa， HU Peijun， et al. Automatic 3D liver location and segmentation via convolutional neural network and graph cut [J]. International journal of computer assisted radiology and surgery， 2017， 12（2）： 171?182.

[7] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science， 2006， 313： 504?507.

[8] GAO L G， CHEN P Y， YU S M. Demonstration of convolution kernel operation on resistive cross?point array [J]. IEEE electron device letters， 2016， 37（7）： 870?873.

[9] ZEILER M D， FERGUS R. Stochastic pooling for regularization of deep convolutional neural networks [EB/OL]. [2016?02?29]. http：//www.doc88.com/p?7753169296976.html.

[10] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift [EB/OL]. [2019?03?26]. https：//blog.csdn.net/TeFuirnever/article/details/88802880.

[11] HOCHREITER S. The vanishing gradient problem during learning recurrent neural nets and problem solutions [EB/OL]. [1998?04?05]. https：//dl.acm.org/doi/10.1142/S0218488598000094.

[12] SRIVASTAVA N， HINTON G， KRIZHEVSKY A. Dropout： a simple way to prevent neural networks from overfitting [J]. Journal of machine learning research， 2014， 15（16）： 1929?1958.

[13] JIA Y， SHELHAMER E， DONAHUE J， et al. Caffe： convolutional architecture for fast feature embedding [C]// ACM International Conference on Multimedia. Orlando， FL， USA： ACM， 2014： 675?678.