基于卷積神經網絡的菊花花型和品種識別

袁培森，黎 薇，任守綱,2，徐煥良,2※

0 引 言

菊花是中國十大傳統名花之一，具有重要的觀賞價值和經濟價值[1]。菊花具有種類多、花樣瓣形繁多等特點。目前，對于菊花花型的識別和管理主要靠人工進行，效率不高且對于一般的非專業人員容易出錯。另一方面圖像的識別應用和相關的理論研究發展迅速，圖像的智能識別成為人工智能領域最重要的發展和應用目標之一[2]。其中，基于圖像分析的植物識別分類技術已成為國內外植物信息學領域研究的熱點[3]。比較有影響是由 CLEF Initiative實驗室[4]組織的植物信息識別競賽，其中LifeCLEF[5]包含了植物、鳥、海洋生物和基于位置的生物數據分析。例如，Backes A R等[6]采用復雜網絡算法（complex network method）分析葉片特征并進行識別,實現了對不同分辨率以及存在采樣噪聲的葉片圖像識別，取得了較好的識別效果。

近年來國內研究機構基于機器學習等相關的技術基礎上，在植物葉片、花朵的識別方面的研究和系統實現方面也取得了較大進展。龔丁禧等[7]提出了基于卷積神經網絡的植物葉片分類。翟傳敏等[8]研究了基于葉緣與葉脈分數維特征的植物葉識別方法。王麗君等[9]研究了基于葉片圖像多特征融合的觀葉植物種類識別，文獻[10]研究了采用深度學習針對ImageNet數據庫中的80類花卉進行了識別測試。

目前關于花的識別研究主要有以下系統：1）微軟識花[11]，是微軟亞洲研究院與中科院植物所推出一款“微軟識花”應用軟件，它通過拍攝花的照片或選取手機圖庫中花的圖片，能夠快速、準確地識別花的種類。2）形色[12]，是一款在移動環境使用識花應用軟件，通過將植物拍照上傳，能夠在1～5 s左右給出植物的名字和寓意等信息。目前形色支持識別多達 4 000種植物，準確率92%左右[12]。3）看圖識花[13]，又稱為花伴侶或拍照識花，是中國科學院植物研究所研發的識花系統，可以鑒別花卉植物的品類，目前已可以識別上千種常見花卉植物。4）文獻[14]提供植物識別及病蟲害識別應用，通過植物照片就能識別出來植物種類。

研究發現，上述幾個系統都不具有地針對菊花花型進行精準識別的能力，不能識別菊花的花型并給出更加詳細的菊花種類信息，其中文獻[12]對菊花的種類識別方面準確率相對較高，但不能針對菊花花型提供更詳細的信息，因此不能滿足對菊花的智能識別和管理需要。所以非常有必要設計針對菊花花型的智能化管理和識別系統。

當前，受益于大數據、分布式計算及GPU計算等關鍵技術的快速發展，深度學習（deep learning）作為當前機器學習領域的重要技術在理論和應用等方面取得了巨大進展，尤其在圖像識別、語音識別等領域[15]。例如，Krizhevsky等[16]使用卷積神經網絡在ImageNet數據集上的識別取得了突破性進展。目前，文獻[17]指出基于深度學習的圖像識別技術可以與人類專家的識別能力相媲美，甚至超過專家的識別能力。當前，深度學習已經成為機器學習領域最富活力的研究方向之一。

基于端到端的深度學習使得圖像的識別不再局限于基于人工規則的中間步驟，基于端對端的處理方式與傳統方式對比[18]：傳統的圖像分類方法首先需要經過特征工程提取圖像特征和特征選取。特征提取方法往往跟數據集和應用相關，使得這種方式具有很大局限性。深度學習的分類方式[19]根據深度學習覆蓋的范圍，劃分為3類：1、深度學習技術使用在后端的深度學習的分類器；2、深度學習使用在前端的深度特征生成器；3涵蓋了從前端到后端的端到端（end-to-end）的深度學習[20]?；诙说蕉说姆椒ㄒ韵袼貫閱挝惠斎雸D像數據，經過深層神經網絡建模，涵蓋了特征工程和預測，可以涵蓋數據分類的全階段，可以更為直接的對圖像分類。

本文在基于端到端的卷積神經網絡基礎上，研究并實現了菊花花型識別系統 ChryRegNN。端到端的方法通過縮減人工預處理和后續處理，模型從原始數據輸入到最終輸出，模型根據數據自動調節，提高了模型的適應性[21-22]。此外，細粒度可視分類（fine-grained visual classification，FGVC）[23]技術可以更好的區分對象之間的細微差別，為了更好地區分菊花花型之間的差別，系統優化目標采用pair confusion loss函數[23]。

系統處理的步驟分為3步：1）收集并標注菊花圖像，把這些圖像和對應的標簽以二進制文件的形式存儲；2）對輸入的圖像進行預處理。為了提高模型的泛化能力，對訓練圖像數據集進行隨機剪裁、隨機反轉、隨機亮度變換、隨機對比度變換、圖像的白化、均值與方差的均衡等處理，降低圖像因明暗、光照差異引起的影響；3）采用端到端的卷積神經網絡學習模型。在云計算環境下，為了便于ChryRegNN 系統使用，系統的離線模型托管到云端，以便于模型的更新和移植，實現基于移動環境下的模型菊花圖像識別。

本文首先收集大量的菊花圖像數據, 并根據菊花花型進行人工標注和分類，在此基礎上設計并實現了基于端到端卷積神經網絡的菊花花型和品種識別和分類系統。系統對不同花型實現智能識別和分類并給出該花型對應的菊花品種及概率值。

1 CNN原理及系統工作流程

1.1 反向傳播算法

反向傳播算法（back propagation，BP）是人工神經網絡中常用且有效的方法，它為多層前向神經網絡的權值優化提供解決方案，適用于訓練前向型神經網絡[24]。

設 nl表示神經網絡的層數， Ll表示第l層，整個網絡的輸入層為 L1，輸出層為 Lnl。神經網絡參數可以表示為其中 W i j(l)表示第l層的第j個節點與第 l +1層的第i個節點之間的連接參數，表示第 l +1層的第i個節點的偏置項，偏置項只有輸出沒有輸入。該神經網絡模型可以用公式（1）～（4）計算。

式中 a i(l)表示第l層的第i個節點的激活值，當 l =1時，則第i個節點的輸出值為輸入值。神經網絡的最終輸出結果使用公式（4）表示。其中W表示網絡參數權重，b表示偏移量。

為了更新公式（5）中的網絡權重參數，BP使用公式（6）和（7）批量梯度下降法來更新相關參數。

1.2 卷積網絡基本原理

卷積網絡（convolutional neural network，CNN）是一種局部連接、權值共享的前饋式多層神經網絡，是為識別二維形狀而特殊設計的一種多層感知器，具有對平移、比例縮放、傾斜或其他形式的變形不變性的特點[16]。典型的CNN網絡采用BP算法通過最小化訓練結果和真實值之間的代價函數，如公式（8）所示。

卷積神經網絡的基本架構可分為4層：第1層為Input輸入層，第2層是Conv卷積層，第3層是Full全連接層，第4層是Output輸出層。CNN通過用已知模式訓練卷積網絡，是一種從輸入到輸出的非線性關系映射，它有效地在輸入與輸出之間的建立非線性映射關系。CNN因具有位移、畸變魯棒性和并行性等而受到廣泛關注[16]。

1）輸入層（input layer）：卷積神經網絡的輸入層可以直接輸入原始數據，當輸入為圖像時，輸入數據為圖像的像素值。

2）卷積層（convolutional layer）：卷積神經網絡的卷積層也叫做特征提取層，包括 2個部分，第一部分是真正的卷積層，用于提取輸入數據的特征，每個不同的卷積核提取的特征都不同，卷積層的卷積核數量越多，提取的特征就越多。第二部分為pooling下采樣層，該層在保證有效信息的基礎上減少數據處理量，提升訓練速度。卷積層數越多，模型提取特征的能力更強。

3）全連接層（fully connected layer）：可以包含多個全連接層，實際上就是普通神經網絡層的隱藏層部分，全連接層的每個神經節點都和前一層的每個神經節點連接，同一層的神經節點沒有連接，每一層的神經節點通過連接線上的權值進行前向傳播加權和計算得到下一層神經節點的輸入。

4）輸出層（output layer）：輸出層的節點數目是根據具體任務類設定的。例如文中使用菊花數據集進行圖像識別分類，則輸出層就是一個分類器，其節點數目等于菊花種類數目。

1.3 Tensor計算

數據表示分為向量表示與張量表示 2類[25]。張量是多向陣列，可看作向量、矩陣的高階擴，是一種多維數據數組。

根據張量的定義，可以定義張量矩陣展開、模乘（mode product）、張量積（tensor product）和張量分解等運算[26]。張量進行數據分析具有以下優點：1）張量結構易于表示高維數據；2）提取特征，張量可以有效保存原始數據樣本的結構特征，尤其是對圖像數據；3）易于表示高階關系。ChryRegNN 系統的菊花圖像數據輸入采用張量表示，實現了圖像數據采用原始像素直接到識別結果的輸出。

1.4 系統處理流程

ChryRegNN 系統的處理流程如圖1所示。首先加載圖像，并對圖像進行縮放和裁剪，接著把圖像轉為RGB三通道張量表示形式并輸入到訓練模型中，最后根據模型的輸出，返回概率值Top3的類別。

圖1 系統處理流程圖Fig.1 Processing procedure of system

針對云環境下的使用，可以分為 3步：首先用戶輸入的數據，ChryRegNN 系統在使用的過程中，接著經過ClassifyImage把圖像轉換為Tensor，最后Tensor交給Pretrained model計算得出最可信的結果再傳回ChryRegNNApp和 ClassifyImage，最后返回給用戶識別的結果，模型在云環境[27]下的托管如圖2所示。

圖2 ChryRegNN在云環境下的托管Fig.2 ChryRegNN hosting in cloud environment

2 ChryRegNN 系統實現

2.1 圖像預處理

在圖像預處理方面，本文采用了一系列隨機變換的方法來增加數據集的大小。預處理方法包括：隨機剪裁、隨機反轉、隨機亮度變換、隨機對比度變換、圖像的白化、均值與方差的均衡，前 4種是為了增加訓練數據集數量，圖像的白化是為了降低圖像明暗、光照差異引起的影響。圖像預處理的結果示例如圖 3所示，預處理后圖像大小為48*48像素。

圖3 菊花圖像預處理示例Fig.3 Illustration of chrysanthemum image preprocessing

2.2 ChryRegNN 系統網絡架構

系統采用6層卷積神經網絡，模型如圖4所示。首先是Input數據輸入層，用于直接輸入圖像，接著是Conv1卷積層，其中分為C1卷積層、S1下采樣層和L1歸一化層，這里的L層為LRN層（local response normalization,LRN），即局部響應歸一化，它的作用是對于每個元素按照給定的系數逐一進行規范化處理，以提高神經網絡分類精確度。第三層是Conv2卷積層，其中分為C2卷積層、S2下采樣層和L2歸一化層，接著是F3和F4全連接層，最后是Output數據輸出層。

圖4 ChryRegNN系統網絡架構Fig.4 Neural network framework of ChryRegNN

2.2.1 卷積層設計

系統中輸入菊花圖像數據經過輸入層、Conv1卷積層和pooling層最后實現歸一化的數據傳遞。為了充分利用菊花圖像數據的特征信息，系統采用RGB三色圖像，采用3D張量。系統的卷積層Conv1和Conv2設計如圖5所示，卷積層使用的神經元激活函數為ReLU函數，見公式（10）。

本文的數據集圖像經過預處理后大小為48*48*3，以此Conv1層為輸入圖像。Conv1卷積層的卷積核數目為64個，卷積核的大小為5*5，卷積核的移動切片step步長為1。數據經過Conv1卷積后得到的數據為44*44*64，輸出的數據維數是64維。

Conv1層的pooling層的卷積核大小為3*3，移動step步長為 2。數據經過 pooling層后，獲得的數據大小為24*24*64，維度為64維。最后經過歸一化規范數據，輸出大小為24*24*64，此輸出作為Conv2層的輸入。

Conv2層以 Conv1層的輸出數據作為輸入，Conv2層的卷積核的數量為 64，卷積核大小為 5*5，卷積核的移動切片step步長為1。數據經過Conv2卷積后得到的數據為20*20*64，輸出的數據維數是64維。

圖5 Conv卷積層設計Fig.5 Convolutional layer of Conv

Conv2層的pooling層的卷積核大小為3*3，移動步長為 2。數據經過 pooling層后，獲得的數據大小為12*12*64，維度為64維。Conv2層經過歸一化規范數據，以此作為Fc3全連接層的輸入。

2.2.2 全連接層設計

ChryRegNN 系統全連接層Fc3和Fc4設計如圖6所示，全連接激活函數采用 ReLU函數。Fc3層與 Conv2卷積層輸出數據大小相同，Fc3層神經元個數設為384個，Fc4輸出神經元個數為192個。

圖6 全連接層設計Fig.6 Full connect layer design

2.2.3 輸出分類層設計

輸出分類層的神經節點數根據實際的訓練集來確定softmax，如公式（9）所示。

ChryRegNN 系統中使用的訓練樣本的類別為5個，所以神經元節點數為5個。輸入神經元個數為F4全連接層的輸出神經元個數，即 192個，經過輸出層，最后輸出神經元個數為5個，即可進行分類識別。ChryRegNN 系統各層模型預測的總結如表1所示。

表1 CNN的組織層次總結Table 1 Layers summarization of CNN model

2.3 網絡的優化設計

2.3.1 優化網絡參數

對于激活函數，系統采用ReLU激活函數，其表達式為公式（10）。ReLU激活函數具有收斂速度快和稀疏激活性的優點[28]。2

.3.2 局部響應歸一化

局部響應歸一化（local response normalization, LRN）作用是對于每個元素按照給定的系數逐一進行規范化處理，以提高神經網絡分類精確度，如公式（11）所示。

式中 aix, y 表示第i個卷積核在位置(x, y)的輸出，bix, y是局部響應歸一化后的輸出，N為卷積核的數量，k、α、n、β為常量。

2.3.3 Dropout優化

為了解決過擬合問題，系統采用dropout 策略，它是一種為防止神經網絡過擬合的正則化方式[29]。dropout是一種提高泛化能力，降低過擬合的方法。為了避免過擬合現象，在神經網絡訓練的過程中隨機拋棄隱藏層神經節點的輸出值，物理意義相當于斷開該網絡連接，因此在反向傳播更新權值參數時，不需要更新與該節點相連的權值。本系統在卷積層采用了 dropout策略，dropout參數設置為0.25。

2.3.4 損失函數

針對細粒度圖像分類，系統采用了文獻[23]提出的pairwise confusion loss函數。該函數可以對細粒度圖像為端到端的 CNN網絡訓練提供更為有效的懲罰目標函數,使得訓練模型具有更好的泛化能力。對于包含N類的數據集上的一個神經網絡和其參數θ，數據x的條件概率pθ(y| x)，pairwise confusion loss如公式（12）所示。

式中 x1、 x2為訓練集合中的隨機采樣。對包含κ個樣本S = [ S1, S2]優化的目標如公式（13）所示。

式中 LCE為S上的交叉熵[30]， Lp是對象對 ( s1i, s2i)在[S1, S2]上計算結果，λ*參數為權重。根據文獻[23]試驗結果，λ*設置為0.1。

2.4 系統的訓練過程

系統對神經網絡用 Mini-batch SGD[31]進行訓練。Mini-batch SGD方法從數據集中每次取出mini-batch的數據進行訓練。該方法綜合了Batch Gradient Descent能夠保證收斂到全局最優值（凸函數）/局部最優值（非凸函數）和Stochastic Gradient Descent的在線更新優點。每次從全部數據中取1個 mini-batch 的數據計算。具體的訓練過程如圖7所示。

系統訓練過程步驟如下：

1）使用從截斷的正態分布中輸出隨機值的方法初始化網絡的權值 W，生成的值服從具有指定平均值和標準偏差的正態分布，如果生成的值大于平均值 2個標準偏差的值則丟棄重新選擇。其中偏置量b設定為常量。

2）從訓練集中隨機選取一個batch的訓練樣本，系統設定batch為15，對訓練樣本進行圖像預處理后輸入到卷積神經網絡中。

3）訓練樣本通過卷積神經網絡進行前向傳播，計算得到輸出值。

4）計算實際的輸出值與預測的輸出值之間的誤差值。如果迭代次數達到預定值，則停止訓練，否則繼續進行訓練。

5）按照極小化的方式將誤差進行反向傳播，逐步更新卷積神經網絡的權值參數。

6）返回步驟（2），循環訓練。

圖7 ChryRegNN的訓練流程圖Fig.7 Training flow chart of ChryRegNN

3 試驗結果與分析

系統采用Java和Python 3.5實現，可以在Android4.0+環境下使用，離線模型可以托管在亞馬遜 AWS 等云平臺。CNN的計算實現采用了tensorflow V1.0[32]框架。

3.1 數據集

本文采用的數據集共6 300張菊花圖像，共分為5種類型：翻卷型、雛菊型、飛舞型、球型和蓮座型。其中6 000張作為訓練圖片，300張作為測試圖片，即每種類型包含訓練圖片1 200張和60張測試圖片。

3.2 參數設置

系統中的參數設置k=2，n=5，α=0.001/9.0，β=0.75。系統設置的迭代次數為30 000次，batch為15，每 1 000步在檢查點文件中保存模型中的所有參數，pairwise confusion loss函數的參數*λ采用文獻[23]推薦設置為0.1。

3.3 查詢結果及精度

ChryRegNN系統在移動終端上的測試如所圖8所示。圖8a是輸入一個翻轉型菊花圖片系統經過識別輸出的結果，使用中括號表示該花型的在數據庫中的索引值，括號里面的值為計算的概率值。該系統不僅可以計算菊花類型的概率值，并可以給出該花型可能的品種歸屬。圖8b是根據花型識別系統輸入的該花型包括的菊花品種，比較直觀地展示了該類型涵蓋的不同品種。

圖8 ChryRegNN 系統在移動終端測試示例Fig.8 Illustration of ChryRegNN systerm on MT

為了評價系統的識別效果，系統采用了平均識別精度和識別準確率進行評測，分別如公式（14）和（15）所示。對于第i種花型的平均識別精度采用公式（14）所示。

識別精度結果如表2所示。表2結果表明，系統在5種不同花型的菊花上，平均識別精度為0.959。對于翻轉型菊花，由于其外觀與其它類型區別較大，平均識別率達到0.98。試驗表明系統能夠滿足實際使用要求。

表2 不同菊花形狀的識別精度Table 2 Recognition precision of different patterns type

為了對比不同系統的識別準確率，在手機上安裝了3個系統：微軟識花[11]、花伴侶[13]和行色[12]。對 5種花型分別采用50個圖像做測試，通過拍照進行識別。表3是識別準確率對比，每種花型的準確率計算如公式（15）所示。

式中ip為 1表示系統識別出圖像為菊花，否則記為 0，M表示測試的次數。

表3表明，ChryRegNN系統在菊花的識別準確率方面超過了現有的微軟識花[11]、花伴侶[13]和行色[12]識別系統，4個系統的平均識別準確率比較見表3，系統對5種花型的平均識別準確率通過公式表明，行色[12]和花伴侶[13]對菊花的識別準確率相對較高，計算。結果但是以上系統都不能識別出菊花的花型。需要說明的是，本系統只針對菊花進行識別，目前的系統假定識別的結果都是菊花，因此系統的準確率輸出是菊花的對于非菊花圖像，存在誤判的可能性，在此普適性方面，與 3個的系統具有一定的差距。

表3 4個系統識別準確率Θ對比Table 3 Recognition accuracy rate Θ comparison of 4 systems

4 結 論

本文采集并標注了菊花花型和類別數據集，根據菊花花型，采用端到端的卷積神經網絡，初步研究和構建了一個 6層網絡的菊花花型和品種識別系統。系統數據輸入和結果輸出采用端到端的方式，數據的表示采用張量作為輸出，針對不同的菊花花型設計了菊花識別系統，為了在細粒度級別區分不同菊花之間的差異和相似性，采用了pairwise confusion loss函數。系統分為離線和在線2個階段，為了便于模型更新、移植和使用，其中離線模型可以在云環境中托管部署，系統模型能夠在線通過云端的計算實現在移動環境普適計算。

本文收集并使用了真實的菊花圖像數據, 為了訓練模型根據菊花花型進行了人工標注和分類，通過與相關、典型的識別系統進行試驗對比，識別準確率較現有系統具有很大的提升。在識別精度方面，系統平均識別精度達到0.95左右，部分花型平均識別率達到0.98。

本系統尚有不足之處，把菊花的識別作為一個封閉的系統，假設所有的結果都是菊花，在其它花卉的識別可能會造成錯誤的輸出。后期將根據不同的菊花品種。后期的工作將圍繞意下各方面進行研究：1）在數據集方面，由于手工分類的困難，后期一方面引入半監督方法來彌補效率低的問題，另一方面加入通用的花卉植物庫的數據來驗證和提升計算效果；2）設計特征融合框架，引入更多特征，在細粒度方面提升差異識別精度；3）除了花型識別，實現根據花型多層的分類識別框架，提供菊花品種更加精細化識別能力。

[1] 付為琳，孫桂菊. 菊花的有效成分、功效、提取工藝及開發前景[J]. 食品工業科技，2008，29(3)：296－299.Fu Weilin Sun Guiju. The composition, effect, extraction and utilization of Chrysanthemum[J]. Science and Technology of Food Industry, 2008, 29(3): 296－299. (in Chinese with English abstract)

[2] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770－778.

[3] 張 帥，淮永建. 基于分層卷積深度學習系統的植物葉片識別研究[J]. 北京林業大學學報，2016，38(9)：108－115.Zhang Shuai, Huai Yongjian. Study on plant leaf recognition based on stratified convolution depth learning system[J].Journal of Beijing Forestry University, 2016, 38 (9): 108－115. (in Chinese with English abstract)

[4] CLEF Initiative[N/OL]. 2017[2017-07-25]. http://www.clefinitiative.eu/.

[5] LifeCLEF 2017[N/OL]. 2017[2017-07-25]. http://www.imageclef.org/lifeclef/2017.

[6] Backes A R, Casanova D, Bruno O M. A complex networkbased approach for boundary shape analysis[J]. Pattern Recognition, 2009, 42(1): 54－67.

[7] 龔丁禧，曹長榮. 基于卷積神經網絡的植物葉片分類[J].計算機與現代化，2014，2014(4)：12－15.Gong Dingxi, Cao Changrong. Plant leaf classification based on CNN[J] .Computer & Modern, 2014, 2014(4): 12－15.(in Chinese with English abstract)

[8] 翟傳敏，汪青萍，杜吉祥. 基于葉緣與葉脈分數維特征的植物葉識別方法研究[J]. 計算機科學，2014，41(2)：170－173.Zhai Chuanmin, Wang Qingping, Du Jixiang. Plant leaf recognition method based on fractai dimension Feature of outline and venation[J]. Computer Science, 2014, 41(2): 170－173. (in Chinese with English abstract)

[9] 王麗君，淮永建，彭月橙. 基于葉片圖像多特征融合的觀葉植物種類識別[J]. 北京林業大學學報，2015，37(1)：55－61.Wang Lijun, Huai Yongjian, Peng Yuecheng. Leaf image recognition based on layered convolutions neural network deep learning[J]. Journal of Beijing Forestry University, 2015,37(1): 55－61. (in Chinese with English abstract)

[10] 沈 萍，趙 備. 基于深度學習模型的花卉種類識別[J]. 科技通報，2017，33(3)：115－119.Shen Ping, Zhao Bei. Automatic classification of flowers based on deep learning model[J]. Bulletin of Science and Technology, 2017, 33(3): 115－119. (in Chinese with English abstract)

[11] 微軟識花[N/OL]. 2017 [2017-07-01]. https://www.microsoft.com/en-us/research/project/flowerreco-cn/.

[12] 形色[N/OL].2017 [2017-06-10]. http://www.xingseapp.com/.

[13] 看圖識花[N/OL].2017 [2017-05-20]. http://stu.iplant.cn/web.

[14] Garden Answers[N/OL]. 2017[2017-07-20]. http://www.gardenanswers.com/.

[15] 孫志遠，魯成祥，史忠植，等. 深度學習研究與進展[J]. 計算機科學，2016，43(2)：1－8.Sun Zhiyuan, Lu Chengxiang, Shi Zhongzhi. et al. Research and advances on deep learning[J]. Computer Science. 2016,43(2): 1－8. (in Chinese with English abstract)

[16] Krizhevsky A, Sutskever I, Hinton G E. Image Net classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. 2012:1097－1105.

[17] Neural Nets[DB/OL]. 2017[2017-07-28]. http://jhirniak.github.io/neural_nets/.

[18] Yoon S, Yoon S. DeepCCI: End-to-end deep learning for chemical-chemical interaction prediction[C]//ACM International Conference on Bioinformatics, Computational Biology,and Health Informatics. 2017: 203－212.

[19] Ren S, He K, Girshick R, et al. Object detection networks on convolutional feature maps[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(7): 1476－1481.

[20] Trigeorgis G, Ringeval F, Brueckner R, et al. Adieu features?End-to-end speech emotion recognition using a deep convolutional recurrent network[C]//IEEE International Conference on Acoustics, Speech and Signal Processing. 2016: 5200－5204.

[21] Tang H, Wang W, Gimpel K, et al. End-to-end training approaches for discriminative segmental models[C]//Spoken Language Technology Workshop. 2016: 496－502.

[22] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2015: 3431－3440.

[23] Dubey A, Gupta O, Guo P, et al. Training with confusion for fine-grained visual classification[J/OL]. 2017. https://arxiv.org/abs/1705.08016.

[24] Hecht-Nielsen R. Theory of the backpropagation neural network[J]. Neural Networks, 1988, 1(Supplement-1): 445－448.

[25] 楊琬琪，高 陽，周新民，等. 多模態張量數據挖掘算法及應用[J]. 計算機科學，2012，39(1)：9－13.Yang Wanqi, Gao Yang, Zhou Xinmin, et al. Multi- modal tensor data mining algorithms and applications[J]. Computer Science., 2012, 39(1): 9－13. (in Chinese with English abstract)

[26] Hassani S. Analysis of Tensors[M]//Switzerland: Springer International Publishing, 2013: 859-911.

[27] AWS 云服務[EB/OL]. 2017[2017-05-10]. https://aws.amazon.com/cn.

[28] Xu B, Wang N, Chen T, et al. Empirical evaluation of rectified activations in convolutional network[J/OL]. 2015. https://arxiv.org/abs/1505.00853.

[29] Hinton G E, Srivastava N, Krizhevsky A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012, 3(4): 212－223.

[30] Cai D, Chen K, Qian Y, et al. Convolutional low-resolution fine-grained classification[J/OL]. 2017. https://arxiv.org/abs/1703.05393.

[31] Li M, Zhang T, Chen Y, et al. Efficient mini-batch training for stochastic optimization[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014: 661－670.

[32] tensorflow[EB/OL].2017 [2017-06-15]. https://www.tensorflow.org/.