基于卷積神經(jīng)網(wǎng)絡和Tensorflow的昆蟲圖像識別研究

劉姝珺，吳晟宇

南京工程學院，江蘇 南京 211167

0 引言

中國是農業(yè)大國，在傳統(tǒng)的農業(yè)生產中，經(jīng)常會受到病蟲害問題的困擾。在解決病蟲害問題時，第一步是識別昆蟲。在傳統(tǒng)的昆蟲識別方法中，昆蟲專家根據(jù)專業(yè)知識觀察昆蟲的外部特征，并對照相關的昆蟲圖鑒進行識別，費時費力。如今，傳統(tǒng)的昆蟲識別方法逐漸被昆蟲圖像識別技術代替。目前常用的昆蟲識別技術有圖像識別法、微波雷達檢測法[1]、生物光子檢測法[2]、取樣檢測法、近紅外及高光譜法[3]、聲測法[4]等。近年來，隨著人工智能的迅速發(fā)展，深度學習技術在處理自然語言、機器視覺等方面取得了很多成果，隨著深度學習的發(fā)展，已經(jīng)有研究人員開始將深度學習技術應用于昆蟲的圖像識別[5-6]。文章旨在利用基于深度學習的圖像識別技術解決昆蟲識別問題，希望能給現(xiàn)實生活中的病蟲害識別問題提供新的解決問題的思路。

1 深度學習方法

深度學習方法是一種多層次抽象學習的方法，在機器學習的基礎上發(fā)展而來。深度學習通過對底層數(shù)據(jù)的相關學習，抽取出相關特征，再通過非線性的映射函數(shù)進行從底層到高層的傳遞與轉換，最終形成機器模型。深度學習方法識別的對象都比較復雜，通常訓練獲得的特征遠大于傳統(tǒng)的人工識別獲取的特征，并且分布式特征提取能夠很好地處理非線性關系，也更符合生活中的實際情景。深度學習方法發(fā)展至今，通過對基本模型的優(yōu)化和訓練得到了很多性能良好的模型，如受限玻爾茲曼機RBM、自動編碼器AC和卷積神經(jīng)網(wǎng)絡CNN等較基礎的深度學習模型。

2 Tensorflow與卷積神經(jīng)網(wǎng)絡

2.1 Tensorflow

Tensorflow是谷歌發(fā)布的第二代人工智能系統(tǒng)[7]，它是一個開源軟件庫，用于機器學習與神經(jīng)網(wǎng)絡研究。Tensorflow支持短期記憶網(wǎng)絡LSTMN、循環(huán)神經(jīng)網(wǎng)絡RNN和卷積神經(jīng)網(wǎng)絡CNN等神經(jīng)網(wǎng)絡模型[8]。

2.2 卷積神經(jīng)網(wǎng)絡

2.2.1 卷積

神經(jīng)網(wǎng)絡由大量神經(jīng)元相互連接而成[9]，神經(jīng)元可以在線性組合輸入后加上非線性激活函數(shù)進行非線性變換，然后輸出，神經(jīng)網(wǎng)絡公式如下：

式中：ai1、ai1-1分別為神經(jīng)網(wǎng)絡中的一個神經(jīng)元，分別位于第l層和第l-1層第j個；Wij1為權重；bi1為偏置項；函數(shù)f為激活函數(shù)。

卷積神經(jīng)網(wǎng)絡通過局部連接和共享權值方法降低了網(wǎng)絡復雜度，緩解了過擬合問題。其中，層與層的神經(jīng)元不再是全連接，通過卷積運算相鄰層之間只有部分神經(jīng)元連接，使用相同卷積核進行卷積操作構成特征圖。輸入輸出特征圖的關系公式如下：

式中：Ai1、Ai1-1分別為第l層和第l-1層第i個特征圖，符號“*”表示卷積運算；Kij1為第l層第i個特征圖與第l-1層第j個特征圖之間進行卷積映射的卷積核。

圖像卷積運算的過程如圖1所示。特征圖像與卷積核都以矩陣形式存在，卷積核中的權值與輸入特征圖上對應的數(shù)值進行對應元素相乘，并對所得元素值進行累加，最終得到輸出特征圖的值。卷積操作通常以設定步長滑動的方式在特征圖上進行，圖1的滑動步長為1。

圖1 卷積運算過程

2.2.2 池化

池化又稱為子采樣或下采樣，因為圖像相鄰區(qū)域的特征極可能重合，所以卷積層輸出中包含的大部分信息是多余的。池化是將圖像全局的特征進行聚合統(tǒng)計，簡化卷積網(wǎng)絡計算復雜度，有效防止過擬合。池化運算常用的方法有均值池化[10]和最大值池化[11]，池化運算過程如圖2所示，圖2的池化操作滑動步長為2。

圖2 池化運算過程

2.2.3 激活函數(shù)

激活函數(shù)將非線性因素引入網(wǎng)絡[12]，可以提升網(wǎng)絡處理復雜模式的能力。卷積網(wǎng)絡中常用的激活函數(shù)有tanh、Sigmoid、ReLu等。對比ReLu激活函數(shù)，Sigmoid激活函數(shù)和tanh激活函數(shù)均為飽和函數(shù)，存在梯度消失問題，采用了冪運算，計算量相對較大。因此，ReLu激活函數(shù)是目前在卷積網(wǎng)絡中最常用的激活函數(shù)。

ReLu激活函數(shù)的優(yōu)點如下：（1）Relu激活函數(shù)是非飽和函數(shù)，導數(shù)為1，能有效防止梯度消失；（2）小于0的部分返回值為0，只有大于0的部分才有效，可以適當減少計算量；（3）小于0的部分輸出值為0，帶來網(wǎng)絡稀疏性，減少了參數(shù)間相互依賴的關系，可以緩解網(wǎng)絡的過擬合問題。

ReLu也存在一定的缺點。由于ReLu函數(shù)在x＜0時梯度為0，可能導致該神經(jīng)元后的梯度永遠為0，造成神經(jīng)元壞死，無論進行任何訓練神經(jīng)元的參數(shù)，都無法再更新。為了解決上述問題，研究學者提出了改進的ReLu激活函數(shù)，如LReLu（Leaky ReLu）、PReLu（Parametric ReLu）和 RReLu（Randomized Leaky ReLu）。其中，LReLu采用固定的a值；PRelu通過學習得到a值；RReLu的a值采用服從高斯分布的隨機值。

2.2.4 分類器

邏輯回歸分類器只能解決二分類問題，為了構建神經(jīng)網(wǎng)絡的多分類模型，通常使用Softmax分類器。對于給定的輸入x，計算每一種分類結果的出現(xiàn)概率p= (y=j|x)。假設訓練樣本集為 { (x(1),y(1)), … , (xm,ym)},y(i)∈ {1 , 2,...,k}，模型參數(shù)為W，Softmax函數(shù)要輸出一個k維向量來估計k分類概率值，公式如下：

式中：為輸出值；k為輸出神經(jīng)元個數(shù)；為歸一項，即確保函數(shù)所有輸出值總和為1，且每個值分布在(0, 1)范圍內。

損失

函數(shù)L(W)是衡量模型輸出和真實值的標準，需要通過不斷優(yōu)化使損失函數(shù)降低，公式如下：

式中：l{y(i)=j}為真函數(shù)時，值為1，反之，值為0；m為訓練樣本；λ為權重衰減參數(shù)。

3 昆蟲圖像模型的建立

3.1 昆蟲圖像數(shù)據(jù)采集

在模型訓練之前，選取10個昆蟲種類作為訓練數(shù)據(jù)集的內容，然后通過網(wǎng)絡爬蟲，針對每個種類的昆蟲各爬取200份數(shù)據(jù)，經(jīng)過人工篩選，過濾掉錯誤和不合適的圖片后，留下143份訓練數(shù)據(jù)，最后按照近似7∶3的比例劃分數(shù)據(jù)集。得到每個昆蟲種類含有100張圖片的訓練集和含有43張圖片的測試集。

3.2 昆蟲圖像數(shù)據(jù)預處理：獨熱編碼

獨熱編碼（one-hot encoding）又稱為一位有效編碼，主要采用N位狀態(tài)寄存器對N個狀態(tài)進行編碼，每個狀態(tài)都有獨立的寄存器位，并且在任意時候只有一位有效。在實驗中，將圖片數(shù)據(jù)集轉換成數(shù)組形式，并將其亂序，對變遷數(shù)據(jù)集進行獨熱編碼，為后續(xù)模型訓練做準備。

3.3 Tensorflow卷積神經(jīng)網(wǎng)絡的搭建

搭建卷積神經(jīng)網(wǎng)絡時選取的是經(jīng)典的LeNet-5模型[13]，定義了2層卷積池化層和3層全連接層。為了防止模型參數(shù)過擬合，設置dropout隨機失活器，dropout值設置為0.5。

文章的研究重點是討論不同優(yōu)化器的使用和學習率的設置對模型最終測試結果的影響，在對各個優(yōu)化器進行測試時，將采用已被廣泛采用的參數(shù)值作為參考，在參考值的小幅度區(qū)間內進行試驗，由此確定模型預測準確性的變化。

3.3.1 Adam優(yōu)化器（Adam optimizer）

Adam是指自適應矩估計（adaptive moment estimation），是梯度下降法的一種變形[14]，其每次迭代參數(shù)的學習率都有一定的范圍，不會因為梯度過大而導致學習率過大，參數(shù)值相對穩(wěn)定。

Adam優(yōu)化器的預測準確率如圖3所示，昆蟲識別效果如圖4所示。雖然訓練數(shù)據(jù)有限，但在0.01～0.001的學習率下，Adam優(yōu)化器的預測準確率可以達90%左右，效果較好。當學習率大于0.01以后，預測的準確率開始下降。

圖3 Adam優(yōu)化器的預測準確率

圖4 昆蟲識別效果示意圖

3.3.2 GD優(yōu)化器（gradient descent optimizer）

標準梯度下降法（gradient descent, GD）常用于求解機器學習算法模型參數(shù)，通過梯度下降，一步步迭代求解，從而得到最小化的損失函數(shù)。

GD優(yōu)化器的訓練結果如圖5所示，昆蟲識別效果如圖6所示。在使用GD優(yōu)化器時，效果并不理想。學習率初始設置為0.05時，預測的準確率極低；當學習率大幅度調大時，情況稍有好轉，但預測準確率仍不能令人滿意；當學習率大幅度調小時，情況未發(fā)生好轉。由此看出，在文章的實驗條件下，GD優(yōu)化器不適合作為實驗的優(yōu)化器。

圖5 GD優(yōu)化器訓練結果

圖6 昆蟲識別效果示意圖

3.3.3 Adagrad優(yōu)化器（Adagrad optimizer）

Adagrad是一種基于SGD的算法[15]，其核心思想是對不同的數(shù)據(jù)集用不同的學習率去調整參數(shù)，用較小的學習率調整常見數(shù)據(jù)集的參數(shù)，用較大的學習率調整罕見數(shù)據(jù)集的參數(shù)。Adagrad算法比較適合用于數(shù)據(jù)稀疏的數(shù)據(jù)集。

Adagrad優(yōu)化器的訓練結果如表1所示，昆蟲識別效果如圖7所示。Adagrad優(yōu)化器學習率的初始值設置為0.005,當將其調小時預測準確率出現(xiàn)較大的下降；當將學習率按一定梯度調大時,預測的準確率出現(xiàn)好轉，最好的情況是學習率為0.01時，測試準確率接近90%，但總體的準確率基本維持在80%左右。

圖7 昆蟲識別效果示意圖

表1 Adagrad優(yōu)化器的訓練結果

4 結論

文章基于Tensorflow搭建了卷積神經(jīng)網(wǎng)絡進行昆蟲識別，并重點討論了不同優(yōu)化器的使用和學習率的設置對模型最終測試結果的影響。文章主要對三種優(yōu)化器進行了實驗，分別是Adam優(yōu)化器、GD優(yōu)化器和Adagrad優(yōu)化器，并分別設置了不同的學習率。最終發(fā)現(xiàn)Adam優(yōu)化器在學習率為0.009時表現(xiàn)最好，預測準確率達91%。本次實驗的數(shù)據(jù)集較小，且選擇的卷積神經(jīng)網(wǎng)絡的深度較淺，在預測準確度方面仍存在很大的提升空間。