基于Faster R-CNN的美國白蛾圖像識別模型研究

薛大暄，張瑞瑞，陳立平*，陳梅香，徐 剛

(1. 首都師范大學信息工程學院，北京 100048；2. 國家農業智能裝備工程技術研究中心，北京 100097)

美國白蛾Hyphantriacunea為鱗翅目燈蛾科的一種昆蟲，是為害農作物、林木、果樹、花卉等植物的食葉害蟲。近年，受氣候變化環境污染等影響，美國白蛾危害快速蔓延。美國白蛾成蟲適應性強、繁殖量大、傳播途徑廣(陳學新等，2017；孔雪華，2010)，動態監測并有針對性防治是提升白蛾防控的重要手段。及時的蟲情監測和有效的早期防治能夠避免重大的經濟和生態損失。在美國白蛾防治過程中，通過懸掛誘捕裝置，并對誘捕白蛾進行識別、分類、計數是當前蟲情動態監測的主要方法。因白蛾發生范圍廣、預警區域大、誘捕數量多、混雜異類昆蟲多等特點，導致人工識別、分類、計數速度慢、耗時長、強度高、主觀性強。

隨著計算機技術的不斷發展，基于圖像處理技術的害蟲自動識別技術得到廣泛的研究。張紅濤等通過蟻群優化算法從糧蟲17維形態學特征中自動提取出最優特征子空間，采用支持向量機對糧蟲進行分類(張紅濤，2002)。毛文華等利用幀間差分法來提取蝗蟲的形態特征因子，通過分類和構建數學模型來統計蝗蟲數量(毛文華等，2008)。陳月華等首次將K均值聚類算法用于害蟲圖像的分類，運用合并和分裂相結合的區域生長算法分割害蟲和葉片(陳月華，2007)。通常自然環境下獲取的害蟲圖像背景噪聲較大，光線強度，姿態特征各不均勻，導致傳統的識別算法具有一定的局限性?；谏疃葘W習的目標識別方法利用端對端方法對圖像特征進行自動提取，研究顯示利用深度學習方法對害蟲進行識別效率高、識別時間快。楊國國等通過對整個圖像進行顏色衰減加速運算，結合超像素區域之間的空間影響，利用Grab Cut算法進行害蟲定位和分割(楊國國等，2017)。孫俊等提出一種結合批歸一化與全局池化相結合的卷積神經網絡識別模型(孫俊等，2017)。譚文學等設計深度學習神經網絡對果蔬果體病理圖像識別方法，并提出彈性動量的參數學習方法(譚文學等，2017)。孫鈺等利用K-means聚類算法優化Faster R-CNN，對任意姿態的紅脂大小蠹進行目標識別(孫鈺等，2019)。

本文以美國白蛾為研究對象，對自然環境下誘捕到的美國白蛾樣本進行圖像識別技術研究，提出一種結合Inception_v2網絡的Faster R-CNN(Zengetal.，2018)美國白蛾識別改進模型(ImprovedHyphantriacuneaRecognition Model，IHCDM)。該模型平衡處理速度和識別準確率，能夠自動定位、識別美國白蛾蟲體，為白蛾的機器自動統計、篩選提供了參考方法。

1 材料與方法

1.1 實驗材料

美國白蛾樣本來源于北京市昌平區、海淀區。因美國白蛾自然環境下形態特殊，不同角度姿態差異大，使用Canon EOD 7 D相機采取正面、側面、斜側、背面4個角度樣本圖像。原始圖像像素大小2 736 px×3 648 px，將原始數據通過圖像預處理將像素縮減至600 px×1 024 px。

表1所示為構建容量為3 500張數據集，其中包含小部分背景圖像1 300張，將數據集按照PASCAL VOC競賽的數據集劃分。其中2 600張用于構建網絡訓練集，450張用于構建網絡驗證集，450張用于構建網絡測試集。為了保證模型評價指標的準確性，訓練集、驗證集、測試集樣本互斥。

表1 美國白蛾數據集種類及數量

通過LabelImg工具將訓練集和驗證集中的樣本分別進行標注。標注類別分兩種：美國白蛾、其他兩個類別，生成的xml文件包含五個重要參數(Name，Xmin，Ymin，Xmax，Ymax)。其中Name代表標注的類別，Xmin，Ymin，Xmax，Ymax代表矩形框的左上角，右下角的位置坐標，用于目標識別算法中RPN網絡的回歸計算。

1.2 IHCDM模型

1.2.1經典Faster R-CNN深度學習模型

Faster R-CNN識別算法中采用區域候選網絡(Region Proposal Network，RPN)代替Selective Search算法(Renetal.，2015)，極大程度減少了生成候選框的時間。RPN網絡流程圖如下圖2所示(Qinetal.，2017)，RPN網絡提出一種錨點，錨點是原始圖片經過卷積操作之后在特征圖(feature map)中感受野的中心，錨點用于解決邊界框長度不一致問題。在特征圖中采用一個3×3的滑動窗口進行卷積操作，每一個滑動窗口會對錨點周圍產生多個候選框區域，每一個候選區域框包含前景背景得分和每一個候選區域框的位置信息(Fanetal.，2016)。假設每一次預測識別框的數量為k，分別進行1×1卷積操作，在分類層得到2 k個的分數，在回歸層得到4 k個位置坐標信息。在默認狀況下，用(0.5，1.0，2.0)三種比例和(8，16，32)下采樣倍數，得到k=9種不同的錨點。對于W×H大小的特征圖，總共有W×H×k個錨點。

(a)第一示例 (b)第二示例

圖2 RPN網絡流程圖Fig.2 Flow chart of RPN network

RPN網絡訓練中對每個錨點分配一個二分類標簽(是否為object)。以下這兩種錨點設置為正標簽：1)與真實框(intersection-over-inion，IoU)最高的候選框；2)與真實框IoU大于0.7的候選框。對于某個錨點與真實框IoU大于0.3，則判定為負標簽，其余IoU大于0.3和IoU小于0.7的候選框不參與訓練(Chenetal.，2017)。對于圖像的損失函數定義如式1所示：

(1)

其中i是小批量數據的索引，pi是第i個錨點的目標識別概率值。如果錨點映射的是正標簽，則pi*為1，反之為0。目標分類的損失函數是對二分類問題的對數損失，公式如式2所示：

Lcls(pi,pi*)=log[pipi*+(1-pi)(1-pi*)]

(2)

對于目標回歸的損失函數定義如式3所示：

Lreg(ti,ti*)=∑i∈{x,y,w,h}smoothl1(ti-ti*)

(3)

對于邊界框回歸，ti是預測框的4個坐標向量，其中包含{tx，ty，tw，th}，ti*是真實框的4個坐標向量，公式計算如式4所示：

(4)

其中，(x,y)代表預測邊界框的中心點坐標，(xa，ya)代表錨點包圍盒的中心點坐標，(x*，y*)代表真實邊界框的中心點坐標，w，h分別代表框寬和高。邊界框回歸的目的是讓預測候選框不斷接近真實邊界框的回歸。

1.2.2IHCDM模型

從AlexNet的8層網絡結構到經典Faster R-CNN網絡模型的VGG 16的網絡結構，主流的網絡結構突破大多數是增加網絡層數和神經元數量。但是單純的增加深度和寬度會導致參數過多出現過擬合問題，網絡層數加深，參數計算量變多，導致計算機計算量過大，訓練時間久，難以應用。Inception_v2為解決以上問題，在神經網絡中添加了多種不同的卷積層和池化層，將Inception_v1中5×5的卷積層分別用兩個3×3的卷積層代替，極大程度降低了參數數量，也加速了神經網絡的計算，增加了神經網絡對圖像尺寸的適用性。

本文將對比傳統識別模型，Inception_v2，ResNet 50(Rezendeetal.，2017)，ResNet 101等網絡模型，最終將VGG 16輸入模型替換為Inception_v2網絡結構，并對IHCDM中學習率，迭代次數，訓練集數量等超參數進行調整，改進后的識別框架如圖3所示。

圖3 IHCDM流程圖Fig.3 Chart of IHCDM model

1.2.3遷移學習

遷移學習在深度學習領域應用十分廣泛，將已經訓練好的模型遷移到另一個模型中，幫助新模型進行輔助訓練。自然環境下，美國白蛾圖像數據體態特征均有差異。若進行初始零訓練，網絡模型難以收斂，損失值下降過慢(袁功霖等，2018)。本文實驗采用遷移學習提升IHCDM精度，遷移學習的優點在于對美國白蛾圖像數據不需要初始學習特征，用訓練好的預訓練模型進行共同的特性遷移，從而極大減少了模型訓練過程并縮短了模型訓練時間。

1.2.4超參數法

學習率是神經網絡梯度下降算法中一個重要的參數，學習率過小會導致學習速度慢，導致收斂速度慢，易過擬合；學習率大對應學習速度快，容易損失值爆炸。迭代次數是訓練集在神經網絡中的學習次數，不同的迭代次數會產生不同的模型精度。本文實驗通過控制變量法對比學習率，迭代次數等超參數提升IHCDM精度。

1.2.5數據增強

對于成熟的神經網絡而言，其中的參數都是數以百萬計，要使網絡識別模型足夠好，必須使用大量數據進行訓練。數據增強技術可以提高模型的泛化能力和魯棒性，防止模型過擬合。本文利用Keras深度學習框架中的ImageDataGenerator類對美國白蛾圖像數據進行旋轉角度、水平平移、垂直平移、填充模式等4種方法提高模型的泛化能力。

1.3 美國白蛾識別模型實驗設計

對比深度學習識別算法與傳統SVM+HOG算法，實驗對美國白蛾圖像數據進行了SVM+HOG算法的傳統目標識別，實驗結果表示深度學習目標識別效果優于傳統目標識別算法?；谏疃葘W習的目標識別中，訓練集中圖像數據為單一的美國白蛾居多，從而導致網絡模型泛化能力較弱。針對以上問題，實驗通過以下幾種方法對網絡模型精度進行改進：1)增加一種識別背景類other；2)將原始卷積神經網絡VGG替換為Inception_v2，對比ResNet 50、ResNet 101、inception+ResNet等網絡模型；3)對IHCDM中學習率，迭代次數等超參數進行控制變量法對比；4)通過數據增強技術對IHCDM進行精度提升。

1.4 美國白蛾識別模型評價方法

本文引入召回率(Recall)和均值平均精度(Mean Average Precision，mAP)做為IHCDM的評價指標。其中召回率是針對樣本，表示樣本中的正樣本的個數有多少被正確預測，是樣本中的正例與所有樣本中正樣本的比例，計算如式5所示：

(5)

其中，TP(True Positives)代表把正樣本預測為正類，FN代表把正樣本預測為負類。

針對美國白蛾圖像，查準率(Precision)可以計算模型精度，即為模型預測的TP數量除以真實圖像這一類目標數量。通過識別模型類別N和查準率來計算mAP值，計算公式如式6所示：

(6)

1.5 美國白蛾識別模型實驗平臺

本文通過對比不同深度學習框架中的模型設計、接口、部署、性能、架構、設計等方面，采用Tensorflow框架作為本文的基礎框架。實驗環境配置如下：操作系統為Ubuntu 16.04，CPU為Intel Core i 5-8700，GPU為RTX 2070，Python版本為Python 3.6，內存為16 G。

2 結果與分析

2.1 目標識別方法性能對比

傳統識別利用HOG算法將美國白蛾圖像局部區域的梯度方向直方圖構成特征，并用SVM分類器進行識別(任彧和顧成成，2011)。由于HOG特征不具備旋轉不變性以及滑動窗口提取特征區域效率比RPN網絡差，最后訓練出來的模型識別真實圖像mAP為0.90。在深度學習的網絡模型中，利用4種不同的目標識別網絡進行對比，圖像分辨率為600×1 024，迭代次數為10 000，圖像總數據為1 400張。經過在實驗平臺上8 h的訓練，最終在測試集得到的mAP值如表2所示。從實驗測試集圖4結果可以看到，SSD模型對于小物體識別效率較低。本文提出的IHCDM損失值(Loss)為0.140，mAP為99.5%。研究結果顯示，在閾值為0.85下，IHCDM召回率達到最高為99.7%，對比其他識別模型，IHCDM模型mAP分別增加了9.5%，0.5%，0.4%，6.4%。

表2 目標識別方法性能對比

(a)SSD第一檢測示例

(b)SSD第二檢測示例

2.2 遷移學習方法性能對比

實驗采用COCO數據集迭代200 000次的模型作為實驗的預訓練模型。在圖像識別當中，大部分數據都存在著一定的相關性，實驗將利用原始的Faster R-CNN+Inception網絡模型已經學習到的參數遷移到IHCDM當中。如圖5所示，當不采用遷移學習方法時，IHCDM在迭代次數為10 000時損失值趨近于0.4。采用遷移學習方法時，IHCDM損失值趨近于零，并且收斂快，識別效率高，對識別精度，訓練速度都有很大的提升。

(a)模型未使用遷移學習

(b)模型使用遷移學習

2.3 超參數改進方法性能對比

在模型訓練中，學習率的不同影響訓練中梯度下降幅度，從而導致模型訓練效果不同。利用控制變量法保持其他超參數一定，對不同的學習率下的網絡模型進行識別對比，并對測試集中的美國白蛾數據進行識別，設定其閾值為0.85。如表3所示，當學習率為0.002時，Loss最小值為0.016，召回率為99.8，mAP在損失函數最小的情況下達到99.5%。

表3 不同學習率的效率對比

在模型訓練中，迭代次數直接影響模型訓練的效果。在訓練過程中，根據不同的迭代次數網絡進行參數微調。迭代次數過小則模型收斂困難，迭代次數過大，容易導致過擬合，設定其閾值為0.85。如圖4所示，當迭代次數為50 000次，損失值收斂，識別效果達到最優，召回率為99.8%，mAP達到99.6%。

2.4 數據增強方法性能對比

本文通過用Keras中的ImageDataGenerator類對原始圖像數據進行預處理操作，重新標注后放入識別模型中訓練。對于自然狀態下的美國白蛾，形態特征均不一樣，數據增強方法促使卷積神經網絡更多學習圖像中不同的特征，對于模型識別

表4 不同的迭代次數效率對比

率有一定的提升。實驗結果表明，圖6中左側未使用數據增強技術，識別中部分美國白蛾未被正確識別，右側使用數據增強方法美國白蛾圖像全部被正確識別。數據增強技術提高了模型的泛化能力以及魯棒性，同時提高了目標識別效率。

(a)模型未使用數據增強

3 結論與討論

本文采用深度學習方法，將目標檢測方法對林業有害生物美國白蛾進行識別，得到如下結論：

(1)構建了端到端的美國白蛾檢測模型IHCDM，對比傳統檢測算法HOG+SVM，IHCDM模型比傳統目標檢測算法檢測精度高9.6%，本研究驗證了深度學習在美國白蛾檢測中的可行性和有效性，極大程度減少了人工成本和工作量，提高了美國白蛾的檢測效率與預警實時性。

(2)IHCDM模型突破了小目標昆蟲美國白蛾檢測的嚴格要求，避免了圖像預處理階段對于美國白蛾圖像特征提取的人工干預。對比ResNet 50、ResNet 101、SSD+Mobilenet_V1三種不同的卷積神經網絡，檢測精度分別提高了0.5，0.4，6.4個百分點。

(3)采用遷移學習和數據增強技術改進IHCDM模型，改進后的IHCDM模型對美國白蛾檢測精度能夠達到99.5%，運用控制變量法對IHCDM模型超參數進行微調。當學習率為0.002，迭代次數為50 000步時，損失函數值最小，IHCDM精度達到99.6%。對于單個目標和多個目標檢測下，IHCDM模型表現良好。在檢測效率，檢測速度和魯棒性方面，改進后的IHCDM模型都有明顯優勢。

(4)對比其他昆蟲研究，本文只針對單一物體進行目標檢測，論文不足之處體現在檢測樣本分類少。改進后的IHCDM模型對于其他有害生物有一定的參考價值，對于其他有害生物的多目標檢測應當是今后的研究重點。下一步，本研究將IHCDM模型與實際相結合，設計并開發一款有害生物檢測APP應用來提高有害生物災害預警的及時性，對林業有害生物災害防治有很高的實用價值。