一種基于聚類特征的Faster R-CNN糧倉害蟲檢測方法

張詩雨 夏 凱 杜曉晨 馮海林,3 陳 力

(浙江農林大學信息工程學院1，杭州 311300) (浙江省林業智能監測與信息技術研究重點實驗室2，杭州 311300) (林業感知技術與智能裝備國家林業局重點實驗室3，杭州 311300)

中國是糧食生產和消費大國，但我國在糧食的存儲方面仍存在著潮濕發熱、發霉變質、滋生害蟲等問題。對糧倉害蟲的快速精準檢測識別，是治理糧倉害蟲的第一步。在過去，糧農普遍缺乏害蟲識別知識單憑糧農自身很難對癥下藥，而專家人工識別的速度和效率又非常有限，所以需要借助計算機視覺[1]和圖像處理等技術手段對糧倉害蟲進行檢測。糧倉害蟲圖像檢測中的主要挑戰在于當糧倉害蟲與其他谷物混合的情況下識別出糧倉害蟲并且將其與其他害蟲種類進行區分。

傳統的害蟲識別的方法大多數都集中在對害蟲的特征提取上，首先對圖像進行人工特征提取，再將提取到的特征作為輸入利用機器學習方法進行建模和識別。國內早期采用的是對害蟲圖像的全局特征進行提取，如許振偉[2]基于二階灰度統計儲糧害蟲的紋理特征利用BP神經網絡訓練樣本，得到害蟲的種類和輪廓并且能實現對儲糧害蟲的快速檢測和準確分類；鄒修國等[3]基于不變矩提取形狀特征值的方法實現了對稻飛虱的分類；吳一全等[4]對儲糧害蟲圖像進行擴展Shearlet變換構成紋理特征向量，用Krawtchouk矩不變量描述儲糧害蟲的形狀特征，將紋理特征向量和形狀特征向量分別歸一化提高了儲糧害蟲的識別精度。對害蟲圖像的全局特征進行提取雖然易于計算，但在復雜背景以及害蟲姿態變化下，難以精確的描述全局屬性。近年來對害蟲圖像的特征提取逐漸轉向局部圖像特征提取，局部圖像特征提取[5, 6]是指從圖像局部區域中抽取的特征，包括邊緣、角點、線、曲線和特別屬性的區域等。常見的局部特征包括角點類和區域類兩大類描述方式，如王利強[7]利用點特征圖像配準算法在儲糧害蟲種類識別領域進行了嘗試性的應用；韓瑞珍[8]將SIFT局部特征的提取方法應用于對農田害蟲的快速識別；謝林波等[9]對油茶害蟲圖像進行SIFT特征提取通過BoW模型來描述各幅圖像進而從圖像中識別出油茶害蟲的種類。局部圖像特征提取雖然相比全局特征提取更精確，但由于兩種特征提取的方式仍依賴于人工選取特征，模型的優劣取決于特征的選擇，存在局限性且泛化能力較差。

隨著深度學習技術在圖像識別以及檢測方面的發展，卷積神經網絡體現了其在圖像檢測方面的優異性。Krizhevsky等[10]使用深度卷積神經網絡在2012年贏得了ImageNet大規模視覺識別挑戰賽的第一名。深度學習技術在害蟲檢測方面也體現了它的優異性，如Ding和Taylor[11]使用滑動窗口方法獲得感興趣的區域并應用5層卷積神經網絡確定這些區域是否包含飛蛾，實驗結果表明使用卷積神經網絡的召回率高于使用LogReg算法的召回率；董本志[12]等基于K-means聚類的深度學習網絡模型Faster R-CNN對圖像中的榆紫葉甲蟲進行識別最終達到94.73%的精度；孫鈺[13]等使用改進后Faster R-CNN從被誘芯吸引的6種小蠹科昆蟲中區分出危害最大的紅脂大小蠹，自動化地統計誘捕器內紅脂大小蠹數量。傳統的害蟲圖像識別采用人工特征提取和機器學習相結合的方法，主要依賴于特征提取的算法。深度卷積神經網絡[14]無需構造人工特征，能在訓練數據的過程中自適應地構建目標特征，具有更高的泛化能力，因此本文使用Faster R-CNN模型對糧倉害蟲圖像進行檢測。但是標準的Faster R-CNN模型的候選框提取網絡更適用于VOC2007數據集中的20種分類任務，不符合糧倉害蟲的形態學特征，用于檢測糧倉害蟲時會造成候選框冗余過大，因此本文使用聚類算法改進Faster R-CNN模型的區域提案網絡，利用Faster R-CNN模型訓練數據集來對糧倉害蟲圖像進行檢測。本研究建立了糧倉害蟲數據集SGI-6包括網絡獲取圖像、顯微鏡采集圖像和單反拍攝圖像三種多目標尺度的數據集。實驗室拍攝的圖像以大米和小米為背景模擬糧倉的真實環境，并且對數據集做了翻轉和裁剪處理，以提高卷積神經網絡的準確性。

1 基于聚類特征的Faster R-CNN模型

目前基于深度學習的目標檢測算法主要分為兩類，一類為基于區域的目標檢測算法，另一類以回歸問題求解的方法進行目標檢測。2015年Goirshick 提出了Faster R-CNN檢測算法，該方法是基于區域的目標檢測算法，在各類目標檢測任務中有廣泛的應用，尤其比較適用于小目標的檢測。本文將Faster R-CNN模型引入到以糧倉為背景的儲糧害蟲檢測中。糧倉環境復雜，應用深度卷積神經網絡能對特征進行有效的提取。Faster R-CNN模型選取VGG16[15]作為特征提取網絡，網絡的結構如圖1所示。該特征提取網絡總共有13個conv層，每個conv層之后跟了一個relu層作為激活函數，加入非線性因素。該特征提取網絡有4個pooling層，用于特征降維，減少模型的過擬合。通過VGG16特征提取后得到的特征圖同時進入RPN區域提案網絡和Fast R-CNN檢查模塊網絡。RPN區域提案網絡用于提取候選框是全連接神經網絡，Fast R-CNN用來檢測并識別RPN提取的候選框中的目標。由于Faster R-CNN模型在圖像檢測中的優異性，本文提出了一種基于聚類算法的Faster R-CNN糧倉害蟲檢測模型。糧倉害蟲檢測首先輸入任意大小的糧倉害蟲圖像，經過VGG16提取特征圖后通過聚類算法修改區域提案網絡獲取圖像中的候選框。經過RPN訓練之后的特征圖進入多任務損失層，最后利用分類網絡對候選框的區域進行分類，使用NMS合并重疊的候選框。糧倉害蟲檢測模型的流程如圖2所示。

圖1 特征提取網絡結構圖

圖2 糧倉害蟲檢測模型的流程圖

識別糧倉害蟲時，標準的候選框長寬比不符合糧倉害蟲的形態特征，易造成候選框的冗余過大。尤其當兩只糧倉害蟲相鄰時，最終框定的誤差會特別嚴重，為減少框定的誤差可以使用聚類算法對圖像中目標的長寬值進行統計，選擇最佳的候選框長寬比。本文采用一種聚類算法[16]對Faster R-CNN模型的區域提案網絡進行優化。該聚類算法是一種基于劃分的聚類算法，能使被劃分到同一簇的對象之間相似度最大，而不同簇之間的相似度最小。利用聚類算法對糧倉害蟲數據集中的害蟲目標長寬進行統計，選取出三種最適合的候選框長寬比。

具體的聚類過程為：對n個糧倉害蟲圖像中目標的長寬比X{x1,x2,…,xn}聚類，集合X中有s個特征。將集合X中的元素分為c類(2≤c≤n)，本文最終需要得到3個聚類中心點，所以c=3，聚類中心V={v1,v2,v3}。

聚類算法的目標函數如下：

(1)

通過計算最后得到聚合中心V={0.67，0.99，1.23}，將計算出的聚合中心代替標準候選框提取網絡初始的長寬比(0.5，1，2)。由于糧倉害蟲圖像的目標相較于標準的VOC2007數據集中的目標來說目標尺度比較小屬于微小型目標，因此本文將5122尺寸的候選框去除，保留了1282，2562兩種尺寸，最終生成六種不同的候選框。初始網絡以及修改后生成候選框尺寸和比例如圖3所示。圖2a和圖2b都以O為中心生成候選框。修改后的區域提案網絡生成的候選框更適用于糧倉害蟲檢測，并減少了糧倉復雜背景對檢測結果的影響，提高了識別精度。將候選框輸入到分類層和回歸層，用于分類和包圍框(bounding box)回歸。最后根據regionproposal得分高低，選取前300個regionproposal，作為Fast R-CNN的輸入進行目標檢測。修改后的RPN結構示意圖，如圖4所示。

當以下兩種情況下anchor被判定為正樣本：(1)與

圖3 修改前后的候選框生成圖

圖4 修改后的RPN結構示意圖

實際標定框重疊比例最大的anchor(2)與實際標定框重疊比例(IOU)大于0.7時。當實際標定框重疊比例(IOU)小于0.3時，anchor被判定為負樣本。其余沒有被定義的樣本對訓練沒有作用所以被舍棄。訓練遵循多任務損失，損失函數定義為：

(2)

式中：N是anchor的總量；i是批次中anchor的索引；pi是第i個anchor的分類概率；p*i是第i個anchor的標簽，當anchor是正樣本則p*i=1，當anchor是負樣本則p*i=0；ti是預測框的坐標；t*i是實際標定框的坐標。其中分類損失函數(Lcls)如式(2)，是兩個類別(目標和背景)的對數損失，回歸損失函數(Lreg)如式(3)所示。

(3)

(4)

(5)

式中：smoothL1為魯棒損失函數。

2 實驗與分析

2.1 SGI-6(Stored Grain Insect-6)數據集

以糧倉害蟲作為測試對象，選取了七類較為常見的儲糧害蟲。糧倉害蟲圖像數據集由網絡搜索下載的圖像以及實驗室拍攝的照片組成。糧倉害蟲數據集涵蓋了害蟲目標的不同拍攝角度，共有2 558幅圖像，各類別樣本數量詳見表1。從互聯網檢索的數據進行篩選避免數據重復和錯誤后包含1 418幅圖像，各類別樣本量呈不均勻分布。為了增加檢測難度并且模擬糧倉實際情況，分別以大米、小米為背景，添加進糧倉害蟲，用單反進行拍攝，表2為本文使用的單反相機的具體參數。根據單反拍攝的糧倉害蟲圖像目標小的特性，若單純將單反拍攝的糧倉害蟲圖像作為數據集，會導致提取到的特征非常少，影響檢測精度。為了提高糧倉害蟲圖像檢測的精度，本文建立了多尺度的糧倉害蟲圖像數據集，用于訓練。如圖5所示網絡下載圖像a～e為大目標，單反拍攝圖像f～j為微小型目標，兩種數據集目標成像尺度跨度過于大。新增實驗室顯微鏡下拍攝的圖像k～o作為中間數據集。增加中間數據集能防止由于目標尺度相差過大造成特征提取過程中出現誤差。實驗室拍攝圖像(單反拍攝處理后和顯微鏡下拍攝圖像)共114 0幅，為均勻分布數據集(各類均為190幅)。

表1 糧倉害蟲數據集詳情

表2 單反相機具體參數

圖5 糧倉害蟲數據集圖像

為了模擬糧倉害蟲在糧倉真實場景中會出現局部遮擋以及角度差異等問題，同時為了豐富訓練集、防止模型過擬合，從而更好地推廣模型，本研究通過剪裁和翻轉來增強訓練集[17]。經過翻轉和裁剪操作后數據集擴展為原本的10倍，圖6中的圖像是“數據增強”的示例。糧倉害蟲圖像數據集中的每只昆蟲都被人為地用邊界框標記如圖5p～圖5t，標記的邊界框用于訓練。

圖6 數據增強

2.2 實驗與分析

本研究通過顯微鏡拍攝的圖像作為網絡下載圖像和單反拍攝圖像的中間數據層，同時通過剪裁和翻轉來增強訓練集，將圖像作為批量發送到神經網絡進行訓練。選取VGG16作為特征提取網絡，輸入任意大小的圖片，在進入特征提取網絡之前對圖片的尺寸規整化操作，設定圖片長寬為896×896，如果圖片小于896×896則采取邊緣補0的方式，即在小尺寸的圖片上補上黑色邊緣。設定conv層的參數為kernel_size=3,pad=1,stride=1，conv層并不會改變圖片大小，所以經過conv層之后輸出圖片的大小仍為輸入圖片的大小。每個conv層之后跟了一個relu層作為激活函數，加入非線性因素，relu層也不會改變圖片大小。設定4個pooling層的參數為kernel_size=2,stride=2，圖片輸入一個pooling層之后輸出圖片的大小為輸入圖片大小的1/2，經過卷積神經網絡后圖片的大小變為14×14(224/16=14，224/16=14)。最終得到的特征圖為14×14×512，表示特征圖的大小為14×14，數量為512。

神經網絡采用端到端的訓練方法(同時訓練RPN和分類網絡)。添加完全連接層之后的丟失層，并且在每次訓練迭代中僅激活完全連接層的神經元的50%。網絡權重由ImageNet訓練的預訓練模型初始化，采用動量的隨機梯度下降(SGD)[18]方法更新參數。對于由RPN生成的每個區域提議，與初始網絡生成9個候選框不同，生成6個候選框，具有兩種尺寸(128像素，256像素)和3種寬高比(0.67,0.99和1.23)。對生成的候選框中的區域進行分類，使用RoI pooling層將候選框映射到特征圖。通過ROI pooling層將候選框邊界量化為整數點坐標值，并且將量化后的邊界區域平均分割成7×7個單元，對每個單元進行量化。在訓練期間，通過非最大抑制獲得的2 000個候選框被分成前景和背景作為訓練集以訓練分類網絡。分析了4種損失值：RPN的回歸和對數損失，分類網絡的回歸和對數損失。訓練迭代次數為140 000次。4個損失值的總和如圖7所示。在測試期間，RPN生成的候選框按其分數排序。選擇具有最高分數的500個候選框作為候選框。通過分類網絡的完全連接層對這些候選框進行分類和區域位置調整，獲得候選框的坐標和以及類別的得分數(與真實類別相比較的概率定義)。 在糧倉害蟲的分類中，為了平衡分類網絡的精確度和召回率，當候選框中的類別得分大于0.5時，則被認為候選框中存在該類別的糧倉害蟲。

圖7 140 000次迭代的loss圖

將獲得的500個候選框坐標以及類別的得分保存為(r,c,h,w,n)。其中r,c,h,w為候選框的坐標，n為候選框類別的得分。非極大值抑制(NMS)[19]的過程是：首先找到具有最高分的候選框后遍歷剩余框，計算它們的IoU，如果IoU高于閾值則說明兩個候選框之間高度重疊，那么這些輸出就會被抑制。在測試中閾值取0.7時獲得了最高的mAP，所以本文將閾值定為0.7。

本研究使用mAP[20]作為績效評估模型，mAP是每個類別的平均精度(AP)的平均值。 召回率(Recall)，精確率(Precision)和平均精度的計算公式為：

(5)

(6)

(7)

為了驗證增強數據集的效果，將數據集SGI-6分為3個層次(數據集1：由網絡獲取圖像和單反拍攝圖片組成，數據集2：由網絡獲取圖像和單反拍攝圖片以及顯微鏡拍攝圖像組成，數據集3：圖像增強的數據集) 。3種數據集訓練后的模型最終的mAP如表3所示。可以得出在增加了中間數據集和經過數據增強之后6類糧倉害蟲的AP值都有所提高，并且總mAP值有顯著提升來看，說明了該模型的的性能通過增加中間數據集得到顯著改善，在之后的實驗中均采用數據集3進行訓練。

表3 不同數據集下糧倉害蟲檢測的mAP

糧倉害蟲的檢測還有一個難點是糧倉的復雜背景，糧倉害蟲大多和谷物混合在一起，增加了糧倉害蟲檢測的難度。為了驗證本研究模型能應用于糧倉的復雜背景下，分別以白紙、大米和小米為背景采集糧倉害蟲圖像并用訓練好的模型進行測試。測試以白紙、大米、小米為背景的情況下預測目標的正負向。正向的正確率TP即測試圖像中實際和預測都為正向的目標數，誤報率FP即預測為正向實際為負向的目標數。從預測目標正負向的結果圖中，得出以大米為背景的圖像正向的正確率相較于小米和大米的高的結論。從圖8中可以看出以白紙為背景的圖像檢測效果最佳，mAP值為90.15%。以大米和小米為背景的圖像雖然mAP沒有以白紙為背景的高，但是相差也不大，在豆象、赤擬谷盜這兩類的AP甚至超過白紙為背景的圖像。以大米為背景的圖像檢測效果要比以小米為背景的好，是由于小米和糧倉害蟲的圖像紋理過于相近。實驗結果說明了本模型能應用于糧倉復雜背景下的糧倉害蟲檢測。

使用本文訓練后的模型測試的糧倉害蟲檢測結果的例子示于圖9中。其中圖9a～圖9e為白紙背景下糧倉害蟲檢測的結果圖，圖9f～圖9j為小米背景下糧倉害蟲檢測的結果圖，圖9k～圖9o為大米背景下糧倉害蟲檢測的結果圖。就圖中所示的不同背景下糧倉害蟲檢測結果而言，在真實糧倉背景下和白紙背景下，糧倉害蟲檢測的準確率在90%以上，說明該模型能用來檢測真實糧倉背景下的糧倉害蟲并且具有高精度。

圖8 不同背景下糧倉害蟲檢測的mAP

圖9 糧倉害蟲檢測結果示意圖

相鄰糧倉害蟲框定的結果對比圖如圖10所示。其中，圖10a～圖10c為標準候選框訓練后的檢測結果圖，圖10d～圖10e為修改區域提案網絡后的檢測結果圖。圖10中a與d， b與e，c與f分別是同一張圖像在2個不同區域提案網絡訓練下輸出的結果。從圖10可以看出，當兩只及兩只以上糧倉害蟲相距太近的情況下，標準網絡訓練下的檢測結果會產生將兩只害蟲框定在一起或者漏框定某一只害蟲的錯誤情況。這是由于兩只糧倉害蟲的特征相似以及位置相鄰，對框定的結果產生了干擾。而改進的區域提案網絡有效的解決了標準網絡模型訓練下出現的問題，改進后的結果如圖10d～圖10e所示，由此可見改進的區域提案網絡能有效解決糧倉害蟲相鄰檢測結果不佳的情況。改進的區域提案網絡和標準的區域提案網絡的mAP值對比圖如圖11所示，從圖11可以看出改進區域提案的網絡后糧倉害蟲的檢測精度小幅度的上升達到了96.63%。

圖10 糧倉害蟲檢測結果對比圖

圖11 改進標準區域提案網絡mAP對比圖

3 結論

本研究提出一種基于聚類算法的Faster R-CNN網絡模型用于檢測在小米和大米背景下的糧倉害蟲。該方法可以將糧倉害蟲與糧倉真實背景分離，檢測出糧倉害蟲在圖像中的位置并進行分類。通過聚類算法對區域提案網絡進行了修改，得出合適的候選框的比例和大小來提高糧倉害蟲檢測的準確性。實驗結果表明，修改后的網絡模型，有效的解決了糧倉害蟲相鄰檢測結果不精準的問題。此外，建立了一個糧倉害蟲數據集SGI-6，采集真實糧倉背景下的糧倉害蟲圖像，并增加了中間數據集使數據集擁有多種目標尺度。實驗最終糧倉害蟲檢測的mAP達到96.63%。分別以白紙、大米、小米為背景進行測試，測試結果表明，該模型能應用于糧倉真實背景下并有較高的準確率。