基于多特征字典學習的害蟲圖像自動分類方法

張超凡 王儒敬 謝成軍*

1(中國科學院合肥智能機械研究所 安徽 合肥 230031)2(中國科學技術大學信息科學技術學院 安徽 合肥 230026)

基于多特征字典學習的害蟲圖像自動分類方法

張超凡1,2王儒敬1謝成軍1*

1(中國科學院合肥智能機械研究所 安徽 合肥 230031)2(中國科學技術大學信息科學技術學院 安徽 合肥 230026)

為提高農田害蟲圖像識別分類的準確率，提出一種基于多特征字典學習的害蟲圖像自動分類方法。首先，利用監督字典學習的方式，對每一類害蟲圖像構建多特征過完備字典。為進一步增強計算機在復雜情況下對害蟲圖像的辨識能力，應用構造的過完備字典對害蟲圖像進行多特征稀疏表示。最后，通過最小化害蟲圖像的重構誤差實現自動分類。實驗結果表明，與其他方法相比，該方法提高了害蟲圖像識別的準確率。

多特征融合 稀疏表示 字典學習 害蟲圖像 完備字典

0 引 言

及時、準確地識別病蟲害的種類，是開展農田病蟲害預測、預報和防治的重要前提。計算機視覺的飛速發展，為實現害蟲圖像的自動識別提供了先進的技術手段。由于其具有準確性高、速度快、信息量大等優點，在農作物害蟲識別方面得到較多的應用，可以高效地識別農作物蟲害，為科學管理農作物生長，提高農作物產量和質量提供有力保障。

目前，國內外針對害蟲圖像識別的研究內容主要集中在農作物害蟲的圖像特征表示和分類識別兩個方面。其中，害蟲圖像的特征表示是害蟲識別的基礎，直接關系到最終識別結果的好壞。分類識別是指使用害蟲圖像特征構建分類器，達到害蟲分類識別的過程。黃世國[1]提取了昆蟲的5種紋理特征，對5種昆蟲的分類做了實驗，分類準確率分別為30%、35%、30%、45%、60%。齊麗英[2]研究了基于多特征綜合的昆蟲識別，提取昆蟲圖像的不同類特征，如紋理特征、色彩特征、形狀特征等，使用異步組合檢索的方式利用這些特征，識別率達到90%。竺樂慶等[3]以鱗翅昆蟲為例，研究了基于顏色特征和紋理特征的昆蟲識別方法，該方法選取顏色直方圖作為顏色特征，采用雙樹復小波提取圖像紋理，經過試驗驗證，該算法識別率達到76%。張建華等[4]利用徑向基支持向量機識別棉花棉蚜、棉葉螨、棉盲蝽、煙粉虱等棉花害蟲，識別率達到88.1%。Yaakob等[5]提取圖像不變距特征結合神經網絡方法進行害蟲圖像分類，取得了比較理想的分類效果。Wang等[6]利用人工神經網絡和支持向量機結合進行昆蟲特征的訓練與學習，識別率達到93%。韓安太等[7]將稀疏表示引入害蟲識別，利用害蟲訓練樣本構造訓練樣本矩陣，通過解L1范數意義下最優化問題實現害蟲測試樣本的稀疏分解，利用分解結果實現識別，取得了較好的分類識別率。胡永強等[8]將多特征融合和稀疏表示結合，通過稀疏表示首先得出害蟲在不同特征下的分類情況，結合不同特征下學習到的權值獲得識別結果。

顏色特征描述害蟲蟲體顏色的RGB空間的統計特性，而LBP紋理特征也在害蟲圖像識別領域得到廣泛應用，這兩種特征均能較好地表示害蟲圖像，但單一特征的辨識能力有限。此外，復雜的實際環境中需要考慮遮擋和背景圖像分割殘留的情形。針對上述問題，最近稀疏表示理論的提出，為解決上述問題提供了新的思路和解決方法[9]。本文提出一種基于多特征字典學習的害蟲圖像自動分類方法。首先對顏色特征與紋理特征進行融合處理，對融合特征進行訓練構建學習字典，利用融合特征改進SRC[10](Sparse Representation-based Classification)分類模型，從而實現自動分類。

1 特征提取與字典構建

1.1 特征提取

農作物害蟲圖像識別中，顏色特征和紋理特征作為害蟲圖像的底層特征均可以應用于識別。單一特征對圖像的詮釋性相比于融合特征較低，基于顏色特征對害蟲圖像進行識別分類能夠達到一定識別效果，當具有類似顏色統計分布規律的害蟲圖像并不能得到較好的識別結果。紋理特征作為害蟲表面的幾何特征，刻畫了像素下灰度空間分布規律。融合顏色特征和紋理特征可以提高特征表示中的信息量，提高識別率。

(1) 顏色特征

顏色特征作為一種全局特征，存在于每一張彩色害蟲圖像中。本文使用的顏色特征是顏色直方圖的歸一化統計特征，具有平移不變，尺度不變以及旋轉不變的特性。對于RGB空間下各通道均存在統計特征，分別統計并級聯特征，后續對其進行PCA(Principal Components Analysis)[11]降維處理，形成維數較低的統計特征，方便后續字典訓練。

(2) 紋理特征

局部二值模式[12]LBP(local binary patterns)是一種描述圖像局部空間結構進行局部紋理特征提取的非參數線性降維算子。對圖像中(x,y)點處值用如下公式計算：

(1)

(2)

其中，gc表示中心像素點(x,y)的灰度值，gp表示在半徑R處相鄰點的灰度值，P表示中心像素點周圍相鄰像素點的個數。

= min{ROR(LBPP,R,i)|i= 0,1,…,P-1}

(3)

式中ROR(LBPP,R,i)表示P位二進制LBP值循環右移i位后的值，得到P種LBP模式，取P種模式下最小值為旋轉不變的LBP算子。對經過變換的LBP紋理圖像進行統計歸一化降維成紋理特征。

(3) 特征融合

在特征表示中，使用顏色特征與紋理特征級聯成表示害蟲圖像的特征向量，降維聯合不同特征可以包含害蟲的不同信息，相互補充，提高特征表示能力。特征融合結構如圖1所示。

圖1 害蟲圖像特征融合

1.2 基于稀疏編碼的有監督字典訓練

稀疏編碼[13-14]的關鍵在于使用較少的字典原子有效地表示出輸入數據。該文中使用的字典訓練[15-16]的方式是有監督的，即每一類害蟲字典單獨訓練成各個子字典，然后合并成一個最終完備的字典。設Y為一系列n維的向量集合，其中每一列表示一幅害蟲圖像。由于該文中使用有監督的字典訓練方式，在字典訓練前對Y加入標簽，Y=[Y1,Y2,…,YN]∈Rn×M。其中Yi為第i類輸入數據的集合，Yi=[yi1,yi2,…,yim]，其中M=m×N，共N類，每類m個樣本。使用稀疏編碼方法學習的字典D=[D1,D2,…,DN]∈Rn×S，子字典Di為每一類單獨學習的字典，Di=[di1,di2,…,dit]，其中S=t×N，其中S>n，每個子字典中有t個原子。與之相聯系的稀疏編碼X=[x1,x2,…,xM]∈RS×M。用k項字典原子表示輸入數據Y可以通過解決以下問題實現：

(4)

② 利用正交匹配追蹤(OMP)算法[18]，其簡單且執行速度較快。固定D對輸入數據Y進行稀疏表示得到稀疏編碼X，X中有k項非零項。

③ 逐列更新字典D利用式(5)[19]：

(5)

④ 更新字典D后，判斷誤差是否滿足精度要求或者是否達到指定的迭代次數，滿足則結束訓練，否則返回②。

KSVD算法通過不斷迭代從而降低殘差的能量并學習重構字典D，不僅實現了最小化重構誤差且滿足了稀疏限制,特征在字典D下能具有較強的稀疏表示性。

2 基于融合特征與稀疏編碼的分類方法

2.1 算法框架

本文所提算法主要結合融合特征與稀疏表示對害蟲圖像進行分類識別。算法框架如圖2所示。

圖2 基于融合特征稀疏表示分類算法框架圖

在圖2框架中，害蟲圖像經過預處理與特征提取的過程，提取出單獨種類的特征向量，經過級聯形成融合特征。字典D是由各個子字典合并而成。每個子字典單獨學習成包含該類圖像特征的子字典，各子字典采取有監督字典訓練的方式單獨訓練，有序地排列出字典D。融合特征結合稀疏字典D可以表示出害蟲圖像的稀疏特征，該處稀疏特征有別于字典訓練時求解的稀疏系數，字典訓練時利用OMP對害蟲特征進行稀疏編碼，將稀疏限制固定為小于單個子字典中原子的個數，從而保證稀疏性。此處利用基追蹤[20]的算法對進行稀疏表示，其中大多數都是非零的，密集地對應于多個類。由于測試樣本只能用其所屬類別字典原子有效地表示，我們人為干預，將不屬于該類的非零項設置為零，例如本文中采用14類害蟲，因此所求稀疏特征中約1/14，即7%的項為非零項，實現稀疏性。當害蟲類別越多，稀疏性越強，對待識別類別的針對性越強，識別效果越明顯。對于框架中重構分類，即是本文采用的分類模型，對整個過程實現分類。

2.2 所提算法詳細分類過程

本文改進并應用稀疏表示分類模型SRC,該分類方法的主要原理是將圖像按列進行列向量化，應用稀疏表示模型將一個數據向量表示成一組基向量的線性組合的形式，理想條件下任何一個圖像都能用存在該類圖像的圖像庫中的本類圖像線性組合表示出來。在實際計算中，使用L1范數求解稀疏表示的系數代替L0范數,求稀疏系數意義在于求解非零元素的個數，即L0范數，而L0范數是NP-hard問題，在實際求解中不現實，求解L1范數屬于凸優化問題，便于實際求解，使用基追蹤的方式解下式：

(6)

對于本文來說，改變了SRC直接使用圖像列向量化產生的向量作為訓練樣本的情況，替代使用融合特征作為訓練樣本，這是與SRC的區別之處。為確定圖像中害蟲屬于哪一類，通過重構出各類圖像特征，然后與原始測試樣本害蟲圖像的融合特征相比較求其殘差，重構殘差最小的一個類別就是我們想要的結果，公式如下：

(7)

(8)

(9)

圖3 基于稀疏表示重構害蟲時殘差情況

3 實驗結果與分析

本文實驗中害蟲圖像數據由安徽省農科院提供，其中包括14類害蟲圖像，每類50張，共700張。對圖像預處理分割出害蟲圖像，大小為300×300，背景為白色，部分圖像中存有樹葉等背景噪聲和蟲體分割殘缺的情形。訓練樣本在每次實驗中均隨機選取，剩余的為測試樣本。害蟲數據集中包括6種水稻害蟲，5種玉米害蟲，3種大豆害蟲，例如卷葉螟、地老虎、及腎毒蛾等，部分預處理后的樣本如圖4所示。

圖4 實驗害蟲圖像集中害蟲樣本種類

3.1 實驗設置

在本實驗中基于提出的方法，利用Microsoft Visual Studio C++ 2010平臺結合計算機視覺庫OpenCV2.4.8、壓縮感知KL1p庫和SVM庫[21]進行分類對比實驗。參數設置如下：

(1) 每類學習的子字典的大小為18，稀疏限制k取5；

(2) 在顏色特征提取中，選取各通道直方圖子區段數目為255，紋理特征LBP取鄰域點數為8；

(3) 每類隨機選取15和25張害蟲圖像作為訓練樣本，分別用35和25張作為測試樣本；

(4) SVM分類模型選用線性核，神經網絡模型選用3層網絡，K近鄰模型中K值取3，其他參數均保持函數庫默認參數值。

3.2 單一特征情況下分類準確率目

在本文方法框架下，使用單一特征顏色和紋理特征與融合特征進行分類比較，分類識別準確率記錄于表1。其中R15與R25分別表示每類使用15和25張作為訓練樣本，每組實驗都進行10次，取10次所有類別害蟲圖像分類準確率的平均值作為實驗結果記錄于表1中，以下實驗部分均采取該方式。

表1 單一特征與融合特征識別率情況表 %

由表1可以看出，在每類訓練樣本數為15時，依靠融合特征進行分類的識別率為87.18%，基于單一顏色特征和紋理特征的識別率分別為73.16%和46.54%。融合特征比單一顏色和紋理特征分類正確率提高了約14.02和40.64。可以看出，融合特征相較于單一顏色特征和紋理特征優勢較為明顯。在融合特征中，顏色特征對識別正確率貢獻較大，主要是由于對于害蟲圖像，害蟲本身的顏色空間分布保存的害蟲圖像信息較為豐富。而對于紋理特征，是對其LBP紋理的灰度分布統計，信息量不足，其保存特征對于不同害蟲間區別性不如顏色特征，識別率遠低于顏色特征與融合特征。在每類訓練樣本為25時，隨著訓練樣本數量的增加，融合特征下的總體識別率也相應增加，比單一顏色特征高約13.98%，比單一紋理特征高約39.46%。由以上分析可看出，融合特征相較于單一特征，在樣本數增大的過程中，優勢逐漸增大，對增加識別率有幫助。

3.3 不同分類模型的分類準確率

將本文提取的融合特征使用不同的分類模型進行比較，即與傳統分類模型和相關文章方法進行分類比較，分類準確率見表2所示。

表2 不同分類模型識別率情況表 %

由表2可看出：本文所提出的融合特征稀疏表示結合SRC算法的分類準確率分別為87.18%(每類15張訓練圖片)和94.49%(每類25張訓練圖片)。本文方法對比于文獻[8]方法分類準確率提高了約4.53%和4.06%，對比于支持向量機分類模型的準確率提高了約9.92%和12.47%。對比于神經網絡分類模型的分類準確率，提高了約5.35%和8.1%，比K-近鄰分類模型提高了約12.89%和16.27%。圖5可看出詳細變化趨勢情況。與其他幾種方法相比，本文方法在訓練樣本不斷增加的過程中，害蟲測試樣本的識別率持續增加，并持續保持較高水平。

圖5 不同分類模型在訓練樣本增加時識別率

本文方法的圖像分類方法不同于傳統的支持向量機、神經網絡、K近鄰分類模型：其他三種分類模型直接使用了融合特征進行分類，將融合特征作為分類器訓練的樣本，該方式可以達到一定的分類識別率。而本文使用融合特征結合稀疏表示的方式，將特征以原子的形式保存在字典中，針對每一類單獨學習其子字典，利用不同稀疏系數的線性組合有效地對測試樣本進行表示，對特征進行稀疏編碼，隨樣本量增加逐漸增強特征的魯棒性。對于文獻[8]中的方法，其將每類特征單獨進行稀疏表示，之后結合每類學習的權值獲得分類結果，與本文的分類方法在融合特征的方式和具體分類策略上存在不同。結合以上圖標與分析，可得出結論，隨著樣本量的增加，本文方法擁有更好的識別準確率。

3.4 不同訓練測試集下分類結果

本節僅比較本文方法和上節結果中分類效果較好的2種分類方法的識別個數情況，其中僅在訓練樣本和測試樣本數均為25時的條件下比較，實驗結果如圖6、圖7和圖8所示。圖6、圖7、圖8中不同顏色線條代表各類害蟲，實驗編號為1～10，不同實驗序號下訓練測試樣本隨機選擇，同一實驗編號下兩種方法使用相同的訓練測試樣本，折線變化情況表示識別的害蟲個數的變化情況。對比三幅圖可以看出，本文方法相較于其他兩種分類方法正確分類個數波動情況較小，對每類害蟲正確分類個數在18～25范圍內變化，正確分類個數普遍較多。對于文獻[8]中分類方法的識別情況，識別變化總體在16～25的范圍內，對于害蟲中的直紋弄蝶，該分類模型在不同的訓練測試樣本下差別較大，且一度正確分類數較低，持續僅識別為16至19幅，另有多類害蟲正確分類個數波動較大。對于神經網絡分類模型，正確分類個數波動較大，在第三次實驗中出現腎毒蛾正確分類個數僅為8個的情況，整體波動較大，正確分類數穩定性較差。

圖6 本文方法1～10序號實驗識別個數變化情況圖

圖7 文獻[8]方法1～10序號實驗識別個數變化情況圖

圖8 神經網絡模型1～10序號實驗識別個數變化情況圖

表3記錄了三種方法正確識別個數的統計信息。本文方法與另外兩種分類方法正確分類個數平均值分別為23.621、22.607和20.521，標準差分別為1.058、1.391和2.958。由此可看出，本文方法總體分類效果較優，且對每類害蟲正確分類情況較為穩定。

表3 正確分類個數均值與標準差均值

4 結 語

本文提出了一種基于多特征字典學習的害蟲圖像自動分類方法。利用顏色特征與紋理特征融合的方式表示害蟲圖像樣本，并通過有監督的字典訓練方式構建害蟲圖像特征的完備字典。利用改進的SRC分類模型對害蟲圖像進行稀疏表示并實現自動分類。通過實驗表明，本文所提方法取得了較好的分類識別率，且分類正確率達到94.49%。此外，在算法穩定性方面，均優于傳統的神經網絡、支持向量機等分類模型。本文所提方法在農作物害蟲圖像識別的應用中，具有實際的意義。將來工作圍繞多特征字典融合策略、非監督字典學習等方面加以考慮，提高復雜場合下害蟲圖像自動分類方法的自適應性與高效性。

[1] 黃世國.基于圖像的昆蟲識別關鍵技術研究[D].西安：西北大學,2008.

[2] 齊麗英.基于多特征綜合的昆蟲識別研究[J].安徽農業科學,2009,37(3):1380-1381.

[3] 竺樂慶,張真,張培毅.基于顏色直方圖及雙樹復小波變換(DTCWT)的昆蟲圖像識別[J].昆蟲學報,2010,53(1):91-97.

[4] 張建華,冀榮華,袁雪,等.基于徑向基支持向量機的棉花蟲害識別[J].農業機械學報,2011,42(8):178-183.

[5] Yaakob S N,Jain L.An insect classification analysis based on shape features using quality threshold ARTMAP and moment invariant[J].Applied Intelligence,2012,37(1):12-30.

[6] Wang J,Lin C,Ji L,et al.A new automatic identification system of insect images at the order level[J].Knowledge-Based Systems,2012,33:102-110.

[7] 韓安太,郭小華,廖忠,等.基于壓縮感知理論的農業害蟲分類方法[J].農業工程學報,2011,27(6):203-207.

[8] 胡永強,宋良圖,張潔,等.基于稀疏表示的多特征融合害蟲圖像識別[J].模式識別與人工智能,2014,27(11):985-992.

[9] Elhamifar E,Vidal R.Robust classification using structured sparse representation[C]//Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on.IEEE,2011:1873-1879.

[10] Wright J,Yang A Y,Ganesh A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.

[11] Bro R,Smilde A K.Principal component analysis[J].Analytical Methods,2014,6(9):2812-2831.

[12] Yang B,Chen S.A comparative study on local binary pattern (LBP) based face recognition:LBP histogram versus LBP image[J].Neurocomputing,2013,120:365-379.

[13] Ren X,Ramanan D.Histograms of sparse codes for object detection[C]//Computer Vision and Pattern Recognition (CVPR),2013 IEEE Conference on.IEEE,2013:3246-3253.

[14] Shekhar S,Patel V M,Chellappa R.Analysis sparse coding models for image-based classification[C]//2014 IEEE International Conference on Image Processing (ICIP),Paris,France.Piscataway,NJ,USA:IEEE Press,2014:5207-5211.

[15]ThiagarajanJJ,SpaniasA.Learningdictionariesforlocalsparsecodinginimageclassification[C]//2011ConferenceRecordoftheFortyFifthAsilomarConferenceonSignals,SystemsandComputers,PacificGrove,CA,USA.Piscataway,NJ,USA:IEEEPress,2011:2014-2018.

[16]JiangZ,LinZ,DavisLS.LabelconsistentK-SVD:learningadiscriminativedictionaryforrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2013,35(11):2651-2664.

[17]RubinsteinR,ZibulevskyM,EladM.EfficientimplementationoftheK-SVDalgorithmusingbatchorthogonalmatchingpursuit[R].TechnicalReport,CSTechnion,2008:1-15.

[18]WangJ,KwonS,ShimB.Generalizedorthogonalmatchingpursuit[J].IEEETransactionsonSignalProcessing,2012,60(12):6202-6216.

[19]AharonM,EladM,BrucksteinA.rmK-SVD:analgorithmfordesigningovercompletedictionariesforsparserepresentation[J].IEEETransactionsonSignalProcessing,2006,54(11):4311-4322.

[20]ChenSS,DonohoDL,SaundersMA.Atomicdecompositionbybasispursuit[J].SIAMReview,2001,43(1):129-159.

[21]ChangCC,LinCJ.LIBSVM:alibraryforsupportvectormachines[J].ACMTransactionsonIntelligentSystemsandTechnology(TIST),2011,2(3):389-396.

AUTOMATIC CLASSIFICATION METHOD FOR PEST IMAGE BASEDON MULTI-FEATURE DICTIONARY LEARNING

Zhang Chaofan1，2Wang Rujing1Xie Chengjun1*

1(InstituteofIntelligentMachines,ChineseAcademyofSciences,Hefei230031,Anhui,China)2(SchoolofInformationScienceandTechnology,UniversityofScienceandTechnologyofChina,Hefei230026,Anhui,China)

An automatic classification method for pest image based on multi-feature dictionary learning is developed to improve the accuracy of pest classification.With supervised dictionary learning,each pest image can be constructed as multi-feature overcomplete dictionary.In order to further enhance the abilities of identifying pest image in complex background,multi-feature of pest image are sparsely represented using the constructed overcomplete dictionary.Finally,the classification of pest is achieved by minimizing reconstruction error.Experimental results show that the proposed method performs well on the classification of insect species,and outperforms several state-of-the-art methods in insect categorization.

Multi-feature fusion Sparse representation Dictionary learning Pest image Overcomplete dictionary

2015-11-21。國家自然科學

31401293);國家科技支撐計劃項目(2014BAD10B08);安徽省科技攻關計劃項目(1401032010)。張超凡，碩士生，主研領域：圖像識別。王儒敬，研究員。謝成軍,副研究員。

TP391.4

A

10.3969/j.issn.1000-386x.2017.03.026