基于ROI快速檢測與融合特征的馬鈴薯病害識別

范振軍，李小霞*

(1.特殊環境機器人技術四川省重點實驗室，四川 綿陽 621010；2.西南科技大學信息工程學院，四川 綿陽 621010)

【研究意義】在農業災害中，農作物病蟲害占據很大一部分。隨著農業信息化的推進，基于計算機視覺和圖像處理的識別技術在農作物病害圖像識別[1-2]、農作物品質檢測[3]等領域得到廣泛應用。馬鈴薯是世界第三大糧食作物[4]，然而病害是影響馬鈴薯產量及品質的重要因素之一。因此，如何快速準確地識別出馬鈴薯病害類型，以便采取相應的防治措施，對確保馬鈴薯的豐收具有十分重要的意義。【前人研究進展】目前，國內外眾多學者運用計算機視覺和圖像處理等技術，對小麥、黃瓜和玉米等多種農作物病害識別做了很多研究，提出了一些好的解決方法，為農作物病害圖像智能識別和精準農業提供了科學的理論依據和技術支持。鄧繼忠等[5]針對小麥的3種病害識別提取了形狀和紋理特征，并對最小距離法、反向傳播神經網絡和支持向量機(Support vector machine, SVM)3種分類器進行了對比實驗，總體識別率達到82.9 %。王獻鋒等[6]提出了一種融合顏色、形狀和紋理特征的基于統計分析系統的判別分析方法，對黃瓜的霜霉病、褐斑病和炭疽病3種葉部病害的識別率高達90 %以上，為田間開放環境下實現作物病害圖像的快速自動識別提供了依據。Nunes D和Werly C等[7]基于源元數據和模式識別技術實現了番茄疾病的早期識別，識別率達到94.12 %。許良鳳等[8]對玉米病害圖像利用GrabCut算法獲得病害區域后提取顏色和紋理特征，并構建基于SVM的多分類器線性加權融合的識別方法，對7種玉米病害的識別率達94.17 %。趙建敏等[9]利用Otsu分割算法提取病斑區域，綜合顏色、紋理和形態特征，設計了基于SVM的分類器，對馬鈴薯4種主要病害樣本并加入負樣本(健康葉片)進行測試，總體識別率達到92 %。上述農作物病害識別方法都是僅針對其某一部位病害，且病害種類較少，部分方法沒有分割病害區域，直接在原病害圖像整體上提取特征，增加了計算量，且引入了冗余噪聲，最終降低了識別率，采用GrabCut算法提取病害區域時需要人工交互，且速度慢，在1 s及以上。近年來，基于感興趣區域(Region of interest, ROI)的目標識別或圖像檢索方法得到廣泛應用，但有效選取圖像ROI是其成功的關鍵。肖志濤等[10]提出通過提取角點得到凸包區域的低層次圖像信息與使用超像素聚類得到顯著圖的中層次圖像信息，并將這兩個層次的信息相結合的自底向上的ROI檢測方法。劉成云等[11]提出通過顏色增強技術提取自然場景下的交通標志ROI，并提取梯度直方圖和多通道局部二值模式(Histogram of Oriented Gradient and Multi-radius Block Local Binary Pattern, HOG-MBLBP)特征來識別交通標志的方法。葉海建等[12]提出一種通過提取RGB顏色分量的顯著圖來識別黃瓜病害的方法，平均識別率達93.12 %，平均運行時間為0.6614 s。薛鋒等[13]提出一種基于SURF(Speed Up Robust Features)特征貢獻度矩陣的圖像ROI選取方法，并用于圖像檢索中，效果較好。上述ROI檢測方法雖效果較好，但檢測方法較復雜，且時間性能欠佳。【本研究切入點】在基于視覺注意機制的ROI檢測方法中，大多視覺注意點通常是局部特征點。主流的局部特征檢測算法有：Lowe[14]提出的SIFT(Scale Invariant Feature Transform)、Rubee等[15]提出的ORB(Oriented FAST and Rotated BRIEF)等。SIFT具有尺度不變性、旋轉不變性及光照不變性等優點，已被證明是有效的特征提取方法，但其存在計算量大的缺點，難以進行實時應用。ORB算法是一種高效的特征檢測算法，具有計算速度快和穩定性好的優點。【擬解決的關鍵問題】為準確快速分割出馬鈴薯病害區域，提出了基于ORB和SIFT關鍵特征點的病害ROI快速檢測方法；為提高病害識別的準確率，構建了融合顏色和紋理特征的基于非線性SVM的病害識別方法。其主要創新點是：在檢測病害ROI時，只提取ORB特征點或者SIFT特征點而不用生成特征描述向量，加快了病害ROI檢測的速度，具有時間優勢；通過計算K個近鄰點的均值來確定病害區域的坐標點，提高了ROI檢測的精確度，有效降低了特征提取時的計算量，并大幅提高了病害識別的速度。

1 材料與方法

1.1 病害圖像獲取

筆者從中國農業醫院網、鄭州市病蟲害數據庫、世紀農藥網和百度百科等渠道獲得自然環境下的馬鈴薯病害原始圖像，然后通過從原始圖像中截取子圖像的方式，構建了馬鈴薯病害圖像庫(彩色圖像，格式為JPG)。該圖像庫包括：葉部病害(早疫病、晚疫病、病毒病)、果實部病害(粉痂病、瘡痂病、白絹病、干腐病)和莖部病害(黑脛病、環腐病、青枯病)共10類主要病害，每類病害54幅，總計540幅圖片。

1.2 病害ROI檢測方法

1.2.1 ORB算法思想 ORB算法首先利用FAST算法[16]檢測角點，然后利用BRIEF算法[17]提取ORB特征描述子，即ORB算法是對這2種算法的改進，兼有良好的魯棒性和實時性。

在圖像特征點檢測時，ORB算法通過使用灰度矩心的方法將FAST改進為有向的Oriented-FAST，其特征點的主方向由角點的灰度矩和灰度矩心之間的偏移量的方向確定。

圖像角點鄰域的灰度矩為：

(1)

其中，I(x,y)為點(x,y)處的灰度值，p和q決定了灰度矩的階數。

灰度矩心為：

(2)

于是，可構造角點中心O到矩心C的向量OC，則該FAST角點鄰域的主方向為：

θ=atan2(m01,m10)

(3)

描述特征點時，ORB算法把所提取角點的主方向應用于BRIEF，將其改進為旋轉不變的Rotated-BRIEF，更多描述參考文獻[15,17]。本文重點研究基于ORB特征點的病害ROI檢測，關于SIFT算法的詳細描述參考文獻[14]。

1.2.2 基于關鍵特征點的病害ROI快速檢測方法 ORB算法是一種高效的局部特征點檢測算法，具有穩定性和實時性，而SIFT算法實時性較差。通過實驗分析發現，ORB特征點較SIFT特征點的分布更為集中(圖1)。

當ORB特征點數目比SIFT特征點數目較少時，其ROI選取效果較差，圖2給出了晚疫病在該情況下的ROI選取效果對比圖。

為避免上述情況對病害區域ROI選取精度的影響，本文提出融合ORB和SIFT特征點的病害圖像ROI檢測方法，主要思想為：以ORB特征點為主、SIFT特征點為輔的原則，首先提取病害圖像的ORB特征點，根據特征點數目與給定閾值比較的結果決定是否提取SIFT特征點；然后對所提取特征點按水平和垂直方向進行排序，通過計算K個近鄰點的均值確定病害區域的坐標，從而得到病害圖像ROI(圖3)。

圖1 早疫病特征點分布對比圖Fig.1 Early blight characteristic points distribution comparison image

圖2 晚疫病害圖像ROI對比圖Fig.2 Late blight disease image ROI comparison image

(1)提取ORB特征點。從馬鈴薯病害圖像庫輸入病害圖像，生成金字塔影像并提取ORB特征點。考慮到基于FAST算法提取的特征點不具有尺度不變性，參考文獻[18]所述，以比例因子為1.2對病害圖像降采樣，生成8層金字塔影像，在金字塔影像上提取特征點，使算法具備尺度不變性。

(2)計算病害區域坐標點。①初始化。假設提取的病害圖像特征點的數目為S，保存特征點坐標值的矩陣記為FK，大小為S×2，初值為零，即：

(4)

②保存特征點坐標值。當SORB≥T時(T為是否提取SIFT特征點而設定的閾值)，經實驗分析，本文中取閾值T=20。將步驟1中提取的ORB特征點的坐標值存入矩陣FK中，此時FK變為：

(5)

否則，提取病害圖像的SIFT特征點，并存入矩陣FK中，則FK變為：

(6)

式(5)中，m為ORB特征點的數目，式(6)中，n為SIFT特征點的數目，其中，xi、yi分別表示特征點在垂直方向和水平方向的坐標值。③計算病害區域的坐標值。抽取矩陣FK′中的xi值和yi值，分別組成向量X=[x1,x2,…,xm]和Y=[y1,y2,…,ym]；對向量X和Y進行升序排列，得到有序向量X′=[x1′,x2′,…,xm′]和Y′=[y1′,y2′,…,ym′]；從排序后的向量X′和Y′中分別選擇前k個值和后k個值作為候選坐標值(k為近鄰點的數目)，同時存入向量KPx=[x1′,…,xk′,xm-k+1′,…,xm′]和KPy=[y1′,…,yk′,ym-k+1′,…,ym′]；假設病害區域左上角與右下角的絕對坐標分別為O1(x00,y00)和O2(x11,y11)，其值按公式(7)計算：

圖3 病害ROI檢測方法流程Fig.3 The disease image of ROI detection method

(7)

公式(7)的含義為：當局部特征點的數目小于給定閾值t時，選擇k=1并分別以xi和yi的最小值與最大值作為病害區域的坐標點；否則，選擇k>1個近鄰點并計算其均值作為病害區域的坐標點。其中，t為選擇k=1或k=torb/k=tsift而設定的閾值。經實驗分析，本文中取torb=400，korb=3；tsift=100，ksift=10。

(3)提取病害圖像ROI。根據步驟2計算得到的病害區域的絕對坐標點O1和O2，可得病害圖像ROI的相對坐標點為O1′(x00,y00)和O2′(x11-x00,y11-y00)，即可根據O1′和O2′坐標點確定的矩形框區域作為病害圖像的ROI。

為了直觀顯示該算法的效果，圖4(a)～(f)給出了使用上述算法提取的病害圖像ROI，其中，紅色矩形區域為基于ORB特征點提取的ROI，藍色矩形區域為基于SIFT特征點提取的ROI，圖片中左上角數字表示所提特征點的數目。

1.3 病害特征提取方法

1.3.1 顏色特征提取 馬鈴薯病害區域包含著豐富的顏色信息，其顏色特征能很好的反映病害特性，是區分各種馬鈴薯病害圖像的重要特征之一。RGB顏色空間并不符合人們對顏色相似性的主觀判斷，而HSV顏色空間不但最接近于人眼的視覺系統，而且具有降低顏色特征維數卻不丟失顏色信息的優點。此外，為了消除馬鈴薯病害圖像在自然光照下的亮度影響，也需要將RGB顏色空間轉化為HSV顏色空間，其轉換關系見參考文獻[19]。

圖4 馬鈴薯病害圖像ROIFig.4 The disease image ROI extracted by this method

本文基于HSV顏色空間，利用顏色直方圖法描述馬鈴薯病害圖像ROI中顏色的全局分布，該方法具有旋轉不變性。

(1)顏色空間轉換：將ROI的RGB圖像轉化到HSV顏色空間。

(2)顏色量化：對HSV圖像分別按H、S、V3個通道劃分成若干個顏色區間，本文中將H分成30級，S、V分別分成10級，共50個區間。

(3)計算小區間直方圖：

(8)

式(8)中，ni為第i個小區間內的像素數量，N分別為H、S、V各分量圖像的像素數。

(4)生成HSV直方圖特征向量：先將步驟(3)中的小區間直方圖歸一化，再把3個顏色通道的直方圖合并成大小為1×50的一維特征行向量C。

1.3.2 紋理特征提取 基于統一模式的局部二值模式(Uniform Pattern Local binary pattern, UPLBP)[20]是一種原理簡單、計算高效的非參數局部紋理特征描述子，在圖像分析和模式識別等領域得到廣泛的應用[21]。因其具有旋轉不變性和灰度不變性等顯著的優點，LBP方法尤其適合描述病害圖像的局部紋理特征。

本文采用基于UPLBP算子的紋理特征直方圖法來描述馬鈴薯病害圖像的局部紋理特征。

(1)預處理：先將ROI轉換為灰度圖像，然后對灰度圖像進行中值濾波，再進行直方圖均衡化操作，增強圖像對比度。

(2)計算LBP特征：先采用原始LBP算子，在3×3窗口鄰域內，計算原始LBP值；然后采用UPLBP算子(取R=3,P=8)進行等價LBP編碼，共有59種模式類[20]，由此可得到ROI的紋理特征圖。

(3)計算ROI紋理特征圖的直方圖：①將UPLBP特征圖按8×8的方式分成64個子塊；②計算每個子塊區域的直方圖；③將②中計算的子塊區域直方圖按分塊的空間順序依次排列成一行，形成UPLBP直方圖特征行向量T。

從圖5可以看出，UPLBP特征圖像整體偏暗。其主要原因是使用UPLBP算子描述紋理特征時，將59個模式類的256個LBP值中的非等價模式類編碼為零，等價模式編碼為1～58的灰度值，故UPLBP特征圖像相比原始LBP特征圖像偏暗。

圖5 干腐病紋理特征Fig.5 Texture feature of dry rot

1.4 基于非線性SVM的病害識別方法

考慮到本文研究對象(馬鈴薯病害圖像)樣本集比較少，共有10種類別，且樣本類別與特征存在非線性情況，是一個典型的小樣本多分類的非線性問題。而支持向量機分類算法是一種基于統計理論和最小結構化風險的機器學習算法，對小樣本的分類識別任務效果良好，且能解決非線性映射的分類問題。

采用不同的核函數(如多項式核函數、徑向基核函數和Sigmoid等)可以得到不同的非線性支持向量機。由于徑向基核函數(radia basic function, RBF)的計算復雜度不隨參數的變化而變化，且能夠將非線性樣本映射到高維空間，故本文使用以RBF為核的SVM，其數學表達式為：

(9)

其中，x為輸入特征值，x′為該特征值x對應的預測結果，σ>0為RBF對應的核參數。

根據上述病害圖像ROI檢測及其病害特征提取方法，分別提取訓練集中馬鈴薯葉部、果實和莖部病害圖像ROI的HSV顏色直方圖特征與UPLBP紋理直方圖特征并融合成特征向量，組成病害圖像特征庫，訓練得到非線性SVM分類器。對測試集病害圖像，使用相同方式獲得病害圖像ROI的特征向量，然后利用訓練好的SVM分類器進行病害識別(圖6)。

圖6 馬鈴薯病害圖像識別流程Fig.6 Flow of image recognition of potato disease

2 結果與分析

為驗證本文算法的性能，對馬鈴薯病害圖像庫中每類病害圖像按1∶1比例隨機選取300幅圖片作為訓練集樣本，對剩余的240幅圖片組成測試集樣本。實驗時，將原始輸入病害圖像尺寸統一調整為150×150，并使用3×3窗口進行中值濾波，以便較好地保留病害圖像的紋理和邊緣細節信息，然后按上文所述方法得到病害ROI，最后融合顏色和紋理特征作為病害識別階段的輸入向量。

(1)不同訓練參數實驗。由于SVM對訓練參數比較敏感，尤其是懲罰因子C和高斯核參數σ2，C的大小決定了分類超平面向離群點位置偏移的程度，σ2反映了特征數據波動的大小。當C取較大的值時，可能會導致過擬合。通過反復實驗，確定SVM病害識別模型最終的參數為：以RBF為核函數，懲罰因子C=100，高斯核=0.09，迭代次數為1000。

從表1看出，在訓練樣本比較少的情況下，基于SVM識別方法的病害識別準確率都比較高。從實際訓練效果看，徑向基核函數識別性能最好且比較穩定；從識別運行時間上看，各類核函數的SVM的識別速度相差不大。所以，基于徑向基核函數的SVM適合用于本文對10類馬鈴薯病害識別的情形。

表1 不同核函數的識別結果

表2 馬鈴薯病害識別結果

表3 各階段平均運行時間

(2)馬鈴薯病害識別實驗。從表2可以看出：本文方法在自建的馬鈴薯病害圖像庫上各類病害的平均識別準確率達到95.83 %。其中有少許病害被誤識別，可能原因有：①存在病害區域ROI選取不完全的現象，使得病害圖像ROI丟失部分特征信息，降低了識別準確率；②部分病害區域ROI的顏色比較相近或紋理差異不大，使得特征直方圖相似度比較高，導致識別錯誤；③訓練樣本量較少或不具有代表性，SVM分類模型的訓練參數沒有達到最優，影響了識別準確率。從總體上看，病害識別準確率最低在91.67 %以上，最高達100 %；平均運行時間為0.083 s。

(3)時間性能測試實驗。根據表1中的訓練參數，按本文算法對540幅病害圖像進行實驗，其各階段運行時間的統計結果如表3所示。

從表3看出，使用本文方法提取病害區域ROI時，速度非常快，平均時間為13 ms，占算法總運行時間的15.66 %；特征提取時間稍長，SVM識別時間僅為3 ms。

結果表明，以ORB特征點為主，SIFT特征點為輔的提取局部特征點的方式，充分利用了ORB算法的快速性和穩定性的優勢，以及SIFT特征點尺度不變性的優點，保證了對病害圖像感興趣區域提取的速度和精確性。

3 討 論

如今，馬鈴薯已成為世界第三大糧食作物[4]，然而病害仍然是影響馬鈴薯產量及品質的重要因素之一，每年都會造成巨大的經濟損失。隨著信息化技術的快速發展，使用計算機視覺、模式識別和圖像處理等技術實現對馬鈴薯病害的智能診斷可大幅度提高其產量，減少經濟損失。

其他學者[5-7]針對小麥、黃瓜、玉米等作物的自動病害識別進行了研究，文獻[9]基于區域分割和SVM的方法對馬鈴薯4種病害的識別進行了研究，為本文研究提供了參考。通常作物的病害位置不固定，病害程度也不一致，造成的危害程度自然不一樣。本文通過對馬鈴薯葉部、果實和莖部3個部位共10種主要病害圖像進行研究，發現病害區域的準確提取能進一步提高病害的識別準確率[12]。實驗研究中對比了多種病害區域提取方法，采用基于局部關鍵特征點的方法可有效確定病害區域且速度很快。文中采用了ORB特征點與SIFT特征點相結合的思路來提取病害區域，主要考慮了這兩種特征點檢測方法對在自然環境下獲得的具有復雜背景的病害圖像具有較好的魯棒性。文中所提到的十類馬鈴薯病害識別屬于多分類的問題，而SVM算法可以有效解決多分類、高維非線性問題。經過實驗對比研究，找到了適合本文問題的SVM模型的參數，獲得了較高的識別準確率，可滿足工程應用。

總體上看，本文方法對病害圖像ROI檢測的精度和速度都達到預期要求，且病害識別準確率高、速度快、魯棒性好。在實際應用研究中，自然環境下的作物病害圖像很容易受到光照、遮擋、傾斜、背景噪聲等因素的影響，深入研究上述復雜場景下的作物病害識別是下一步研究的重點。

4 結 論

本文針對馬鈴薯葉部、果實和莖部三個部位共10種主要病害的識別問題，提出了一種基于ROI快速檢測與融合特征的病害識別方法。在本文實驗條件下，通過仿真實驗，得到如下結論。

(1)基于ORB和SIFT局部特征點的病害圖像ROI快速檢測方法原理簡單，易實現，每幅病害圖像ROI平均檢測時間為13 ms；

(2)本文方法能準確識別馬鈴薯不同部位的10種主要病害，其平均識別準確率達95.83 %，平均運行時間為0.083 s。

在小樣本情況下，本文方法的病害識別準確率高，速度滿足工程上的實時性要求，且對馬鈴薯病害識別的種類數增加到10類，為其它農作物的病害識別研究提供了參考價值。