基于顯著性檢測的黃瓜葉部病害圖像分割算法

任守綱　陸海飛　袁培森　薛　衛　徐煥良,2

(1.南京農業大學信息科技學院， 南京 210095； 2.國家信息農業工程技術中心， 南京 210095)

?

基于顯著性檢測的黃瓜葉部病害圖像分割算法

任守綱1陸海飛1袁培森1薛衛1徐煥良1,2

(1.南京農業大學信息科技學院， 南京 210095； 2.國家信息農業工程技術中心， 南京 210095)

針對復雜背景下黃瓜葉部病害分割精度不高的問題，提出了一種基于顯著性檢測的黃瓜葉部病害圖像分割算法。首先利用超像素將黃瓜圖像分塊，獲取黃瓜葉片的邊緣，并提出了一種超像素間權重計算方法和顯著種子選取方法；然后通過流形排序計算顯著圖，對得到的顯著圖進行閾值分割，得到二值圖像；再將二值圖像與原圖像進行掩碼運算，得到黃瓜病害葉片；最后利用超綠特征和數學形態學對病害葉片進行分割得到病斑。對常見的黃瓜病害(白粉病、褐斑病、霜霉病、炭疽病)圖像進行測試，結果表明該算法與Otsu算法和k-means算法相比，有效解決了冗余分割問題，錯分率均在5%以內，算法平均執行時間均小于4 000 ms，分割效果更加精確，為后續構建黃瓜病害自動識別系統奠定了基礎。

黃瓜; 病害圖像； 顯著性檢測; 流形排序; 圖像分割

引言

農作物病害嚴重威脅著作物的健康生長，大量使用農藥又影響了農產品的健康品質，因此對農作物病害早發現、早防治，是提高農作物產量、減少農藥使用量的關鍵。利用機器視覺進行農作物病害自動識別已成為農業信息化和智能化研究的重要課題。在識別過程中，如何在復雜背景下實現高精度的圖像分割對提取作物葉部病害圖像至關重要，病斑分割的精度直接影響到后期特征提取與病害識別的效果。

近年來，在作物病害分割方面，已開展了一系列的研究工作[1-4]。復雜背景下，病害葉片與正常葉片綠色部分顏色相似，病害部分與黃褐色泥土顏色相似，這些對病葉的提取、病害部位的高精度分割都造成了難度。

針對復雜背景下的黃瓜病害分割難的問題，提出基于顯著性檢測的黃瓜葉部病害圖像分割算法(Segmentation algorithm of cucumber leaf disease image based on saliency detection，SCLDSD)，采用超像素預處理、流形排序、哈里斯點及凸包對黃瓜病害葉片進行提取，并進一步對葉部病害進行圖像分割操作。

1　顯著性檢測原理

顯著性檢測的本質是一種視覺注意模型(Visual attention model, VAM)[5]。VAM是依據視覺注意機制建立的,通過視覺獲得圖像中的顯著部分,用灰度圖代表顯著度的大小。

顯著性檢測的基本原理是：對于原始圖像，用分塊方法將圖像分塊，通過計算得到每個像素塊的灰度，用來表示該像素塊的顯著度。顯著性檢測可以簡單描述成一個圖標號問題[6]：以像素塊為結點構建圖，設定一些結點作為顯著種子，然后通過顯著度計算函數計算其他結點與顯著種子的相似度，形成最終的顯著圖。

2　SCLDSD算法框架

基于顯著性檢測的黃瓜葉部病害圖像分割算法主要分為兩部分：①背景分割，主要包括超像素預處理、超像素節點間權重計算、流形排序以及顯著種子選取。②病害圖像分割，主要包括超綠特征分割和形態學膨脹處理。

2.1超像素預處理

超像素分割方法的思想主要受ZHOU等[7]提出的半監督學習分類算法的啟發。超像素，即具有相似方向和相似顏色特征的一系列像素集合，可以在一定程度上保持良好的目標邊界。采用超像素分割方法對圖像進行預處理，結果如圖1所示，可見較好地保留了病害葉片輪廓，為后續的病害提取與分割奠定了基礎。

圖1　超像素分割結果Fig.1　Results of superpixel image segmentation

2.2顯著性擴散中的權重度量

將得到的超像素表示為：X={x1,x2,…,xn},并以此為結點構建無向圖。定義：圖中某一結點僅與其相鄰的結點及它們的相鄰結點存在邊連接，以鄰接矩陣作為圖的存儲結構。邊緣權重在很大程度上會影響最終顯著圖的預測[8]，許多早期的顯著性模型通常直接使用歐氏距離[9]來計算節點之間的權重，但該方法對復雜背景下不規則物體的檢測效果較差，不適用于黃瓜葉片病害圖像的分割。因此在綜合考慮圖像顏色、方差和直方圖特征的基礎上，提出了一種權重度量來計算節點之間的相似度，即

(1)

式中ri、rj——超像素

σc、σv、σh——控制權重的特征參數，分別取5、2、2[10]

cc(ri,rj)、cv(ri,rj)、ch(ri,rj)分別表示ri和rj間顏色、方差和直方圖特征的差異。

顏色特征差異的計算式為

cc(ri,rj)=‖μi-μj‖2

(2)

式中μi、μj——ri和rj在RGB空間的顏色均值

方差特征的差異表示為

(3)

式中σv(ri)、σv(rj)——ri和rj間的方差

n(ri)、n(rj)——ri和rj中的像素數

直方圖特征差異計算式為

(4)

式中hk(ri)、hk(rj)——ri和rj直方圖第k個分量

d——分量個數，取256

2.3流形排序

流形排序已經廣泛應用在圖像檢索中[11]，本文利用其對超像素進行標記，利用顯著性擴散來預測超像素的顯著值。對于超像素集合X={x1,x2,…,xn}，定義其標記向量集合Y=[y1,y2,…,yn]，排名函數向量集合F=[f1,f2,…,fn]，若xi為顯著種子，則yi=1，否則yi=0。以式(1)中的wij形成權重矩陣W，W中無邊連接的超像素間的權重為∞，超像素自身與自身的權重為零[12]，則有

F(n+1)=βWF(n)+(1-β)Y

(5)

式中F(n)——排名函數向量

β屬于[0,1)，綜合考慮W和Y，令β=1-β，則β=0.5，通過式(5)進行迭代直至其收斂，假設收斂時的F值為F*，則有

F*=(I-βW)-1(1-β)Y

(6)

式中I——單位矩陣

得到其收斂時的F*，作為各個超像素的顯著值。

2.4顯著種子的選取

對于顯著性擴散策略，顯著種子的確定是關鍵[13]。傳統的算法多選擇圖像中心部分作為顯著種子，但是僅對目標位于圖像中心位置時效果良好，魯棒性不足，因此采用哈里斯算子[14]和凸包進行顯著種子選取。

首先使用哈里斯算子對目標進行檢測，大部分哈里斯點都集中在病害葉片區域，如圖2a所示。

圖2　哈里斯點和凸包Fig.2　Harris points and convex hull

假定點集P，P的凸包即包含P的最小凸多邊形[15]。利用哈里斯點生成凸包，可以進一步優化顯著種子的選取。如圖2b所示，凸包占據大部分的黃瓜病害葉片和小部分背景。將病害圖像分為2部分：m個超像素在凸包內，n個超像素在凸包外，超像素有部分位于凸包內也算作凸包內超像素，定義凸包內外超像素間的平均距離di為

(7)

式中rIi——凸包內的超像素

rOj——凸包外的超像素

d(rIi,rOj)——rIi和rOj之間的歐氏距離

通過設置閾值T來計算顯著種子，閾值T計算式為

(8)

凸包內的超像素距離凸包外的超像素越遠，其成為顯著種子的可能性越大，因此通過式(8)將凸包內di大于等于T的超像素選為顯著種子。

2.5病害葉片提取

由式(6)中的F*可以得到顯著圖，將顯著圖進行閾值分割，可得到二值圖像，將二值圖像與原圖像進行掩碼運算，可將前背景分離，得到的分割結果如圖3所示。由圖可見，得到的顯著圖較為理想，提取了較完整的葉片，同時有效分離了背景，為后續病害分割奠定了良好基礎。

圖3　葉片提取Fig.3　Leaf extraction

2.6病害圖像分割

在提取出葉片后，對葉片病害進行圖像分割。對于黃瓜葉片來說，正常為綠色，病斑為非綠色，因此采用超綠特征ExG[16]對葉片病斑進行分割，得到灰度圖，計算公式為

(9)

對得到的灰度圖進行二值化處理，再進行形態學膨脹操作使病斑更加飽滿自然，最后通過與提取出的葉片原圖進行掩碼運算得到最終的病斑分割結果，如圖4所示。由圖可見，得到了較為精確的病斑。

圖4　病害分割Fig.4　Disease segmentation

2.7算法的基本步驟

SCLDSD算法主要包括6個步驟：①對黃瓜原圖進行超像素預處理，形成超像素級別的區域塊，并以此構建無向圖。②計算圖結點之間的權重。③選取顯著種子。④流形排序計算顯著圖。⑤得到最終的顯著圖，提取葉片。⑥利用超綠特征和形態學膨脹分割出病斑。

算法流程圖如圖5所示。

圖5　算法流程圖Fig.5　Flow chart of the algorithm

3　實驗結果與分析

為了驗證SCLDSD算法的正確性和有效性，選取了設施環境下黃瓜白粉病、褐斑病、霜霉病、炭疽病圖像各50幅，將其分辨率統一設置為100像素×130像素，實驗用計算機CPU為2.2 GHz，T6670處理器，內存2 GB，Windows 7操作系統，運行平臺為Matlab 2010。

3.1提取葉片實驗

對不同病害圖像進行病害葉片提取操作，將前景與背景分離得到分割結果，病害葉片提取效果如圖6所示。

圖6　葉片提取結果Fig.6　Results of leaf extraction

圖6為通過SCLDSD算法得到的不同病害葉片的提取結果，均是在復雜背景下進行的葉片提取，其中炭疽病和霜霉病葉片均與背景中的顏色有很大程度的重疊，褐斑病病害部分與泥土顏色也存在重疊。結果顯示，本文算法有效分離了復雜背景，得到了較為完整的黃瓜葉片，驗證了SCLDSD算法中顯著圖生成的有效性。

3.2病害圖像分割實驗

為了驗證SCLDSD分割算法的效果，以最大類間方差(Otsu)分割算法、k-means聚類分割算法以及本文算法對不同黃瓜病害圖像進行分割，分割效果如圖7所示，圖中由上至下分別為不同黃瓜病害原圖以及經Otsu分割算法、k-means聚類分割算法、本文算法處理后的圖像。

圖7　病害分割結果Fig.7　Segmentation results of disease

由圖7可以看出，Otsu算法不能很好地消除背景，造成背景中一些顏色與目標相似的區域也被展現，即冗余分割。k-means聚類算法與Otsu算法相比效果有所改善，但是仍受背景影響，且未能完全分割開病斑，SCLDSD算法在保持病斑數量完整性的同時，得到了較為精確的病斑，分割效果較好。

3.3分割結果誤差分析

不同的分割算法結果會存在一定的誤差，使用Matlab 2010及以上3種分割方法對黃瓜白粉病、褐斑病、霜霉病以及炭疽病各50幅病害圖像進行分割誤差分析，結果如圖8所示。由圖可見黃瓜褐斑病的人工分割結果和k-means算法的錯分區域，錯分區域可以通過算法分割結果與人工分割結果進行異或操作得到。

圖8　分割誤差Fig.8　Segmentation error

通常采用錯分率[17]作為分割結果的評價標準。錯分率計算式為

(10)

式中ER——錯分率，%

Ne——錯分區域的總像素數

Na——原圖的總像素數

對每種病害的50幅圖像進行計算得到不同分割算法的平均錯分率，結果如表1所示。

表1　不同算法的平均錯分率Tab.1　Average error rate of each algorithm　%

如表1所示，Otsu算法僅采用閾值分割，造成大量背景冗余，平均錯分率較大，分割效果較差；k-means算法采用聚類原理分割，平均錯分率低于Otsu算法，但也超過了10%，SCLDSD算法平均錯分率均小于5%，是一種有效的分割算法。

3.4算法的運行時間

在圖像處理算法中，時間消耗是一個重要考量因素，利用Matlab 2010，對白粉病、褐斑病、霜霉病以及炭疽病病害圖像各50幅(分辨率均為100像素×130像素)進行分割，3種算法的平均運行時間如表2所示。

表2　各算法平均執行時間　Tab.2　Average execution time of each algorithm　ms

從表2中發現，Otsu算法僅利用閾值分割，處理速度較快，時間均不到1 s，k-means算法由于針對像素級別進行聚類，時間消耗較大，SCLDSD算法的時間消耗主要集中在顯著圖計算上，因為引入了超像素，可以越過像素級直接對像素塊級別進行操作，所以即使引入了一些約束和迭代思想，最終的運行時間仍小于k-means算法，具有較為合理的時間效率。

4　結束語

在研究現有作物病害尤其是黃瓜葉部病害分割方法的基礎上，提出了一種基于顯著性檢測的黃瓜葉部病害分割算法(SCLDSD)。實驗結果表明，SCLDSD算法在分離目標和背景的時候效果較好，提取了較為完整的黃瓜葉片，對葉片進行病害分割時能夠得到目標完整、精確的病斑，與Otsu算法和k-means算法相比，有效解決了冗余分割的問題，分割結果更加精確，且具有較小的錯分率與合理的運行時間，是一種有效的黃瓜葉部病害分割算法，對其他綠色作物病害的分割也有一定的應用價值。

1毛罕平, 張艷誠, 胡波. 基于模糊C均值聚類的作物病害葉片圖像分割方法研究[J]. 農業工程學報, 2008, 24(9):136-140.

MAO Hanping, ZHANG Yancheng, HU Bo. Segmentation of crop disease leaf images using fuzzy C-means clustering algorithm [J]. Transactions of the CASE, 2008, 24(9): 136-140. (in Chinese)

2王海青, 姬長英, 顧寶興,等. 基于參數自適應脈沖耦合神經網絡的黃瓜目標分割[J]. 農業機械學報,2013,44(3):204-208.

WANG Haiqing, JI Changying, GU Baoxing, et al. Cucumber image segmentation based on weighted connection coefficient pulse coupled neural network [J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(3):204-208. (in Chinese)

3田杰, 韓冬, 胡秋霞,等. 基于PCA和高斯混合模型的小麥病害彩色圖像分割[J]. 農業機械學報, 2014,45(7):267-271.

TIAN Jie, HAN Dong, HU Qiuxia, et al. Segmentation of wheat rust lesion image using PCA and Gaussian mix model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7):267-271. (in Chinese)

4趙瑤池, 胡祝華. 基于對數相似度約束Otsu的自然場景病害果實圖像分割[J]. 農業機械學報, 2015，46(11)：9-15.

ZHAO Yaochi, HU Zhuhua. Image segmentation of fruits with diseases in natural scenes based on logarithmic similarity constraint Otsu [J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(11):9-15. (in Chinese)

5PAN C, PARK D S, YANG Y, et al. Leukocyte image segmentation by visual attention and extreme learning machine[J].Neural Computing & Applications, 2011,21(6):1217-1227.

6LI J, LEVINE M D, AN X, et al. Visual saliency based on scale-space analysis in the frequency domain[J].Pattern Analysis and Machine Intelligence,2013,35(4):996-1010.

7ZHOU D, BOUSQUET O, LAL T N,et al. Learning with local and global consistency[J]. Advances in Neural Information Processing Systems,2004,16(4):321-328.

8FU K, GONG C, GU Y H, et al. Normalized cut-based saliency detection by adaptive multi-level region merging[J]. IEEE Transactions on Image Processing, 2015, 24(12):5671-5683.

9DOKMANIC I, PARHIZKAR R, RANIERI J, et al. Euclidean distance matrices: a short walk through theory, algorithms and applications[J]. IEEE Signal Processing Magazine, 2015, 32(6):12-30.

10LI H, WU W, WU E. Robust salient object detection and segmentation[M]. Germany: Springer International Publishing, 2015.

11ZHOU J, REN Y, YAN Y, et al. Salient object detection: manifold-based similarity adaptation approach [J]. Journal of Electronic Imaging, 2014, 23(6):704-714.

12嚴蔚敏，吳偉民.數據結構(C語言版)[M].北京:清華大學出版社，2007.

13WANG J, LU H, LI X, et al. Saliency detection via background and foreground seed selection[J]. Neurocomputing, 2015, 152:359-368.

14ZHANG C, TAO Z, WEI X, et al. A flexible framework of adaptive method selection for image saliency detection[J]. Pattern Recognition Letters, 2015, 63:66-70.

15YANG C, ZHANG L, LU H. Graph-regularized saliency detection with convex-hull-based center prior[J]. IEEE Signal Processing Letters, 2013,20(7):637-640.

16張志斌, 羅錫文, 臧英,等. 基于顏色特征的綠色作物圖像分割算法[J]. 農業工程學報, 2011, 27(7): 183-189.

ZHANG Zhibin, LUO Xiwen, ZANG Ying, et al. Segmentation algorithm based on color feature for green crop plants[J].Transactions of the CASE, 2011, 27(7):183-189. (in Chinese)

17鄧曉政, 焦李成, 盧山. 基于非負矩陣分解的譜聚類集成SAR圖像分割[J]. 電子學報, 2011, 39(12): 2905-2909.

DENG Xiaozheng, JIAO Licheng, LU Shan. Spectral clustering ensemble applied to SAR image segmentation using nonegative matrix factorization [J]. Acta Electronica Sinica, 2011, 39(12): 2905-2909. (in Chinese)

Segmentation Algorithm of Cucumber Leaf Disease Image Based on Saliency Detection

Ren Shougang1Lu Haifei1Yuan Peisen1Xue Wei1Xu Huanliang1,2

(1.CollegeofInformationScienceandTechnology,NanjingAgriculturalUniversity,Nanjing210095,China2.TheStateInformationofAgriculturalEngineeringTechnologyCenter,Nanjing210095,China)

In order to solve the problems of low accuracy of cucumber leaf disease image segmentation in complex background, a new segmentation algorithm of cucumber leaf disease image based on saliency detection (SCLDSD) was proposed. The proposed algorithm mainly consists of two parts: saliency detection in cucumber disease image which is used to get the leaf extraction and image segmentation which is used to get cucumber leaf disease. The algorithm first used the superpixel segmentation method to divide the cucumber image into blocks, got the edge of cucumber leaf preferably, and proposed a new method to calculate the weights among different superpixels. Then the algorithm used Harris points and convex hull to select saliency seeds. After using manifold ranking to compute the saliency map, the threshold segmentation was adopted on the obtained saliency map to get the binary map. At last, the cucumber disease leaf and background of the original image were separated by adding the binary map to the original image. In order to obtain the disease parts, ExG was used to expand the disparity of green parts and lesion parts and then threshold was used to carry out the segmentation. Finally, the morphological operation was processed in order to obtain fuller lesion. The proposed algorithm was tested on common cucumber disease images. The experimental result shows that the algorithm effectively solves the redundant segmentation and it’s more accurate with the error rate less than 5% and the average execution time of the algorithm less than 4 000 ms in segmentation. From the results it can be concluded that the algorithm verifies the feasibility and practicality of the saliency detection algorithm in processing of disease images. Meanwhile it lays the foundation for the subsequent establishment of the automatic identification system of cucumber disease.

cucumber； disease image; saliency detection; manifold ranking; image segmentation

10.6041/j.issn.1000-1298.2016.09.002

2016-01-19

2016-03-28

國家自然科學基金項目(61502236)、江蘇省博士后科研資助計劃項目(1302038B)和江蘇省農業三新工程項目(SXGC2014309)

任守綱(1977—)，男，副教授，主要從事人工智能與農業信息化研究，E-mail： rensg@njau.edu.cn

徐煥良(1963—)，男，教授，博士生導師，主要從事農業信息化研究，E-mail： huanliangxu@njau.edu.cn

TN911.73； S126

A

1000-1298(2016)09-0011-06