基于機器視覺的水稻秧苗圖像分割

袁加紅，朱德泉，2，*，孫丙宇，孫 磊，武立權，宋 宇，蔣 銳

(1.安徽農業大學 工學院，安徽 合肥 230036； 2.安徽省糧食作物協同創新中心，安徽 合肥 230036； 3.中國科學院 合肥智能機械研究所，安徽 合肥230031； 4.安徽農業大學 農學院，安徽 合肥 230036)

?

基于機器視覺的水稻秧苗圖像分割

袁加紅1，朱德泉1，2，*，孫丙宇3，孫 磊1，武立權2，4，宋 宇1，蔣 銳1

(1.安徽農業大學 工學院，安徽 合肥 230036； 2.安徽省糧食作物協同創新中心，安徽 合肥 230036； 3.中國科學院 合肥智能機械研究所，安徽 合肥230031； 4.安徽農業大學 農學院，安徽 合肥 230036)

水稻秧苗的識別是水稻插秧機自主導航系統的關鍵內容之一。針對插秧機機器視覺導航中稻田圖像秧苗與背景分割問題，建立了基于RGB(紅綠藍)顏色空間的秧苗表面顏色模型。通過顏色特征對秧苗圖像進行處理，使用Photoshop軟件獲取秧苗部分和背景R，G，B分量值；通過對G-R值與G-B值的分析統計，發現兩者之間存在分界關系：各自的權重與各分量的乘積之和為某個定值；為方便分析，選取權值a，b為0.5，即ExG因子，采用Otsu法獲取定值最佳值，最大程度分割出目標和背景。與適合于大多數綠色作物的傳統RGB法進行比較，并采用分割質量因子和算法運算時間作為評判標準，分析各算法的綜合性能。試驗發現，ExG因子結合Otsu分割法分割效果相對理想、穩定性更高，而且耗時更短。

水稻秧苗；ExG因子；Otsu法；圖像分割；質量因子

水稻插秧機自主導航對于精準插秧、降低駕駛員勞動強度具有重要意義。國內外已有不少學者在車輛自主導航方面做了非常多的研究[1-5]。與GPS導航易受干擾、穩定性差相比，視覺導航具有視覺適應能力強、靈活性好等優點，而且機器視覺技術不需要預定的導航路線圖，同時能夠得到秧苗分布情況。插秧機視覺導航的關鍵是獲取秧苗行結構信息，由于相對于顏色較暗的水田背景，秧苗的顏色為比較突出的綠色。因此，可以根據秧苗的顏色特征提取秧苗行的基本結構[6-7]。在圖像灰度化處理方面，陳曉丹等[8]針對現有的各種圖像分割算法進行了分類比較；邵明[9]提出一種自適應二值化方法，結合茶葉圖像的超綠—超紅特征對龍井嫩芽進行圖像分割；袁媛等[10]結合超G因子和Otsu方法來去除黃瓜圖像中的大部分背景，根據所建立的數據項和平滑項來構建圖像分割算法；張芳等[11]針對復雜背景下的黃瓜病害葉片提出利用K均值聚類法結合LOG算子進行基于形狀上下文的模板匹配和分割；遲德霞等[12]驗證了采用ExG因子結合Otsu法能夠對水稻稻田圖像進行有效分割；張志斌等[13]采用SURF算法來獲取圖像特征點進行特征提取，并與SIFT法進行比較來驗證其有效性；何建斌等[14]針對小麥植株，提出采用K均值聚類法和數學形態學相結合的方法進行分割，具有較好的分割效果。在農作物自主導航方面，George等[15]提出了相對傳統索引因子優勢更為明顯的ExGR 因子；趙博等[16]提出采用ExG因子和閾值法提取玉米作物行結構；張紅霞等[17]提出利用ExG因子結合閾值法分割小麥圖像；Ohta等[18]通過統計多種不同類型彩色圖像的方差和相關試驗，歸納出3種正交彩色特征因子；遲德霞等[19-20]通過分析不同顏色空間各顏色分量的灰度直方圖差異，選取I3分量結合Otsu法和模糊C均值聚類法來分割水稻稻田圖像并驗證其高效性；田磊等[21]提出一種基于貝葉斯分類器的聚類分割法來適應野外環境條件下的農機導航要求；施響軍等[22]通過分析各種顏色空間與顏色因子，并結合閾值處理得出CIVE灰度級與Otsu方法組合能較好地實現圖像分割；張志斌等[23]提出使用IG>IR且IG>IB作為綠色作物圖像的分割條件。綜合分析可知，在農作物目標識別以及農機自主導航領域中，通常將顏色特征作為研究對象，大多采用R，G，B三色因子或者其組合因子進行灰度化轉換，然后進行目標分割。利用三色組合因子方法提取目標對象顏色特征的效果在準確性方面要明顯優于使用單色因子的方法；采用Otsu法能夠最大限度地將目標像素從背景中分離。農機導航對圖像處理實時性要求非常嚴格，為保證實時性、穩定性和高效性，提出了一種適合水稻圖像的顏色索引因子與分割方法的組合。

1 水稻秧苗表面顏色模型

當光線照射到物體表面時，物體對光會產生不同程度的吸收、反射和透射，其中被吸收的部分轉化為熱能，而反射和透射的光線會進入人眼。通常我們認為物體的顏色是不同波長范圍內的光作用于人眼視網膜上而在大腦中引起的主觀感覺。傳統的雙色反射模型認為物體的顏色是由兩部分組成的，即物體對光線的鏡面反射和漫反射的線性組合，如下式[24]所示。

L(λ，i，e，g)=Li(λ，i，e，g)+Lb(λ，i，e，g)。

(1)

Li(λ，i，e，g)=mi(i，e，g)ci(λ)。

(2)

Lb(λ，i，e，g)=mb(i，e，g)cb(λ)。

(3)

式中：L(λ，i，e，g)、Li(λ，i，e，g)和Lb(λ，i，e，g)分別表示光波長為λ、入射角為i、反射角為e、相位角為g時光的總強度、鏡面反射光強和漫反射光強；mi(i，e，g)和mb(i，e，g)分別是鏡面反射和漫反射所對應的幾何標度因子，只取決于幾何特性，而ci(λ) 和cb(λ)分別是鏡面反射和漫反射所對應的光譜功率分布，只取決于光的波長。可以看出物體的顏色不僅取決于物體的本身，還與光源、物體表面的反射特性及觀察方向有關。由CCD彩色攝像頭輸出圖像的三基色強度如式(4) 所示[24]。

(4)

式(4)中，I為三基色強度向量，IR，IG，IB分別為紅色、綠色和藍色分量值，E(X，Y，λ)為入射光的頻譜函數，τR(λ)，τG(λ)和τB(λ)分別為物體反射紅光、綠光和藍光的頻譜函數，s(λ)為攝像機的各項參數函數。由此可見，物體顏色與相機參數有關。以水稻秧苗作為研究對象，秧苗表面對光線的反射特性視為固定的，用于獲取秧苗圖像的攝像機的各項特征參數也是定值，一天中太陽光的照射角度和強度都是變化的，加上大氣質量等因素都會對秧苗表面顏色產生一定的影響。如果不考慮太陽光正午直射情況，便可以認為光源對秧苗的特征識別的影響是在可控范圍內的，也意味著可以對秧苗進行顏色特征識別。

2 秧苗顏色特征分析

選取3幅不同的秧苗圖像如圖1所示。在每幅圖像中分別選擇50個秧苗和背景采樣點，借助于Photoshop軟件查看所有采樣點的R，G，B分量值，如表1所示。

通過分析發現秧苗采樣點的綠色分量比例最大，藍色分量比例最低，為能夠更好地表現出目標和背景之間的區別，使用Excel軟件進行統計分析后建立G-R值與G-B值之間的關系，如圖2所示。通常，在農機視覺導航系統中，農作物的壟或行結構特性是至關重要的，對農作物進行顏色特征識別和圖像分割的重要前提是獲取作物壟行的基本結構。

a,晴天時相機動態下拍攝圖；b,陰天時相機靜態下拍攝圖；c,晴天時相機靜態下拍攝圖圖1 不同條件下秧田圖像Fig.1 Images of seedlings and background in different illumination conditions

表1 不同拍攝條件下中秧苗和背景采樣點三基色分量值

Table 1 Value of R， G， B components for seedlings and background in different illumination conditions

拍攝條件采樣點秧苗采樣點三基色RGB背景采樣點三基色RGB晴天時相機動態情況下114116586180173158213415579159146121315518010017917215549813142187180164…………………5012616266180173157陰天時相機靜態情況下18283671551561612396621142143137386124671311301264578338129130119…………………5011314298161162164晴天時相機靜態情況下111214840153153129210712835159161142311615055170168150412414984158156133…………………509913134162158129

a, 圖1-a中點G-R和G-B關系圖；b, 圖1-b中點G-R和G-B關系圖；c, 圖1-c中點G-R和G-B關系圖圖2 拍攝圖中秧苗和背景采樣點G-R值和G-B值關系Fig.2 Relation between G-R and G-B components for seedlings and remainder in previous three images

對于水稻秧苗圖像，秧苗表面顏色主要是綠色分量，對圖2中秧苗和背景采樣點數據進行統計分析，可知秧苗采樣點和背景采樣點在(G-R，G-B)坐標系中存在著一條或者多條分界線能將兩者區分開來，分割線滿足條件(5)，a，b分別為兩者的權值。在考慮分割效果的前提下，為簡化分析，取a=b，也意味著秧苗表面顏色三基色值存在式(6)的關系，而對于背景顏色則相反。

(aIG-IR)+b(IG-IB)=T。

(5)

(IG-IR)+(IG-IB)>T。

(6)

式中，IG，IR，IB分別為R，G，B 的灰度值。T為常數，對不同的圖像，T值是不同的。圖像中秧苗和背景采樣點的ExG(即2G-R-B)分布圖如圖3。由圖3可知：秧苗和背景的ExG值分布較為均勻，二者存在一個合理閾值進行區分，而該最佳閾值可通過Otsu法獲取。

3 秧苗圖像分割

由于水稻秧苗屬于綠色植物，以綠色分量為主，所以為方便比較分析，以上述3幅拍攝圖片作為研究對象，分別以效果較好的RGB法[18]和提出的ExG因子結合Otsu法進行處理。

RGB法是張志斌等[23]通過分析綠色作物的顏色恒定性提出的一種較為高效的方法。他們假設，在綠色物體表面的像素值域體內存在著如式(7)所示的關系，即對于綠色作物圖像，在RGB顏色空間中作物區域的G分量始終大于其他兩分量，該方法的處理步驟為采用MATLAB軟件以IG>IR且IG>IB作為分割條件進行圖像分割，算法如式(8)所示。

IG>IR∩IG>IB。

(7)

(8)

a， 圖1-a中采樣點ExG值分布圖；b， 圖1-b中采樣點ExG值分布圖；c， 圖1-c中采樣點ExG值分布圖圖3 拍攝圖中秧苗和背景采樣點ExG值分布圖Fig.3 Distribution of ExG component

該算法的作用是將滿足條件(7)的所有像素點的值設為1，即白色，而不滿足條件的像素點的值設為0，即黑色。該算法處理結果見圖4-a。

使用ExG因子結合Otsu法進行分割的原理是：首先采用ExG因子進行灰度化處理，然后對灰度圖像使用Otsu法進行分割。灰度化算法見式(9)，大津法算法見下式(10)。

(9)

(10)

式(10)中，Tmax為使得灰度圖中所有像素類間方差最大的閾值，當圖像中像素點灰度值大于該閾值時，則認為該像素點屬于秧苗區域，否則屬于背景區域。圖像分割后結果如圖4-b所示。

4 分割結果與分析

試驗條件：時間為2014年7月，栽植秧苗為毯狀苗。采集10幅秧苗圖像，包括陰天和晴天等狀態，試驗地點為安徽省天長市天長鎮曙光村試驗田，土壤質地為壤土。圖像處理軟件使用的是MATLAB，圖像處理設備使用的是個人PC機。

硬件參數為：四核。2.7 GHz。8 G內存。為了對圖像分割算法綜合性能作一個較全面的評價，主要可以從算法運算時間和分割質量因子方面進行。

4.1 算法運算時間

對于上述的兩種分割方法，均是使用MATLAB軟件進行編程和處理，使用tic和toc命令對程序進行計時，得到的相關數據如圖5-a和表2所示。由圖5-a和表2可知，RGB法運行耗時均值接近于ExG+Otsu算法的3倍，而且其方差大小接近于ExG+Otsu算法的10倍，這是因為前者需要針對每個像素進行R，B分量與G分量的比較，因此實時性較差，且對不同光照條件下的秧苗圖像處理效果穩定性較低。由表2可以看出后者的耗時均值為0.004 7 s，能夠滿足車輛自主導航的實時性需求。

表2 兩種方法的耗時與分割質量因子的均值與標準偏差

Table 2 Mean value and standard deviation of time consuming and quality factor for RGB method and ExG+Otsu method

圖像序號處理耗時/sRGB法ExG+Otsu法分割質量因子RGB法ExG+Otsu法均值0.01450.00470.44210.6851標準偏差0.0039540.0002310.1418480.084674

a, 采用RGB比較法分割結果圖像；b, 采用ExG+Otsu法分割結果圖像圖4 采用RGB比較法和 ExG+Otsu法的分割結果Fig.4 Segmenting results with RGB method and ExG+Otsu method

a, RGB法和ExG+Otsu法的分割處理耗時；b, RGB法和ExG+Otsu法的分割質量因子圖5 RGB法和ExG+Otsu法分割性能評價Fig.5 Performance evaluation of RGB method and ExG+Otsu method with time consuming and quality factor

4.2 分割質量因子

參考George提出的評價方法，使用質量因子(factor quality)作為評價因子，質量因子Qseg定義如下：

(11)

5 結論

對于秧苗圖像來說，它的顏色模型中綠色分量為主要分量，因此可以采用偏重綠色分量的分割算法進行處理。常用的有針對綠色作物模型的RGB法和傳統的ExG+Otsu法，通過對2種方法進行比較分析，發現采用RGB法無法較好地分割出秧苗目標，不能夠保留作物的形態學特征，且對于不同光照條件下的秧苗圖像分割效果不夠穩定，ExG+Otsu法雖然也會受到光照條件的影響，而且使用Otsu法獲得的閾值會使得部分作物像素被誤判斷為背景，但是它具有較好的分割效果和較高的穩定性，適合于水稻插秧機作業時作業壟行結構的識別。

[1] SLAUGHTER D C， CHEN P， CURLEY R G. Vision guided precision cultivation [J].PrecisionAgriculture， 1999， 1(2):199-216.

[2] TORRI T. Research in autonomous agriculture vehicles in Japan [J].ComputersandElectronicsinAgriculture，2000， 25(1/2):133-153

[3] SHASHI D， BULUSWAR， BRUCE A， et al. Color machine vision for autonomous vehicles [J].EngineeringApplicationsofArtificialIntelligence， 1998， 11(2): 245-256.

[4] KEICHER R， SEUFERT H. Automatic guidance for agricultural vehicles in the Europe [J].ComputersandElectronicsinAgriculture， 2000， 25(1/2): 169-194.

[5] DEBAIN C， CHATEAU T， BERDUCAT M， et al. A guidance-assistance system for agricultural vehicles [J].ComputersandElectronicsinAgriculture，2000，25(1/2):29-51.

[6] SHAFER S A. Using color to separate reflection components [J].ColorResearchandApplication， 1985， 10(4): 210-218.

[7] ONYANGO C， MARCHANT J. Physics-based colour image segmentation for scenes containing vegetation and soil[J].ImageandVisionComputing， 2001，19(8): 523-538.

[8] 陳曉丹， 李思明. 圖像分割研究進展 [J]. 現代計算機， 2013(11): 33-36.

[9] 邵明. 基于計算機視覺的龍井茶葉嫩芽識別方法研究 [D]. 杭州: 中國計量學院， 2013.

[10] 袁媛， 李森， 陳晨， 等. 復雜背景黃瓜葉部病害圖像分割方法 [J]. 農業機械學報， 2013，44(10): 233-237.

[11] 張芳， 王璐， 付立思， 等. 復雜背景下黃瓜病害葉片的分割方法研究 [J]. 浙江農業學報， 2014， 26(5): 1346-1355.

[12] 遲德霞， 張偉， 王洋. 基于EXG因子的水稻秧苗圖像分割 [J]. 安徽農業科學， 2012， 40(36): 17902-17903.

[13] 張志斌， 趙帥領， 羅錫文， 等. 基于S URF算法的綠色作物特征提取與圖像匹配方法 [J]. 農業工程學報， 2015， 31(14): 172-178.

[14] 何建斌， 梁威， 李曉明. 基于K均值聚類和數學形態學的小麥彩色圖像分割 [J]. 浙江農業學報， 2011，23(4): 829-832.

[15] MEYER G E， NETO J C. Verification of color vegetation indices for automated crop imaging applications [J].ComputerandElectronicsinAgriculture， 2008， 63(2): 282-293.

[16] 趙博， 朱忠祥， 宋正河. 農用車輛視覺導航路徑識別方法 [J]. 江蘇大學學報(自然科學版)， 2007， 28(6): 482-486.

[17] 張紅霞， 張鐵中， 宋健. 一種快速農田目標分割方法的實現 [J]. 濰坊學院學報， 2006， 6(4): 1-4.

[18] OHTA Y I， KANADE T， SAKAI T. Color information for region segmentation [J].ComputerGraphicsandImageProcessing， 1980， 13(3): 222-241.

[19] 遲德霞， 任文濤， 劉金波， 等. 水稻插秧機視覺導航基準線識別研究 [J]. 沈陽農業大學學報， 2014， 45(5): 559-565.

[20] 遲德霞， 任文濤， 劉金波， 等. 基于模糊C均值聚類的水稻秧苗圖像分割 [J]. 沈陽農業大學學報， 2013， 44(6): 787-792.

[21] LEI F T， DAVID C. Environmentally adaptive segmentation algorithm for outdoor image segmentation [J].ComputerandElectronicsinAgriculture， 1998， 21(3): 153-168.

[22] 施響軍. 基于機器視覺的小型插秧機導航研究 [D]. 杭州: 浙江理工大學， 2010.

[23] 張志斌， 羅錫文. 基于顏色特征的綠色作物圖像分割算法 [J]. 農業工程學報， 2011， 27(7): 183-189.

[24] SHAFER S A. Using color to separate reflection components [J].ColorResearchandApplication， 1985， 10(4): 210-218.

(責任編輯 張 韻)

Machine vision based segmentation algorithm for rice seedling

YUAN Jia-hong1， ZHU De-quan1，2，*， SUN Bing-yu3， SUN Lei1， WU Li-quan2，4， SONG Yu1， JIANG Rui1

(1.SchoolofEngineering，AnhuiAgriculturalUniversity，Hefei230036，China; 2.CenterofCollaborativeInnovationofAnhuiGrainCrops，Hefei230036，China; 3.InstituteofIntelligentMachines，ChineseAcademyofSciences，Hefei230031，China; 4.SchoolofAgriculture，AnhuiAgriculturalUniversity，Hefei230036，China)

The recognition of rice seedling is one of the significant parts of autonomous guidance for rice transplanting. Considering the segmentation of seedlings and remainder based on machine vision system， a simple dichromatic reflection model was established in RGB color space， which represented that the seedling could be recognized by using its color feature. The values of R， G， B components of seedlings and remainder were obtained in Photoshop software respectively and analyzed statistically in order to get the relation between them. In order to simplify the computing process， the weight values of a and b were set as 0.5， ExG index and Otsu method (ExG+Otsu method) which could obtain the optimal threshold were combined to distinguish the seedlings and remainder well. The RGB method and previous ExG+Otsu method were carried out to compare their performance intuitively. Their comprehensive performance was evaluated with segmentation quality factor and time consuming. The results have proved that the latter for segmenting was more efficient， highly stable and timesaving.

rice seedling; ExG index; Otsu method; image segmentation; quality factor

10.3969/j.issn.1004-1524.2016.06.26

2015-10-14

國家自然科學基金項目(51403005) ；國家農業科技成果轉化項目(2014C30000162)

袁加紅(1992—)，男，安徽安慶人，碩士，從事智能計算、系統仿真研究。E-mail：962881939@qq.com

*通信作者，朱德泉，E-mail：zhudequan@ahau.edu.cn

TP751.1

A

1004-1524(2016)06-1069-07

袁加紅，朱德泉，孫丙宇，等. 基于機器視覺的水稻秧苗圖像分割[J].浙江農業學報，2016，28(6)： 1069-1075.