基于機器視覺的水稻雜質及破碎籽粒在線識別方法

陳 進，顧 琰，練 毅，韓夢娜

?

基于機器視覺的水稻雜質及破碎籽粒在線識別方法

陳 進，顧 琰，練 毅，韓夢娜

（江蘇大學機械工程學院，鎮江 212013）

為了解決目前國內聯合收獲機缺乏針對含雜率、破碎率的在線監測裝置的問題，該文提出基于機器視覺的水稻圖像采集，雜質與破碎籽粒分類識別方法。采用帶色彩恢復的多尺度Retinex算法增強原始圖像，對HSV顏色模型的色調、飽和度兩個通道分別設定閾值進行圖像分割，并結合形狀特征得到分類識別結果。采用綜合評價指標對試驗結果進行量化評價，研究表明，莖稈雜質識別的綜合評價指標值達到了86.92%，細小枝梗雜質識別的綜合評價指標值為85.07%，破碎籽粒識別的綜合評價指標值為84.74%，平均識別一幅圖像的時間為3.24 s。結果表明，所提出的算法能夠快速有效識別出水稻圖像中的雜質以及破碎籽粒，為水稻含雜率、破碎率的在線監測提供技術支撐。

機器視覺；圖像處理；雜質；水稻；破碎籽粒；顏色模型；在線識別

0 引 言

水稻含雜率、破碎率是衡量聯合收獲機作業質量的重要標準，根據2013年發布的《水稻聯合收割機作業質量》規定，對全喂入式的聯合收獲機要求收獲的水稻含雜率、破碎率均要低于2.5%[1]。但是，目前國內的聯合收獲機普遍缺乏作業過程中對含雜率、破碎率的監測，只能停機后依靠人工完成[2-3]，效率低下。

近年來，機器視覺技術因其非破壞性、精度高、速度快等特點，在現代農業生產中得到廣泛應用[4]。國外的農機公司和研究人員將機器視覺技術應用到谷物雜質、破碎籽粒含量的監測上。德國克拉斯公司（CLAAS）采用高清彩色相機拍攝脫粒物的圖像，對非谷物成分和碎粒含量進行分析，并在駕駛室操作面板上顯示為條形圖，還可顯示極限值警示[5]。比利時的Wallays等[6]采用機器視覺在線檢測聯合收獲機內小麥的雜質含量，通過遺傳算法對400～900 nm范圍內的5個波段進行組合，將圖像中的單個像素分類為小麥籽粒或雜質。日本京都大學的Mahirah等[7]采用一種雙燈源視覺系統檢測水稻中雜質和破碎籽粒，系統檢測的2值大于0.7，具有檢測相關性。國內也有一些對谷物雜質和破碎籽粒識別算法的研究[8-9]，但是所研究的均是理想狀態下的谷物圖像。除本課題組外對聯合收獲機在線采集的谷物圖像進行識別未見有其他報道。筆者所在研究團隊近年來對聯合收獲機含雜率、破碎率的監測進行探索[10-12]，陳璇[13]采用-Means算法與分水嶺算法結合進行圖像分割，再利用BP神經網絡模型識別雜余、破碎籽粒。但是分水嶺算法存在過分割現象[14]，分割不準確影響后續識別結果；而且算法復雜，BP神經網絡的計算量大[15]難以滿足實時性的要求。程序在Matlab平臺運行，平均識別一幅圖像的時間在10 s左右。

本文要解決的關鍵問題在于實現雜質和破碎籽粒的精確識別并且達到實時性要求的識別速度。本文提出基于機器視覺的水稻圖像采集及識別方法。采用圖像采集裝置、處理器、顯示器搭建視覺系統，研究帶色彩恢復的多尺度Retinex算法（MSRCR）及HSV顏色空間閾值分割方法，解決水稻圖像雜質及破碎籽粒的快速準確識別問題。

1 圖像采集系統的構建

圖像采集系統主要由谷物采集裝置、處理器、工業相機、光源以及顯示器等部分組成（如圖1所示）。

谷物采集裝置1主要包括采樣槽9、下方的擋板5、與擋板相連接的推拉式電磁鐵6。采樣槽側面隔著透明亞克力板4與密閉空間連接，密閉空間內裝有工業相機2和光源3。工業相機正對透明亞克力板拍攝，鏡頭距離亞克力板100 mm，拍攝范圍55 mm×40 mm。亞克力板表面有一層均勻透明耐磨涂層，能夠保證亞克力板不被籽粒損傷而造成成像模糊。光源采用貼片式LED條形光源，安裝于密閉空間的上下兩個面正對著照射，面上涂有白色的漫反射涂料，采用漫反射的方式進行照射。

1.谷物采集裝置 2.工業相機 3.LED光源 4.透明亞克力板 5.擋板 6.電磁鐵 7.谷物 8.出糧口 9.采樣槽 10.嵌入式處理器 11.顯示器

嵌入式處理器具有體積小、功耗低、成本低[16]等優點，本文選用NVIDIA公司的嵌入式Linux開發板Jetson TK1作為視覺系統的處理核心。它包含四核2.3 GHz ARM Cortex-A15 CPU和Tegra K1 GPU[17]，可連續在惡劣環境下工作，適應聯合收獲機的作業環境。

谷物采集裝置1安裝于聯合收獲機出糧口8下方，采集落入到采樣槽9中的谷物7，采樣槽下方的擋板5由推拉式電磁鐵6控制移動。當電磁鐵沒有通電時，擋板完全遮擋住采樣槽下方，阻止谷物繼續下落，谷物在采樣槽中迅速堆積，從而獲得一個相對穩定的狀態，嵌入式處理器10控制工業相機2進行一次谷物圖像采集并進行圖像處理和識別，將識別結果送顯示器11顯示。一次圖像采集結束后，嵌入式處理器控制電磁鐵短暫通電移開擋板，釋放掉采樣槽內的谷物，等待下一次圖像采集和處理。圖像采集系統實物如圖2所示，主要由控制盒（里面包含了嵌入式處理器以及電源電路）、顯示器、圖像采集裝置組成。

圖2 圖像采集系統實物圖

2 圖像采集與處理

2.1 圖像采集

圖像采集工作于2017年11月在蘇州試驗田完成。采用本文所述的圖像采集系統在聯合收獲機作業過程中采集糧箱內的100幅水稻圖像，圖像采集設備為工業相機，選用MindVision彩色工業相機，搭配焦距16 mm相機鏡頭。工業相機通過GigE接口與嵌入式處理器連接。在開發板的Linux操作系統中利用工業相機配套的SDK動態庫libMVSDK.so控制相機工作。設定圖像分辨率為1 600×1 200像素，圖像格式為jpg。

2.2 圖像處理

在嵌入式處理器上利用計算機視覺庫OpenCV設計圖像處理算法。

本次試驗所采集的水稻圖像中存在大量籽粒堆疊、粘連的現象，需要從復雜的圖像中識別出雜質以及破碎籽粒。首先對圖像進行預處理，增強圖像對比度，再進行圖像的二值化，獲得圖像的前景和背景。然后將原圖像轉化到HSV顏色空間，通過對、兩個通道分別設定不同閾值范圍進行雜質和破碎籽粒的粗提取，再利用雜質和破碎籽粒的不同形狀特征進行進一步的提取，得到雜質和破碎籽粒的識別結果。圖像處理流程如圖3所示。

圖3 圖像處理流程圖

2.2.1 圖像預處理

圖像預處理包括圖像增強、圖像二值化。圖像增強的目的是增強圖像中的有用信息[18-19]，即籽粒和雜質的邊緣輪廓，因為水稻圖像中光照和陰影等噪聲的存在給識別造成困難，所以有必要對原始彩色圖像進行補償和消除，減小噪聲干擾。本文采用帶色彩恢復的多尺度Retinex增強算法（MSRCR，multi-scale Retinex with color restoration）。Retinex方法以人類視覺色彩恒常性為理論基礎，處理后的圖像往往能得到較高的視覺評價，更接近于人眼直接觀察到的真實場景[20]。

設圖像(,)中任一像素點的數值為，帶色彩恢復的多尺度Retinex增強算法表達式定義為[21]

圖像二值化的目的是將圖像的前景與背景區分開，前景部分包括水稻籽粒及雜質，背景部分即圖像中的間隙部分。最大類間方差法是一種常用的二值化方法，算法簡單，自適應能力強[22]。該方法首先假定一個灰度值將圖像分成前景和背景兩部分，然后通過類間方差的計算和比較確定最優分割閾值使得背景與前景差別最大[23]。但是，當圖像中存在不均勻光照時采用最大類間方差法效果不佳。圖4b是直接對圖4a的水稻原圖采用最大類間方差法得到的二值化結果，可以看出由于原圖的左上角部分光線較暗，部分籽粒未被正確二值化分割為前景部分；而且原圖中籽粒之間的輪廓不夠清晰，導致二值圖中存在大量的籽粒粘連情況。直接對原圖二值化所得到的結果不利于后續的處理，因此需要對原圖進行增強后再進行二值分割。本文采用MSRCR算法對圖4a的水稻原圖進行處理之后的結果如圖4c所示。

可以看出經過MSRCR算法的增強使得原圖中存在的部分不均勻光照得到了校正，而且圖像的對比度得到了提高。對MSRCR增強之后的圖像采用最大類間方差法得到二值圖如圖4d所示，與圖4b原圖的二值圖相比前景部分更加完整，籽粒得到了正確的二值分割，籽粒間的輪廓更加清晰。

2.2.2 水稻圖像分類識別

本文要識別水稻圖像中的雜質和破碎籽粒，其中雜質又包括莖稈雜質以及枝梗雜質。完整水稻籽粒如圖5a所示，可以看出水稻籽粒的形狀近似橢圓，表面有一層黃褐色的外殼包裹。而破碎籽粒形狀不完整，或是缺少外殼，表面透明。莖稈雜質呈長條形；枝梗雜質較為細長，通常與水稻籽粒連接，水稻圖像主要成分如圖5所示。

圖5 水稻圖像主要成分

從采集的100幅水稻圖像中隨機抽取20幅圖像作為樣本，人工選取樣本圖像中部分完整水稻籽粒、雜質、破碎籽粒的內部區域進行截取，將截取的區域從RGB顏色空間轉化到HSV顏色空間，對區域內像素點的、值參數進行統計，得到完整水稻籽粒、雜質、破碎籽粒各部分的值分布范圍統計結果，如圖6所示。可以看出完整水稻籽粒、雜質、破碎籽粒之間存在界限。其中破碎籽粒的界限最為明顯，值分布范圍廣，但是值分布在0～60之間，而完整水稻籽粒和雜質的值主要集中在60～255之間。從值上看完整水稻籽粒、雜質存在部分的重合，但是整體上來看完整水稻籽粒的值小于莖稈雜質值，莖稈雜質的值小于枝梗雜質值。由于水稻圖像顏色的復雜性，待識別的各部分像素存在重疊，單單依靠顏色特征還不足以實現準確的識別，因此還需要結合雜質、籽粒的形狀特征[27]進行進一步的篩選，剔除干擾部分。

圖6 h值和s值范圍統計圖

1）莖稈雜質識別

圖7d是對圖7a的水稻原始圖像識別莖稈雜質的結果,從識別結果來看，原圖中的大型莖稈雜質基本都能被識別出來，而且莖稈的基本長度、大小均保存良好。不足之處在于存在與莖稈粘連的水稻籽粒（圈內）被誤識別。對于圖7a原圖中長度較短的莖稈雜質（圈內）未能夠識別。

注：圖7a中圈內表示未被識別的莖稈雜質，圖7d中圈內表示被誤識別為莖稈雜質的水稻籽粒。

2）枝梗雜質識別

4.4.1 青藏高原作為氣候變化敏感區，各地的熱量資源增加，農作物生長季延長，同時由于降水變化的季節性和地域性的差異，干旱、冰雹、洪水等氣象災害呈現出增多，霜凍、低溫冷害等呈現減少的趨勢，喜涼作物種植上線的海拔高度增加，主要糧食作物適宜種植的區域面積擴大，農業生產的結構和布局在逐步發生變化。

注：圖8a中圈內表示未被識別的枝梗雜質，圖8b中圈內表示被誤識別為枝梗雜質的部分。

圖8b是對圖8a的水稻原始圖像識別枝梗雜質的結果。從圖8b可以看出枝梗雜質基本得到了準確的識別，存在少量的誤識別（圈內）。圖8a中有2處顏色接近水稻籽粒的細長枝梗雜質（圈內）未得到識別。

3）破碎籽粒識別

注：圖9b中圈內表示在破碎籽粒粗提取過程中被誤識別的部分，圖9d中圈內表示在最終的識別結果中存在的誤識別籽粒。

3 結果與分析

3.1 雜質及破碎籽粒識別結果

本文對采集的100幅水稻圖像進行雜質和破碎籽粒的分類識別，程序在嵌入式處理器上運行，平均一幅圖的識別時間為3.24 s，滿足在線識別的要求。圖10是隨機抽取的3幅水稻圖像及其對應的識別結果。

可以看出水稻中的雜質及破碎籽粒均得到了有效識別。但是圖像中也存在著一定的誤識別或漏識別情況，從識別結果（圖10b、10d、10f）可以看出，莖稈雜質存在部分籽粒粘連的現象（紅色圈內的黃色部分），因為部分籽粒與莖稈顏色相似，而且之間沒有清晰的邊界造成了誤識別。也存在部分完整籽粒被誤識別為破碎籽粒的情況（圖10b、10d中紅色圈內的白色部分），原因在于該部分籽粒表面受白色光斑或白色病斑的影響導致了誤識別。從試驗原圖（圖10a、10c、10e）中看，存在著部分雜質或破碎籽粒未得到識別的情況（紅色圈內），原因在于該部分顏色與水稻籽粒顏色接近，部分雜質與籽粒長度接近，低于設定的長度閾值被剔除掉造成漏識別。

注：識別結果圖中黃色部分表示識別出的莖稈雜質，綠色部分表示識別的枝梗雜質，白色部分表示破碎籽粒。圖10a、10c、10e中圈內表示未被正確識別的部分，圖10b、10d、10f中圈內表示被錯誤識別的部分。

3.2 識別結果量化評價

為了衡量本文算法分別識別雜質和破碎籽粒的準確度，采用查準率、查全率這兩項指標分別對雜質及破碎籽粒的識別結果進行量化評價。查準率（precision）表示準確率，它是衡量檢測信噪比的指標，也就是指檢測結果中的正確部分占整個檢測結果的百分比。查全率（recall）表示召回率，它是衡量檢測出成功度的指標，也就是檢測結果中的正確部分占實際整個正確部分的百分比[29]。計算公式為

式中T為正確識別的像素數，F為錯誤識別的像素數，F為漏識別的像素數。T、F、F均采用人工標注的方式得到。

對于查準率、查全率這2項指標又可以采用綜合評價指標1值進行考量，綜合反映整體指標。

對100幅圖像的評價結果進行統計，取平均值如表1所示。

表1 識別結果量化評價

綜合查準率和查全率，本文識別莖稈雜質的1值達到了86.92%，大型莖稈類雜質基本都能被識別，而且形狀大小保存良好。識別的誤差在于部分籽粒與莖稈粘連嚴重，顏色上過于接近所以未分割開，造成誤識別；部分雜質長度較短，與水稻籽粒長度相近，小于設定的長度閾值造成漏檢測。枝梗雜質識別的1值為85.07%，大部分枝梗雜質得到了準確的識別，小部分枝梗的顏色與籽粒顏色相似且堆疊，給識別造成一定的錯誤。破碎籽粒識別的1值為84.74%，破碎籽粒能夠得到有效的識別，但是還存在著一些完整籽粒因為光斑或病斑的影響被錯誤地識別為破碎籽粒，導致識別錯誤。本文主要采用了HSV顏色模型對雜質和破碎籽粒進行分類識別，為進一步提高識別的準確性，下一步考慮采用多種顏色模型相結合的形式進行水稻圖像識別。

4 結 論

1）采用以嵌入式處理器為核心的機器視覺系統進行水稻圖像的采集與處理，能夠采集到清晰的水稻圖像；在嵌入式處理器上利用開源計算機視覺庫OpenCV進行編程，所開發的識別算法也能夠成功運行，平均處理一幅圖像的時間為3.24 s。

3）為了對識別的結果進行量化評價，采用綜合評價指標1值對查準率和查全率進行考量，莖稈雜質識別的1值達到了86.92%，細小枝梗雜質識別的1值為85.07%，破碎籽粒識別的1值為84.74%。

本文提出的水稻雜質及破碎籽粒在線識別方法能夠對聯合收獲機糧箱內的水稻進行圖像采集，并且能快速、有效、穩定地識別雜質和破碎谷粒，為水稻含雜率、破碎率的在線監測提供技術支撐。后繼可采用本識別法與多種顏色模型相結合的算法進行圖像識別，進一步提高識別的精度。

[1] 中華人民共和國農業部. NY/T498-2013水稻聯合收割機作業質量[S]. 北京：中國標準出版社，2013.

[2] 王志明. 橫置差速軸流脫分選系統工作機理及設計研究[D]. 西安：長安大學，2017.

Wang Zhiming. Study on Work Mechanism and Design of Axial Flow Differential-speed Threshing-separating-cleaning Unit[D]. Xi’an: Chang’an University, 2017. (in Chinese with English Abstract)

[3] 李舟. 小型聯合收割機清選裝置設計與試驗研究[D]. 長沙：中南林業科技大學，2016.

Li Zhou. Design and Experimental Research of the Cleaning Device for Small Scale Combine Harvester[D]. Changsha: Central South University of Forestry and Technology, 2016. (in Chinese with English Abstract)

[4] 刁智華，王會丹，魏偉. 機器視覺在農業生產中的應用研究[J]. 農機化研究，2014，36(3)：206－211.

Diao Zhihua, Wang Huidan, Wei Wei. Summary of research on machine vision application in agricultural production[J]. Journal of Agricultural Mechanization Research, 2014, 36(3): 206－211. (in Chinese with English Abstract)

[5] 李崢崢，編譯. 2013年世界農機創新精彩回顧（三）[N]. 中國農機化導報，2014-02-24(7).

[6] Wallays C, Missotten B, Baerdemaeker J D, et al. Hyperspectral waveband selection for on-line measurement of grain cleanness[J]. Biosystems Engineering, 2009, 104(1): 1－7.

[7] Mahirah J, Yamamoto K, Miyamoto M，et al. Monitoring harvested paddy during combine harvesting using a machine vision-Double lighting system[J]. Engineering in Agriculture, Environment and Food, 2017, 10(2): 140－149.

[8] 蘇憶楠. 基于機器視覺和高光譜圖像技術的糧食水分檢測及雜質與不完善粒識別方法研究[D]. 杭州：浙江大學，2011.

Su Yinan. Research on Grain Water Content Detection and Impurities Recognition Method Based on Machine Vision and Hyperspectral Image Technique[D]. Hangzhou: Zhejiang University, 2011. (in Chinese with English Abstract)

[9] 閆磊，劉芷寧，林劍輝，等. 一種粘連谷物圖像分割及雜質識別算法開發[J]. 吉林農業科學，2012，37(4)：72－76.

Yan Lei, Liu Zhining, Lin Jianhui, et al. Development of splitting and identification algorithm of touching kernels in digital images[J]. Journal of Jilin Agricultural Sciences, 2012, 37(4): 72－76. (in Chinese with English Abstract)

[10] 李耀明，梁振偉，徐立章. 一種糧箱籽粒含雜率、破碎率監測裝置及其監測方法：CN106404679A [P]. 2017-02-15.

[11] 梁振偉，李耀明，徐立章. 一種糧箱籽粒含雜率、破碎率監測裝置：CN206223641U [P]. 2017-06-06.

[12] 陳進，陳璇，李耀明，等. 一種聯合收割機糧箱中谷物破碎在線監測系統及方法：CN105806751A [P]. 2016-07-27.

[13] 陳璇. 聯合收獲機谷物破碎率、含雜率監測方法及系統研究[D]. 鎮江：江蘇大學，2017.

Chen Xuan. Research on the Methods and Systems for Monitoring Grain’s Crushing Rate and Impurity Rate for Combine Harvester[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English Abstract)

[14] 張毅. 分水嶺算法在圖像分割中的應用研究[D]. 廣州：廣東工業大學，2013.

Zhang Yi. Applied Research in Image Segmentation Used by the Algorithm of Watershed[D]. Guangzhou: Guangdong University of Technology, 2013. (in Chinese with English Abstract)

[15] 曹永峰，趙燕君. 基于GA-BP神經網絡的計算機智能化圖像識別技術探究[J]. 應用激光，2017，37(1)：139－143.

Cao Yongfeng, Zhao Yanjun. Research on computer intelligent image recognition technology based on GA-BP neural network[J]. Applied Laser, 2017, 37(1): 139－143. (in Chinese with English Abstract)

[16] 李棟. 基于ARM嵌入式的圖像處理研究[D]. 石家莊：河北科技大學，2010.

Li Dong. The Remote Control System of Video Based on Web Service in Embedded Linux Environment[D]. Shijiazhuang: Hebei University of Science and Technology, 2010. (in Chinese with English Abstract)

[17] 許美珍. 嵌入式圖像處理系統研究[D]. 呼和浩特：內蒙古工業大學，2016.

Xu Meizhen. Research On Embedded Image Processing System[D]. Hohhot: Inner Mongolia University of Technology, 2016. (in Chinese with English Abstract)

[18] 張亞秋，吳文福，王剛. 基于逐步改變閾值方法的玉米種子圖像分割[J]. 農業工程學報，2011，27(7)：200－204.

Zhang Yaqiu, Wu Wenfu, Wang Gang. Separation of corn seeds images based on threshold changed gradually[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 200－204. (in Chinese with English Abstract)

[19] 周德祥，毋桂萍，楊紅衛，等. 基于數學形態學粘連糧食籽粒圖像分割算法的改進[J]. 農機化研究，2010，32(7)：49－52.

Zhou Dexiang, Wu Guiping, Yang Hongwei, et al. The improvement of adhesive grain particles image segmentation algorithm based on the mathematical morphology[J]. Journal of Agricultural Mechanization Research, 2010, 32(7): 49－52. (in Chinese with English Abstract)

[20] 李瑩. 基于Retinex理論的圖像增強算法研究[D]. 西安：西北大學，2014.

Li Ying. Research on Image Enhancement Algorithm Based on Retinex Theory[D]. Xi’an: Northwest University, 2014. (in Chinese with English Abstract)

[21] 竇易文，周鳴爭，唐肝翌，等. 焦點引導的帶顏色恢復的多尺度Retinex算法[J]. 計算機工程與應用，2013，49(2)：207－210,270.

Dou Yiwen, Zhou Mingzheng, Tang Ganyi, et al. Focus-guided multi-scale Retinex with color restore algorithm[J]. Computer Engineering and Applications, 2013, 49(2): 207－210,270. (in Chinese with English Abstract)

[22] 張晴晴，張云龍，齊國紅. 基于最大類間方差法的黃瓜病害葉片分割[J]. 安徽農業科學，2017，45(12)：193－195,234.

Zhang Qingqing, Zhang Yunlong, Qi Guohong. Segmentation of cucumber disease leaves based on Otsu method[J]. Journal of Anhui Agricultural Sciences, 2017, 45(12): 193－195,234. (in Chinese with English Abstract)

[23] 朱言江，韓震，和思海，等. 基于最大類間方差法和數學形態學的遙感圖像潮溝提取方法[J]. 上海海洋大學學報，2017，26(1)：146－153.

Zhu Yanjiang, Han Zhen, He Sihai, et al. Remote sensing image extraction of tidal channels based on Otsu and mathematical morphology[J]. Journal of Shanghai Ocean University, 2017, 26(1): 146－153. (in Chinese with English Abstract)

[24] 郭英華. 基于HSV色彩空間的圖像分割[J]. 黑龍江冶金，2011，31(2)：35－37.

Guo Yinghua. Image segmentation based on HSV color space[J]. Heilongjiang Metallurgy, 2011, 31(2): 35－37. (in Chinese with English Abstract)

[25] 張麗靜，孫杰，殷曉宇. 基于HSV顏色空間的車牌定位方法[J]. 微計算機信息，2008(7)：247－248.

Zhang Lijing, Sun Jie, Yin Xiaoyu. A mothed of vehicle license plate location based on HSV space[J]. Microcomputer Information, 2008(7): 247－248. (in Chinese with English Abstract)

[26] 韓丁，武佩，張強，等. 基于顏色矩的典型草原牧草特征提取與圖像識別[J]. 農業工程學報，2016，32(23)：168－175.

Han Ding, Wu Pei, Zhang Qiang, et al. Feature extraction and image recognition of typical grassland forage based on color moment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(23): 168－175. (in Chinese with English Abstract)

[27] 葛杰，曹晨晨，李光. 基于機器視覺的圖像形狀特征提取方法研究進展[J]. 包裝學報，2015，7(1)：54－60.

Ge Jie, Cao Chenchen, Li Guang. Research progress in shape feature extraction methods based on machine vision[J]. Packaging Journal, 2015, 7(1): 54－60. (in Chinese with English Abstract)

[28] 耿帥. 基于數學形態學的圖像去噪[D]. 濟南：山東師范大學，2012.

Geng Shuai. Image Denoising Based on Mathematical Morphology[D]. Ji’nan: Shandong Normal University, 2012. (in Chinese with English Abstract)

[29] 郭守寬. 高速印刷品質量圖像檢測系統研究和開發[D]. 武漢：華中科技大學，2012.

Guo shoukuan. Research and Design on High-speed Press Quality Image Detection System[D]. Wuhan: Huazhong University of Science & Technology, 2012. (in Chinese with English Abstract)

Online recognition method of impurities and broken paddy grains based on machine vision

Chen Jin, Gu Yan, Lian Yi, Han Mengna

(,212013,)

The status of grains, including impurity and breakage, is one of the key criteria for the assessment of combine harvester, whereas the on-line monitoring system for grain impurity and breakage is not yet well understood. In this paper a method of image capturing and processing for rice impurity and breakage based on machine vision was presented. The machine vision system designed was mainly composed of grain collection device, embedded processor, industrial camera, light source and display module. One hundred paddy images were collected when the combine harvester was working. The image resolution was set to 1 600×1 200 pixels, and the image format was jpg. There were lots of phenomena of grain stacking and adhesion in the rice images collected from this experiment. It was necessary to recognize MOG (material other than grain) and broken paddy grains from an image in complex background. HSV (hue, saturation, value) color space is closer to human perception of color and is more suitable for color expression based on machine vision than RGB (red, green, blue) color space. The interval ranges of hue channel and saturation channel of whole grains, impurities and broken grains were analyzed from 20 images sampled randomly from 100 images, and the boundaries between intact rice, impurities and broken grains were found. Among them, the saturation value of broken grain was between 0 and 60, while the saturation values of intact rice and impurity were mainly between 60 and 255. From the hue value as a whole, the hue value of intact rice was smaller than that of stem impurities, and the hue value of stem impurities was less than that of branch impurities. But mere color feature was not enough to recognize the accurate recognition, and the shape characteristics of impurities and grains such as length, width and area were also needed to eliminate the interference part. On the embedded processor, the computer vision library OpenCV was used to design the image processing algorithm. The multi-scale Retinex with color recovery algorithm was used to enhance the original image and then different thresholds were set up in the hue and saturation channel of the HSV color model for image segmentation respectively. Then the shape features of impurity and broken paddy grains were used to obtain the detection results. The comprehensive evaluation index F1-score was used on the detection results for the quantitative evaluation.1 is a comprehensive consideration of precision and recall rate. It was showed that the1 of detected stem of impurity reached 86.92%, the F1-score of detected small branch of impurity was 85.07%, the1 of detected broken paddy grain was 84.74%, and the average time for the detection of an image was 3.24 s. The proposed technology can effectively recognize the impurities and broken paddy grains from the captured images, which provides a solid foundation for monitoring impurity and breakage rate of paddy grain during harvesting, and also provides a reference for future research on the identification methods of wheat images containing impurities and broken grains. Later, this recognition method can be combined with a variety of color models for image recognition, which can further improve the accuracy of recognition.

computer vision ; image processing; impurities ;paddy; broken grain; color model; online recognition

陳 進，顧 琰，練 毅，韓夢娜. 基于機器視覺的水稻雜質及破碎籽粒在線識別方法[J]. 農業工程學報，2018，34(13)：187－194. doi：10.11975/j.issn.1002-6819.2018.13.022 http://www.tcsae.org

Chen Jin, Gu Yan, Lian Yi, Han Mengna. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187－194. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.13.022 http://www.tcsae.org

2018-04-09

2018-05-15

國家重點研發計劃重點專項（2016YFD0702001）；江蘇省重點研發計劃（BE2017358）；鎮江市重點研發計劃（NY2016016）。

陳 進，江蘇鹽城人，教授，博士生導師，主要從事智能化農業裝備和機器系統監測與控制研究。Email：chenjinjd126@126.com

10.11975/j.issn.1002-6819.2018.13.022

TP391.41

A

1002-6819(2018)-13-0187-08