動態圖像中煙株莖稈特征的識別與應用

王秀山,李智廣*,宮長榮

1.河南農業大學機電工程學院,鄭州市農業路63號 450002

2.河南農業大學煙草學院,鄭州市農業路63號 450002

動態圖像中煙株莖稈特征的識別與應用

王秀山1,李智廣*1,宮長榮2

1.河南農業大學機電工程學院,鄭州市農業路63號 450002

2.河南農業大學煙草學院,鄭州市農業路63號 450002

為準確提取煙株莖稈特征,基于計算機視覺技術提出了一種動態識別煙株莖稈的方法.在圖像預處理階段,構造圖像清晰度評價函數,采用迭代法提取清晰圖像,利用加權平均法對其進行灰度化預處理;為消減光源強度、重影、地形等因素的影響,對灰度化后的圖像進行降噪處理;為突出煙株莖稈特征,對圖像進行灰度增強;運用自適應算法對圖像進行閾值智能分割,最終提取出煙株莖稈特征.在光源充足、陰影、車輛顛簸3種條件下,分別對100株煙株進行莖稈識別模擬試驗.結果表明,光源充足條件下識別率最高,達76%;顛簸狀態下識別率最低,為69%;3種試驗條件下平均識別率為72.67%.試驗驗證了在動態圖像中獲取煙株莖稈特征的可行性,配合仿生采摘執行機構可以完成煙葉的自動化采摘,并可有效控制煙葉的破損率,提高煙葉采摘效率.

煙株莖稈;特征識別;圖像提取;灰度化;降噪處理

我國是世界上煙草種植面積最大的國家之一,但在煙葉采摘方法上,大部分地區一直采用手工采摘的傳統作業方式.人工采摘存在花費時間長、成本高和勞動強度大等缺點,因此煙葉的機械化與自動化采摘是未來煙葉生產的發展方向之一[1].為此,已有學者做了不同的嘗試和探索.2009-2010年河南農業大學開發出第一代和第二代煙草收獲機,該機的煙葉采凈率可達90%以上[2-5].但由于該設備的執行機構采用的是quot;拍打式quot;刀頭結構,采收作業時造成的煙葉破損率較高,達45%～50%,而破損率過高一直是困擾我國煙葉自動化采摘的難題之一.目前,傳統的機械機構很難實現煙葉的無損采摘,而機器視覺技術的發展為煙葉的無損仿生采摘提供了技術上的可能[6-8].對此,Day等[9]最早采用圖像處理的方法實現了植物生長率的數字化圖形表達,開創了數字圖像處理技術在農業生產上應用的良好局面.Shimizu等[10]利用機器視覺技術對植物的生長狀況進行在線監測,處理后的圖像清晰地展現了植物白天的生長率遠大于晚上的生長率,首次實現了植物生長率的可視化.Knodo等[11]研制的基于計算機視覺技術的采摘機器人,采摘高架栽培模式下的草莓,準確率可達75%.Silsoe研究院[12]研制的蘑菇采摘機器人,可以實現蘑菇位置的自動測量,采摘成功率可達76%.為此,利用機器視覺技術進行煙株莖稈識別模擬試驗,由于大田環境復雜多變,容易受到光源強度、重影、地形等影響,在閾值分割過程中采用自適應的算法對預處理后的灰度圖像進行分割,通過準確捕獲煙株莖稈特征并利用機械手仿生采摘,以提高煙葉采摘效率,實現煙葉的無損仿生采摘.

1 試驗設計

1.1 試驗方法

試驗選擇在國家煙草生理生化基地(河南農業大學)進行.試驗所用器材:①DSP試驗箱(型號SEED-DTK6437,北京艾睿合眾科技有限公司),用于完成對圖像采集卡采集到的圖像信息進行灰度化、降噪、灰度增強與分割等處理;②與試驗箱配套的圖像采集卡(型號OK-RGB10,深圳創新峰達科技有限公司),用于采集視頻信號;③仿生采摘執行機構一套(自制),用于完成煙葉的仿生采摘.

試驗時隨機選擇一行煙株進行莖稈識別模擬試驗,采用人工計數方法,計算出參與莖稈識別試驗的總煙株數,最終得出仿生采摘時煙株莖稈的識別率.

1.2 試驗過程

為測量不同條件下煙株莖稈的識別率,試驗分別在光源充足、陰影、車輛顛簸3種條件下進行.每種條件下各選100株煙株進行莖稈識別模擬試驗,統計每株莖稈能否成功識別,計算在每種條件下的識別率,最后得出仿生采摘系統的平均識別率.

1.3 數據處理

采用Excel2007進行數據計算與處理,計算特定條件下的識別率和平均識別率.采用CCStudio v3.3進行程序編輯與編譯,即圖像的程序化處理.

2 技術實現

2.1 煙株單幀圖像的動態獲取

我國煙葉收獲期大多處于每年的7-9月份,收獲期的煙田枝葉繁茂,再加上陽光強烈,圖像采集卡采集的動態影像具有較高的對比度.采摘作業時地形地貌及煙株自身相互遮擋的干擾,以及車輛本身的顛簸停頓等,會導致采集的圖像出現重影、陰影等現象.

根據上述特點,要求圖像采集卡可以實時采集標準視頻信號,并且支持外觸發信號輸入.本試驗中選用的圖像采集卡可以采集單場、單幀、間隔幾幀和連續幀等圖像信息,精確到場.因此,采用逐場采集順序存放圖像,處理時以場為單位,以消除圖像模糊的影響[13].由于攝像頭采集圖像的速度為25幀/s,采集系統移動的速度約為5 m/s,所以在拍攝一幀圖像的時間區間內,采集系統移動的距離是1.20 m.如果按照圖像采集卡固有的頻率拍攝,前后兩幀圖像之間將有大量的冗余信息.為此,利用圖像采集卡提供的幀間隔設置函數(OKSet Capture Paramch Board,Capture_INTERVAL,INTERVAL),根據不同的行車速度設置不同的幀間隔,達到減小數據量的目的.幀間隔的計算公式為:

式中:INTERVAL-幀間隔,幀;v-牽引系統的移動速度,m/s.

煙株莖稈識別時,識別率與圖像的采集品質、作業環境和行車速度等有密切關系.為了提高識別率,系統處理時需要較高的圖像品質,但過高的圖像品質對行車速度和作業環境要求苛刻,即需要較低的行車速度和明亮的作業環境.為此,在完成視頻圖像采集后,圖像數據被傳輸到DSP數據處理系統,利用數據處理系統的圖像清晰度評價函數和迭代算法,完成目標圖像的提取.DSP系統圖像采集流程見圖1.隨機抽取一幀煙株圖像,利用圖像清晰度函數判斷清晰度是否符合要求,若符合則進行下一步的識別處理.

圖1 DSP系統圖像采集流程圖

2.2 煙株圖像的預處理

2.2.1 圖像灰度化

得到符合要求的煙株圖像后,首先使用加權法進行灰度化,然后使用均值法進行降噪處理,再利用清晰度評價函數對其清晰度進行判斷,如果清晰度符合要求則進行灰度增強處理,以突顯出煙株莖稈特征;否則,繼續進行均值濾波處理.圖像預處理流程見圖2.

圖2 圖像預處理流程

由于彩色圖像包含信息量較大,且圖像處理時的計算量大,當牽引車速度較快時,對系統實時性要求也較高,因此DSP數據處理系統用于提取莖稈目標特征的時間非常短,要求該系統具有高速數據處理能力[14].當DSP硬件系統的技術指標達到峰值時,只能通過軟件優化來減少時間.同樣條件下,彩色圖像的處理時間遠大于黑白圖像,為此需要將數據處理系統抓取的彩色圖像進行灰度化處理,以縮短提取煙莖圖像的時間.

描述一幅彩色圖像,可以使用的彩色空間坐標系有RGB(Red-Green-Blue),HSV(Hue-Saturation-Value),CMY(Cyan-Magenta-Yellow),HSL(Hue-Saturation-Lightness)等,最常用的是RGB空間坐標系,即紅綠藍3種顏色分量,而人眼對綠色分量敏感度最高,對藍色分量敏感度最低.因此,在一幅彩色圖像灰度化過程中,通常采用加權法進行灰度化,即對不同的分量使用不同的權值.一般情況下,綠色分量的權值最大,藍色分量的權值最小,可以得到較合理的灰度圖像.

式中:F是灰度化后的灰度圖像;R、G、B分別是彩色圖像的紅、綠、藍分量,灰度系數的取值不同,會影響灰度圖像的清晰度[15].

使用加權平均法灰度化后的圖像及其灰度直方圖見圖3.可見,對原圖像使用加權法灰度化后,從直方圖中看出,圖像存在較多的毛刺,即圖像噪聲,需要進一步對圖像進行降噪處理.

圖3 使用加權法灰度化后的圖像及直方圖

2.2.2 圖像的降噪處理

用加權法處理彩色圖像時,會伴隨著產生一定的噪聲,且圖像本身也含有固有噪聲,因此需要對灰度化后的圖像進行降噪處理.噪聲處理的方法多種多樣,對于不同的噪聲,處理的方法也不同.常見的圖像噪聲有高斯噪聲、椒鹽噪聲等,而對應的去除噪聲的方法有均值濾波法和中值濾波法等.對于同一種噪聲,用不同的方法進行降噪處理,會得到不同的效果.

分別采用中值濾波法和均值濾波法降噪處理后的圖像及其灰度直方圖見圖4和圖5.由直方圖可以看出,中值濾波法降噪處理后灰度毛刺較多,而均值濾波法降噪處理后灰度分布較均勻.可見,均值濾波法的降噪效果優于中值濾波法,因此本系統中采用均值法降噪.

2.2.3 圖像的灰度增強

由于環境、設備等成像條件的影響,部分圖像存在對比度低的特點.另外,經過濾波法降噪處理后的圖像會變得模糊,不利于對圖像中有用部分的分割提取,因此需要進行灰度增強處理.灰度增強是為了增加圖像的對比度,使處理后的圖像更適合某種特定應用.在圖像信息中,研究者感興趣的是目標特征,而對背景無需關注,為此可以采用灰度變換方法對圖像進行灰度增強處理.在圖像處理過程中,由于多種因素的影響,圖像的品質可能會退化,圖像增強就是借助一系列技術改善圖像的視覺效果,提高圖像的清晰度.

圖4 中值濾波法降噪后的圖像及直方圖

圖5 均值濾波法降噪后的圖像及直方圖

灰度變換方法可以使圖像的動態范圍加大,圖像的對比度擴展,圖像更加清晰,特征更加明顯.灰度變換常用的有線性灰度變換、分段線性灰度變換、全局直方圖均衡化等方法[16].其中,直方圖均衡化是一種常用的圖像增強方法,傳統的直方圖均衡化是一種在整個圖像直方圖基礎上的全局閾值法,僅考慮了全局信息而不能提高圖像對比度.為糾正全局閾值法的這種不足,又提出了局部閾值法[17-18],在對圖像灰度級進行分類的基礎上提高圖像對比度,并加強區域的均衡性.

灰度映射方法,即設置一個灰度區間,通過編程只保留該區間內的灰度值,將該區間外的灰度值過濾掉.分別采用直方圖均衡化法和灰度映射法進行灰度處理后的圖像及其直方圖,見圖6和圖7.可見,使用直方圖均衡化的方法對圖像進行灰度處理后,圖像整體的亮度變暗,圖像的灰度值較均勻地分布在0～255范圍內;使用灰度映射的方法對圖像進行灰度處理后,圖像的對比度明顯增強,由于只保留了感興趣的灰度范圍,因此灰度值為0和255的像素較多,其他部分則均勻分布.為了能夠有效地提取煙株莖稈特征,本系統中采用灰度映射的方法對目標圖像進行灰度處理.

圖6 直方圖均衡化灰度處理后圖像及直方圖

圖7 灰度映射法灰度處理后圖像及直方圖

2.3 煙株莖稈的特征提取

2.3.1 灰度圖像分割

圖像分割就是把圖像中特定的或具有獨特性質的區域提取出來的過程.現有的圖像分割主要有基于閾值、基于區域、基于邊緣以及基于特定理論的方法等.圖像分割的準確性在一定程度上影響著目標監測和識別的智能化程度.閾值法分割就是利用圖像中所要提取的目標與背景在灰度特性上的差異,選取合適的閾值對圖像進行分割,從而將目標從背景中區分出來.由于煙田環境復雜,相同的煙株在不同的時間會出現不同的灰度圖像,為了準確地提取出煙株莖稈,采用自適應算法進行灰度分割,即在不同的條件下選擇不同的閾值進行圖像分割.試驗過程中,在陰影、車輛顛簸和光源充足3種條件下對同一煙株進行處理,結果見圖8.可見,同一煙株在不同條件下,按照自適應法進行灰度圖像分割后得到的結果大致相同,可以進行后續處理.

圖8 不同試驗條件下的圖像分割

2.3.2 特征提取

根據圖像的與運算,結合提取圖像的大小設定合適的提取窗,與灰度分割后的圖像進行與運算,從而達到提取煙株莖稈的目的.如圖9所示,經過提取窗的提取,能夠得到較清晰的煙株莖稈圖像,實現煙株莖稈與周圍背景的有效分離,得到煙株莖稈的目標特征.采摘執行機構得到煙株莖稈信息后進行仿生采摘工作.

圖9 經過提取窗提取到的煙株莖稈

2.4 試驗結果

對100株煙株分別在不同條件下進行試驗,結果見表1.可見,光源充足條件下識別率最高,達76%;車輛顛簸狀態下識別率最低,為69%;3種試驗條件的平均識別率為72.67%.

表1 同一煙株不同條件下識別結果

3 結語

通過對圖像采集卡采集到的視頻信息進行處理,有效實現了煙株莖稈特征的識別和提取,為下一步煙葉的仿生采摘奠定了基礎.基于機器視覺技術的煙葉收獲機,在作業過程中采用仿生采摘裝置從煙葉葉梗處quot;掰quot;下煙葉,可減少采摘裝置與煙葉本身的接觸,降低煙葉破損的風險,保證煙葉的完整性,而煙葉的完整性是評價煙葉等級的重要指標之一.可見,以機器視覺技術為基礎的煙葉收獲機可以克服quot;拍打式quot;刀頭結構所造成的煙葉破損率過高的缺點.

本試驗中在圖像預處理階段,構造了圖像清晰度評價函數,利用迭代法完成了清晰圖像幀的提取,采用加權法完成了圖像的灰度化預處理.在提取煙株莖稈特征時,為了突出煙株莖稈特征,結合成熟煙葉自身的圖像特性和品質,確定了適合煙株圖像的降噪處理方法.編寫的自適應法灰度化處理程序實現了圖像的灰度分割,能夠有效解決在陰影或車輛顛簸條件下圖像黑暗或模糊的問題,對100株煙株莖稈模擬試驗的平均識別率為72.67%.試驗中還驗證了在動態圖像中獲取煙株莖稈特征的可行性,配合仿生采摘執行機構完成煙葉的自動化采摘,可以有效控制煙葉的破損率,提高煙葉的機械化采摘水平.

[1] 林選知,殷壽安,張瑞琴,等.現代煙草農業機械化技術體系構建探討[J].農機化研究,2012(1):249-252.

[2] 李燕,劉國順,王秀山,等.一種帶有煙草傳送系統的煙草收獲機:中國,201010226296.0[P].2012-01-25.

[3] 李燕,劉軍,王秀山,等.一種帶有滾筒刀頭的煙草收獲機:中國,201010227313.2[P].2012-02-01.

[4] 李燕,劉國順,趙漢雨,等.一種帶有棘輪棘爪的煙草收獲機:中國,201010252708.8[P].2012-03-14.

[5] 李燕,劉軍,王棟,等.一種帶有絲杠升降裝置的煙草收獲機:中國,201010263666.8[P].2014-03-14.

[6] 謝玉寶,林國華,覃勤.高速攝像技術在煙支鋼印檢測系統中的應用[J].煙草科技,2010(1):20-21.

[7] 董浩,洪深求,周德成,等.醋纖溝槽濾棒特征參數測定方法[J].煙草科技,2010(4):5-8.

[8] 夏營威,馮茜,趙硯棠,等.基于計算機視覺的煙絲寬度測量方法[J].煙草科技,2014(9):10-14.

[9] Day W,HashimotoY.Mathematicaland control applications in agriculture and horticulture[M].New York:Pergamon Press,1991.

[10]Shimizu H,Heins R D.Computer-vision-based system for plant growth analysis[J].Transaction of the ASAE,1995,38(3):959-964.

[11]Knodo N,Ninomiya K,Hayashi S,et al.A new challenge of robot for harvesting strawberry grown on tabletop culture[C]//ASAE AnnualInternational Meeting.USA:ASAE,2005.

[12]Sarig Y.Robotics of fruit harvesting:A state-of-the-art review[J]. Journal of Agricultural Engineering Research,1993,54(4):265-280.

[13]李偉,林家春,毛恩榮.種子動態圖像自動分割與標記技術研究[J].農業機械學報,2004,35(2):76-79.

[14]劉洪見,鄭麗敏,曾愛平.圖像處理技術在提取玉米圖像骨架上的應用[J].農業網絡信息,2007(1):18-20.

[15]周金和,彭福堂.一種有選擇的圖像灰度化算法[J].計算機工程,2006,32(20):198-200.

[16]章秀華,楊坤濤.基于最大熵原則和灰度變換的圖像增強[J].光電工程,2007,34(2):84-87.

[17]吳成茂.可調直方圖均衡化的正則解釋及其改進[J].電子學報,2011,39(6):1278-1284.

[18]李錦,王俊平,萬國挺,等.一種結合直方圖均衡化和MSRCR的圖像增強新算法[J].西安電子科技大學學報:自然科學版,2014,41(3):103-109.

責任編輯 曹 娟

Recognition and Application of Tobacco Stalk Features in Dynamic Images

WANG Xiushan1,LI Zhiguang*1,and GONG Changrong2
1.College of Mechanicalamp;Electrical Engineering,Henan Agricultural University,Zhengzhou 450002,China
2.College of Tobacco Science,Henan Agricultural University,Zhengzhou 450002,China

For accurate extraction of tobacco stalk features,a method for dynamic recognition of tobacco stalks was proposed based on computer vision technology.A function of image clarity evaluation was constructed at image preprocessing stage,an iterative method was used to extract distinct images and the images were grayed by weighted average method.For diminishing the influences from light source intensity,ghost,terrain and other factors,the grayed images were denoised,and the gray degree of images was intensified to make the features of tobacco stalks more prominent.Finally,self-adaptive algorithm was used to segment image threshold intelligently,the features of tobacco stalks were extracted.The simulation tests of tobacco stalk recognition were conducted with 100 tobacco plants separately under adequate light irradiation,shade,and bumping vehicle conditions.The results showed that:with average recognition rate of 72.67%under the three conditions,the recognition rate under adequate light irradiation was the highest(76%),while that in a bumping vehicle was the lowest(69%).The experiment verified the feasibility of obtaining the features of tobacco stalks in dynamic images,automatic tobacco leaf harvesting could be implemented by combining with a bionic actuator,it is helpful to lowering leaf damage and improving the efficiency of leaf harvesting.

Tobacco stalk;Feature recognition;Image extraction;Graying;Noise reduction

S572,TS473

A

1002-0861(2015)10-0078-06

10.16135/j.issn1002-0861.20151014

2015-02-09

2015-07-08

國家自然科學基金項目quot;提高高速數控機床熱誤差補償精度的關鍵理論研究quot;(U1204524);河南省教育廳科學技術研究重點項目quot;自走式煙草收獲機智能采集系統研究與開發quot;(12B210013);2014年度河南省高等學校骨干教師資助技術項目quot;智能化作物株間除草機關鍵技術研究與開發quot;(2014GGJS-034).

王秀山(1975-),博士,副教授,主要從事嵌入式系統設計、自走式農業機器人設計.E-mail:towxs@163.com;*

李智廣,E-mail:tolizhiguang2010@163.com

王秀山,李智廣,宮長榮.動態圖像中煙株莖稈特征的識別與應用[J].煙草科技,2015,48(10):78-83.WANG Xiushan,LI Zhiguang,GONG Changrong.Recognition and application of tobacco stalk features in dynamic images[J].Tobacco Scienceamp;Technology,2015,48(10):78-83.