張弘煬,蔡 騁
(西北農林科技大學 信息工程學院,陜西 楊凌 712100)
蘋果在我國水果市場中占有較高的比例,蘋果采摘機器人具有廣闊的應用前景。考慮到部分蘋果果實患有生理病害,有必要在蘋果采摘機器人中加入無損在線檢測蘋果病害的模塊,以便指導蘋果采摘機器人的采摘行為。
水心病是我國西北地區元帥和秦冠蘋果園中常見的一種蘋果病害,是在抗藥性、溫度、果實大小及土壤環境等因素綜合作用下形成的蘋果內部病害。輕度患有水心病的蘋果果實,其果心附近的果肉糖化,呈現出半透明的水漬狀的斑紋,果面與無病蘋果沒有明顯區別。水心病只是對蘋果果實有害,對于人類無害且其口感比無病蘋果要好,因此日本等地的蘋果園挑選出患有水心病的蘋果進行高價售賣。重度患有水心病的蘋果果實,其水漬狀的斑紋一直延伸到蘋果果實表面,不僅嚴重影響了果實的美觀程度,而且其部分果肉腐敗褐變,不適合進行食用。患有水心病的蘋果會在短時間內加快患病程度,因此有必要在蘋果采摘機器人中加入蘋果水心病無損在線分級系統,優先采摘輕度患有水心病的蘋果,以便通過減少水心病加重造成的損失和通過單獨售賣糖心蘋果提高經濟效益。
因為要保持蘋果的完整性以便售賣,所以只能采用無損檢測技術地對蘋果水心病進行分級檢測,本文基于高光譜技術和計算機視覺特征對此進行了研究。計算機視覺是一種無損檢測技術,使用計算機算法對采集到的農業圖像進行分析,與人工分析農業圖像相比, 不受個人主觀影響,可以挖掘出人眼觀察不到的底層圖像特征,并可自動化運行。目前,計算機視覺被廣泛用于農業機械領域,如計算機視覺用于棉花生長監測自主導航車輛及玉米植株高度檢測等。
韓東海等人于2004年使用蘋果果實的密度和透光強度對蘋果水心病的分級檢測進行了研究,將蘋果按照水心病患病程度分為了4個等級。王思玲等人于2015年基于蘋果果實對高光譜近紅外光的吸收值,采用特征選擇算法和支持向量機算法對蘋果果實是否患有水心病進行了檢測。闕玲麗于2017年采用計算機視覺技術對獲取到的蘋果圖像進行邊緣檢測、圖像預處理操作,然后提取出形狀特征和顏色特征對蘋果果實進行了分級研究。蘇欣于2017年采用計算機視覺技術對蘋果圖像提取出了大小特征、形狀特征和顏色特征,并根據主特征參量對蘋果果實進行了分級研究。
本文采用計算機視覺技術,在西北農林科技大學白水蘋果試驗示范站無損在線采集到秦冠蘋果的高光譜透射圖像和果面圖像,然后使用K-SVD壓縮感知算法對蘋果圖像進行降噪預處理,并提取計算機視覺領域的圖像金字塔特征,用支持向量機算法進行蘋果果實水心病患病程度的分級,根據分級結果指導蘋果采摘機器人的采摘行為。
本系統在西北農林科技大學白水蘋果試驗示范站采集到479個蘋果的高光譜透射圖像和果面圖像,然后剖開蘋果根據蘋果內部水心病患病情形對其水心病患病程度進行標注。其中,采集到的高光譜透射圖像的大小為512×512,采集到的果面圖像的大小為400×600。
本系統采用壓縮感知算法K-SVD對蘋果果實圖像進行降噪處理。該算法基于壓縮感知,假設圖像中局部區域是由基本的圖像紋理、圖像邊緣等基本信號線性組合而成,則
arg minx‖x‖0s.t.‖y-Dx‖2≤
(1)
針對容量為K的基本信號字典,K-SVD算法每次使用OMP算法根據當前基本信號字典為蘋果果實圖像求解出線性組合系數,對基本信號字典的每一列計算出當前殘差,并使用SVD分解殘差的結果更新基本信號字典;迭代有限次后即可求得與圖像內容相關的自適應基本信號字典,基本信號字典與對應線性表示系數的乘積即為降噪預處理后的蘋果果實圖像。
計算機視覺特征有直方圖特征、LBF(Local Binary Pattern)特征、GIST特征、HOG(Histogram of Oriented Gradient)特征、SIFT(Scale Invariant Feature Transform)特征及SPM(Spatial Pyramid Matching)特征等。在這些特征中,SPM特征基于SIFT特征和直方圖特征,既有SIFT特征對平移不變、對尺度不變、對旋轉不變及對光照有一定程度不變的優點,又可以保留圖像的空間分布信息。
SPM特征將圖像劃分為尺度0到尺度L,對于每個尺度l,將圖像分割為2l個區域并對每個區域分別提取128維度的SIFT特征,使用kmeans聚類算法從所有SIFT特征求取K個基本信號組成特征字典;將所有尺度的SIFT特征用其對應的聚類中心的索引表示,拼接所有尺度的索引數組得到最終的SPM特征。
根據人工標注好4種等級水心病患病程度無水心病、輕度水心病、中度水心病和重度水心病的蘋果果實圖像,對采用RBF核函數的支持向量機進行訓練。即假設4個等級水心病患病程度的蘋果果實圖像的計算機視覺特征經過RBF核函數映射后是線性可分的,使用支持向量機算法訓練4個等級中每一對等級的蘋果果實圖像對應的計算機視覺特征的劃分邊界。對于未知等級的蘋果果實圖像,使用訓練好的支持向量機劃分邊界,基于1-vs-1策略可以無損在線對蘋果的水心病患病程度進行分級。
根據對蘋果園中蘋果果實的水心病患病程度的分級結果,果農可以對蘋果采摘機器人的行為進行調節,優先采摘輕度水心病的蘋果果實。這樣,不僅可以盡早將糖心蘋果提供給消費者以避免蘋果果實由輕度水心病發展成重度水心病造成浪費,而且可以通過高價出售糖心蘋果來提高經濟效益。
本次研究使用計算機視覺函數庫OpenCV3.0為蘋果果實圖像提取SPM特征,使用libSVM庫根據蘋果果實圖像的SPM特征進行蘋果果實水心病患病程度的分級。
尺度數量L對蘋果水心病分級準確率的影響如表1所示。K=200時,使用5-fold交叉驗證對系統的參數L進行研究發現,L=2時的蘋果水心病分級準確率最高。

表1 尺度數量L對蘋果水心病分級準確率的影響
基本信號數量K對蘋果水心病分級準確率的影響如表2所示。由表2可以看出:L=2時,使用5-fold交叉驗證對系統的參數K進行研究發現,K=200時的蘋果水心病分級準確率最高。
表2 基本信號數量K對蘋果水心病分級準確率的影響
Table 2 Apple water core classification accuracy with different number of base signalK

KSPM特征維度雜草種子識別準確率/%100420075.4200840078.2

續表2
本系統將壓縮感知降噪算法、計算機視覺特征與機器學習算法用于蘋果水心病的無損在線分級,構建了蘋果水心病分級系統用于果園中無損在線獲取到蘋果果實的高光譜透射圖像和果面圖像;然后,經過降噪預處理和計算機視覺特征提取后,對蘋果水心病的患病程度進行分級,最后根據分級結果指導蘋果采摘機器人的采摘行為。實驗表明:本系統實現了基于計算機視覺對蘋果水心病患病程度進行分級及根據分級結果優先采摘糖心蘋果的目標,可以取得降低人工成本、提高經濟效益的結果,值得推廣。