基于圖像處理的成熟草莓檢測技術研究

杜芳芳,王 丹,楊 強

(黃河交通學院,河南 武陟 454950)

0 引言

草莓營養豐富,具有較高的營養價值。隨著種植和病蟲害防治技術水平的提高,我國的草莓種植面積逐漸增加。但是,草莓成熟具有不定期的特點,需要人工方式進行采摘,勞動強度和作業量都非常大[1],嚴重制約了草莓產業的發展。

為了提升草莓的生產率,降低草莓采摘的勞動強度,很多果農采用了機械采摘的方式替代人工采摘。由于草莓具有鮮嫩及不易儲存的特點,為了降低草莓腐蝕帶來的損失,需要根據草莓的狀態按照成熟度采摘。如需要長距離運輸或貯藏,則需要在草莓未成熟時采摘;如就地銷售,則需要采摘完全成熟的草莓。草莓的成熟狀態包括不成熟、成熟和完全成熟[2-3]。然而,單純的機械采摘方式無法有效識別草莓的成熟度,在草莓采摘完成后還需要人工檢測方式進行篩分,檢測效率低且易增加草莓的損壞率。

機器視覺系統的核心是圖像處理技術,即利用計算機對圖像的相關數據進行運算,將低質量圖像中的噪聲、畸變進行處理,得到機器可檢測的圖像。在很多流水線作業生產中,使用機器視覺系統替代人眼進行產品質量的檢查,有效提高了生產效率、安全性和智能化程度。因此,可把機器視覺系統應用于草莓的機械采摘,即采用圖形處理技術進行草莓成熟度的檢測。為此,本文基于圖像處理對成熟草莓檢測技術進行研究。

1 硬件設計

1.1 總體設計

綜合考慮草莓的種植環境,草莓視覺檢測系統的硬件組成主要包括CCD攝像頭、圖像采集卡、計算機主機、光源、繼電器和運動控制設備,如圖1所示。

圖1 草莓視覺檢測系統結構示意圖Fig.1 The schematic diagram of strawberry vision detection system

1.2 CCD攝像頭

CCD攝像頭可以看作視覺傳感器,用于采集草莓的圖像信息。根據檢測的精度及視野范圍,CCD攝像頭選擇松下WV-CP470型號的CCD攝像頭。該攝像頭具有高精度的CCD圖像傳感器以及可以大規模處理數字信號的集成電路,使得采集的圖像分辨率和質量較高。

該視覺檢測系統應用于草莓采摘機器人時,一般設置兩個CCD攝像頭,采用雙目視覺系統進行草莓的定位,以保證采摘精度。雙目視覺的原理圖如圖2所示。

圖2 雙目視覺原理圖Fig.2 The schematic diagram of binocular vision

1.3 圖像采集卡

圖像采集卡的作用是將采集到圖片的模擬信號轉變為計算機可識別的數字信號,并將信號傳遞至計算機主機進行分析、處理和存儲。在此,采用大恒公司生產的DH-CG320型號圖像采集卡,數量與CCD攝像頭的數量對應,為2個。

1.4 計算機主機

計算機主機是草莓視覺檢測系統的中樞機構,用于對圖像采集卡接收到的圖像進行處理和分析,提取草莓信息,生成指令信息,傳遞至草莓采摘機器人執行。考慮到系統的作業環境較為惡劣,同時還要保證對圖片信息的處理速度,采用適用于處理圖形信息且運行速率較快的研華PCM9575型號的主機。

1.5 光源

光源主要為系統提供照明,以保證拍照的最佳效果?？紤]到草莓的表面顏色為紅色,故系統的光源選擇為白色的高頻日光燈。由于環境光會對拍攝的圖像產生噪聲,因此在光源周圍設置防護屏,以降低圖像噪聲。

1.6 繼電器

繼電器用于控制系統電路的斷開和閉合,為保證系統作業的穩定性,選擇采用GTJ9-10A的固態繼電器。該繼電器為無觸點的電子開關,不含有機械運動,僅依靠可控硅或晶體管即可控制電流的開閉。繼電器的接線示意圖如圖3所示。

圖3 繼電器的接線示意圖Fig.3 The wiring diagram of relay

1.7 運動控制設備

在檢測過程中,攝像頭視野范圍受限,為對草莓種植環境進行拍攝,需要相應的運動控制設備進行控制。運動控制設備一般為草莓采摘機器人的各部件,如導軌、電氣和驅動裝置等。

2 成熟草莓圖像檢測算法設計

對于成熟草莓的檢測,需要根據草莓的表面顏色以及紅色所占的面積比來確定草莓的成熟度。草莓成熟度的識別過程如圖4所示。其中,圖像檢測算法和神經網絡模型設計是系統的核心。

圖4 草莓成熟度的識別過程Fig.4 The identification of strawberry maturity

2.1 圖像檢測算法設計

處于采摘期的草莓,其表皮顏色均相近,但與周圍的環境顏色具有較大的差別。這種顏色分布放置于色彩空間,則是果實顏色與背景顏色的差別。由于草莓周圍環境主要為綠色枝葉或近于黃色的枯葉,與草莓顏色差別較大,故采用圖像分割算法中的ISODATA分割算法進行草莓目標的提取。草莓的圖像檢測算法流程如圖5所示。

1)CCD攝像機完成圖像的采集后,第1步是去噪處理。拍攝的草莓圖像由于外界環境的干擾都存在一定程度的噪聲,使圖像模糊,為了后續的圖像分析,需要進行去噪處理。在此,采用中值濾波和高斯濾波綜合的方式進行去噪。

2)第2步是進行圖像的預處理。由于采用CCD攝像頭拍攝的圖片是在RGB彩色模型下顯示,但是莓圖像在該模型中無明顯的分辨規律,不易于后續圖像的處理,故需要將其轉變為易于圖像顏色提取的HIS顏色模型[4-5]。RGB和HIS彩色模型分別如圖6(a)和圖6(b)所示。

RGB模型是在笛卡爾坐標系中建立,HIS模型是在柱坐標系中建立,若將RGB顏色模型轉變為HIS模型,只需把RGB的坐標值轉變至柱坐標系即可。假設某顏色在RGB單位立方體的紅、綠和藍的三原色的坐標為(R,G,B),則由RGB轉變為HIS的計算公式為

其中,θ計算公式為

其中,R、G和B的范圍均為[0,1];Mmin為R、G和B的最小值。

3)第3步為圖像的分割。在拍攝的圖像中,除了草莓外,還包含葉子和地膜等。為了從這些背景中有效地分割出草莓區域,采用ISODATA算法進行圖片的處理,從而將草莓從綠色的莖葉和黑色地膜中分離出來。這種算法具有效率高和易適應的優點。

4)第4步為圖像孔洞填充。圖像在分割完成后,由于拍攝過程中的光照等因素,還會存在大小不一的孔洞,影響后續圖像的處理。對于草莓圖像,采用運算較為簡單的數學形態學法進行處理[6],該算法主要包括腐蝕、膨脹和填充算法。對于目標周邊邊界點的消除,采用腐蝕算法;對于需要將與目標接觸的背景點合并至目標圖像,采用膨脹算法;對于窄且細的、簡單的斷開和消除,采用填充算法,從而完成圖像的處理。

2.2 神經網絡模型設計

在采用BP神經網絡對草莓進行成熟度劃分之前,首先需要提取草莓成熟度的特征參數。通過對比發現:不同成熟度草莓之間的顏色以及紅色面積比的特征差異較大;而對于采集的圖像均已轉化為HIS彩色模型,其中的亮度“I”和飽和度“S”基本無差異,顏色差異主要體現在色調“H”。因此,區分草莓成熟度的參數選擇為H值、方差和紅色面積比,并將這3個參數作為BP神經網絡的輸入值。

BP神經網絡主要包括3層,分別為輸入層、隱含層和輸出層,各層的神經元個數分別為m、n、p。網絡輸入層的輸入值X為(x1,x2,…,xm);隱含層的輸入值hi和輸出值ho分別為(hi1,hi2,…,hin)和(ho1,ho2,…,hon);輸出層的輸入值yi和輸出值yo分別為(yi1,yi2,…,yip)和(yo1,yo2,…,yop);隱含層的函數為f;樣本個數為N。

BP神經網絡算法的流程圖如圖7所示。

圖7 BP神經網絡算法流程圖Fig.7 BP neural network algorithm flow chart

首先,將BP神經網絡初始化。將輸入層和隱含層的連接權值ωsy、隱含層和輸出層的連接權值ωyc分別賦值(-1,1)任意數,確定網絡計算精度ε和最大學習次數M。其次,選擇第k個樣本,給定輸出層期望的輸出值為d0(k)。再次,計算隱含層所有神經元的輸入值hiy(k)和輸出值hoy(k)。

hoy(k)=f[hiy(k)],h=1,2,...,n

輸出層所有神經元的輸入值yis(k)和輸出值yos(k)分別為

yos(k)=f[yis(k)],o=1,2,...,p

最后,根據誤差修正各連接層權值ωsy和ωyc,并計算整個網絡的全局誤差E。

若網絡的計算精度和最大學習次數符合要求,則停止運算,并輸出計算結果,確定采集圖片中草莓的成熟度。

3 試驗結果

為了驗證該草莓視覺系統的性能,需要對其試驗。由于系統采用BP神經網絡算法進行成熟度的劃分,需要對該系統進行訓練,再對訓練完成的系統進行測試試驗。

BP神經網絡的建立和樣本的訓練均在MatLab環境下,設定系統的最大循環次數為1000次,誤差精度為0.001,學習效率為0.1。由果農選定“完全成熟”“成熟”“不成熟”的草莓圖片各50幅,對系統進行訓練,直到誤差精度小于設定誤差時停止訓練。之后,調整系統的光照和CCD攝像頭,保證拍攝效果。由果農重新選定“完全成熟”“成熟”“不成熟”的草莓,通過系統進行拍照并識別,結果如表1所示。

表1 草莓成熟度識別結果

由表1可知:對于“完全成熟”“成熟”“不成熟”的草莓,系統的識別成功率均在90%以上,符合果農的要求。未識別成功的草莓,可能是由于實際設備操作以及外部環境等原因,影響圖片拍攝的亮度,從而使草莓成熟度的識別出現誤差。

4 結論

1)目前草莓成熟度的區分,具有檢測效率低且易增加草莓損壞率的問題,本文基于圖像處理對成熟草莓檢測技術進行了研究。草莓視覺檢測系統的硬件組成主要包括CCD攝像頭、圖像采集卡、計算機主機、光源、繼電器和運動控制設備。

2)系統采用圖像處理算法和BP神經網絡算法對草莓成熟度進行檢測。工作時,通過攝像頭拍攝圖片,并對草莓圖片進行預處理、分割和濾波等處理和分析;然后,采用BP神經網絡算法識別出不同成熟度的草莓。

3)為了驗證系統的性能,采用確定成熟度的草莓對系統進行訓練和測試,結果表明:系統可以準確識別草莓的成熟度。