基于圖像處理的成熟草莓檢測技術研究

崔明 蔣其友 薛小松

(江蘇農林職業技術學院，江蘇 鎮江 212400)

引言

隨著我國設施農業的快速發展，草莓種植已經由傳統的露天種植向大棚種植轉變，并進一步向智慧種植方向發展。當前我國的草莓種植已經部分實現了設施智能化，主要包括溫室內的環境參數控制，但在草莓采摘、草莓生長信息監測等方面的智能化程度較低，仍主要采用人工方式進行。成熟草莓檢測對草莓自動采摘和生長信息監測具有重要的意義。在草莓采摘領域，成熟草莓檢測是草莓采摘機器人目標定位的前提。在草莓生長信息監測方面，成熟草莓檢測能夠為草莓的生長控制提供狀態參數信息，有利于提高草莓溫室控制的自動化水平，并可以為產量預測提供技術支持。因此，成熟草莓檢測是草莓目標檢測的關鍵技術，對我國草莓產業的智慧化發展具有非常重要的意義。

隨著圖像處理技術和人工智能技術的快速發展，當前針對草莓目標檢測已經開展了一些研究，且取得了一定的研究成果。覃磊[1]提出了一種基于RGB顏色相似度和形態學處理的成熟草莓圖像分割算法，通過對比目標區域和成熟草莓主顏色的顏色相似度，并結合閾值分類和形態學處理方法實現了成熟草莓分割，實驗結果表明，該方法可以實現草莓的實時快速檢測，能夠應用于草莓采摘機器人的目標定位中。趙玲[2]提出了一種基于HIS顏色空間特征和BP神經網絡的草莓成熟度檢測方法，通過提取H分量的相關特征參數建立BP神經網絡預測模型，實驗結果表明，該方法對草莓成熟度的檢測準確率達到90%。趙世達[3]提出了一種基于“HOG+SVM+NMS”的成熟草莓識別方法，分別對正負樣本圖像提取HOG特征，并送入SVM訓練器中進行訓練，采用NMS方法提升草莓重疊目標的檢測精度。李鑫[4]提出了一種基于CaffeNet深度學習網絡的成熟草莓度檢測方法，實驗結果表明，該方法對成熟草莓的檢測準確率高、檢測速度快，且對相互重疊情況具有較好的魯棒性。

雖然當前針對成熟草莓檢測開展了很多研究，但主要停留在理論研究階段，且存在復雜環境下的成熟果實檢測精度不高等問題。本文針對成熟草莓檢測技術進行研究，提出了一種基于圖像處理的成熟草莓檢測方法，以實現成熟草莓的快速準確檢測。

1 硬件系統構成

成熟草莓檢測系統可以分為硬件系統和軟件算法2部分，其中硬件系統是基礎。本文根據實際檢測需求，采用相機、鏡頭、處理器等硬件設備完成硬件系統搭建，如圖1所示。

1.1 相機和鏡頭

相機是圖像采集的核心元件，其選型主要包括感光元件類型和分辨率的選擇。按照感光元件類型，相機可分為CCD和CMOS 2種類型，其中CCD相機的圖像采集噪聲小，但價格較貴，相比之下CMOS相機的性價比更高。相機分辨率主要根據檢測精度進行選擇，考慮到檢測算法的誤差影響，相機實際分辨率要比理論計算值大。鏡頭的選擇要根據相機感光元件尺寸、視野大小和物距進行確定，同時還需要考慮景深影響。

1.2 處理器

處理器是圖像處理的核心硬件，對圖像處理速度具有直接的影響。處理器對相機傳輸過來的圖像數據，采用圖像處理算法進行分析，并將處理結果進行顯示或者發送到執行機構進行控制。常用的圖像處理器有DSP、樹莓派、工控機等，其中DSP和樹莓派適用于小空間環境下的嵌入式開發，而工控機適用于大空間環境下的高處理速度開發，本文選擇工控機進行圖像處理分析。

圖1 硬件系統結構圖

2 圖像檢測算法

作為成熟草莓檢測系統的核心，圖像檢測算法的好壞直接決定了成熟草莓的檢測精度。

本文針對成熟草莓的圖像處理算法進行分析，具體檢測流程包括圖像預處理、Lab顏色空間變換、固定閾值分割、形態學處理、區域特征提取和目標區域定位等步驟。

2.1 圖像預處理

圖像在采集過程中由于硬件和實際環境干擾等原因，導致圖像中存在噪聲干擾信息，因此需要進行圖像預處理以提高圖像的信噪比。本文采用圖像濾波方法祛除圖像中的噪聲信息。通過實驗對比發現，高斯濾波器在濾除圖像噪聲信息的同時能更好地保留目標細節信息，其中高斯濾波模板尺寸為5×5。

2.2 顏色空間變換

顏色空間特征分析法是圖像特征提取的主要方法之一，常用的顏色空間包括RGB、HSV、NTSC、CMY、Lab等。顏色空間特征分析法的目標是提取目標相對背景灰度對比最明顯的顏色空間分量圖像，能夠有效降低后續圖像處理的難度。同時，經過顏色空間變換后，圖像由彩色圖像變為灰度圖像，降低了后續圖像處理的時間。

圖2 Lab顏色空間特征變換

針對草莓目標圖像特點，經過對比分析，本文采用Lab顏色空間特征提取方法。Lab是一種基于人類視覺感應的設備無關顏色空間系統。Lab顏色空間特征中，每個像素參數可以由L、a、b 3個參數分量構成，分別表示亮度分量、綠色到紅色分量和藍色到黃色分量。考慮到草莓成熟過程中顏色由綠色向紅色轉變，因此本文提取a參數分量進行分析，如圖2所示。可以看出，相比背景區域，成熟草莓的灰度值更高，且相比背景區域的灰度差異較大。

2.3 閾值分割

圖像分割是圖像處理的關鍵技術，本文針對成熟草莓圖像特點，采用閾值法實現圖像區域的分割，常用的閾值分割方法包括固定閾值法和局部閾值法[5]。固定閾值法主要適用于圖像目標和背景灰度值差異較大的情況，閾值可以根據圖像灰度直方圖分布自動設置或者手動設置。局部閾值法主要適用于圖像背景灰度不穩定的情況，相比于固定閾值法計算量較大。考慮到草莓圖像背景穩定，且目標區域相比背景區域的灰度差較大，因此這里采用固定閾值方法進行圖像分割。本文通過對實際圖像灰度直方圖的分析，設置固定閾值為130，圖像分割結果如圖3所示，可以看出，成熟草莓區域被精確的分割出來。

圖3 閾值分割結果

2.4 形態學處理

形態學處理是基于集合論基礎的一種圖像處理方法，主要包括膨脹、腐蝕、開和閉等形態學運算。形態學處理采用結構體元素對圖像區域進行像素運算處理，常用的結構體元素包括矩形、圓形等類型。膨脹運算能夠擴展目標區域邊界，將位置靠近的區域連接起來，可以用來彌合區域間的小縫隙。腐蝕運算能夠消融目標區域邊界，并能夠消除尺寸小于結構體的區域，可以用于切斷區域間的細小連通部分。開運算和閉運算是基于膨脹和腐蝕操作組合形成的。開運算是先腐蝕后膨脹，可以切斷連通區域間的細窄連接和消除邊緣毛刺。閉運算是先膨脹后腐蝕，除了能夠平滑目標輪廓外，還能夠彌合區域間的狹窄縫隙，并具有填充孔洞的效果[6]。考慮到部分草莓之間存在粘連和重疊情況，本文采用開運算腐蝕草莓間的粘連區域，并消除圖像中小于結構體的噪聲干擾區域。在此基礎上，考慮到草莓存在因遮擋導致內部區域不完整的情況，采用閉運算結合孔洞填充算法彌合草莓內部的縫隙，形態學處理結果如圖4所示。

圖4 形態學處理結果

2.5 區域特征分析與提取

經過形態學處理后得到的目標區域包含一些噪聲干擾區域，因此需進一步進行區域提取。這里定義灰度值一致且像素位置8連通的區域為連通區域，連通區域的常用特征包括面積、周長、矩形度、最小外接矩形等。考慮到草莓的生長環境復雜，存在葉片遮擋、相互重疊等情況，成熟草莓區域的形狀特征變化較大，因此本文采用面積特征分析法。具體來說，根據公式(1)提取出像素面積在(SMin,SMax)的目標特征區域O，其中Zi表示第i個連通區域，面積閾值上下限要根據草莓區域的實際像素大小確定，同時要考慮到不同位置距離對像素面積的影響，目標提取結果如圖5所示。經過區域特征分析和提取后，面積較小的噪聲區域被濾除，獲得了成熟草莓目標區域。

(1)

圖5 區域特征提取結果

2.6 目標區域定位

經過區域特征分析和提取后獲得的草莓目標區域存在粘連和重疊等情況，對實際草莓機器人的采摘定位造成干擾。因此，需要進一步進行草莓目標區域定位，獲取單個草莓的區域位置。根據圖像特點，本文提出了一種基于距離變換的分水嶺分割方法。分水嶺變化是基于地理學中的分水嶺集水原理，將圖像分割過程模擬為山脊中的集水過程，集水盆地即為圖像分割后的目標區域。距離變換方法計算目標區域與背景像素間的位置關系，具體來說，對二值圖像尋找背景區域中與目標區域像素距離最近的像素，并將距離信息轉換為相應的灰度值，通過距離變換可以清晰地反映出目標區域與背景區域的位置分布[6]。這里定義二值圖像I的連通區域為S，目標區域為O，背景區域為B，距離變換D的計算公式：

D(p)=Min(disf(p,q))p∈O,q∈B

(2)

(3)

經過距離變換后的圖像灰度值范圍較小，不易于處理，為了擴展灰度值范圍，這里對圖像灰度值做線性變換，將灰度值范圍擴展到0～255的范圍，公式：

(4)

通過距離變換，獲得了成熟草莓目標區域與背景區域的分布特征，在強化了目標區域中心位置灰度強度的同時，弱化了其與背景區域接觸位置的灰度強度，使得相互粘連的草莓目標更容易分割。在距離變換的基礎上，本文利用分水嶺算法實現不同草莓區域的分割，圖像分割結果如圖6a所示，可以看出，相互粘連的草莓區域經過分水嶺分割后相互分離。本文采用分水嶺分割算法將成熟草莓的粘連區域切斷，但仍然存在著噪聲干擾區域。因此，需要進一步對分水嶺分割結果進行連通區域特征分析，以濾除噪聲干擾信息。這里采用連通區域面積特征分析法，通過設置合適的面積上下限閾值，提取真實的成熟草莓目標區域，區域特征提取結果如圖6b所示，可以看出，成熟草莓目標區域被準確的檢測出來。

3 軟件系統開發與測試

為了驗證算法的實現效果，本文基于VS2010平臺結合C#語言完成了成熟草莓圖像檢測軟件系統的開發，系統運行結果如圖7所示。本文所用工控機CPU為Inter Core i7-3517UE CPU2.20GHz，內存為8GB，操作系統為Windows7。

圖6 目標區域定位

圖7 系統運行結果

軟件系統界面針對實際檢測需求設計了“相機連接”、“手動模式”、“自動模式”、“設置”等功能。“相機連接”功能用于建立相機與工控機的通訊，實現工控機對相機圖像采集的控制，并將圖像數據傳輸到工控機進行處理分析。“手動模式”功能用于手動單張圖像的采集和自動處理，一般用于參數調整和軟件算法測試。“自動模式”功能用于軟件系統運行時的圖像連續采集，并實時輸出圖像處理和檢測結果，是軟件系統的主要工作模式。“設置”功能用于檢測參數的調整，包括圖像濾波尺寸、區域特征面積閾值、分水嶺閾值等參數，實際現場參數的調整有利于提高成熟果實的識別效果。同時，軟件系統展示了成熟草莓目標的檢測數量和像素位置坐標，可以為草莓采摘機器人提供目標圖像位置信息。

為了驗證軟件算法的檢測效果，本文分別對粘連、遮擋和果實重疊3種情況的檢測效果進行分析，如圖8所示。可以看出，本文算法對粘連、遮擋和果實重疊情況具有較好的自適應性。在對粘連果實的檢測結果分析時發現，本文算法能夠實現草莓果實的準確分割和定位。在對遮擋果實檢測情況分析時發現，連通區域面積閾值對檢測結果有重要影響，需要根據實際環境和檢測需求調整面積閾值上下限。在對果實重疊情況進行分析時發現，分水嶺算法的閾值選擇會影響檢測結果，因此需要根據實際檢測環境調整分水嶺閾值參數。經測試，單張圖像的檢測時間為0.061s，能夠滿足成熟草莓的在線檢測需求。

圖8 檢測結果分析

4 結論

本文針對成熟草莓檢測技術進行研究，提出了一種基于圖像處理的成熟草莓識別方法。針對成熟草莓的顏色空間特點，對Lab顏色空間下的a顏色分量圖像進行特征提取以提高成熟草莓目標和背景的對比度，并在此基礎上進行圖像閾值分割。為了獲取成熟草莓目標區域，對分割區域進行形態學處理和連通區域特征分析以祛除噪聲區域干擾和填充孔洞，并利用基于距離變換的分水嶺分割算法解決果實粘連和重疊問題。本文在圖像算法研究的基礎上，開發了成熟草莓圖像檢測系統，實現了草莓的實時在線檢測。