基于機器視覺的果園成熟柑橘快速識別及產量預估研究

張小花，馬瑞峻，吳卓葵，黃澤鴻，王嘉輝

（1.仲愷農業工程學院自動化學院，廣東 廣州 510225；2.華南農業大學工程學院，廣東 廣州 510642）

【研究意義】進入21世紀以來，農業勞動力不斷向其他產業轉移，結構性短缺和老齡化趨勢已成為全球問題。人工智能技術、傳感器新技術的快速發展為智慧農業的發展提供了新的動力和可能。農作物的信息采集是智慧農業中一個重要環節，尤其是產量信息獲取顯得尤為重要［1-4］。實時準確、魯棒性高的果園估產，是我國農業進入智慧農業的一個必不可少的階段。通過產量預測不僅可以使果農及時掌握果園生產狀況，從而指導水果定價或預計果園利潤，還可為合理計劃收獲期采摘人力數目和費用提供定量依據，以免在收獲期過多或者過少的雇傭采摘勞動者而使成本較高或耽誤采摘進度，也可為后期的物流運輸規劃提供更早地決策。

【前人研究進展】目前，柑桔園估產依然采用傳統的人工田間抽樣、目測清點單株果實數量等方式，對測產人員的經驗要求較高，勞動強度較大，精度較低，耗時較長。隨著傳感器技術、圖像處理技術及人工智能算法的迅速發展，水果產量在線自動識別及產量預估已成為一種新趨勢［5-8］。利用圖像處理技術，通過拍攝果期數字圖像建立產量估測模型，具有成本低、操作簡單等特點［9-10］。但是水果自動識別算法中的準確性、識別速度和魯棒性對于水果產量預測至關重要［11-13］。由于在線識別水果的環境較復雜，受到不確定的自然光照、復雜的冠層結構、水果在不同生長期變化的顏色、形狀和大小的影響，另外圖像中果實被枝葉遮擋、果實之間互相重疊等影響水果形狀的外部因素，從而影響識別正確率［14-16］。蔡健榮等針對自然光照條件下的成熟柑橘彩色圖像，采用2R-G-B色差分量，通過Ostu自適應閾值算法進行圖像分割，利用形態運算消除隨機噪聲，標記分割區域，通過數學方法進一步去除背景區域；在果實重疊問題上，利用函數提取邊界，再結合形態學運算實現分割，經驗證95%果實能被正確識別［17］。該方法是最傳統的圖像處理方法，處理步驟非常復雜，不易掌握，圖像處理的時間也比較長。華南農業大學熊俊濤應用faster RCNN方法研究了自然環境下綠色柑橘的識別問題，該方法較好地解決了綠色柑橘和背景樹葉顏色相近而難以區分的問題，實驗結果表明在不同光照條件下檢測綠色柑橘的F值分別為77.45%［18］。LIU等構建了一個Cr-Cb顏色空間對自然環境下的柑橘進行水果和樹干的識別，該研究表明其能把水果正確識別率提高到90.8%，虛假識別率降低到11.2%［19］。美國佛羅利達大學DORJ等通過把RGB顏色空間圖像轉化成HSV顏色空間圖像來對柑橘進行識別，結果表明通過圖像處理方法得到的柑橘產量預估與通過人工方法計數得到的結果相比，其相關系數R2達到0.93，但是該方法非常復雜，包括閾值確定、水果分割、去噪、形態操作、特征抽取和分類等［8］。【本研究切入點】過去研究中對果實進行識別的主要研究步驟包括圖像采集、顏色空間轉換或直方圖、果實背景分割、標簽、形態學處理、噪聲過濾、特征提取、分類等，或者采用較為復雜的深度學習法，這些方法比較繁瑣，不容易掌握。本研究在不同的顏色空間下將果實與背景直接進行分割。

【擬解決的關鍵問題】基于Lab顏色空間提出了一種快速、準確地對果園柑橘進行識別及產量預估方法。該方法不需要進行閾值分割、去噪等繁瑣的圖像處理過程，直接應用Lab顏色空間中的“a”分量進行圖像識別及技術。該方法對果實重疊、被遮擋及光線變化具有較好的魯棒性。

1 材料與方法

1.1 試驗材料

試驗于2018年12月在美國加利福尼亞州的Shiraz Ranch農場進行圖像采集。所用相機為iphone XR手機，架設在距離樹2.13 m的三腳架，距離地面高度1.45 m，采用自然光背景下的“自動聚焦”模式，無光學或數字縮放，不使用閃光燈，所拍攝的圖像像素為4 032×3 024（大小約5.5 M）。圖像處理的硬件包括Intel Core i5處理器電腦，windows 64位操作系統，4 GB RAM，軟件為Matlab （版本號：2017b，Mathwoks 公司）。

考慮算法對不同類型的柑橘識別的魯棒性，分別對25棵桔子樹和橙子樹的兩側在晴天和陰天進行圖像采集，具體數據如表1所示。

表1 柑橘樹圖像采集信息Table 1 Information of citrus image

1.2 試驗方法

本研究通過應用RGB相機采集到RGB圖像，考慮到成熟柑橘及柑橘園背景顏色并沒有藍色，因此將B分量值設定為0，并將RGB顏色空間轉換成Lab顏色空間。在此基礎上，分析RGB顏色空間的“R”“G”和“B”分量，以及Lab顏色空間的“L”“a”和“b”分量，分析得出的“a”分量能容易區分成熟柑橘和其他背景顏色。因此，應用“a”分量中的圖片，根據柑橘的圓形特征，通過霍夫圓變換進行柑橘識別并計數，具體步驟如圖1所示。

圖1 基于Lab顏色空間的柑橘園樹上水果計數方法Fig.1 On-tree citrus counting methods based on Lab color space

顏色空間的選擇對于果園果實與背景的分割比較重要。同一圖片在不同的顏色空間下存在明顯區別。因此，找出能易區分果實與自然背景顏色的顏色空間十分重要，果樹和背景的灰度值差別越大，越容易把果實與背景分離。最常用的顏色空間有RGB（Red, Green, Blue）顏色空間，但由于紅色、綠色和藍色這3種顏色之間存在很強的相關性，因此RGB顏色空間的單個顏色分量并不適合自然環境下成熟水果的分割。常用的方法是把RGB顏色空間轉換到HSV 和CIEL*a*b*（以下簡稱Lab）顏色空間來得到合適的分量或分量組合。

Lab顏色空間能夠描述人眼可見顏色，不受參考的設備模型影響。在Lab顏色空間，用數字化的方法來描述人的視覺感應，其中L分量（light）用以表示像素亮度，取值范圍[0，100]；a通道和b通道只負責顏色的多少，a通道取值范圍[127，-128]，表示從紅色到綠色的范圍；b通道表示從黃色到藍色的范圍，取值范圍[127，-128]。

由于RGB顏色空間是非線性的，不能直接轉換成Lab空間，因此必須先轉換成XYZ顏色空間，再把XYZ顏色空間轉換到Lab顏色空間。其轉換公式包括兩部分：

（1）RGB與XYZ顏色空間的轉換公式如下：

（2）XYZ與Lab顏色空間的轉換公式為：

本研究通過MATLAB編程對柑橘進行識別并進行計數。在對識別結果進行分析時，設定果實識別正確率、產量預估正確率對該方法進行評估與討論。

2 結果與分析

2.1 識別結果

本試驗根據不同的樹干背景分兩種情況進行背景（除果實外的都算做背景）剔除，選取成熟柑橘的典型圖片，圖片中包含天空、土壤、樹葉等復雜背景，且該圖片包括柑橘之間重疊、被果實遮擋等影響柑橘識別及技術的圖像處理難題。圖2中，（A）為臍橙樹RGB圖，近水果光照度為168 lx，近相機光照度為138 lx。

在圖2中，RGB的“B”分量已在程序中設定為0，因此圖形為黑色，沒有果實和背景信息；“R”和“G”分量圖像果實和背景顏色沒有顯著區分，不適用于圖像識別。Lab顏色空間下的Lab圖像背景為紅色，不適合提取果實圖像；“L”和“b”分量僅為小點，無法對該小點進行識別；“a”分量中果實顯示為白色，其余復雜背景（如樹葉，樹枝，土壤、天空等）均顯示為黑色，非常適合應用軟件對柑橘進行識別及計數。由于柑橘類水果的形狀大多為圓形或橢圓形，本研究采用MATLAB軟件（版本號：R2018a），應用霍夫圓變換算法對柑橘的形狀特征進行識別并自動計數，得出圖3(A)的橙子數為113，識別結果見圖3(B)，識別時間為1.03 s。通過人工對臍橙樹進行計數的結果117，其中漏數7個，因土壤及樹干等背景影響，導致虛數（虛假柑橘數）3個。

圖3 原始RGB圖形及自動識別結果Fig.3 Original RGB image and automatic detection result

2.2 性能比較

根據公式(7)和公式(8)，計算得出柑橘識別正確率為94.01%，產量預估正確率為96.58%。由于相關文獻并沒有做產量預估正確率分析，該方法與文獻中的研究方法在識別正確率及識別時間兩個性能上進行比較，結果如表2所示。

表2 不同圖像處理方法識別正確率及識別時間比較Table 2 Detection accuracy and time comparison of different image processing methods

識別個數是從圖像處理中得到的柑橘的數量，可從數量方面反映柑橘的產量。本研究根據識別數量實現對柑橘的產量預估，選取10株自然環境下的柑橘樹圖片（每棵樹拍兩面，共20幅圖片）進行圖像處理，得出其自動識別的柑橘產量，并與人工計數結果進行比較，應用Excel繪制其線性回歸曲線圖（圖4）。

圖4 線性回歸分析結果Fig.4 Result of linear regression analysis

3 討論

本研究結果表明，應用Lab顏色空間中的“a”分量進行霍夫圓變換，對樹上柑橘進行識別并計數，所用時間為1.03 s，識別速度比基于Cr-Cb顏色空間的柑橘識別方法慢，但識別率提高3.2%。Dorj在文獻中采用的傳統閾值確定及去噪、形態操作等處理方法，雖然識別正確率能達到93%，但識別時間長達26.05 s，該方法如果用在水果自動采摘中對水果的定位上，由于速度太慢達不到實時定位的要求。本方法無論是識別時間和識別正確率都達到一個較高水平，通過人工計數的柑橘數量與基于機器視覺的圖像識別數量的回歸曲線分析圖4可知，其相關系數R2達0.9879。

由于柑橘圖像采集來源于RGB相機，隱藏在樹深處的柑橘可能不能顯示，僅根據該RGB圖像進行產量預估仍會存在一定誤差，要提高產量預測精度，可嘗試應用多種傳感器對柑橘園圖像進行采集，但該方法將增加設備成本及處理時間。圖片中另一個影響精度的是由于果實之間的過度重疊或過度遮擋，這種情況也會導致識別錯誤。

4 結論

本研究把自然環境下成熟柑橘園的原始RGB圖像轉換到Lab顏色空間進行圖像處理，并經過分析得出其中的“a”分量能較好地去除除柑橘外的背景，在此基礎上，根據柑橘的圓形形狀特征，應用霍夫圓變換，對成熟柑橘進行識別并計數，該方法簡單易操作，識別速度快，且識別精度高，對果實重疊或被遮擋等具有較好的魯棒性。但該方法只適合對成熟的柑橘進行識別，對不成熟的柑橘識別并不適應。