計算機視覺在農產品外部品質檢測中的應用研究

姚 綴,呂建秋,向 誠,岑俏媛,田興國,,*

(1.華南農業大學數學與信息學院,廣東廣州 510642;2.華南農業大學新農村發展研究院,廣東廣州 510642;3.華南農業大學食品學院,廣東廣州 510642)

農產品是人類日常生活中必不可少的消費品。伴隨著人民生活水平的不斷提高,消費者對農產品品質的要求也日益增加[1]。在消費者購買農產品時,首先接觸的是農產品的外部品質,也就是說,農產品的外部品質會直接影響消費者的偏好和選擇[2]。因此,科學、準確地評價農產品外部品質就成為了關鍵[3]。

傳統的農產品品質檢測方法多數依賴于人工處理,并且只能完成農產品的外部品質檢測,對于農產品內部品質,大多數采用化學方法對樣本進行破壞性分析。傳統的人工處理和化學檢測方法耗時、低效,為了能夠進一步優化農產品品質檢測的方案,近些年國內外開展大量研究,努力尋找快速、準確的農產品品質檢測方法[4]。計算機視覺是一種無損、快速、經濟的檢測技術,可通過電子感知圖像、解釋和識別標記,實現人類視覺相同的效果。隨著信息科學的發展,計算機視覺模式識別和圖像處理技術日趨成熟,能為食品分類、分級和檢測提供更多信息。在過去的十年,計算機視覺在食品工業領域發展迅速。通過檢索WoS數據庫,發現,2009～2018年計算機視覺在農產品品質檢測領域每年發布的研究論文數量明顯增加(圖1),計算機視覺在農產品品質檢測領域發展迅速。

圖1 2009～2018年計算機視覺在農產品品質檢測領域發布的研究論文數量Fig.1 Number of research papers published in the field of agricultural product quality inspection by computer vision in 2009～2018

計算機視覺廣泛應用于農產品[5-8]品質評估中,已發表各種研究論文,其中一些側重于分析單一農產品特定的外部質量屬性(大小、顏色、表面缺陷等)[9-10],而另一些專注于特定技術(圖像分析、多光譜、高光譜、計算機斷層掃描、X射線等)[11],缺乏農產品外部品質分析詳細的概述。本文介紹了計算機視覺系統的組件、圖像處理和分析方法、農產品外部質量檢查的步驟。在此基礎上,分別對計算機視覺技術在農產品外部質量檢測等方面的主要應用進行綜述,旨在為農產品加工行業自動化發展提供技術支持[8-12]。

1 計算機視覺系統

計算機視覺是通過計算機獲取和分析真實場景的圖像,從而獲得場景中物體的信息的技術。計算機視覺的目的是從圖像中理解目標信息,完成目標的快速無損的檢測[13]。計算機視覺通過對獲取的圖像進行處理與分析,完成目標物體的定量/定性檢測[14-15]。計算機視覺是指能夠觀察物體和感知光學特性并解釋結果的機器視覺[16]。在文獻中,計算機視覺和機器視覺這兩個術語通常可以互換使用。

計算機視覺系統一般包括光源,圖像采集設備(相機或成像設備)、計算機、光箱和載物臺五個基本部件組成(圖2),主要任務是圖像的采集、處理和分析識別[17]。計算機視覺系統在通過圖像采集設備獲取目標圖像,并使用相關的圖像處理技術和算法做出決策[18]。目前計算機視覺系統以被廣泛應用于農產品品質檢測。

圖2 計算機視覺系統組件Fig.2 Components of computer vision system

計算機視覺系統在農產品外部品質檢測中分為四個部分,依次為圖像數據采集、圖像預處理、特征提取以及圖像識別與分類。

圖像采集是使用圖像傳感器將模擬信號轉為數字信號的操作。在農產品品質檢測中,圖像采集可以使用相機[19]、高光譜成像[20-21]、近紅外成像[22]等工具。相機是圖像采集的常用工具,分為CMOS(互補性金屬氧化物半導體)攝像機和CCD(電荷耦合元件)型攝像機兩類。CCD相較于CMOS更加適合于圖像質量要求高的場景,能夠盡量保持圖像的原始信息[23]。

圖像預處理是圖像增強的一種方式。它能通過減少圖像中的噪聲來實現目標有關信息的可檢測性,從而改進特征提取、圖像識別與分類的準確性[24-27]。在農產品品質檢測中,圖像預處理最常用的方法是圖像平滑與圖像銳化。圖像平滑是通過突出低頻信息和抑制高頻信息的過程,目的是減少圖像的梯度,改善圖像質量。圖像銳化恰好與之相反,是突出高頻信息的過程,它的目的是增強圖像的細節信息。

圖像的特征提取是使用圖像目標的自身特性表示目標全部信息的過程,在此過程中,將所得特征形成特征向量。這些特征向量唯一且精確地定義了對象形狀。特征提取的目的是通過提取特征在減少數據維度,在提高識別效率的同時增加識別準確性。在農產品質量評估中,顏色、紋理和形態特征經常用于分析農產品的缺陷和成熟度[28]。

圖像識別與分類是農產品品質檢測的基本目標,它是模擬人類識別和判斷方式的一種持久化判別的方法[29-31]。它使用提取到的農產品圖像的顏色、形狀、尺寸及表面缺陷等特征作為輸入數據,然后應用合適的分類算法完成分類任務。在計算機視覺系統中,多種算法如支持向量機(SVM)、卷積神經網絡(CNN)、K-近鄰(KNN)等應用于農產品外部品質檢測中。

2 計算機視覺在農產品外部品質檢測中的應用

計算機視覺系統集成了圖像采集、處理和分析技術[32-33],通過簡單地提供測試樣品的灰度值或RGB圖像,實現對測試樣品的無損、快速檢測。在過去的二十年中,計算機視覺系統已被廣泛應用于農產品外部品質檢測中,并被證明是科學、強大的品質檢測工具。本節將詳細描述計算機視覺技術在農產品外部品質檢測中的應用。表1顯示了農產品外部品質檢測領域中應用。

表1 關于農產品外部品質檢測的研究綜述Table 1 Summary of studies about the quality inspection of agricultural products

2.1 尺寸及形狀檢測

尺寸及形狀是農產品外觀的一個特別特征。農產品形狀的天然不規則性,使得農產品形狀檢測與評估變得更加復雜[34]。在外觀評估研究中,面積、周長、長度和寬度是衡量農產品尺寸和形狀的最常用特征[35]。在尺寸及形狀評估中,通常將農產品的面積、周長、長度和寬度等作為特征,通過計算圖像中目標樣本區域的像素個數獲取被測樣本的面積、周長、長度和寬度等[36]。農產品的不規則形狀使得長度和寬度作為特征時,農產品尺寸的判斷容易出現偏差[35]。Ohali等[37]計算圖像中果實覆蓋區域來評估果實的尺寸,并設計開發一套計算機視覺系統,準確率為80%,此研究中尺寸評估的標準受到主觀因素的影響,使得分類的準確性存在一定的誤差。

基于面積特征的尺寸及形狀評估方法被廣泛的應用于馬鈴薯、番茄、蘑菇等的分類[38-40]。Heinemann等[41]利用基于計算機視覺的自動化系統對蘑菇進行尺寸檢測,25個樣本的檢測誤差為8%～25%,而人工檢測的誤差為14%～46%。孔彥龍等[42]提出了一種基于特征(質量、形狀)融合的馬鈴薯分選方法。利用人工神經網絡模型對馬鈴薯側視圖中的特征進行學習分選,馬鈴薯形狀分選識別率為96%,可滿足實際應用的要求。馬鈴薯有許多可能的形狀,需要分級出售,用于不同市場的統一課程。這給形狀分離帶來了困難。Martínez等[43]選取果實成熟指數為5的橄欖果實,此時的橄欖果肉一半轉紫且果核發育完全,對果核的頂部、兩側網脈、最大長度等提取了8組46個特征,使用偏最小二乘判別分析(PLSDA)進行分類,準確率可達89%。Zhu等[44]提出基于馬鈴薯最小外界柱體的體積法,對馬鈴薯的尺寸大小進行分級,分級準確率為91.0%。

農產品尺寸的檢測是農產品自動化分級的重要一步,面積是農產品尺寸及外觀的重要特征。面積的計算需要通過農產品輪廓確定,而傅里葉描述子是提取農產品外部輪廓的有效方法之一。當下,計算機視覺技術在番茄、馬鈴薯、蘋果、玉米、柚子等類球體農產品尺寸和外形檢測中有著廣泛應用和研究,而非類球體的農產品(葉菜等)尺寸及檢測大多仍依賴于人工檢測,因此,基于計算機視覺技術的非類球體農產品尺寸及形狀檢測的研究可以為非類球體農產品的自動化分級提供技術支持。

2.2 顏色檢測

農產品的品質很大程度上取決于顏色、大小和缺陷等外觀特征,開發基于外觀特征鑒定農產品品質的自動系統具有廣闊的市場前景[45-46]。顏色是農產品的重要感官屬性,反映農產品的成熟度、新鮮度等指標。在計算機系統中常用的描述顏色的色彩空間有RGB、HIS、L*a*b*、YIQ等。

Syahrir等[47]在對番茄成熟度進行判斷時,使用L*a*b*模型代替RGB模型,并對圖像進行濾波、閾值等預處理,最后通過R-G色差判斷番茄的成熟度和保質期。王新忠等[48]在將成熟番茄從背景分離的過程中,利用YIQ顏色模型的計算過程簡單、聚類性好的優點,提高機器視覺的實時性和魯棒性,從而較好的將成熟番茄從背景中分離。Wan等[49]在番茄成熟度的鑒別實驗中,以番茄最大圓切割圖像中番茄顏色區域,并將番茄圖像劃分為5個區域,然后分別使用RGB和HSI色彩空間中的R、G、B、H、S、I分量的均值作為此區域番茄的顏色特征,通過BP神經網絡對番茄成熟度進行檢測,識別率為99.31%。

Kurita等[50]在番茄成熟度的鑒別實驗中,以R/G比值為顏色特征對番茄進行成熟度分級,分級準確率高于單一顏色成分特征的分級結果。Leemans等[51]依據歐洲外部質量評價標準將蘋果分為四類,在顏色分級中,將圖像的RGB值作為輸入,使用沒有隱藏層的簡單神經網絡對蘋果進行檢測,總體準確率為78%。

顏色是農產品成熟度與新鮮度的重要判別指標,因此顏色檢測在農產品自動化分級中占有重要地位。顏色直方圖、色彩空間轉化(RGB?HSI,RGB?YIQ)、色彩分量的均值與方差等是農產品顏色的重要特征,是農產品顏色檢測中常用的判別方法。圖像中目標的顏色易受成像設備和環境的影響,顏色檢測模型的準確率有待提高,模型的可移植性和擴展性不足。因此,合適的成像設備和環境也是影響實驗的重要因素。

2.3 表面缺陷檢測

表面缺損會影響農產品的價格和消費者的購買意愿,表面缺損嚴重的農產品會感染細菌造成農產品的損壞,進而影響農產品的銷售[52]。基于計算機視覺技術的農產品自動分揀系統已有相關研究,由于自然環境、病蟲害等原因會導致農產品出現不同程度的損傷,因此農產品的表面缺陷檢測是農產品無損分揀系統的開發的一個難題[53]。

Hu等[54]設計兩步k-means聚類算法對香蕉的缺陷進行檢測,第一步的k-means聚類用于分類香蕉的輪廓和背景,第二步的k-means聚類用于量化香蕉表面的損傷病變,實驗結果證明可用于香蕉的缺陷檢測。Saito等[55]以茄子為研究對象,從茄子圖片中獲取顏色特征和長度、周長等形狀特征,采用人工神經網絡模型,較好的區分正常茄子于表面損傷的茄子分類。Li等[56]將原始圖像進行歸一化處理后,與原始圖像相減,然后通過閾值分割的方法提取蘋果表面缺損部位,設計并開發基于計算機視覺的蘋果表面缺損檢測系統。Blasco等[57]利用區域生長算法分割柑橘類水果表面缺損特征,首先通過JSEG算法選取種子,然后通過區域迭代和區域合并獲得完整的缺損信息,分割成功率為94%。López-García等[58]采用基于多元分析的主成分分析方法建立特征空間,使用多分辨率的方法提高效率,較好的完成柑橘圖像表面缺損信息的分割與識別。

農產品是否存在表面缺陷是農產品自動化分級的重要標準之一。表面缺陷檢測的重點在于確定表面缺損的位置,主要檢測方法分為兩類,一類是基于圖像相似性的表面缺損部位分割方法,常見的有閾值分割,區域生長等方法,另一類是基于灰度值不連續性的表面缺損部分的分割方法,常見的有邊緣檢測等方法。大多數農產品表面缺損的部位的顏色有別于正常部位,通過對比顏色特征的差別并設定合適的閾值,從而完成農產品表面缺損位置的分割。因此,對農產品表面缺損的定位也是目前研究的一個重要方向。

3 計算機視覺在農產品外部品質檢測中的不足與展望

3.1 計算機視覺在農產品外部品質檢測中的不足

計算機視覺系統作為一種簡單、快速、無損的農產品外部品質檢測方法,在農產品外部品質檢測中取得一定成果的同時也暴露出一些不足。例如,由于計算機視覺系統中使用的相機分辨率不高,會影響獲取的圖像質量,從而影響到圖像的外部品質特征的提取,因此需要大量的樣本數據進行訓練模型,以期提高準確率。此外,在農產品外部品質判斷的標準的制定上存在人為的主觀因素,從而影響分類算法的準確性和實用性。

3.2 計算機視覺在農產品外部品質檢測中的展望

農產品的外部品質易受外界環境不斷變化,計算機視覺作為一種評估農產品外部品質的新方法,能夠同時測量農產品的形狀、顏色和表面缺陷。在過去的幾年中,基于計算機視覺的農產品外部品質研究已取得較大突破,本文重點描述了計算機視覺計算在農產品外部品質檢測方面的最新進展,包括顏色(成熟度)判斷、形狀檢測和表面缺陷檢測等,同時也揭示了計算機視覺技術應用過程中存在的問題,并提出了參考意見。

為了促進計算機視覺技術的發展,應從以下三個方面入手,增強農產品外部品質檢測的客觀性與實用性。首先,不斷提高軟硬件設備性能,用于獲取包含更多樣本信息的高質圖像。其次,研究開發能夠更加有效、可靠的提取農產品外部品質特征的算法,提高圖像特征對農產品樣本表征的準確性。最后完善農產品外部品質評價體系,使得農產品外部品質評價的標準更加合理,從而消除人為主觀因素的影響。