蘋果外部缺陷全表面在線檢測分選裝置研發

彭彥昆，孫 晨，劉 樂，李 陽

蘋果外部缺陷全表面在線檢測分選裝置研發

彭彥昆，孫 晨，劉 樂，李 陽

（1. 中國農業大學工學院，北京 100083；2. 國家農產品加工技術裝備研發分中心，北京 100083）

中國是水果消費大國，但在水果產后檢測裝備方面相對滯后。針對目前在線檢測裝置無法采集蘋果全表面圖像信息且無法精確計算缺陷面積的問題，該研究以表面缺陷面積的快速檢測為主要目標，提出蘋果全表面圖像合成算法，設計了一套蘋果外部品質在線檢測及分級裝置。該研究以蘋果為例，基于球模型提出蘋果全表面圖像合成算法、缺陷面積校正算法精確計算蘋果的表面缺陷面積。通過試驗驗證，對蘋果表面圖像進行分割合成后，整體的圖像的漏檢率為0。提出缺陷面積校正算法，可以計算圖像中位于任意位置的蘋果缺陷真實面積，選取了120個樣本進行驗證，其中擦傷樣本、碰傷樣本、痘斑病樣本、表面腐敗樣本各30個。4種表面損傷面積的預測值和真實值的決定系數2均在0.97以上，均方根誤差（Root Mean Squared Error, RMSE）在4 mm2以下。在偏角試驗中，4種表面損傷面積的預測值和真實值的決定系數2均在0.974 2以上，RMSE在6.304 4 mm2以下。裝置檢測蘋果的速度為2個/s，評級準確率為95%。研究結果表明，檢測與蘋果評級精度較高，工作較為穩定，實現了蘋果外部缺陷的檢測與分級評價，可為蘋果的外部品質檢測提供技術支撐。

機器視覺；農產品；無損檢測；蘋果外部品質；在線式裝置

0 引 言

隨著人們生活水平的提高，消費者對于水果的品質越來越看重，以蘋果為例，中國是最大的蘋果生產和消費國[1]，蘋果年產量和種植面積均居世界首位[2]。據聯合國糧食及農業組織（Food and Agriculture Organization of the United Nations，FAO）統計：2020年，中國的蘋果產量是排名第二的美國的9倍以上。雖然中國的蘋果產量和出口量均居世界第一，但中國蘋果出口量與產量的比值卻遠低于世界平均水平8%[3]。這主要是因為中國在蘋果產后檢測分級、研發及應用方面相對滯后，高品質的蘋果與品質較差的蘋果沒有進行分級區分，導致產品的附加值降低，嚴重制約了中國蘋果產業鏈的發展。因此，大力推行水果產后檢測分級，提高產品的附加值，對于推進水果產業的發展以及促進經濟發展具有重要意義。

針對蘋果外部品質檢測，機器視覺技術已成為重要的檢測手段之一。主要分為兩類，一是機器學習技術[4-9]，二是傳統的圖像處理技術[10-13]。機器學習技術不僅包含支持向量機、決策樹、隨機森林算法等一些優秀的傳統方法，目前新興的深度學習技術也是機器學習技術的一大主要分支，其主要是通過卷積神經網絡提取圖像的特征信息，再根據特征信息進行識別分級[14]，主要應用于圖像的識別分類。李學軍等[15]提出了一種判別樹和改進支持向量機決策融合的蘋果分級方法,可以較為有效地進行蘋果分級。周勝安等[16]為增強小型缺陷的檢出能力，對MobileNetV3模塊進行改進，并對CenterNet的預檢測階段進行優化，結果顯示其改進后的模型對缺陷直徑大于4 mm的缺陷檢出效果較為優異。李龍等[17]使用支持向量機（Support Vector Machines, SVM）對蘋果外部缺陷進行判別，正確率為97%。Pande等[18]基于卷積神經網絡使用Inception V3模型將蘋果分為4級，分級準確率為90%。傳統的圖像處理技術主要有圖像濾波、圖像增強、霍夫變換等，黃辰等[19]提出改進的三層Canny邊緣檢測算法來提取蘋果輪廓，采用判別樹對蘋果果徑、缺陷面積、色澤等特征進行分級判斷。談英等[20]融合顏色特征與重量特征，優化權值系數提高分級準確率，分級正確率為87%。Zhang等[21]使用壓力傳感器測量果重，并與圖像技術相結合設計分選裝置，綜合分級正確率為89.71%。李龍等[22]利用啞鈴式滾子及大津法、高斯濾波等方法，對蘋果表面損傷進行檢測，其檢測正確率達到94%。Yang等[23]基于多特征與加權均值聚類方法，提出融合顏色與果徑特征的分級算法，檢測分級正確率為96%。孫豐剛等[24]基于改進的YOLOv5s模型，結合遷移學習方法對蘋果果實的病害進行檢測識別，使得其檢測精度在原模型結果上提升8.5%，實現了在占用較少的計算資源的情況下對蘋果病害進行快速準確地識別。Zhang等[25]使用結合了近紅外編碼的點陣列結構光及快速亮度校正的機器視覺系統來識別有缺陷的蘋果。Chopra等[26]結合分光光度法與機器視覺，在對1 366個蘋果數據的訓練后，分級準確率為82%。

上述研究中，大多是通過單相機獲取果品的圖像，無法獲得到果品的全表面圖像，另外以上兩類檢測方法在進行檢測時無法做到精確計算缺陷面積，所以無法根據損傷面積大小對蘋果進行精確分級。為解決現今蘋果檢測中無法實現全表面品質完整檢測問題和蘋果缺陷面積無法精確計算的問題，筆者提出一種針對蘋果全表面圖像合成方法及缺陷面積校正算法，該算法能夠實現對如蘋果、梨、番茄、柑橘等水果全表面圖像的獲取以及對表面缺陷面積的精確計算。本研究以蘋果作為研究對象，獲取蘋果的全表面圖像，對蘋果的外部缺陷面積進行精確計算，并根據缺陷面積大小對蘋果進行精確分級，以期為蘋果的外部品質檢測提供參考。

1 材料與方法

1.1 試驗材料

在表面缺陷面積校正算法的驗證中，分別購買擦傷缺陷蘋果30個、痘斑病缺陷樣本30個，自行制備碰傷樣本30個、表面腐敗樣本30個。共計120個表面缺陷樣本進行缺陷面積校正算法的驗證。試驗中的蘋果均收集自北京美廉美超市及周邊水果市場。缺陷面積的真實值測定方式為將蘋果缺陷的形心正對相機鏡頭，并將其固定在距離相機鏡頭15 cm處的臺面上，在采集圖像后經過圖像處理方式，將缺陷的像素面積轉換為實際面積，以此方法測定缺陷的實際面積，用于缺陷面積的校正算法驗證。

購買并挑選100個樣本進行分級試驗，其中特等樣本30個，一等樣本40個，二等樣本30個用于驗證分級的準確性。分級標準可根據實際需求靈活調整，本研究根據蘋果外觀標準以及表面缺陷面積自行設定了標準進行試驗，如表1所示。

表1 蘋果分級標準

1.2 系統設計

蘋果外部品質在線檢測與分級裝置可以分為檢測單元與分級單元。在線檢測裝置的傳動單元包括：電機、傳動齒輪、傳動鏈、果杯。選擇鏈傳動作為傳動方式具有工作可靠，效率高的優點。電機為鏈條提供動力，鏈條通過支撐橫桿帶動果杯運動。為盡可能降低圖像采集過程中的抖動，故將張緊邊布置在上方，且設置張緊輪。圖像采集單元包括：相機、光源、暗箱、位置傳感器等。暗箱的作用是屏蔽外部雜光的影響，為圖像采集提供穩定的環境。光源分為上下光源，上光源布置在暗箱頂部，此布置可以有效避免下相機采集到的圖像出現過曝現象，且光源選擇為紅光光源。圖像分析單元主要由計算機及人機交互軟件組成，對相機采集到的圖像進行分析以及結果顯示。圖1為蘋果外部品質在線式檢測裝置結構圖。本研究使用筆記本計算機作為處理工具，CPU為英特爾i7-9750H。裝置的總質量為169 kg，尺寸為1 300 mm× 480 mm×1 220 mm，電機型號為6IK200GN-CF，額定功率為200 W，額定電流2.5 A。

使用Visual Studio 2015軟件的微軟基礎類庫（MFC）基于對話框建立人機交互軟件程序的框架部分；使用OpenCV 3.0.0作為圖像處理部分的函數庫；使用Arduino 1.8.13 編寫下位機軟件。數據分析基于Matlab 2018a軟件完成。

在分級過程中，蘋果被隨意放置在圖1a所示的透明果杯中，由傳送鏈條輸送進入暗箱進行全表面圖像的采集和檢測。圖像采集由圖1b所示分布的相機完成，1號相機位于蘋果正上方，2、3、4號相機則在蘋果下方同一平面，相互之間呈120°分布，4個相機整體呈正四面體分布，分別位于正四面體4個頂點處，樣本位于正四面體中心位置。檢測裝置的實物圖如圖1c所示。4個相機采集到的圖像會直接輸入到計算機，利用蘋果全表面圖像合成算法將采集到的圖像進行分割，再在分割完成后的圖像中計算蘋果表面缺陷面積。計算機結合制定的分級標準給出等級信息，最后將等級信息發送給單片機，由單片機控制自行設計的分級機構實現對蘋果的分級。

蘋果分級機構如圖1d所示，主要由兩部分組成：①傳動部分，主要包含電機、傳送帶等，其主要作用是為裝置提供動力，帶動蘋果前進；②分級部分，主要包括到位傳感器、控制板、旋轉電磁鐵、通道開關等。其主要作用是監測蘋果的位置信息，根據人機交互軟件的等級序列控制旋轉電磁鐵開合進行分級。

在分級過程中，旋轉電磁鐵帶動通道開關抬起，蘋果在重力作用下，滾落到分級通道內，待蘋果通過開關后，旋轉電磁鐵反轉，帶動開關關閉，完成蘋果分級過程。此分級機構設計有3個分級通道，可以對3個級別的蘋果進行分級，若需要分更多等級，可增加通道個數達到分級目的。

1.3 果杯材料折射試驗

在系統設計中，相機的布置在空間結構上對稱，但是由于透明果杯的存在，使得2、3、4號相機在采集圖像時需要透過果杯。當下方光線從空氣中穿過透明樹脂再次進入空氣時會發生折射現象，會導致光線的傳播方向發生變化。若折射明顯，則會導致上下方相機拍攝到的圖像的差異過大，不利于進行缺陷面積的計算，所以需要通過試驗的方式對果杯的折射現象進行研究。

為保證試驗情況貼合實際應用場景，故以蘋果果徑尺寸范圍為參考，購買直徑分別為55、65、75、85、95、105 mm的白色樣本球。在不透過果杯與透過果杯兩種情況下分別采集圖像，對比圖像中球模型的直徑差異，計算果杯的折射情況。對每個樣本球分別在兩種情況下采集3次圖像，將3次直徑測量結果求平均值，測量結果如表2所示。

圖1 蘋果外部品質在線檢測裝置結構圖

分析表2中的數據可以發現，當樣本球的直徑較小時，整體的誤差在3%左右，隨著樣本球直徑的增大，整體的誤差呈現逐漸降低的趨勢，在樣本球直徑為105 mm時誤差為2.46%。隨著樣本球的增大折射后的光線進入相機鏡頭的路徑要更短，這也就是誤差隨直徑增大有減小趨勢的原因。現實情況中，大部分蘋果的果徑集中在65～95 mm之間，包含于此試驗的直徑范圍。所以透過果杯拍攝蘋果圖像的誤差會在3%以下。此結果證明果杯材料折射對整體測量結果的影響較小。

表2 果杯折射試驗球模型直徑數據

1.4 光源選型

由于整個設備的圖像采集模塊位于暗箱中，為保證采集圖像的亮度和清晰度滿足處理的要求，需要在暗箱中設立光源模塊。而合理選擇特定波長的光源可以增大圖像中缺陷與正常組織的對比度，對提高檢測精度有重要作用。因此，為確定正常組織與缺陷差異較大的波長范圍，購買50個蘋果樣本進行試驗。先對蘋果的固定標記點采集正常組織的光譜，采集完光譜后，取25個蘋果在標記點制造機械損傷，另外25個蘋果在標記點進行表面真菌感染。真菌感染與碰傷48 h后采集50個蘋果標記點的光譜信息，對比二者光譜差異。

圖2a中深色光譜曲線為正常蘋果組織的光譜曲線，淺色光譜曲線為缺陷蘋果組織的光譜曲線。通過圖像可以看出在500～800 nm波長之間，兩種顏色光譜存在明顯差異，波長為400～500 nm和800～1 100 nm波段時，二者光譜信息區分不明顯。為進一步確定具體的差異較大波段，分別對正常組織和表面缺陷組織的光譜信息進行平均，二者平均光譜的差值如圖2b所示，二者光譜的反射率差值500～630 nm之間差異逐漸增大，在630 nm處差值最大，在630～730 nm之間較大，且在630與730 nm處有兩個峰值，差異明顯。在730 nm之后的波段中二者平均光譜差異較小。差異較大波段630～730 nm屬于紅光波段（625～740 nm）范圍。由此證明在紅色光源的照射下缺陷組織與正常組織差異明顯，所以由此試驗確定蘋果外部品質在線檢測及分級裝置的光源為紅光光源。

1.5 蘋果全表面圖像合成算法

目前在線水果外部品質檢測中，無論是兩相機或者三相機都無法對水果的全表面圖像進行采集，只能采集到85%～90%的近似全表面，因此容易造成水果品質的誤判，無法對水果的外部品質做出準確的評定。而且在線式水果外部品質檢測中，在對采集到的外部品質進行圖像處理過程中，并不涉及圖像的合成，只是簡單對每一幅圖像進行處理，這容易導致計算機處理了大量的重復信息，大大降低計算效率。

蘋果圖像中若有過多的重復信息，對缺陷識別以及缺陷面積計算的準確率有著較大影響，且可能出現同一缺陷在多幅圖像中同時存在的情況，大大降低外部品質評測的準確性。所以提出基于4相機采集結構的全圖像合成算法，此算法以球模型為計算本體，通過將球體的全表面信息分割為4個區域，計算4個區域的分界線位置，并將其轉換到像素坐標上，完成圖像的分割。其處理流程如圖3所示。

圖3 圖像處理流程圖

首先對采集到的圖像進行灰度化、去噪聲等預處理，再利用大津法進行二值化處理，最后利用蘋果全表面圖像合成算法對4個相機采集到的圖像進行分割。

圖4 蘋果分割效果圖

圖4a展示了全表面合成算法對蘋果圖像進行分割的俯視圖，圖4b展示了全表面合成算法對蘋果圖像進行分割的主視圖，圖中的編號分別對應4個相機所采集到的圖像進行分割后在蘋果上的位置。在實物圖上的分割效果如圖4c，圖4d所示：圖4c展示了4個相機采集到的對應的原始圖像，對蘋果的全表面信息進行分割。分割后所得的4個區域如圖4d所示。

注：xoy平面為蘋果赤道平面，z軸為地軸；XOY平面為相機所在平面，Z軸為垂直于XOY平面向上的軸；θ為相機拍攝角度與赤道面夾角，(°)；l1，l2為分割邊緣線，l3為赤道線。

圖5展示了2、3、4號相機所對應的圖像表達示意圖，、、分別表示以球心為原點的相機坐標系，、、分別表示以球心為原點的相實物坐標系，通過求取二者轉換關系完成分割邊緣的求解。

=（5）

式中、、分別表示以球心為原點，將球坐標系繞軸旋轉形成的以相機與幾何中心連線為軸的坐標系；表示蘋果的像素半徑，pixel；表示上方相機與下方相機的重合視野的中間點與幾何中心的連線相對于蘋果的赤道面的夾角，(°)；表示攝像模塊的中軸線相對于蘋果的赤道面的夾角，(°)。將蘋果表面實際坐標按照轉換方式可轉換到像素坐標中。式（1）～（3）為球表面的分割線公式，通過式（4）～（6）完成到相機坐標系的轉換，舍棄變量便得到圖像坐標中的表達式，上方相機按照下方相機做大視野角的緯度信息進行分割，分割圖像為以形心為中心的圓，半徑為cos。

為驗證分割方法的準確性，設計使用直徑分別為55、65、75、85、95 mm的模型球進行分割試驗。每個球模型分別取3次圖像，利用3次圖像中像素點個數的平均值代表試驗結果。利用分割后與分割前像素點的個數與位置的對比，計算漏檢率和重復率，以這兩個參數來評價分割的精確度。其中，漏檢率表示未檢測到的像素點個數占總像素點個數的比例；重復率表示所有檢測出來的像素點個數與未漏檢的像素點個數之差占未漏檢的像素點個數的比例。結果如表3所示。取平均果徑為60、70、80和90 mm的蘋果，重復上述試驗后，得到表4數據。

表3 分割試驗結果

注：表中分割后像素點的個數取3次計算的平均值。下同。

Note: The number of pixels after segmentation in the table is the average of three calculations. The same below.

表3中的數據顯示：隨著球模型直徑的增大分割后的重復率逐漸降低，在55～95 mm的球模型試驗中，重復率由3.38%下降到0.69%，漏檢率均為0。表4中的數據顯示在60～90 mm的蘋果試驗中，重復率由5.93%下降到2.95%，漏檢率為0。無論是球試驗還是蘋果試驗中，此算法漏檢率均為0。在蘋果試驗中，重復率高于球模型的試驗結果。這是由于蘋果并不是標準球體，所以與球模型相比試驗結果相對較差。這兩個試驗證明此分割方法分割后可獲取全表面圖像，且蘋果圖像不存在漏檢區域，算法用于全表面分割可靠性高。

表4 非對稱式分割蘋果試驗結果

針對蘋果的全表面檢測，果梗花萼的檢測是一個難題。本文所提出的全表面圖像合成算法在解決果梗花萼的問題上采取的策略是：根據所檢測到的損傷的相對位置進行判斷，若在檢測中存在有兩處損傷的位置是相對的，則判斷為果梗和花萼，不計入損傷。這一部分的檢測還存在一些漏洞，如有些蘋果外形略微畸形，果梗花萼不在相對位置時，可能會出現檢測判斷失誤的情況，這也是本研究下一步推進解決的問題。

1.6 蘋果缺陷面積校正算法

當蘋果存在缺陷，利用其圖像信息對缺陷進行面積計算時，如果僅僅計算原圖像中的缺陷面積是不準確的。圖像中缺陷的真實面積與缺陷所在圖像中的位置有關，必須要考慮缺陷部分與相機之間的偏角的影響。例如若缺陷存在于圖像的邊緣位置，則在圖像中占據的像素數量會少，但并不代表其真實面積比較小。所以不考慮缺陷部分與相機之間的偏角，直接進行圖像中缺陷面積的計算，進而對蘋果進行評級，這樣的做法是不準確的。針對此問題，提出一種基于圖像處理的蘋果缺陷面積校正算法。利用球模型推導校正算法用于蘋果的缺陷校正。

該方法分兩步對缺陷面積進行校正。首先，根據缺陷的經度跨度與經度位置對缺陷面積進行經度方向的校正。其次，根據缺陷的緯度跨度與緯度位置對缺陷面積進行緯度方向的校正。首先計算缺陷所在每個像素行的圓心角，根據圓心角與該像素行切面的半徑計算得到此像素行處缺陷的實際長度。其次，由于兩個像素行之間的距離并不是0，所以需要計算每兩個像素行之間的實際距離a，以此進行緯度方向的拉伸校正[27]。

圖6a為模型球示意圖，圖6b為B-B向視圖，圖6c為A-A向視圖，圖6d為像素行間距校正模型示意圖。

l=·（8）

式中為處的樣本半徑，mm；1為1在半徑方向上的投影長度，mm；1為1與1的夾角，(°)；2為2在半徑方向上的投影長度，mm；2為2與的夾角，(°)；為位置缺陷弧長所對應的圓心角，(°)；為位置缺陷校正弧長，mm；3為某一行缺陷所在的緯度位置，3為3與2的夾角，(°)；3、4分別為3在水平半徑和豎直半徑上的投影長度，mm。通過計算不同行的弧長，可以得到整個缺陷的不同像素行的弧長。l為第行像素的拉伸長度，mm；為校正后的缺陷尺寸，mm2。

注：a1為A1在半徑方向上的投影長度，mm；a2為A2在半徑方向上的投影長度，mm；a3、a4分別為A3在水平半徑和豎直半徑上的投影長度，mm；α1為OA1與OP1的夾角，(°)；α2為OA2與OP的夾角，(°)；α3為OA3與OP2的夾角，(°)；r為A處的樣本半徑，mm；A1、A2為缺陷所在的經度位置，A3為某一行缺陷所在的緯度位置。P1，P2為赤道上的點，分別靠近缺陷的經度位置和緯度位置。Ai+1對應圖6c中點O，Aii對應A3，AiAii對應a4，ai對應OA3。

1.7 檢測分選裝置流程

裝置的檢測流程如圖7所示，當檢測裝置上的傳感器檢測到蘋果經過時，會將信號傳遞給計算機，接著，計算機給相機發送采集指令，隨后將采集到的圖像進行全表面合成及缺陷面積校正，并給出預測的計算結果。最后，根據計算結果劃分蘋果等級，再將等級信息發送至單片機，由單片機控制分級機構實現分級。

圖7 檢測分選裝置流程圖

2 結果與分析

為驗證本文針對蘋果檢測任務所設計方法的有效性。對缺陷面積校正的檢測準確度進行外部驗證。

2.1 缺陷面積檢測結果的驗證

為驗證此模型的正確性，首先利用理想的球模型代替蘋果進行試驗。通過制作缺陷張貼在球體表面的方式進行試驗。

該試驗分為以下兩個部分：1）果徑對蘋果缺陷面積校正算法的影響。2）缺陷位置對蘋果缺陷面積校正算法的影響。

試驗1：制作6個大小不同、形狀相同的“缺陷”，準備樣本球的直徑分別為60、70、80、90、100 mm的5個試驗樣本球。試驗過程如下：先將面積為18 mm2的“缺陷”分別張貼在5個樣本球的表面的相同位置（偏角為10°），采集一輪預測面積的數據，再依次將其他“缺陷”置于不同直徑的樣本球表面，采集預測面積數據，共采集30個數據。通過計算校正后的缺陷面積，驗證此算法是否適用于不同果徑的樣本。其經過校正前后對比結果如表5所示。

此試驗結果顯示，在經過校正后，除了第一組變異系數稍大，達到了9.41%，其余五組變異系數均小于6%，此外，各組標準差均有降低，這表明在經過校正以后，預測的結果與實測值更為接近，預測值更為穩定。綜合分析上述試驗，得出結論：蘋果缺陷面積校正算法適用于不同直徑的球模型，且樣本的直徑參數對此校正算法影響不大。

在實際采集蘋果圖像進行檢測的過程中，會出現缺陷位置形心與相機鏡頭不是正對著的情況。形心與相機鏡頭之間的偏角對缺陷面積的檢測也有影響。為了驗證該算法對與形心與鏡頭在不同偏角處的校正效果，設計了試驗2進行驗證。

試驗2：為驗證缺陷的位置對算法校正值的影響。制作6個等級形狀相同的“缺陷”，并將其分別張貼在80 mm樣本球的10°、20°、30°、40°、50°的偏角處，每個角度處采集一次數據。此試驗共采集30個數據，計算校正后的面積，分析缺陷的相對位置對此校正算法的影響，見表6。

表5 試驗1缺陷驗證試驗對比結果

表6 試驗2偏角驗證試驗對比結果

此試驗結果顯示，在經過校正后，6個缺陷的變異系數均小于9%，且6個缺陷的標準差對比校正前數據都有較大幅度的降低，在前5個等級的缺陷中，校正后的標準差均小于8 mm2。第6組的標準差相比前5組的結果較差，這是由于缺陷面積較大，無法貼緊樣本表面導致，但相比于校正前依然有較好的結果。綜合分析上述試驗，得出結論：蘋果缺陷面積校正算法適用于不同偏角位置的缺陷面積計算。

針對蘋果表面缺陷面積檢測做實際的試驗驗證。在線檢測裝置蘋果缺陷面積校正算法精度驗證分為2個驗證試驗：蘋果缺陷面積校正算法的擦傷、碰傷、痘斑病、表面腐敗樣本的缺陷面積校正試驗；蘋果缺陷面積校正算法的擦傷、碰傷、痘斑病、表面腐敗樣本在不同偏角位置的缺陷面積校正試驗。

從圖8的結果中可以看出，經過校正算法校正以后，4種情況下的表面缺陷面積的預測值與實測值的決定系數2均在0.97以上，均方根誤差（Root Mean Squared Error, RMSE）整體在4 mm2以下，整體的校正效果較好。在試驗過程中發現，當相機鏡頭與缺陷形心之間的夾角變大時，預測值與實測值的誤差大小也會相應地增大。為探究缺陷位于不同位置時算法校正的效果以及驗證算法的校正穩定性，針對4種不同的表面損傷情況，分別各選取6個蘋果樣本進行驗證試驗。首先，按照前文中的測定實際損傷面積的方法測定損傷的實際面積大小，接著將缺陷置于不同偏角處（10°、20°、30°、40°、50°）進行圖像采集，采集圖像時，控制缺陷的形心與相機鏡頭之間的夾角與對應的偏角角度相等。采集完圖像以后，利用圖像校正算法對圖像進行校正再計算其缺陷面積。最后，將實際測得的值與不同偏角處的預測值進行對比，結果如圖9所示。

圖8 4種缺陷校正后預測效果圖

從圖9可以看出，4種缺陷部分面積檢測的結果在經過校正以后，預測值與實測值的誤差整體在7 mm2以下。表7、8、9、10展示了試驗對比結果。以表7為例，表7展示了6個用于試驗的蘋果樣本在不同偏角處預測得到的表面擦傷面積的平均值與其實際值的對比結果，以及矯正前后檢測的缺陷面積的大小、變異系數等的對比。表8、9、10分別展示了碰傷樣本、痘斑病樣本以及表面腐敗樣本的對比試驗結果。

圖9 4種缺陷偏角試驗校正預測效果圖

表7 擦傷樣本面積校正后試驗結果

表8 碰傷樣本面積校正后試驗結果

表9 痘斑病樣本面積校正后試驗結果

表10 表面腐敗樣本面積校正后試驗結果

對比試驗前后的試驗結果可以看出，使用校正算法以后的計算結果比使用算法校正之前更接近真實值，其最大變異系數為10.15%，預測結果較穩定。

總結此次試驗結果：30個擦傷樣本預測值與真實值的2為0.978 7，RMSE為3.577 4 mm2，偏角試驗中2為0.975 8，變異系數最大值為8.51%，RMSE為3.466 3 mm2；30個碰傷樣本預測值與真實值的2為0.973 0，RMSE為3.981 9 mm2，偏角試驗中2為0.974 2，變異系數最大值為9.98%，RMSE為4.062 4 mm2；30個痘斑病樣本預測值與真實值的2為0.970 8，RMSE為3.836 6 mm2，偏角試驗中2為0.977 9，變異系數最大值為7.57%，RMSE為3.895 3 mm2；30個表面腐敗樣本預測值與真實值的2為0.981 2，RMSE為3.178 1 mm2，偏角試驗中2為0.974 8，變異系數最大值為10.15%，RMSE為6.304 4 mm2。以上試驗結果表明，該缺陷面積校正算法在不同的偏角處所計算出的預測值與實際值的相關系數較高，整體誤差和變異系數在可接受的范圍內，對于缺陷面積的計算起到了一定的校正效果。

2.2 蘋果外部品質分級試驗

2.2.1 蘋果分級標準

參考NY/T439-2001蘋果外觀等級標準[28]，結合樣本的外觀品質參數分布，提出基于缺陷面積的蘋果等級分級標準。針對表面缺陷面積的分級沒有特定的標準，在實際應用時，可以根據不同的需要，靈活調整。

2.2.2 蘋果分級結果

使用100個樣本進行評級試驗，其中特等樣本30個，一等樣本40個，二等樣本30個。試驗結果如表11所示。100個樣本的驗證試驗中，檢測速度可以達到2個/s，其中評級正確95個，評級錯誤5個，總體評級正確率為95%。由于預測值與實際值之間存在一定的誤差，使得在實際驗證時造成錯誤評級，但誤差整體偏小，處于可以接受的范圍。

表11 蘋果評級試驗結果

3 結 論

本研究基于圖像處理技術，以蘋果表面缺陷面積為檢測參數進行了無損檢測研究，并研發了用以檢測蘋果表面缺陷在線檢測及分級裝置。主要研究內容及結論如下：

1）設計研發了蘋果外部品質全表面在線檢測分選裝置。以蘋果為研究對象，提出全表面圖像合成算法，獲取蘋果全表面圖像信息；提出缺陷面積校正算法，用于解決蘋果經緯度跨度及位置對缺陷面積的預測所產生的影響，并進行動態試驗驗證，試驗結果表明，在蘋果直徑及損傷位置偏角變化的情況下，該缺陷面積算法有較好的校正效果，能夠提高對于表面缺陷面積的檢測精度。

2）利用未參與建模的樣本對研發的蘋果外部品質在線檢測裝置的缺陷面積校正算法以及分級結果進行了獨立外部驗證。檢測結果顯示，經過缺陷校正算法的校正，預測值與實測值的總體決定系數2在0.97以上，均方根誤差RMSE在4 mm2以下；在偏角試驗中，預測值與實測值的總體決定系數2在0.974 2以上，均方根誤差RMSE在6.304 4 mm2以下。在100個樣本的分級驗證試驗中，整體正確率為95%。在實際的檢測分級試驗中，檢測速度可以達到2個/s，滿足實際的檢測需求。測試結果顯示優化后裝置的各項性能均穩定可靠。

此蘋果外部缺陷全表面在線檢測分選裝置針對蘋果的缺陷面積檢測結果以及分級效果均較好。所提出的全表面缺陷面積檢測算法在檢測試驗中獲得了較好的結果，研發的裝置對于蘋果的檢測分級提供了一種理論方法和技術方案。

[1] 張彪. 中國蘋果產業近7年產量、加工和貿易狀況分析[J]. 中國果樹，2018(4)：106-108.

Zhang Biao Analysis on the output, processing and trade of China’s apple industry in recent seven years[J]. China Fruits, 2018(4): 106-108. (in Chinese with English abstract)

[2] 趙德英，袁繼存，徐鍇，等. 近10年來國內外蘋果產銷分析[J]. 中國果樹，2016(3)：87-93.

Zhao Deying, Yuan Jicun, Xu Kai, et al. Apple production and sales analysis at home and abroad in the past 10 years[J]. China Fruits, 2016(3): 87-93. (in Chinese with English abstract)

[3] 龐桂娟，張復宏，宋曉麗. 我國蘋果產業轉型升級路徑與對策[J]. 合作經濟與科技，2018，598(23)：24-27.

Pang Guijuan, Zhang Fuhong, Song Xiaoli. Path and countermeasures for transformation and upgrading of China's apple industry[J]. Cooperative Economy and Science and Technology, 2018, 598(23): 24-27. (in Chinese with English abstract)

[4] Fan S, Liang X, Huang W, et al. Real-time defects detection for apple sorting using NIR cameras with pruning-based YOLOV4 network[J]. Computers and Electronics in Agriculture, 2022, 193: 106715.

[5] Xin Y, Ma S, Wei Y, et al. Detection of apple surface defect based on YOLOv3[Z]. 2021 ASABE Annual International Virtual Meeting. St. Joseph, MI; ASABE. 2021: 1.

[6] Wang Z, Jin L, Wang S, et al. Apple stem/calyx real-time recognition using YOLO-v5 algorithm for fruit automatic loading system[J]. Postharvest Biology and Technology, 2022, 185: 111808.

[7] Fan S, Li J, Zhang Y, et al. Online detection of defective apples using computer vision system combined with deep learning methods[J]. Journal of Food Engineering, 2020, 286: 110102.

[8] Zhao M, Peng Y, Li L. A robot system for the autodetection and classification of apple internal quality attributes[J]. Postharvest Biology and Technology, 2021, 180: 111615.

[9] 彭彥昆，孫晨，趙苗. 蘋果品質動態無損感知及分級機器手系統[J]. 農業工程學報，2022，38(16)：293-303.

Peng Yankun, Sun Chen, Zhao Miao. Dynamic nondestructive sensing and grading manipulator system for apple quality[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 293-303. (in Chinese with English abstract)

[10] 邵志明，王懷彬，董志城，等. 基于近紅外相機成像和閾值分割的蘋果早期損傷檢測[J]. 農業機械學報，2021，52(S1)：134-139.

Shao Zhiming, Wang Huaibin, Dong Zhicheng, et al. Early bruises detection method of apple surface based on near infrared camera imaging technology and image threshold segmentation method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(S1): 134-139. (in Chinese with English abstract)

[11] 陳艷軍，張俊雄，李偉，等. 基于機器視覺的蘋果最大橫切面直徑分級方法[J]. 農業工程學報，2012，28(2)：284-288.

Chen Yanjun, Zhang Junxiong, Li Wei, et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(2): 284-288. (in Chinese with English abstract)

[12] 樊澤澤，柳倩，柴潔瑋，等.基于顏色與果徑特征的蘋果樹果實檢測與分級[J].計算機工程與科學，2020，42(9)：1599-1607.

Fan Zeze, Liu Qian, Chai jiewei ,et al. Apple detection and grading based on color and fruit-diameter.[J]. Computer Engineering and Science, 2020, 42(9): 1599-1607. (in Chinese with English abstract)

[13] 張彥斐，劉茗洋，宮金良，等. 基于兩級分割與區域標記梯度Hough圓變換的蘋果識別[J]. 農業工程學報，2022，38(19)：110-121.

Zhang Yanfei, Liu Mingyang, Gong Jinliang, et al. Apple recognition based on two-level segmentation and region-marked gradient Hough circle transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 110-121. (in Chinese with English abstract)

[14] 田有文，吳偉，盧時鉛，等. 深度學習在水果品質檢測與分級分類中的應用[J]. 食品科學，2021，42(19)：260-270.

Tian Youwen, Wu Wei, Lu Shiqian, et al.Application of deep learning in fruit quality detection and grading[J]. Food Science, 2021, 42(19): 260-270. (in Chinese with English abstract)

[15] 李學軍，程紅. 基于決策融合的蘋果分級檢測關鍵技術研究[J]. 食品與機械，2020，36(12)：136-140.

Li Xuejun, Cheng Hong. Study on key technologies for apple grading detection based on decision fusion method[J]. Food & Machinery, 2020, 36(12): 136-140. (in Chinese with English abstract)

[16] 周勝安，黃耿生，張譯勻，等.基于深度學習的水果缺陷實時檢測方法[J]. 食品與機械，2021，37(11)：123-129.

Zhou Sheng’an, Huang Gengsheng, Zhang Yijun, et al. Real time detection method of fruit defects based on deep learning[J]. Food & Machinery, 2021, 37(11): 123-129. (in Chinese with English abstract)

[17] 李龍，彭彥昆，李永玉，等.基于紋理和梯度特征的蘋果傷痕與果梗/花萼在線識別[J]. 農業機械學報，2018，49(11)：328-335.

Li Long, Peng Yankun, Li Yongyu, et al. Online identification of apple scarring and stems/calyxes based on texture and edge gradient features[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(11): 328-335. (in Chinese with English abstract)

[18] Pande A, Munot M, Sreeemathy R, et al. An efficient approach to fruit classification and grading using deep convolutional neural network[C]//2019 IEEE 5th International Conference for Convergence in Technology (I2CT). IEEE, 2019: 1-7.

[19] 黃辰，費繼友. 基于圖像特征融合的蘋果在線分級方法[J].農業工程學報，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[20] 談英，顧寶興，姬長英，等. 基于顏色和重量特征的蘋果在線分級系統設計[J]. 計算機工程與應用，2016，52(2)：219-222.

Tan Ying, Gu Baoxing, Ji Changying, et al. Design of on-line apple grading system based on color and weight[J]. Computer Engineering and Applications, 2016, 52(2): 219-222. (in Chinese with English abstract)

[21] Zhang Q, Gu B, Ji C, et al. Design and experiment of an online grading system for apple[J]. Journal of South China Agricultural University, 2017, 38(4): 117-124.

[22] 李龍，彭彥昆，李永玉. 蘋果內外品質在線無損檢測分級系統設計與試驗[J]. 農業工程學報，2018，34(9)：267-275.

Li Long, Peng Yankun, Li Yongyu. Design and experiment on grading system for online non-destructive detection of internal and external quality of apple[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(9): 267-275. (in Chinese with English abstract)

[23] Yang Y, Velastin S A, Fei Y. Automatic grading of apples based on multi-features and weighted K-means clustering algorithm[J]. Information Processing in Agriculture, 2020, 7(4): 556-565.

[24] 孫豐剛，王云露，蘭鵬，等. 基于改進YOLOv5s和遷移學習的蘋果果實病害識別方法[J]. 農業工程學報，2022，38(11)：171-179.

Sun Fenggang, Wang Yunlu, Lan Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[25] Zhang C, Zhao C, Huang W, et al. Automatic detection of defective apples using NIR coded structured light and fast lightness correction[J]. Journal of Food Engineering, 2017, 203: 69-82.

[26] Chopra H, Singh H, Bamrah M S, et al. Efficient fruit grading system using spectrophotometry and machine learning approaches[J]. IEEE Sensors Journal, 2021, 21(14): 16162-16169.

[27] Liu L, Peng Y, Li L. Accurate conversion method of surface bruise size in on-line detection of spherical fruit[C]//2021 ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, USA, 2021.

[28] 中華人民共和國農業部. 蘋果外觀等級標準：NY/T 439-2001[S]. 北京：中國標準出版社，2001.

Development of full-surface online detection and sorting device for external defects of apples

Peng Yankun, Sun Chen, Liu Le, Li Yang

(1.,,100083,; 2.-,100083,)

Testing equipment is still lacking on the fruits post-production, particularly in a major fruit consuming of China. The current online device cannot fully meet to collect the full surface image information of spherical fruits, leading fail to accurately calculate the defect area. This study aims to rapidly and accurately detect the surface defect area of spherical fruits. The full surface image synthesis and defect area correction were proposed using the ideal ball model. A series of online detection and grading device were designed for the external quality of spherical fruits. This device was also different from the traditional full-surface detection device. Specifically, four cameras were used to collect images at the same time to obtain the full surface images of spherical fruits. The collected images were used to synthesize and correct, in order to obtain more accurate values of the surface defect area. Taking the apple as an example, an online detection device was designed to explore the best excitation light source required for the apple image acquisition. The refraction effect was then evaluated to clarify the influence on the fruit cup material. Then, the ball model was established to accurately calculate the surface defect area of apples using the apple full surface image synthesis and the defect area correction. A series of experiments were carried out to verify after segmentation and synthesis of the apple surface image, indicating no missing rate in the overall images. A defect area correction was proposed to calculate the real area of apple defects at any position in the image. 120 samples were selected for verification, including 30 scratch samples, 30 bruise samples, 30 spot samples, and 30 surface corruption samples, respectively. The determination coefficient (2) was 0.978 7 between the predicted and the real value of the scratch sample defect area, where the Root Mean Squared Error (RMSE) was 3.577 4 mm2,2was 0.975 8 in the deflection angle experiment , and the RMSE was 3.466 3 mm2. The2was 0.973 0 between the predicted and the real value for the defect area of the impact sample, where the RMSE was 3.981 9 mm2, the2was 0.974 2 in the deflection angle experiment, and the RMSE was 4.062 4 mm2. The2was 0.970 8 between the predicted and real value for the defect area of the speckled spot sample, where the RMSE was 3.836 6 mm2, and the2was 0.977 9 in the deflection angle experiment, the RMSE was 3.895 3 mm2. In the surface corruption sample defect area, the2was 0.981 2 between the predicted and real values, the RMSE was 3.178 1 mm2, whereas, the2was 0.974 8 in the deflection angle experiment, and the RMSE was 6.304 4 mm2. The detection speed of the device was 2 apples/s, the rating accuracy was 95%, indicating a higher detection and apple rating accuracy than before. The relatively stable running was realized for the detection and grading evaluation of external defects of apples. The finding can provide technical support for the external quality detection of spherical fruits.

machine vision; agricultural products; nondestructive testing; apple external quality; online device

10.11975/j.issn.1002-6819.2022.23.028

S237

A

1002-6819(2022)-23-0266-10

彭彥昆，孫晨，劉樂，等. 蘋果外部缺陷全表面在線檢測分選裝置研發[J]. 農業工程學報，2022，38(23)：266-275.doi：10.11975/j.issn.1002-6819.2022.23.028 http://www.tcsae.org

Peng Yankun, Sun Chen, Liu Le, et al. Development of full-surface online detection and sorting device for external defects of apples[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 266-275. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.23.028 http://www.tcsae.org

2022-07-26

2022-10-27

國家重點研發計劃項目（2021YFD1600101-06）

彭彥昆，教授，博士生導師，研究方向為農畜產品無損檢測技術與裝備。Email：ypeng@cau.edu.cn