基于機器視覺的黃瓜等級自動判別研究

付 彤， 雷金輝

(昆明理工大學信息工程與自動化學院，云南昆明 650500)

?

基于機器視覺的黃瓜等級自動判別研究

付 彤， 雷金輝*

(昆明理工大學信息工程與自動化學院，云南昆明 650500)

通過機器視覺研究黃瓜的形態特性，建立黃瓜量化分級評判標準，并總結出提取黃瓜特征值的理論算法。用Matalb軟件實時采集讀取CCD攝像機視頻圖像，再利用Matlab圖像處理功能對采集到的圖像進行圖像濾波、圖像分割處理，提取基于數學理論的表征黃瓜等級的特征值，建立人工神經網絡的等級判別模型，訓練神經網絡，并進行泛化檢測。結果表明，該等級判別模型的精度高達91.7%，具有一定的市場價值。

特征值；CCD攝像機；圖像分割；人工神經網絡

黃瓜的篩選是產后處理的一個重要環節[1]。目前，我國尚未形成工業化的農作物產后處理體系。相較人工篩選，工業化的智能篩選具有客觀、高效率、不造成機械損傷、自動分級揀選等優點[2]。因此，研究對黃瓜等級進行自動判別具有極大的現實意義和社會經濟價值。從國內外的研究現狀來看，主要采用圖像處理技術及機器視覺等方法。如Ariana等[3]采用高光譜圖像檢測了黃瓜收獲中的機械損傷，發現950～1 350 nm波段最適合黃瓜的機械損傷檢測；王紅永等[4]提出了對黃瓜等級判定的理論分析。

從國內外的研究現狀來看，目前對于黃瓜的自動化分類仍處于理論研究階段，主要依賴于黃瓜的長度、寬度、彎曲度來劃分其優劣[5-6]。筆者在現有的基礎上，綜合機器視覺、神經網絡等方法，以黃瓜的6個一般特征值及一個加權特征值為分類依據，實現對黃瓜的自動化分類，并通過試驗驗證了該方法的可用性和準確性。

1　總體研究方案

該研究主要分3個步驟進行，研究方案流程見圖1。

(1)圖像理論分析階段。基于圖像處理技術，對黃瓜進行圖像采集、圖像分割等處理，得到試驗所需要的黃瓜圖像。

(2) 特征模型建立階段。對黃瓜6個基礎特征值及一個加權特征值進行提取，再通過BP神經網絡的訓練，進行黃瓜特征模型的分級。

(3)試驗結果驗證階段。將BP神經網絡的輸出節點得到的結果與人工篩選黃瓜的結果進行對比，對試驗結果進行驗證和分析。

圖1　基于機器視覺的黃瓜等級自動判別研究方案流程Fig. 1　Research plan process of automatic identification of cucumber level based on machine vision

2　圖像理論分析

2.1圖像采集 黃瓜的自動分級處理研究的核心是基于機器視覺的計算機圖像處理技術[7]。圖像采集則是整個研究試驗的基石工程，圖像本身的質量與特點將會影響圖像處理過程的難易程度和處理數據的真實性。試驗中，模擬工業自動化中物品傳送帶傳輸模式，實時記錄移動過程中的黃瓜視頻，選取特定位置處的一幀黃瓜圖像作為后續處理的源圖像。最大限度模擬實際生產中圖像采集過程，以保證圖像信息的真實性和實用性。

圖像處理時需要通過圖像閾值對采集到的圖像進行圖像分割[8]，所以在拍攝中要選擇的合適的照明裝置，避免光源的強度和光色使圖像產生高光點或者區域性失真，適宜選用光色偏暖的白色光源，試驗選用4 W的白色熒光燈。在布置光源時，在拍攝箱內部的4個頂角處各安裝一個白色熒光燈，來避免在背景上留下黃瓜的影子。CCD攝像頭則安裝在采集箱的頂部，高度可以上下調節，保證拍攝到的黃瓜圖像沒有暗點及高光點的效果。

對黃瓜RGB圖像3個通道的數據分析結果見圖2。由圖2可知，一般黃瓜圖像的R、G、B這3個通道的像素值均在170以下。黃瓜圖像的綠色像素值最大，為獲得目標區域與背景顏色差異較大的原圖像，背景色宜選擇紅色(紅色為綠色的補色)，實物標定標尺選用藍色。圖像各區域顏色差異較大，為圖像分割處理降低難度，分割出來的圖像效果也很好。

圖2　黃瓜RGB圖像的3個通道數據分析結果Fig. 2　Analysis results of the three passages data of cucumber RGB image

2.2圖像分割拍攝到的圖像可以分為3部分：黃瓜圖像、標尺圖像和背景圖像[9]。黃瓜圖像是提取圖像特征參數的主體部分，標尺是用來檢測判定黃瓜實際長度基準線，所以要將這2部分從原圖像中分割出來，以用于后續的圖像特征參數提取。

采集到的圖像中黃瓜區域以綠色為主，背景區域為紅色，標定物則是選擇藍色。分析RGB彩色圖的G通道直方圖可知，像素值高的部分對應圖中黃瓜區域，背景與標定物區域則像素較低；同樣，RGB彩色圖的R通道中像素高的部分對應圖中背景區域，低像素部分則為黃瓜與標定物區域。根據圖像中具有的這種特殊性，該研究以雙峰法為基礎對黃瓜RGB彩色圖的R、B單色通道進行圖像分割，其優點在于方法簡單，效果明顯。再通過旋轉算法，得到標準的二值黃瓜圖形。具體步驟如下。

(1)圖像分割。通過雙峰法，將黃瓜圖像和標尺圖像從整體圖像中分割出來[10]，結果見圖3。

圖3　基于雙峰法的黃瓜圖像和標尺圖像分割效果Fig. 3　Segmentation effects of cucumber image and scale image based on two-peak method

(2)圖像旋轉。圖像采集時，黃瓜位置是隨機的，而且黃瓜本身就存在不同程度的彎曲[11]。基于此種情況，在提取黃瓜特征參數之前，需要在不影響黃瓜形態特征的前提下，移動旋轉黃瓜目標區域，方便后續特征參數提取。作黃瓜區域對應圖形的最小外接矩形，計算出二值圖像外接矩形的長寬，根據預定設計求出較長邊與圖像坐標軸的角度，該角度即是圖像旋轉角度。矩形的邊長可以根據兩點間的直線距離公式求得：

(1)

矩形4個角的坐標保存在rectx、recty中。設計中要保證矩形的長邊與圖像的縱坐標平行，故要求取長邊所在直線的斜率，斜率公式為：

k=(y1-y2)/(x2-x1)

(2)

然后進行反三角運算，公式為：

α=arctan(k)

(3)

以此將任意的黃瓜圖像旋轉至標準圖像(圖4)。

圖4　旋轉后的黃瓜二值圖像Fig. 4　Binary image of cucumber after rotation

3　黃瓜特征模型的建立

3.1黃瓜模型特征值的提取黃瓜屬于長型瓜果，其特征描述較為復雜，由實際長度、寬度、彎曲度、均勻度組成，其中均勻度和彎曲度是其極為關鍵的判別標準[12-14]。計算機無法直接對其圖像進行判別和分類，必須從圖像中抽離參數，建立黃瓜輪廓特征模型。黃瓜特征參數提取的操作步驟如下。

(1)如圖5，黃瓜徑向長度為H，分別求取徑向長度為0.2H、0.3H、0.5H、0.7H、0.8H處的5個點，并求取這些點對應的黃瓜的橫向寬度值，分別為W1、W2、W、W3、W4。由圖5可知，0.5H為黃瓜的徑向長度中間點，可以設定該點對應的黃瓜寬度W作為黃瓜自身寬度均勻性判別的參考值，通過與其他點寬度求取比值確定整個黃瓜粗細均勻度的特征參數。

圖5　黃瓜橫向寬度示意Fig. 5　Schematic diagram of horizontal width of cucumber

對二值圖像對應的數組進行數學運算，找出特定行的最大和最小列值，并求取差值，該差值即為該點對應的黃瓜寬度，類推求取多點處的寬度后再進行比值運算得到：

F1=W1/W;F2=W2/W;F3=W3/W;F4=W4/W

(4)

根據公式(4)計算得到反映黃瓜整個寬度均勻性的特征參數。

(2)提取出黃瓜二值圖像中位于兩邊邊緣中心處的所有點，這些點描繪出的圖形即可反映出黃瓜彎曲度[15]。如圖6，分別在0、0.25H、0.50H、0.75H、1.00H處取點為A、B、C、D、E。求取AB、BC、CD、DE、AE5段幾何距離，通過這幾段幾何距離的比值就可得到黃瓜彎曲特征值參數。通過數學運算處理能分別求出L1、L2、L3、L4、L，而設定黃瓜的彎曲特征參數為：

F5=L/(L1+L2+L3+L4)

(5)

黃瓜的粗細特征參數為：

F6=W3/(L1+L2+L3+L4)

(6)

根據公式(5)、(6)可以得到判定黃瓜等級的特征值。

圖6　黃瓜彎曲特性測取示意Fig. 6　Schematic diagram of bending properties of cucumber

3.2BP神經網絡分級模型的建立該研究屬于分類問題，使用BP算法的神經網絡處理這類問題非常方便，鑒于此，研究中使用了BP神經網絡訓練分級模型，BP神經網絡分級示意見圖7。

該研究選擇2層的BP網絡，為了減少網絡規模，增加了一個隱藏層。其輸入節點數為特征參數數量所決定，即為6個，所以輸入端為一個6N的向量，N為訓練時樣本圖像數量。經過試驗，隱藏層節點數為10個時，系統的分層效果較好，輸出層的節點為2個(用于表示3種等級狀態)，如圖8所示。對應將黃瓜劃分的3個等級(優等品、一等品、二等品)，用二維數組[0;1]、[1;0]、[1;1]分別表示它們的神經網絡輸出口。

圖7　神經網絡分級示意Fig. 7　Schematic diagram of neural network classification

圖8　黃瓜分級神經網絡結構Fig. 8　Structure of neural network of cucumber classification

基于BP網絡分類的神經網絡訓練的標準是參考《中華人民共和國農業行業標準》(NY/T 1587-2008)黃瓜等級規格而分級定位的，見表1。

神經網絡是由人工挑選出的30根，并均分為優等品、一等品、二等品三類的樣本黃瓜特征參數所訓練而成的。在神經網絡的基礎上，為了保證試驗結果的精確性，必須加入黃瓜實際長度這個特征參數。因此，運用加權算法原理，得到最終的判定標準。

表1　黃瓜等級分類標準

4　試驗結果驗證

神經網絡以及整個設計系統的性能需要通過實際應用來評定。重新選擇12根黃瓜，用作系統測試的樣本。這12根黃瓜中經過人工的分類情況為：優等品3根，一等品3根，二等品6根。12根待分級黃瓜特征數據見表2。

表3是系統自動分級和人工分級結果的比較。由表3可知，人工分級的一等品第3根黃瓜由于比較均勻，彎曲度小，被計算機認為是優等品；其他判定結果都一致。總體來看，根據果實均勻性的特征參數、果實的彎曲特征參數、果實的粗細特征參數和果實的實際長度7個特征參數能完成對黃瓜的等級判別，其分級精度平均可達91.7%。產生誤差的主要原因在于神經網絡的訓練樣本不足。

表2　帶分級黃瓜的特征數據

注：L5為黃瓜實際長度。

Note:L5was the actual length of cucumber.

5　結論

該研究綜合應用了圖像處理知識、神經網絡理論，通過圖像分割、圖像特征參數提取，建立了模型識別的BP神經網絡系統，并進行了驗證，得到了以下結論。

(1)基于黃瓜的外形特征參數，用BP神經網絡系統來進行模型識別，是可行的，其結果與人工分類相比，準確率高達91.7%。增加系統模型訓練的輸入樣本參數，其準確率將會進一步提高。

(2)實際操作中要保證圖像采集時光照均勻、色溫適中，使圖像能最大程度地反映黃瓜真實顏色，提高判別結果的準確度。

表3自動分級結果與人工分級結果比較

Table 3Comparison between automatic classification result and artificial classification result

序號Code判定輸出值Outputvalueofident-ification自動判定分級結果Classificationres-ultsofautomaticidentification人工判定分級結果Classificationres-ultsofmanualidentification11優等品優等品21優等品優等品31優等品優等品42一等品一等品52一等品一等品61優等品一等品73二等品二等品83二等品二等品93二等品二等品103二等品二等品113二等品二等品123二等品二等品

[1] 張宏軍，于建新.溫室黃瓜早衰與再生根的培養[J].當代蔬菜,2006(12)：34.

[2] 應以斌, 饒秀勤, 趙勻,等. 機器視覺技術在農產品品質自動識別中的應用[J]. 農業工程學報, 2000, 16(1):103-108.

[3] ARIANA D,LU R．Detection of mechanical injury on pickling cucumbers using near-infrared hyper spectral imaging [J].Computer and electronics in agriculture, 2006, 53:60-70.

[4] 王紅永,曹其新,劉文秀,等.基于神經網絡的黃瓜等級判別[J].農業機械學報，1999,30(6)：83-88.

[5] 袁挺,張俊雄,李偉,等.基于機器視覺的非結構環境下黃瓜目標特征識別[J].農業機械學報，2009(8)：170-174.

[6] 馮青春,袁挺,紀超,等.黃瓜采摘機械臂結構優化與運動分析[J].農業機械學報,2010(S1):244-248.

[7] 方如明．計算機圖像處理與米的品質檢測[J]．農業工程學報，1992，8(3):2299-2308.

[8] 李崢嶸,劉曉平,李自元,等.圖像分割多閾值法研究[J].CT理論與應用研究，2006(4)：13-17.

[9] 張鵬,秦志偉,王麗莉,等.黃瓜果實彎曲性遺傳分析[J].東北農業大學學報，2010(1)：29-33.

[10] 許曉麗,盧志茂,張格森,等.改進近鄰傳播聚類的彩色圖像分割[J].計算機輔助設計與圖形學學報,2012,24(4):514-519.

[11] 趙靜,何東健.果實形狀的計算機識別方法研究[J].農業工程學報,2001,3(2):165-167.

[12] 張書慧,陳曉光,張曉敏，等.蘋果、桃等農副產品品質檢測與分級圖像處理系統的研究[J]．農業工程學報，1999，15(1)：201-204.

[13] 黃星奕,吳守一,方如明，等．計算機視覺技術在大米胚芽識別中的應用[J].農業機械學報，2000，31(1)：62-65.

[14] 應義斌,景寒松，馬俊福.利用計算機視覺進行黃花梨果梗識別的新方法[J].農業工程學報，1998，14(2)：221-225.

[15] 王賀,白廷柱.基于直覺模糊集的紅外圖像偽裝評價研究[J].紅外技術，2012(3):181-184.

Automatic Identification of Cucumber Level Based on Machine Vision

FU Tong, LEI Jin-hui*

(College of Information Engineering and Automation, Kunming University of Science and Technology, Kunming, Yunnan 650500)

Based on machine vision, morphological characteristics of cucumber were researched. Cucumber quantitative classification criteria were established. Theoretical algorithm of cucumber extraction eigenvalue was summarized. Matalb software was used to collect and read CCD camera video image. Image filtering and image segmentation of collected images was carried out by Matalb image processing function. Eigenvalue characterized the cucumber level was extracted based on mathematical theory. Level discriminant model of artificial neural network was established. The neural network training and testing were carried out. Results showed that the precision degree reached 91.7% and the model was of certain market value.

Eigenvalues; CCD camera; Image segmentation; Artificial Neural Networks

付彤(1992- )，男，四川達州人，碩士研究生，研究方向：農業信息化與自動化。*通訊作者，教授，碩士生導師，從事信息工程與自動化研究。

2016-04-30

S 5-39

A

0517-6611(2016)16-256-05