基于計算機視覺的檳榔分級研究

許月明蔡健榮龔瑩輝

(1. 蕪湖職業技術學院生物工程學院，安徽 蕪湖　241003；2. 安徽師范大學環境科學與工程學院，安徽 蕪湖　241002；3. 江蘇大學食品與生物工程學院，江蘇 鎮江　212013)

?

基于計算機視覺的檳榔分級研究

許月明1，2蔡健榮3龔瑩輝3

(1. 蕪湖職業技術學院生物工程學院，安徽 蕪湖241003；2. 安徽師范大學環境科學與工程學院，安徽 蕪湖241002；3. 江蘇大學食品與生物工程學院，江蘇 鎮江212013)

檳榔品種的分級技術目前比較落后，主要靠人工完成分級，因而品種分級的質量難以得到保證。該試驗用計算機視覺技術進行品種分級，通過圖像獲取、預處理等提取其顏色特征、形狀特征和紋理特征，通過試驗分析，發現由顏色和形狀特征參數結合起來即可以獲得較好的效果。并對其進行主成分分析后代入支持向量機進行分級，預測集的正確識別率達到90.38%以上。

檳榔；計算機視覺；支持向量機；分級

檳榔[1](Betel Nut)屬棕櫚科多年生常綠喬木，果實長圓形或卵球形，質地堅硬，系熱帶珍貴藥用植物，其與砂仁、益智仁、巴戟天并稱四大南藥。檳榔根據其顏色、形態、紋理等外觀屬性分為4個等級，不同等級間的品質和價格差異較大。目前檳榔的分級主要依靠人工完成，而人工分級易受工作人員當時生理和心理因素影響，很難做到客觀、穩定，計算機視覺技術對檳榔進行分級是解決這一問題的有效辦法。

檳榔分級主要包括檳榔鮮果分級和檳榔干果分級兩類。目前國內外利用計算機視覺技術研究檳榔分級的報道較少，其中干果的研究報道，僅檢索到Liu Tong等[2]研究了基于計算機視覺對檳榔的分級，主要采用形狀特征構建識別函數，通過閾值法提取區域特征向量，該方法僅僅反應檳榔外形特征，對于發生病變的檳榔容易發生誤判，影響整體識別準確率。本研究在文獻[2]的基礎上進行改進，通過提取檳榔的顏色特征、形狀特征和紋理特征，綜合分析3種特征參數，結合主成分分析和支持向量機的方法實現檳榔自動分級，以彌補該研究的缺陷。

1　試驗材料

試驗所用的檳榔樣本均由湖南胖哥食品有限責任公司提供，2015年2月生產，產地湖南湘潭。檳榔的級別已由廠家專業人員通過評定來確定等級，分別為極品、金條、泡果、小果，按照品種級別依次分為4個級別。其中：1級果(極品)的特征是有究頭，如圖2所示，有很深的紋路包括縱向紋和橫向紋，長度一般在55 mm以上；2級果(金條)的特征是表面紋路較深且比例較均勻，長度在50 mm以上；3級果(泡果)的特征是其肚子的直徑比較大，一般大于25 mm且表面紋路相對較淺、較光滑，長度與2級果類似；4級果(小果)的特征是其長度小于50 mm。

2　圖像處理

檳榔圖像處理流程見圖1。

2.1圖像獲取

通過預試驗發現，用黃色的滾輪和用白紙板做背景時效果最佳。試驗過程中，為了消除光線強度等外界試驗條件對圖像采集的影響，采用了直射加漫反射的光源系統。分別將單個檳榔樣本置于光源箱中的樣品臺上，用工業黑相機進行圖像采集。對每個檳榔樣本分別采集圖像5次，采集后的圖像信息以RGB形式存放備用。

2.2圖像預處理

首先將獲得的原始圖像分解為R、G、B 3個單通道圖像，比較各分量灰度直方圖分布，發現G通道圖像的直方圖峰谷比較明顯，因此選用 G 值作為閾值分割的特征值，在簡化運算的同時，又可以較好地提取出檳榔圖像[3]。由于果梗對檳榔的分級也有一定影響，所以要將檳榔的果梗去除。利用數學形態學的方法可以提取出檳榔的果梗[4]，即用圖像開運算和閉運算等對其進行操作，再將閾值分割后的圖像減去果梗圖像，即得到去除果梗后的圖像(見圖2)。再經過一些操作，即可以獲得最終用于提取各特征參數的檳榔圖像，即感興趣區域(ROI)。

2.3特征提取

基于計算機視覺獲取檳榔的外部特征主要包括顏色特征、形狀特征及紋理特征3個方面[5]。

圖2　檳榔預處理前后圖像

2.3.1顏色特征提取在檳榔分級時，檳榔的顏色是一個重要特征。檳榔的顏色一般以棕褐色為主，有的偏深，有的偏淺，不同等級的檳榔顏色也有所差別。鑒于一種顏色系統很難將不同品種的檳榔區分開來，因此結合RGB顏色模型和HSI顏色模型來提取檳榔的顏色特征[6]。RGB模型沒有直觀地與顏色概念建立起聯系。因此，首先將 RGB 模型轉換為HSI(hue-saturation-intensity)顏色模型，HSI模型的特點是I分量與圖像的彩色信息無關及H和S分量與人體感受顏色的方式緊密相連，這比較符合人類對顏色的理解[7]。

從預處理后的檳榔圖像區域中分別提取出紅色、綠色、藍色及色調、飽和度、強度的平均灰度值(μR、μG、μB、μH、μS、μI)和平均灰度偏差值(δR、δG、δB、δH、δS、δI)，共12個顏色特征參數。

2.3.2外形特征提取根據檳榔的圖像特點，求出其最小外接矩形，然后分別計算出檳榔的面積、長度、寬度、周長，再通過特征參數的組合，最后得到檳榔的面積、長度、寬度、周長、長寬比、檳榔面積與最小外接矩形面積的比值、凸性、圓度，共8個形狀特征參數。

2.3.3紋理特征提取紋理也是檳榔分級的重要指標之一。不同等級的檳榔表面紋理不同，有的紋理粗，有的紋理細，存在一定的規律性，是一種準規則紋理，因而采用統計分析方法里的灰度共生矩陣法來提取特征參數。由于檳榔的主要紋理是0°方向的，因而選取90°方向的灰度共生矩陣。在提取紋理特征參數時取檳榔的中間一段以減少檳榔頭尾紋理對其的影響。最終提取了90°方向的能量、相關性、均勻性、對比度值及圖像的平均灰度值、平均灰度偏差值和熵值，共7個紋理特征參數。

3　檳榔分級

本試驗采用支持向量機(Support Vector Machine，SVM)模式識別方法來建立模型。SVM是20世紀90年代形成的一種新的模式識別方法，它將向量映射到一個更高維的空間里，在這個空間里建立有一個最大間隔超平面[9]。SVM算法目前廣泛應用于圖形分類、圖像識別、生物信息采集等領域。本試驗數據由HALCON 9.0軟件通過編程導出，其中對特征參數數據的主成分分析是基于SPSS軟件。

3.1SVM核函數類型及其參量的確定

SVM建立模型時核函數的選擇非常重要，目前核函數類型較多，不同種類的核函數對其建立的模型性能影響顯著。試驗中選擇徑向基函數得到的擬合效果較好，因為徑向基函數可以將非線性樣本數據映射到高維特征空間，處理具有非線性關系的樣本數據[10]，另外徑向基函數取值(0K>1)簡單。本試驗選擇徑向基核函數的核參數gamma為0.02和Nu為0.05的條件下建立的模型。

3.2主成分數的確定

由于所獲得到的數據之間存在一定的相關性，因而選取合適的主成分數對模型的建立有著重要的影響。一般情況下，如果選取的主成分數偏少，有可能出現信息損失過多，將大大降低模型識別率；同等條件下，如果選取的主成分數偏多，又會引入過多的冗余信息，這些冗余信息的介入會降低模型的預測性能，造成模型的魯棒性降低，同時使數據處理的時間加長[11]。因此，通過主成分分析選擇合理的主成分是有效提升檳榔預測識別率的重要手段之一。

3.3識別結果

本試驗共拍了4類檳榔，第一類共拍了93幅圖像，第二類共拍了210幅圖像，第三類共拍了186幅圖像，第四類共拍了239幅圖像，總共728幅圖像。現將訓練集與預測集按3∶1的比例進行訓練預測，并分別測試訓練集和預測集中各類檳榔的識別率，用以權衡SVM模型性能指標參數。

3.3.1單一類特征的識別率首先將提取出的顏色特征、形狀特征及紋理特征參數分別單獨代入支持向量機，以其全部特征參數進行判斷識別，比較各個特征對分類的影響，其預測集和訓練集的判斷結果見圖3～5。

由圖3～5可知，顏色特征和形狀特征對檳榔分級的影響較大，紋理特征對其影響較小，但當它們各自單獨作用時不管是預測集，還是訓練集的分類的效果都不是很好。因而考慮將各個特征結合來，比較各自的識別率。

圖3　　　　在顏色特征參數下各等級檳榔在預測集和訓練集中的識別率

Figure 3The recognition rate of Betel Nut of each grade in prediction set and training set which use color feature parameters

圖4　　　　在形狀特征參數下各等級檳榔在預測集和訓練集中的識別率

Figure 4The recognition rate of Betel Nut of each grade in prediction set and training set which use shape feature parameters

圖5　　　　在紋理特征參數下各等級檳榔在預測集和訓練集中的識別率

Figure 5The recognition rate of Betel Nut of each grade in prediction set and training set which use texture feature parameters

3.3.2各特征組合后的識別率將各個特征參數進行組合，即顏色特征與形狀特征結合，顏色特征與紋理特征結合、形狀特征與紋理特征結合，比較各全特征參數下各個組合預測集和訓練集的識別率，結果見圖6～8。

由圖6～8可知，圖6的預測集和訓練集的識別率都達到了比較好的效果，相比之下，圖7、8顯示的檳榔識別率就略低一點。

結合顏色特征、形狀特征與紋理特征，在各全特征參數下，預測集和訓練集的識別率結果見圖9。

由圖9可知，結合顏色特征、形狀特征與紋理特征，其預測集和訓練集的識別率都達到了比較好的效果。但與圖6比較，它們之間的差別卻不明顯。

圖6　　　　在顏色和形狀特征參數下各等級檳榔在預測集和訓練集中的識別率

Figure 6The recognition rate of Betel Nut of each grade in prediction set and training set which use color and shape feature parameters

圖7　　　　在顏色和紋理特征參數下各等級檳榔在預測集和訓練集中的識別率

Figure 7The recognition rate of Betel Nut of each grade in prediction set and training set which use color and texture feature parameters

圖8　　　　在形狀和紋理特征參數下各等級檳榔在預測集和訓練集中的識別率

Figure 8The recognition rate of Betel Nut of each grade in prediction set and training set which use shape and texture feature parameters

圖9　　　　在所有特征參數下各等級檳榔在預測集和訓練集中的識別率

Figure 9The recognition rate of Betel Nut of each grade in prediction set and training set which use all feature parameters

3.3.3最佳特征組合在不同主成分下的識別率綜上所述，當選擇顏色和形狀特征時，預測集和訓練集的識別率都較好，再添加紋理特征參數時，對各識別率的提升不大，且會增加運行時間。因而僅將顏色和形狀特征參數帶入模型進行運算，并對顏色和形狀特征參數進行主成分分析，在不降低識別率的情況下簡化數據，提高速度。在選擇顏色和形狀特征下，不同主成分數對模型預測集和訓練集的識別率見圖10～11。

圖10　　　　不同等級的檳榔在不同主成分數下預測集的識別率

Figure 10The recognition rate of different grades Betel Nut in prediction set which is under the different number of principal component

圖11　　　　不同等級的檳榔在不同主成分數下訓練集的識別率

Figure 11The recognition rate of different grades Betel Nut in training set which is under the different number of principal component

由圖10、11可知：隨著主成分數的增加，模型的識別率呈現增加趨勢，當主成分數達到12后，其識別率基本趨于恒定狀態。因為當主成分數達到12時，特征參數的累計方差貢獻率為99.745%，這12個主成分幾乎能全部反映圖像的20個特征變量的原始信息。且綜合考慮以1、2等級的識別率高為主，故將主成分數確定為12。

選擇檳榔顏色和形狀特征共20個參數，分別是RGB和HIS各分量的平均灰度值和平均灰度偏差值及檳榔的面積、長度、寬度、周長、長寬比、檳榔面積與最小外接矩形面積的比值、凸性、圓度。根據上述的主成分分析，圖像特征參數的最佳主成分數為12。因此，將12個主成分作為支持向量機的輸入因子，并選用徑向基函數作為支持向量機的核函數，在核參數gamma為0.02和Nu為0.05的條件下，進行訓練建立模型。該模型訓練集的識別結果見表1，其平均識別率約為99.86%，模型預測集的識別結果見表2，其平均識別率約為96.14%。

表1　檳榔在訓練集中的識別結果

表2　檳榔在預測集中的識別結果

4　結論

本試驗應用計算機視覺技術并輔以模式識別對檳榔分級進行識別判斷，以4個等級的檳榔為研究對象，對獲取的圖像提取顏色、形狀和紋理特征，通過試驗發現有顏色和形狀特征即可以獲得較好的識別率。再對顏色和形狀特征參數進行主成分分析提取相應的主成分輸入到支持向量機模型對檳榔進行識別。在模型建立過程中，選取徑向基函數(RBF)作為核函數，經過主成分分析發現，主成分數為12時建立的模型最佳，訓練集平均識別率約為99.86%，預測集的平均識別率約為96.14%。試驗結果表明應用根據檳榔的顏色和形狀特征，采用支持向量機的模式識別方法，利用計算機視覺技術將不同等級的檳榔識別出來是可行的。該試驗為計算機視覺技術對檳榔的在線分類提供了參考。

[1] 黃麗云, 劉立云, 李艷, 等. 海南主栽檳榔品種鮮果性狀評價[J]. 熱帶作物學報, 2014, 5(2): 313-316.

[2] LIU Tong, XIE Jian-bin, HE Yi-zheng, et al. An automatic classification method for betel nut based on computer vision[C]// Proceedings of the 2009 IEEE International Conference on Robotics and Biomimetics, 19-23 Dec. Guilin: [s. n.], 2009: 1 264-1 267.

[3] 李明, 房俊龍, 喬翊博, 等. 基于機器視覺黃瓜果實自動分級方法[J]. 農機化研究, 2016(11): 229-233.

[4] 劉燕德, 鄧清. 高光譜成像技術在水果無損檢測中的應用[J]. 農機化研究, 2015(7): 227-231, 235.

[5] 施健, 何建國, 張冬, 等. 基于計算機視覺鮮棗大小分級系統研究[J]. 食品與機械, 2013, 29(5): 134-137.

[6] 紀濱, 許正華, 胡學鋼, 等. 基于顏色的食品品質檢測技術現狀及展望[J]. 食品與機械, 2013, 29(4): 229-232, 236.

[7] 王養廷. 基于SVM的遙感圖像自動分類研究[J]. 計算機仿真, 2013, 30(6): 378-381, 385.

[8] LEEMANS V, MAGEIN H, DESTAIN M. Apple shape inspection with computer vision[C]// Proceedings of the FPAC IV Conference. Florida: [s. n.], 1997: 316-327.

[9] 田洪貞. 基于嵌入式系統人臉識別方法的研究[D]. 青島: 青島科技大學, 2012: 23-38.

[10] 趙杰文, 呼懷平, 鄒小波. 支持向量機在蘋果分類的近紅外光譜模型中的應用[J]. 農業工程學報, 2007(4): 149-152.

[11] 荊園園, 田源. 基于支持向量機核函數算法的圖像分割研究[J]. 紅外技術, 2015, 37(3): 234-239.

Study on grading of betel nuts by computer vision

XU Yue-ming1,2CAIJian-rong3GONGYing-hui3

(1.SchoolofBiologicalEngineering,WuhuVocationalTechnicalCollege,Wuhu,Anhui241003,China;2.CollegeofEnvironmentalScienceandEngineering,AnhuiNormalUniversity,Wuhu,Anhui241002,China;3.SchoolofFoodandBiologicalEngineering,JiangsuUniversity,Jiangsu,Zhenjiang212013,China)

Current technologies for grading betel nuts remain rudimentary and heavily rely on manual inspection, which results in no assurance over grading quality. This paper describes a betel nut grading method based on the computer vision technology, which comprises image capture and pre-processing to collect characteristics such as color, shape, and texture. It is observed that combining both color and shape characteristics leads to satisfactory grading results. This method can reach a recognition rate over 90.38% following principle components analysis (PCA) and a support vector machine (SVM) algorithm.

betel nut; computer vision; support vector machine; classification

安徽省自然科學基金重點項目(編號：KJ2016A763)；安徽省高等教育振興計劃重大教學改革研究項目(編號：2014zdjy154)；安徽省質量工程項目食品技術人才實訓中心校企合作實踐教育基地項目(編號：2013sjjd036)

許月明，女，蕪湖職業技術學院副教授，碩士。

蔡健榮(1966—)，男，江蘇大學教授，博士，博士生導師。E-mail: jrcai@ujs.edu.cn

2016-05-06

10.13652/j.issn.1003-5788.2016.08.022