自動點鹵檳榔圖像識別方法研究

黃良沛 舒 勇 王 憲 劉 洋

(湖南科技大學機電工程學院，湖南 湘潭 411100)

目前檳榔點鹵加工以人工為主，生產效率低。杜鵬[1]針對檳榔自動點鹵中檳榔擺放姿態不一的情況，根據其幾何、物理參數，采用靜壓氣浮法對檳榔進行擺正定向，并開發了檳榔自動點鹵裝置。在此基礎上，姜良興[2]設計了檳榔上料裝置、點鹵定向裝置、輸送裝置、出料裝置以及烘干系統等，完成了點鹵的連續生產線設計。但上述研究主要以機械式和氣動技術為主，自動點鹵過程中需對每個檳榔進行擺正定向，費時且生產效率較低。

目前，中國關于檳榔的研究主要集中在檳榔的分級和輪廓設計。許月明等[3]通過提取檳榔的顏色特征、形狀特征和紋理特征，并將其代入向量機進行分級，其預測集的正確識別率達90.38%以上；朱澤敏等[4]使用語義分割法對檳榔內核進行分割，提取圖像的邊界進而得到完整平滑的檳榔內核輪廓線。車金慶等[5]針對重疊蘋果果實識別誤差較大的情況，使用圖像分割、SUSAN算法和Bresenham算法實現重疊蘋果的分離，再使用改進的隨機Hough算法擬合果實圓心及半徑實現蘋果果實的識別。張永梅等[6]以花椒為研究對象，分別對RGB、HSV圖像中的R、H分量進行閾值分割，將兩種分割結果進行融合，再使用膨脹操作識別出果實的輪廓區域，為后續的花椒采摘提供了有力的技術支持。劉芳等[7]為了實現溫室環境下番茄的精確識別，提出了一種改進型多尺度YOLO算法(IMS-YOLO)，試驗表明，IMS-YOLO模型對番茄圖像的檢測精度為97.13%，準確率為96.36%，滿足其檢測精度和速度要求；Ma等[8]提出了水稻幼苗和雜草分割的全卷積網分割法；Anindita等[9]提出了基于輪廓的油棕果分割方法，為自然條件下油棕果采摘識別和成熟度判別提供了重要的依據。

試驗擬采用圖像處理技術對自動點鹵過程中的檳榔圖像進行處理，將擺盤中的檳榔與擺盤進行分割，并對分割圖像進行進一步處理，完成擺盤中檳榔的識別定位，旨在為檳榔點鹵機提供每個待點鹵的檳榔的準確位置，從而實現精準點鹵。

1 圖像分割與識別算法

點鹵盤檳榔識別算法流程如圖1所示。將采集到的圖像進行圖像增強以提高圖像的對比度和亮度；將圖像增強后的RGB圖像轉換至HSV空間，并從中分離出H通道圖像；對H通道圖像進行Otsu圖像分割，得到只有前景和背景的二值圖像；由于分割出的圖像存在孔洞和小連通域噪點，結合區域生長法和圖像形態學去除孔洞和小連通域，得到不帶噪點的完整的二值圖像；再通過繪制連通域的最小外接矩形對識別出的檳榔圖像進行標注。

圖1 檳榔識別算法圖Figure 1 Betel nut recognition algorithm diagram

2 圖像預處理

2.1 伽馬增強

圖像采集來源于檳榔自動點鹵機的圖像采集系統，如圖2(a)所示。由于采集圖像中的檳榔整體較暗，對比度較低，不利于圖像分割，因此需對其進行增強以提高對比度，突出圖像中的主要信息。伽馬變換方法簡單且適用性強，通過使用兩個變化參數γ和c控制圖像的整體亮度[10]。其函數為：

圖2 原始圖像及伽馬增強圖像Figure 2 Original image and gamma enhanced image

s=crγ，

(1)

式中：

s——輸出圖像強度；

r——輸入圖像強度；

c、γ——正常數。

由圖2(b)可知，經伽馬變換后，原圖像亮度得到明顯增強，對比度增強。

由圖3可知，取c=1，當γ<1時，伽馬變換能拉伸圖像中灰度級較低的區域，同時對灰度級較高的區域進行壓縮；當γ>1時，伽馬變換能拉伸圖像中灰度級較高的區域，同時對灰度級較高的區域進行壓縮。

圖3 伽馬變換函數圖像Figure 3 Gamma transform function image

2.2 顏色通道轉換與分離

圖像處理中，顏色空間模型主要有RGB、HSV、YUV、YCbCr、HSL等。其中RGB和HSV顏色空間模型在圖像分割技術中應用廣泛。為了使圖像具有較好的分割效果，以RGB圖像為基礎，將圖像轉換至HSV顏色空間進行分析。HSV顏色空間通過色相(H)、飽和度(S)和明度(V) 3個分量對色彩進行描述[11]。HSV顏色空間各分量圖如圖4所示。顏色通道的轉換式為：

圖4 HSV顏色空間分量圖Figure 4 HSV color space component map

(2)

(3)

(4)

v=max，

(5)

式中：

r、g、b——RGB圖像中的紅色、綠色、藍色分量；

h、s、v——HSV圖像的色度、飽和度、亮度分量。

由圖5可知，相比于其他分量的直方圖，H分量直方圖中其中一個波峰較低，但該直方圖具有明顯的雙波峰，且波谷數值較低，能將檳榔與擺盤分割開；灰度圖像直方圖雖有雙峰，但波谷較高，不利于檳榔與擺盤之間的分離。綜合考慮，以H分量為基礎，采用Otsu圖像分割法對擺盤上的檳榔進行分割識別。

圖5 HSV顏色空間各分量和灰度圖像直方圖Figure 5 HSV color space components and gray image histogram

3 圖像識別

3.1 Otsu圖像分割

預處理后，采用Otsu圖像分割算法對H分量圖像進行分割。Ostu法[12]又稱最大類間方差法或大津法，由日本學者大津(Nobuyuki Otsu)于1979年提出，是一種自適應的閾值確定方法。該算法不受亮度和灰度值的影響，計算簡單。假設圖像像素能夠根據閾值被分成背景和前景兩個部分，計算最佳閾值來區分這兩類像素，使其區分度最大。采用Otsu分割法對H通道圖進行分割，結果如圖6所示。

圖6 Otsu分割圖像Figure 6 Otsu split image

3.2 去除孔洞和小連通域

數字圖像形態學處理是指將數字形態學作為工具，從圖像中提取對表達和描述區域形狀有用的圖像分量[13]。二值圖像形態學則是使用結構元素對二值圖像進行操作，其最基本的兩種形態學處理是膨脹和腐蝕。圖像膨脹操作能使圖像內部孔洞填充，使邊界向內部擴充；圖像腐蝕操作則相反，能消除圖像中存在的小噪點，使邊界向內部收縮。一般的二值圖中，膨脹和腐蝕能去除一些小孔洞或者將不連續的圖像邊緣連接完整。如果圖像中出現多個小連通域和孔洞，使用腐蝕和膨脹兩種運算不能達到理想的效果。

使用區域生長法能有效去除孔洞和小連通域，由于圖像邊緣不連續，使用膨脹運算能使邊緣變得連續。由圖7可知，結合區域生長法和膨脹操作有效地去除了小連通域和孔洞，可得到完整去除孔洞和小連通域，以及內部完整的圖像。

圖7 去除孔洞和小連通域圖像Figure 7 Remove holes and small connected domain images

設置面積閾值為800，由圖6、8可知，經處理后，圖像中的小孔洞和小塊面積區域能被完全去除，得到所需完整的目標。最后繪制出連通域的外接矩形，并對識別出的檳榔進行框選定位。

4 結果與分析

使用Opencv庫、C++語言，軟件平臺為Windows10系統、Vs2015，硬件環境為8 GB內存、intel(R)Core(TM)i7-9750CPU @ 2.60 GHz MECHREVO的計算機。源圖像經伽馬變換、提取H分量圖像、Otsu圖像分割、去除孔洞和連通域，最后使用繪制出連通域的最小外接矩形框將識別出的檳榔框選，實現檳榔的識別與定位。依次在擺盤上放置10，20，30，40，50，60，70，80，90顆檳榔，使用試驗算法對檳榔進行識別，其結果如圖9所示。由表1可知，試驗算法識別檳榔的準確率、精確率、召回率、F1分數均達100%。

表1 檳榔識別統計參數Table 1 Recognition statistical parameters of betel nut

圖9 試驗結果圖Figure 9 Experimental results image

為了驗證算法的實時性，選取20幅裝滿檳榔的圖像進行試驗。由表2可知，圖像的平均運行時間為2.648 37 s，能滿足正常流水線工作。

表2 算法處理時間表Table 2 Algorithm processing time table

5 結論

為了能準確地將檳榔從擺盤中完整地分割出來進行識別，不會產生過度分割或者分割不足，提出了一種基于H分量的檳榔圖像分割方法，作為后續邊緣檢測和輪廓提取的基礎。結果表明，該算法的識別準確率、精確率、召回率、F1分數均達100%，識別效果良好，每幅圖像平均耗時2.648 37 s。在圖像處理過程中去除孔洞和小連通域方面占用了大部分處理時間，從而降低了識別的速度，后續可以優化該過程算法或者結合圖像形態學來提高處理效率。