基于改進紅綠色差和Otsu的葡萄果穗圖像分割*

周文靜，趙康，馬曉曉，田志芳

(1. 新疆科技學院信息科學與工程學院，新疆庫爾勒市，841000；2. 石河子大學機械電氣工程學院，新疆石河子，832003)

0 引言

我國葡萄種植歷史悠久，是世界第四大水果[1]。由于其本身適應性強、經(jīng)濟效益高等特點，栽培區(qū)域遍布全國各個省份，是人民增收致富的主要來源[2]。然而葡萄收獲依舊靠人工采摘，費時費力[3]，急需自動化采摘來解決這一問題[4-5]。自動化采摘中，采摘機器如何準確識別田間葡萄果穗是采摘的關鍵，因此需要快速準確地檢測田間的葡萄果穗目標。

近年來，隨著機器視覺的不斷發(fā)展，國內(nèi)外學者紛紛對葡萄果穗圖像準確分割的問題展開了研究。如，Xiao等[6]曾采用BP神經(jīng)網(wǎng)絡對田間蘋果圖像像素進行訓練，實現(xiàn)了與背景顏色相近的綠色蘋果分割，He等[7]采用支持向量機實現(xiàn)了對田間荔枝的分割，喬虹等[8]將Mask R-CNN應用于田間葡萄葉的分割。周文靜等[9]采用KNN法實現(xiàn)了葡萄果穗的分割，但圖像分割精度有限。然而，此類機器學習算法需要獲取大量數(shù)據(jù)進行訓練，耗時過長，且對設備要求較高[10]。此外有關圖像背景分割方法最大類間方差(Ostu)法也常用于果蔬背景分割，且該方法不需要大量數(shù)據(jù)進行訓練，對設備要求較低。尹建軍等[11]對田間自然光照條件下采用色差R-G對番茄圖像進行自動閾值分割，實現(xiàn)了背景有效分割且具有很好的魯棒性。司永勝等[12]采用色差比(R-G)/(G-B)進行自動閾值分割實現(xiàn)了對不同光照下拍攝的蘋果圖像。2010年，司永勝等[13]又提出歸一化的紅綠色差(R-G)/(R+G)進行綠色蘋果的閾值分割，識別率可達92%，齊銳麗等[14]也通過對數(shù)字圖像的分析，采用H通道進行Otsu分割實現(xiàn)了田間環(huán)境下花椒的分割。如此可見，通過對數(shù)字圖像的分析，采用合適的特征圖進行分割，能夠?qū)崿F(xiàn)目標的分割。

因此，本文擬對數(shù)字圖像進行分析，選擇合適的特征圖并采用Otsu方法進行田間葡萄背景的準確分割。

1 葡萄果穗圖像分割方法

最大類間方差(Otsu)法根據(jù)圖像的灰度直方圖以最佳閾值將圖像分割成兩部分，該閾值使兩部分的方差取得最大值，即分離性最大。首先選取合適的分割特征進行圖像分割，圖像分割后通過形態(tài)學處理來連通目標。然后再提取各連通區(qū)域的面積作進一步分析處理，判斷出目標區(qū)域。

1.1 選取顏色空間

傳統(tǒng)的圖像分割通常是基于灰度圖像進行處理的，相比于灰度圖像，彩色圖像含有更豐富的信息依據(jù)其進行圖像分割得到的分割性能更高。CIE(國際照明委員會)提出的CIE-1931-RGB彩標準色度系統(tǒng)演變出的顏色空間包括RGB、HIS、LAB等[15]，其中RGB顏色空間表示顏色的方法簡單形象、易于理解，幾乎涵蓋人們看到的所有顏色，最適于人類視覺觀察。因此本文選取RGB顏色空間對圖像進行分析。

RGB圖像有紅色(R)、綠色(G)、藍色(B)三個通道，是工業(yè)界的顏色標準，這個標準幾乎可以將人們看到的所有顏色都涵蓋進去。如圖1所示為RGB彩色空間的三維空間結構，三個坐標軸分別表示紅色、綠色、藍色三基色，立方體中的每一個點都代表一種顏色，原點(0,0,0)表示黑色，坐標點(1,1,1)表示白色。

圖1 RGB顏色空間模型

1.2 葡萄圖像直方圖分析

研究人員常用的紅綠色差一般為(R-G)特征或歸一化的紅綠色差特征，然后采用Otsu進行分割，但分割方法并不適用于田間的復雜情況。Otsu自動閾值分割要求圖像的直方圖具有明顯的兩類，可以直接分割圖像。因此，本文對紅色葡萄果穗和圖像的R、G、B三個通道的直方圖進行分析，如圖2所示。葡萄圖像3個通道的直方圖均不具有該特征。需要進一步對3個通道的圖像進行運算使其直方圖的分布具有明顯的兩類，且最好葡萄為其中一類，背景為其中一類，進而能夠較準確地實現(xiàn)葡萄果穗圖像的分割。從圖中可以看出，R、G、B 3個通道的峰值并不在同一灰度范圍內(nèi)，因此可選取與田間葡萄果穗圖像顏色相關的R通道和G通道作為主要特征圖。結合以往的研究，不斷進行不同運算的測試，發(fā)現(xiàn)除圖像的灰度圖、R-G圖像、歸一化紅綠色差圖像之外，(R-G)·(R+G)得到的直方圖同樣具有明顯的兩個類別，如圖3所示分別為灰度圖、R-G圖像、歸一化紅綠色差圖像以及紅綠色差點乘圖像的直方圖。觀察圖3(c)和圖3(d)可發(fā)現(xiàn)，歸一化紅綠色差和紅綠色差點乘的直方圖甚至只在一個灰度值有像素，則這兩種方法幾乎能夠直接完成圖像的分割。因此本文研究了紅綠色差點乘((R-G)·(R+G))圖像作為分割特征，然后對該特征進行Otsu分割即可得到葡萄果穗的圖像。

(a) 原圖 (b) R通道直方圖 (c) G通道直方圖 (d) B通道直方圖

(a) 灰度圖直方圖 (b) R-G圖像直方圖 (c) 歸一化紅綠色差直方圖 (d) 紅綠色差點乘圖像直方圖

2 試驗結果與分析

2.1 圖像分割結果

采用1.2節(jié)分析得到的紅綠色差點乘的分割特征對圖2(a)進行Otsu分割，得到的分割圖像如圖4所示，盡管圖中存在些許枝干、樹葉等背景的干擾，但葡萄果穗幾乎被完整地從背景中分割出來。

圖4 改進紅綠色差特征與Otsu分割結果

根據(jù)該分割結果，本文對其進行膨脹、腐蝕、刪除小面積對象等操作，得到如圖5所示的結果。

圖5 葡萄果穗圖像分割結果

從圖5可以看出除了葡萄果穗右下角有少量背景，葡萄果穗已被完整分割出來，可見本文改進的紅綠色差分割特征進行Otsu分割能夠?qū)崿F(xiàn)葡萄果穗的較完整分割。

2.2 背景分割性能評價

根據(jù)式(1)和式(4)計算圖像分割的準確率(Accuracy，%)、查準率(Precision，%)、查全率(Recall，%)和F1值(F1-score，%)4個性能評價指標，并采用準確率和F1值進行背景分割性能評價。

(1)

(2)

(3)

(4)

式中：TP——目標像素被準確判別為目標像素的數(shù)量，對應圖5中綠色區(qū)域；

TN——背景像素被準確判別為背景像素的數(shù)量，對應圖5中黑色區(qū)域；

FP——背景像素被判別為目標像素的數(shù)量，對應圖5中白色區(qū)域；

FN——目標像素被判別為背景像素的數(shù)量，對應圖5中紅色區(qū)域。

2.3 不同特征Otsu分割結果

為測試改進紅綠色差分割特征的分割性能，本文對葡萄圖像的灰度圖、R-G圖像、歸一化紅綠色差圖像3種特征圖分別采用Otsu法分割，將其分割結果與改進方法得到的分割結果進行對比，如圖6所示，圖6(a)為直接對灰度圖進行分割的結果，可以看出分割出的區(qū)域為圖中顏色亮度較高的區(qū)域，因此部分亮度較高的背景同樣被分割出來。可見該特征圖分割受光照影響無法對田間復雜多樣環(huán)境下的葡萄果穗進行分割；圖6(b)為采用色差(R-G)作為分割特征得到的分割結果，該方法一定程度上可避免光照不均的影響，分割出了葡萄果穗，雖有少部分顏色較暗的葡萄果粒未能分割出來，卻完全祛除了圖像的背景，可見該特征圖對分割光照強度不一的圖像具有較好的魯棒性該方法可以用于機器視覺的識別，但若要準確定位葡萄果穗還需進一步提高圖像分割的準確度；圖6(c)的分割結果采用的特征圖為歸一化的紅綠色差(R-G)/(R+G)，從結果圖不難看出，該方法與圖6(b)同樣將所有背景去除，但對于要分割的葡萄果穗這一目標，對比6(b)，該特征圖進行Otsu分割后僅分割出了葡萄的高亮部分；而在采用紅綠色差點乘特征圖的圖6(d)中，Otsu將葡萄果穗更完整地從背景中分割出來，且背景中僅有少量枝干一同分割出。總體而言，采用紅綠色差點乘特征圖進行Otsu分割得到的分割結果雖有少量背景，但分割出的主體最為完整。

(a) 灰度圖分割 (b) (R-G)特征分割

2.4 不同特征圖Otsu分割效果分析

不同特征圖Otsu分割后的分割效果如圖7所示，圖中黑色區(qū)域表示正確去除的背景，綠色表示正確分割的葡萄果穗，總體來看，圖7(c)中黑色面積最大，圖7(b)次之，圖7(d)黑色面積少于圖7(b)、圖7(c)，圖7(a)最少；而圖7(d)綠色面積最大，圖7(b)次之，接下來是圖7(a)和圖7(c)，按照正確分割的準確率，圖7(b)、圖7(d)分割效果最好。

(a) 灰度圖分割效果 (b) (R-G)特征分割效果

本文對每種分割特征分割效果圖中不同顏色像素的數(shù)目進行統(tǒng)計，其準確率、查準率、查全率和F1值如表1所示。根據(jù)表1中結果來看，采用灰度圖進行分割得到的分割效果最差，主要是由于灰度圖分雙峰分別為亮部區(qū)域和暗部區(qū)域，只能分割出圖像的亮暗，無法完整分割葡萄果穗。從查準率上來看(R-G)特征和歸一化特征得到的分割效果更好，分別達到了97.42%和98.77%，但兩種方法所得到的查全率并不高，分別為60.19%和18.49%。由此分析得，這兩種特征分割得出圖像雖然不會分割出較多背景，但有較多葡萄未能分割出，這與圖7(b)和圖7(c)所示的分割結果一致。而紅綠色差點乘特征分割得到的查準率和查全率相對較高，若要全面了解不同分割特征的分割效果，還需綜合查準率和查全率得值，而F1值為我們提供了查準率、查全率的調(diào)和平均值。紅綠色差點乘特征分割的準確率及F1值都是最高的，分別為92.37%和90.13%。(R-G)特征分割圖像的準確率及F1值僅次于紅綠色差點乘特征，其分割準確率為85.30%，但F1值卻低了很多，僅為74.40%，結合分割圖像分析其主要原因是分割目標中部分較暗區(qū)域未分割出來；歸一化色差的準確率為71.56%，而F1值僅為51.15%，主要是因為該分割方法只分割出了葡萄中的高亮部分，其余較暗部分均未分割出來。綜上所述，本文提出的紅綠色差點乘特征Otsu分割得到的分割效果最好，優(yōu)于其他3種分割特征。

表1 不同分割特征分割性能Tab. 1 Segmentation performance of different segmentation features %

2.5 改進紅綠色差分割法的驗證

為驗證本問題出的葡萄果穗分割方法，選擇了不同光照強度及不同角度拍攝的50幅葡萄果穗圖像作為測試圖像，采用此方法對其進行測試。對50幅圖像測試結果的像素進行了統(tǒng)計，分別統(tǒng)計正確去除的背景、正確分割的葡萄果穗、錯誤去除的背景和錯誤分割出的葡萄果穗的像素數(shù)目，依據(jù)準確率的計算公式計算所得圖像的準確率如圖8所示，50幅測試圖像準確率最高為97%，準確率最低為79%，其平均準確率為88.75%。

圖8 50幅圖像的準確率

選擇光照強度變化更大的典型圖像進行分割，其分割結果如圖9所示。

(a) 原圖

從圖9中可以看出，即使光照強度差異較大，或者逆光拍攝葡萄，提出的葡萄果穗分割方法均能準確將葡萄果穗從背景中分割出來。

3 結論

本文提出了一種分割葡萄果穗的方法，并對比葡萄圖像的灰度圖、R-G圖像、歸一化紅綠色差進行Otsu分割的分割效果，采用準確率和F1值作為分割性能指標進行分析。

1) 提出了紅綠色差點乘圖像作為圖像分割的特征圖，采用該特征圖進行Otsu方法能夠準確分割田間的紅葡萄果穗圖像。

2) 通過對不同特征圖分割結果的對比發(fā)現(xiàn)，不論是分割的準確率還是F1值，紅綠色差點乘的Otsu分割法的分割結果都是最優(yōu)的，準確率為92.37%，F(xiàn)1值90.13%。

3) 采用50幅不同光照強度及不同角度拍攝的葡萄果穗圖像進行驗證，試驗結果表明，50幅測試圖像準確率最高為97%，準確率最低為79%，其平均準確率為88.75%。本文提出的方法能夠準確分割出田間復雜環(huán)境的葡萄果穗。能夠為本文的分割方法可為葡萄果穗的識別、定位提供研究基礎。