不同顏色模型識別成熟蘋果圖像的比較分析

李 莎，錢建平，趙春江，陳梅香，李文勇，陳 明

（1.上海海洋大學 信息學院，上海201306；2.國家農業信息化工程技術研究中心，北京100097）

0 引 言

將成熟蘋果從復雜的背景中高效的識別出來，可為果實生長發育模型的構建和基于個體的果實測產提供良好的基礎［1］。由于果園里拍攝到的圖像比較復雜，既包括成熟果實、發紅的草地和樹枝樹葉，還包括一些果實重疊、被遮擋的情況，因此，研究不同環境下成熟蘋果的有效提取，不僅增加農民的收益，還可以適時地調整生產計劃［2，3］。

目前，已有一些學者對果實的識別分割技術進行了研究。文獻 ［4－8］利用RGB 顏色模型中的分量進行圖像分割，實現果實與背景的分離；文獻 ［9－11］利用Lab彩色模型下a通道進行果實輪廓信息的提取；文獻 ［12－14］采用YCbCr顏色模型的Cr分量對圖像進行二值化提取目標，能夠去除綠色葉子，得到比較完整的蘋果邊界。

前人涉及果實顏色模型選取的文章中，僅使用某一種顏色模型，沒有分析不同環境下不同顏色模型分割的不同。對不同環境和不同角度下拍攝的圖像使用不同的顏色模型處理，結果會有差異，因此選取適合的顏色模型，有利于后期完整的目標分割。通過前人的研究和自身實驗得知，RGB顏色空間的R－G 色差向量、L＊a＊b＊顏色空間的a＊分量和YCbCr顏色空間的Cr分量，能夠實現成熟蘋果果實與背景的分離，有利于分割出果實。本文對逆光和順光下的圖像應用3種分量處理，計算二值化后圖像中果實的面積大小和噪聲率 （噪聲占整個圖像的百分率），從而分析出不同環境下顏色模型的適用性，以更好達到初步模擬蘋果輪廓的目的。

1 顏色模型比較

蘋果圖像分割前需進行顏色特征的選擇。而顏色特征選擇前，需進行顏色模型的選擇。雖然采集的圖像和顯示設備大多都是RGB圖像，但為使蘋果與背景的顏色差異更明顯，更有效地分割出圖像中的果實區域，需要根據不同環境下的蘋果圖像，使用不同的顏色空間進行果實分割。目前用于蘋果分割的顏色模型主要包括：RGB，L＊a＊b＊和YCbCr顏色模型等。

不同的顏色空間具有各自的優缺點。RGB顏色空間是圖像處理中最常用的顏色空間，其根據R、G、B這3個顏色通道的變化以及它們相互疊加來表現出各種顏色。由于RGB顏色空間受光照的影響較大，為了克服RGB顏色空間的不均勻和不直觀的缺點，我們可以考慮進行顏色模型之間的轉換，以更好的適應不同外界環境下的分割。比如L＊a＊b＊顏色模型和YCbCr顏色模型。

L＊a＊b＊顏色模型是由亮度L 和色彩信息a，b這3個要素組成。由于有一個亮度通道，色彩的混合將產生更亮的色彩，因為RGB 模型在藍色到綠色之間的過渡色彩過多，而在綠色到紅色之間又缺少黃色和其它色彩，L＊a＊b＊模型彌補了RGB色彩分布不均勻的缺點。由于Lab的色彩空間要比RGB的色彩空間大，這就意味著RGB 所能描述的色彩信息在Lab空間中都能得以影射。

YCbCr不是一種絕對色彩空間，是YUV 壓縮和偏移的版本［15］。YCbCr顏色模型比RGB 模型更能適應光照強度的變化；同時YCbCr模型與RGB模型的轉換是線性的，不存在溢出致使圖像信息丟失的問題，計算也相當簡單。3種顏色模型的優缺點比較見表1。

表1 3種顏色模型優缺點比較

2 材料與方法

2.1 圖像采樣

本文選取處于收獲期的蘋果為研究對象，在2013年10月中下旬，使用NIKON CORPORATION D90型號數碼相機，在北京順義果園實地拍攝順光和逆光下圖片共150幅。隨機選取40幅順光圖像和40幅逆光圖像進行實驗，圖像格式為JPG，用Photoshop CS5對80幅圖像進行統一裁剪，大小為1200×1800 像素。圖像處理采用 MATLAB 7.0軟件。

采集的圖像是以RGB格式存儲，并且圖像中含有背景信息。為了比較分析，3 種顏色模型下處理的順光圖和逆光圖分別為同一組圖片。

2.2 圖像識別

進行彩色蘋果圖像識別，首先要進行灰度化處理。由于所采集圖片中R，G，B 三分量之間有很高的相關性，直接利用這些分量不能得到所需的效果，但成熟蘋果果實的顏色與周圍環境顏色差別較大，因此可以建立圖像的色差模型。經過實驗分析，R－G 色差分量的分割效果比RB、B－R、B－G 的效果好，因此，在RGB 模型下，選取RG 色差分量進行灰度化。在L＊a＊b＊顏色模型中，a表示從紅色至綠色的范圍，因此要提取成熟蘋果的紅色果實區域，選取a分量進行研究。YCbCr顏色模型中的色度信息被存儲在Cb和Cr中，其中Cr為紅色分量相對于參考值的坐標，應選取Cr分量提取成熟蘋果的果實。處理流程如圖1所示。

2.3 閾值分割和形態學濾波

由于各分量灰度圖的目標和背景灰度差別較大，這種灰度分布特點適合選用OTSU 法 （最大類間方差法）進行二值化處理，該方法計算簡單且用時少，不受圖像亮度和對比度的影響，在實時圖像處理系統中應用非常廣泛。

經二值化分割后，整個蘋果果實基本被分離出來，但仍殘留一些噪聲和毛刺。噪聲的去除可采用區域面積統計法，它們的面積比蘋果果實的面積小，根據這一特點，以像素為單位計算所有單連通區的面積，然后設定一個閾值（文本設定閾值為10000像素，由經驗得出），當面積像素數小于閾值時，被判為噪聲區域將其去除；毛刺的去除可采用形態學運算處理，通過多次實驗及分析，本文選用半徑為5的圓盤形結構元素，先對圖像進行閉運算，再進行開運算，即可得到較為平滑的邊緣。

圖1 3種模型下蘋果面積提取流程

在獲取果園中的蘋果圖像時，會受自然光照射的影響，對于逆光下的圖像，一般很少有陰影光斑產生，但是，順光下的圖片很可能產生光斑，在二值化后圖像會出現一些內部空洞，所以，要對圖像各連通區域進行填充操作，得到比較完整的二值化蘋果圖像。

2.4 特征參數提取

為了更好的分割不同光照下的蘋果圖像，本文通過計算二值化圖像中圖斑、噪聲 （主要是一些發紅色草地和樹枝樹葉）的像素面積和噪聲率，統計出不同顏色分量在不同環境下分割的不同。通過Matlab7.0 提供的bwlabel方法計算出3種分量下圖像的圖斑數量，然后采用regionprops方法計算出果實圖斑的像素面積和噪聲的像素面積。圖像中的噪聲率＝噪聲面積/ （圖斑面積＋噪聲面積）。

2.5 效果評價

無論采用哪種顏色模型，二值化之后果實的面積都會有一定程度的削減，所以，本文通過比較二值化后蘋果面積大小來初步確定分割的好壞。二值化后果實面積越大，說明分割效果越好，反之，分割效果一般。

為了進一步分析顏色模型的分割效果，結合圖像處理后的噪聲大小來判斷。噪聲越小，說明顏色模型對噪聲抑制較好，反之，說明保留噪聲較多，不利于果實的有效提取。通過相互抑制的果實面積和噪聲面積的分析，分析說明不同條件下的顏色模型的選取。

3 實驗結果及分析

3.1 圖像處理

從所采集的逆光和順光圖像中，各選取一幅圖像進行3種模型分量下的灰度化處理、自適應閾值分割和形態學濾波。處理后的二值化圖像如圖2所示。從圖中看出，雖然3種分量處理后面積輪廓相差不大，但是，不同顏色模型對蘋果果實局部信息的處理不盡相同，這樣導致獲取的果實面積會有差別。

圖2 3種分量下二值化結果

3.2 面積比較

對選取的40幅逆光圖像和40幅順光圖像進行二值化處理，對圖像中的成熟蘋果果實計數，并計算出3種分量下蘋果果實的面積。本文以R－G 色差下的果實面積為基準，a＊分量和Cr分量下的果實面積分別與之比較，得出每一個果實在3種分量下的面積。如表2所示，左列是逆光下的果實面積，右列是順光下的果實面積。

由表2可知，3種顏色分量均能分離出大部分的果實，但3種情況下的分割面積有所不同。無論逆光還是順光條件下，a＊分量和Cr分量的分割好于r－g色差的分割，能相對保留更多的果實面積，這有利于進一步的確定果實的圓心和半徑。對于紅色蘋果上的黃色區域和陰影，r－g色差不能有效識別，所以導致黃色部分的果實和陰影被消除，但是a＊分量和Cr分量對陰影和偏黃色的部分能夠保留較好。

表2 逆光和順光下的果實面積

3.3 噪聲比較

考慮到果園環境復雜，拍攝圖像的角度各異，致使圖像中會出現大面積雜質，比如發紅的草地和發紅的樹枝樹葉等，這些雜質在圖像中的面積過大時，經過形態學濾波也不能將其去除，如圖2 （c）、（e）、（g）所示。為了更準確的選取顏色模型，需要考慮不同情況下的噪聲處理情況。現選取順光、逆光下帶有草地和樹枝樹葉的圖像進行計算，草地和樹枝樹葉面積占總圖像面積的比率如圖3所示。

通過圖3可以看出，對于逆光下含有草地的圖片處理結果如圖3 （a）所示，r－g色差分量和a＊分量處理較好，能夠去除大部分的草地噪聲，尤其是a＊分量，大多數包含草地圖片的噪聲都能去除；而Cr分量則保留較多草地噪聲，有些圖片的草地噪聲率高達53.85%，對于第8 幅圖片，前兩種分量能把噪聲完全去除，而Cr分量處理后噪聲率為53.38%。

對于逆光下含有樹葉樹枝的圖片處理結果如圖3 （b）所示，前兩種分量能夠去除較多噪聲，尤其是r－g色差分量能去除大部分的樹枝樹葉；而Cr分量保留較多樹枝樹葉噪聲，有些圖片的噪聲率達11.76%。對于第8幅和第9幅圖片，前兩種分量完全去除噪聲，而Cr分量處理后噪聲率為14.41%和10.12%。但第5幅圖中，r－g分量不能完全去除發紅的樹葉和陰影。

對于順光下含有草地的圖片處理結果如圖3 （c）所示，與逆光下含有草地圖片處理結果相似，r－g色差分量和a＊分量處理較好，尤其是a＊分量，大多數草地的噪聲都能去除，只有一幅圖片未去除；而Cr分量保留較多草地噪聲，有些圖片的噪聲率高達58.62%。

對于順光下含有樹葉樹枝的圖片處理結果如圖3 （d）所示，與逆光下樹枝樹葉的處理情況相似，前兩種分量相對于Cr分量能夠去除較多噪聲，尤其是r－g色差分量能去除大部分的樹枝樹葉；而Cr分量保留較多樹枝樹葉噪聲，有些圖片的噪聲率達27.36%。對于第11幅圖片，a＊分量保留較多噪聲，而r－g 色差和Cr 分量處理后噪聲率為2.08%和0.24%，這可能是由于反光使得a＊分量不能完全去除陰影下的樹枝。

對上述含噪聲的圖片進行總噪聲率的比較，見表3。表3可以看出，對于逆光下草地噪聲的處理a＊分量效果最好，僅為4.19%，Cr分量最差，高達25.19%。而對于逆光下樹枝樹葉的處理r－g色差處理較好，為1.60%，Cr分量最差為5.79%。對于順光下的草地噪聲的處理a＊分量效果最好，僅為1.46%，Cr分量最差，高達24.80%。而對于順光下樹枝樹葉的處理r－g色差處理較好，為2.65%，Cr分量最差為6.89%。

表3 3種顏色模型下噪聲率比較

因此，無論是逆光還是順光條件下，對于含有草地噪聲的圖片，a＊分量的處理效果最好，r－g色差次之，Cr分量最差；對于含有樹葉樹枝噪聲的圖片，r－g 色差處理較好，a＊分量次之，Cr分量最差。對于總的噪聲 （草地和樹枝樹葉）來說，r－g色差和a＊分量處理后的噪聲均比較小，遠小于Cr分量。

結合果實面積比較分析，雖然a＊分量和Cr分量都能保留較多的果實面積，但是，考慮到Cr分量在保留果實面積的同時，也會保留過多發紅的草地和樹枝樹葉等噪聲，因此，對成熟蘋果進行分割提取的過程中，可以優先選用a＊分量進行提取。在周圍噪聲較小的情況下，可以選擇Cr分量。如果在只計算果實個數而不考慮果實大小的情況下，r－g 色差也能較好的提取出果實的輪廓。

4 結束語

本文討論了從彩色圖像中提取成熟蘋果目標的問題，在此基礎上分析了3種顏色模型提取果實的特點，結果表明：

（1）對蘋果圖像進行各分量灰度化處理，灰度圖像加強了目標與背景的對比度，然后采用Otsu法對其進行閾值分割，再利用形態學運算去除掉殘余噪聲，實現復雜環境下果實區域的提取。但不同顏色模型下的各分量對不同環境下采集到的圖像進行分割時有一定的差異，因此，選取合適的顏色模型對果實輪廓提取有很大影響。

（2）無論在逆光還是順光條件下，a＊分量和Cr分量的提取好于r－g色差分量，能相對保留較多的果實面積，但是Cr分量的噪聲率較高，逆光和順光下草地的噪聲率分別達到25.19%和24.80%，遠高于另兩種分量；因此，對自然環境下成熟蘋果的提取優先選用a＊分量。在周圍噪聲較小的情況下，可以選擇Cr分量進行提取。如果只計算果實個數而不考慮果實大小，可以考慮使用運行時間較快的r－g色差分量。

（3）文中講述的蘋果輪廓提取的步驟和方法，為前期處理提供了可參照的方法理論，較完整的提取出分離和鄰接狀態下的蘋果，對重疊蘋果的分割獲取還需要進一步研究。

［1］CUI Shujuan，LI Jian.The identification of mature apple based on the chromatic aberration ［J］.Journal of Northwest University （Natural Science Edition），2011，41 （6）：993－997 （in Chinese）.［崔淑娟，李健.基于色差信息的成熟蘋果識別 ［J］.西北大學學報（自然科學版），2011，41 （6）：993－997.］

［2］ZHAI Heng，SHI Dachuan，SHU Huairui.Current status and developing trend of apple industry in China ［J］.Journal of Fruit Science，2007，24 （3）：355－360（in Chinese）. ［翟衡，史大川，束懷瑞.我國蘋果產業發展現狀與趨勢 ［J］.果樹學報，2007，24 （3）：355－360.］

［3］QI Xuelong，WANG Guiping，MENG Hua.Research on combination forecasting model of apple output based on genetic algorithm ［J］.Journal of Fruit Science，2011，28 （1）：165－170 （in Chinese）.［亓雪龍，王貴平，孟華.基于遺傳算法的蘋果產量組合預測模型研究［J］.果樹學報，2011，28 （1）：165－170.］

［4］LI Xin，LI Lijun，GAO Zicheng，et al.Revised quasi－circular randomized Hough transform and its application in camellia－fruit recognition ［J］.Transactions of the Chinese Society of Agricultural Engineering，2013，29 （1）：164－170 （in Chinese）.［李昕，李立君，高自成，等.改進類圓隨機Hough變換及其在油茶果實遮擋識別中的應用 ［J］.農業工程學報，2013，29（1）：164－170.］

［5］Gong Aiping，Yu Junlin，He Yong，et al.Citrus yield estimation based on images processed by an Android mobile phone［J］.Biosystems Engineering，2013，115 （2）：162－170.

［6］LI Hongli，HE Dongjian.Study on technology of restore and location of apples under occluded ［J］.Journal of Agricultural Mechanization Research，2013 （9）：20－23 （in Chinese）.［李宏利，何東健.圖像中被遮擋蘋果的還原及定位技術研究［J］.農機化研究，2013 （9）：20－23.］

［7］LV Jidong，ZHAO De’an，JI Wei，et al.Dynamic recognition of oscillating fruit for harvesting robot［J］.Transactions of the Chinese Society for Agricultural Machinery，2012，43 （5）：173－196（in Chinese）.［呂繼東，趙德安，姬偉，等.采摘機器人振蕩果實動態識別［J］.農業機械學報，2012，43 （5）：173－196.］

［8］QIAN Jianping，YANG Xinting，WU Xiaoming，et al.Mature apple recognition based on hybrid color space in natural scene［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28 （17）：137－142 （in Chinese）. ［錢建平，楊信廷，吳曉明，等.自然場景下基于混合顏色空間的成熟期蘋果識別方法［J］.農業工程學報，2012，28 （17）：137－142.］

［9］CUI Yongjie，SU Shuai，LV Zhihai，et al.A method for separation of kiwifruit adjacent fruits based on Hough transformation［J］.Journal of Agricultural Mechanization Research，2012，34 （12）：166－169 （in Chinese）. ［崔永杰，蘇帥，呂志海，等.基于Hough變換的獼猴桃毗鄰果實的分離方法 ［J］.農機化研究，2012，34 （12）：166－169.］

［10］Yin HP，Chai Y，Yang SX，et al.Ripe tomato detection for robotic vision harvesting systems in greenhouses ［J］.Transactions of the ASABE，2011，54 （4）：1539－1546.

［11］SHI Xueqiang，CHENG Xinwen.Target extraction study on the vision system of apple picking robot［J］.Journal of Agricultural Mechanization Research，2013 （10）：46－48 （in Chinese）.［石雪強，程新文.蘋果采摘機器人視覺系統的目標提取研究 ［J］.農機化研究，2013 （10）：46－48.］

［12］GUO Aixia，ZOU Xiangjun，ZOU Haixin.Recognition on image of litchi fruits and their main fruit bearing based on twinthreshold method ［J］.Computer Engineering and Design，2014，35 （2）：557－561 （in Chinese）.［郭艾俠，鄒湘軍，鄒海鑫.基于二次閾值的荔枝果與結果母枝圖像識別 ［J］.計算機工程與設計，2014，35 （2）：557－561.］

［13］Payne AB，Walsh KB，Subedi PP，et al.Estimation of mango crop yield using image analysis－segmentation method ［J］.Computers and Electronics in Agriculture，2013，91：57－64.

［14］FU Peng.Research on the key technology of apple detection and recognition based on machine vision ［D］.Yangling：Northwest A＆F University，2012 （in Chinese）. ［付鵬.基于機器視覺的蘋果檢測與識別關鍵技術研究 ［D］.楊凌：西北農林科技大學，2012.］

［15］WANG Xiaorong，ZHAO Yingkai，LIN Jinguo.Fast target recognition based on YUV model and Gabor filter［J］.Computer Engineering and Design，2009，30 （20）：4701－4703（in Chinese）.［王曉榮，趙英凱，林錦國.基于YUV 模型和Gabor濾波器的快速目標識別方法 ［J］.計算機工程與設計，2009，30 （20）：4701－4703.］