基于視覺(jué)顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)的成熟桑葚圖像分割

賀付亮，郭永彩，高 潮，陳 靜

?

基于視覺(jué)顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)的成熟桑葚圖像分割

賀付亮1,2，郭永彩1※，高 潮1，陳 靜3

（1. 重慶大學(xué)光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400044；2. 西南大學(xué)電子信息工程學(xué)院，重慶 400715；3. 重慶市北碚區(qū)農(nóng)業(yè)委員會(huì)，重慶 400700）

為了提高在自然采摘環(huán)境中成熟桑葚機(jī)器視覺(jué)識(shí)別的有效性和魯棒性，克服圖像目標(biāo)形態(tài)小、分布雜散、背景干擾多和光照不均勻等困難，該文提出了一種采用視覺(jué)顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulse coupled neural network，PCNN）模型的成熟桑葚圖像分割方法。該方法首先將采集的圖像映射到Lab顏色空間，利用空間顏色分量的算術(shù)平均值和高斯濾波值之間的差異，構(gòu)建起桑葚圖像的頻率調(diào)諧視覺(jué)顯著圖；其次，提取采集圖像在HSI顏色空間的色調(diào)分量，經(jīng)過(guò)均衡化處理后，與視覺(jué)顯著圖進(jìn)行融合，實(shí)現(xiàn)桑葚目標(biāo)的融合特征表達(dá)；最后，通過(guò)改進(jìn)的分層閾值化脈沖耦合神經(jīng)網(wǎng)絡(luò)模型進(jìn)行目標(biāo)分割以及形態(tài)學(xué)處理，得到成熟桑葚的識(shí)別結(jié)果。利用從重慶市天府鎮(zhèn)果桑生態(tài)園采集到的200余幅桑樹(shù)掛果圖像進(jìn)行試驗(yàn)，結(jié)果表明，該方法能夠在不同光照條件的復(fù)雜背景下，有效分割出成熟果實(shí)，平均誤分率為1.87%，優(yōu)于結(jié)合頻率調(diào)諧視覺(jué)顯著性的OTSU法（17.73%）、-means聚類(lèi)算法（10.69%）、基于Itti視覺(jué)顯著性的PCNN分割方法（7.34%）和基于GBVS（graph-based visual saliency，GBVS）視覺(jué)顯著性的PCNN分割方法（5.83%）。研究結(jié)果為成熟桑葚果實(shí)的智能化識(shí)別提供參考。

圖像分割；機(jī)器視覺(jué)；模型；桑葚；視覺(jué)顯著性；頻率調(diào)諧；脈沖耦合神經(jīng)網(wǎng)絡(luò)

0 引 言

桑葚又名桑果，是落葉喬木桑樹(shù)（Morus alba Linn）的果實(shí)，是國(guó)家營(yíng)養(yǎng)學(xué)會(huì)認(rèn)定的 20 種食藥同源果蔬之一，其保健作用和營(yíng)養(yǎng)價(jià)值早為人們熟知，具有較高的市場(chǎng)價(jià)值[1-3]。但是，桑葚屬于漿果類(lèi)果實(shí)，成熟后掛果時(shí)間短，常溫下12～18 h即變色、脫落和腐爛[4-5]，這就需要對(duì)桑樹(shù)掛果實(shí)時(shí)監(jiān)測(cè)，快速識(shí)別其果實(shí)成熟情況。然而，山丘地形的種植環(huán)境，加之人工的巡檢方式，使得當(dāng)前桑葚成熟的監(jiān)測(cè)工作處于勞動(dòng)強(qiáng)度大、人力成本高、效率低的狀況。大面積的成熟果實(shí)無(wú)法及時(shí)監(jiān)測(cè)和采摘，從而出現(xiàn)大量落果，給果農(nóng)帶來(lái)了嚴(yán)重的經(jīng)濟(jì)損失。

所以，研究利用機(jī)器視覺(jué)方法實(shí)時(shí)、準(zhǔn)確判斷果實(shí)成熟度，幫助成熟果品及時(shí)監(jiān)測(cè)、采摘和儲(chǔ)存，對(duì)于獲得最佳的果實(shí)采摘率，提高桑葚的有效利用率和果農(nóng)的經(jīng)濟(jì)效益都有著重要的意義。

近年來(lái)，對(duì)成熟果實(shí)的智能化識(shí)別研究已經(jīng)成為智慧農(nóng)業(yè)技術(shù)關(guān)注的熱點(diǎn)之一[6-8]。不少學(xué)者在蘋(píng)果、葡萄和草莓等果品上，利用圖像分割技術(shù)，結(jié)合果實(shí)形狀、顏色等特征的識(shí)別方法（包括OTSU法、-means法、模糊C均值聚類(lèi)法、反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)法、徑向基（radial basis function，RBF）神經(jīng)網(wǎng)絡(luò)法等），實(shí)現(xiàn)了成熟水果的智能化判斷[9-15]。但同時(shí)，當(dāng)前這些方法也存在著局限。 OTSU等非監(jiān)督分類(lèi)方法在復(fù)雜背景下小目標(biāo)分割的效果不佳，BP、 RBF等神經(jīng)網(wǎng)絡(luò)監(jiān)督分類(lèi)方法存在著需要大量數(shù)據(jù)訓(xùn)練，迭代運(yùn)算時(shí)間長(zhǎng)等不足。

桑葚成熟果實(shí)的視覺(jué)分割問(wèn)題，相對(duì)于其他水果，具有形狀小（為多數(shù)小瘦果集合而成的聚花果[16-17]），掛果分布無(wú)規(guī)律，圖像背景存在大量復(fù)雜干擾因素等特點(diǎn)，所以直接應(yīng)用當(dāng)前方法，效果不佳。針對(duì)上述問(wèn)題，本文以采摘環(huán)境中桑葚的掛果圖像為研究對(duì)象，提出了一種結(jié)合頻率調(diào)諧的視覺(jué)顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)的成熟桑葚目標(biāo)視覺(jué)分割方法，以期為成熟桑葚果實(shí)的智能化識(shí)別提供參考。

1 材料與方法

1.1 桑樹(shù)掛果圖像采集

桑樹(shù)掛果圖像的采集地點(diǎn)在重慶市北碚區(qū)天府鎮(zhèn)果桑生態(tài)園，平均海拔為600 m，處于山坡地形，規(guī)模化種植了龍桑、紅果等各類(lèi)果桑，面積達(dá)200 hm2。課題組于2016年5月桑葚成熟期間，利用Canon EOS70D數(shù)碼相機(jī)采集了200余幅的桑樹(shù)掛果圖像，包括90幅龍桑，90幅紅果和20余幅白玉王。拍攝時(shí)間為白天，包含了陽(yáng)光照射充足的晴天和無(wú)太陽(yáng)直射的多云陰天等天氣條件。拍攝光照為自然環(huán)境光照，在4種情況下對(duì)成熟桑葚進(jìn)行成像，包含了晴天太陽(yáng)光均勻照射，晴天太陽(yáng)光非均勻照射（采集圖像出現(xiàn)較強(qiáng)的背景光點(diǎn)干擾），晴天遮陰（桑葚處于葉片等遮蓋物陰影下），陰天光照（沒(méi)有太陽(yáng)直射，光照不足但相對(duì)均勻）。拍攝圖像分辨率為3 648×5 472像素，拍攝距離為30～80 cm。本文算法進(jìn)行試驗(yàn)時(shí)，會(huì)將所采集圖像壓縮至720×1 280像素，這樣可進(jìn)一步集成到“桑葚生長(zhǎng)遠(yuǎn)程智能監(jiān)測(cè)物聯(lián)網(wǎng)系統(tǒng)”中，匹配其監(jiān)控?cái)z像頭的分辨率。

1.2 成熟桑葚分割方法

本文提出的成熟桑葚圖像分割方法流程如圖1所示。首先對(duì)采集圖像進(jìn)行顏色空間分量的提取，分別選取Lab顏色空間三分量和HSI顏色空間的色調(diào)（hue，）分量。然后利用整幅圖像在Lab空間上各分量的算術(shù)平均值與每一個(gè)像素點(diǎn)經(jīng)過(guò)高斯濾波后所獲值之間的差異，得到原圖像基于頻率調(diào)諧的視覺(jué)顯著性表達(dá)。另一方面，對(duì)色調(diào)分量進(jìn)行均衡化處理，處理后的結(jié)果與顯著圖進(jìn)行特征融合，從而形成脈沖耦合神經(jīng)網(wǎng)絡(luò)模型（pulse coupled neural network，PCNN）的輸入圖像。最后，經(jīng)過(guò)改進(jìn)的分層閾值化PCNN模型和相關(guān)形態(tài)學(xué)處理，得到成熟桑葚的識(shí)別結(jié)果。

1.2.1 顏色空間的選取

自然天氣光照條件下獲取的桑樹(shù)掛果圖像，受環(huán)境影響，存在著光照不均勻、陰影遮擋和色溫變化等特點(diǎn)，使得成熟桑葚的顏色特征表達(dá)應(yīng)選取合適的顏色空間。

CIE Lab顏色空間是由國(guó)際照明委員會(huì)（commission internationale de l’eclairage，CIE）制定的一種數(shù)字化描述的均勻色彩空間，該色彩空間基于人眼對(duì)自然顏色的感知形成[18]。其中，表達(dá)了亮度層分量，表達(dá)了紅/綠軸上的顏色分量，表達(dá)了黃/藍(lán)軸上的顏色分量。通過(guò)3個(gè)分量的幾何距離差異，可以較好的區(qū)別出同一圖像中不同的顏色區(qū)域，且3個(gè)分量相互之間獨(dú)立性高，所以適合于做目標(biāo)顯著性的特征表達(dá)。因此，本文在此空間引入了對(duì)成熟桑葚目標(biāo)的頻率調(diào)諧視覺(jué)顯著性描述，使之成為識(shí)別目標(biāo)的特征之一。色調(diào)是HSI顏色空間中的分量，該分量在此空間中單獨(dú)控制顏色，具有光照不變性。可以用來(lái)彌補(bǔ)在Lab空間上，表達(dá)成熟桑葚顯著性時(shí)受光照不均勻所帶來(lái)的影響。

本文方法所涉及的Lab、HSI顏色空間的相關(guān)分量獲取均通過(guò)數(shù)碼相機(jī)的CMOS傳感器所獲取的RGB顏色空間模式表達(dá)的JPEG圖像轉(zhuǎn)換得來(lái)。

1.2.2 頻率調(diào)諧的視覺(jué)顯著性表達(dá)

頻率調(diào)諧（frequency-tuned，F(xiàn)T）是圖像的視覺(jué)顯著性的一種檢測(cè)方法，由Achanta等學(xué)者在2009年從圖像頻率成分分析的角度提出，定義了在Lab空間下整幅圖像的顏色均值與每一個(gè)像素點(diǎn)經(jīng)過(guò)高斯濾波后所獲得的顏色值之間的差異，來(lái)表達(dá)其視覺(jué)顯著性[19-20]：

其中，

（2）

這里，高斯濾波器是利用了多個(gè)高斯差分的結(jié)合成為帶通濾波器，這樣就形成了一個(gè)多尺度邊緣檢測(cè)器，表達(dá)為：

將此方法應(yīng)用于成熟桑葚目標(biāo)的特征表達(dá)中，如圖2所示。所獲得的視覺(jué)顯著圖，能夠有效捕捉到各顏色空間分量的劇烈跳變點(diǎn)，充分表達(dá)出形狀小且不規(guī)范的桑葚成熟果實(shí)與周?chē)~子、枝干以及未成熟桑果等背景之間的顏色差異，如圖2b所示。這種圖像頻率調(diào)諧的視覺(jué)顯著性表達(dá)，利用了圖像平均信息，是一種全局對(duì)比度的描述方法，能夠在Lab顏色空間清晰的表達(dá)出成熟桑葚的邊緣輪廓，從而為成熟桑葚有效分割提供了豐富的特征信息。

a. 原始圖像????b. 對(duì)應(yīng)的頻率調(diào)諧視覺(jué)顯著性圖

1.2.3 色調(diào)分量均衡化與特征融合

光照問(wèn)題是機(jī)器視覺(jué)技術(shù)中面臨的主要難題之一，光強(qiáng)變化會(huì)改變采集圖像的灰度值，從而影響到成熟桑葚分割的準(zhǔn)確性。在本文方法中，因?yàn)槔玫絃ab空間中光強(qiáng)表達(dá)的亮度分量去構(gòu)建桑葚圖像的視覺(jué)顯著圖，所以該特性會(huì)受光照不均勻的影響。因此，這里提出引入HSI顏色空間中分量融合到桑葚目標(biāo)特征表達(dá)中，該色調(diào)分量的特點(diǎn)就是能從人的視覺(jué)感知表達(dá)目標(biāo)的顏色特征，同時(shí)不受光照影響。

對(duì)于分量，本文首先進(jìn)行了對(duì)比度受限自適應(yīng)直方圖均衡化（contrast limited adaptive histogram equalization，CLAHE）調(diào)整[21-23]，目的在于增強(qiáng)圖像局部的顏色對(duì)比度，可以更多捕獲成熟桑葚目標(biāo)與背景之間的細(xì)節(jié)差異。另外，該方法對(duì)比普通的直方圖均衡算法，使用了對(duì)比度限幅，可以克服圖像均衡化過(guò)程中噪音過(guò)度放大的問(wèn)題。

桑樹(shù)掛果圖像的均衡化分量與頻率調(diào)諧視覺(jué)顯著圖兩個(gè)特征通過(guò)式（5）進(jìn)行融合，表達(dá)為

1.2.4 改進(jìn)分層閾值化PCNN模型

脈沖耦合神經(jīng)網(wǎng)絡(luò)模型（pulse coupled neural network，PCNN）是由Eckhorn等學(xué)者模擬哺乳動(dòng)物視覺(jué)皮層構(gòu)建提出的，近年來(lái)國(guó)內(nèi)外學(xué)者對(duì)其改進(jìn)和簡(jiǎn)化[24-27]，形成了適合于圖像目標(biāo)檢測(cè)的模型。這里為了適應(yīng)成熟桑葚掛果圖像特點(diǎn)，使之在復(fù)雜的種植環(huán)境中，有效分割出多個(gè)小目標(biāo)，筆者提出了改進(jìn)的分層閾值化PCNN模型來(lái)實(shí)現(xiàn)目標(biāo)分割。式（6）～（10）描述了其單個(gè)神經(jīng)元離散迭代模型的工作機(jī)理：

（7）

（8）

（10）

整個(gè)分層閾值化PCNN模型是按照式（6）～（10）式構(gòu)建神經(jīng)元網(wǎng)絡(luò)模型，并迭代對(duì)輸入圖像進(jìn)行點(diǎn)火分割，輸出特征相似的桑葚目標(biāo)對(duì)象。式中為反饋輸入，這里定義為桑樹(shù)掛果圖像的均衡化分量與頻率調(diào)諧視覺(jué)顯著性之間融合后，所形成圖像矩陣的每一個(gè)元素值；為連接輸入，為連接權(quán)矩陣,為鄰域內(nèi)其它神經(jīng)元上一次迭代的脈沖輸出；為該神經(jīng)元內(nèi)部活動(dòng)項(xiàng)，則為活動(dòng)項(xiàng)的耦合強(qiáng)度系數(shù)；為迭代分割的脈沖輸出；為動(dòng)態(tài)閾值，是控制每一次圖像分割輸出的關(guān)鍵。這里改進(jìn)了它的設(shè)置方法，提出了利用每一次迭代分割后輸出目標(biāo)區(qū)域內(nèi)的均值通過(guò)系數(shù)衰減后形成得到。其中，表達(dá)為

PCNN模型屬于人工神經(jīng)網(wǎng)絡(luò)模型，但它不需要訓(xùn)練，就能根據(jù)任務(wù)自適應(yīng)地實(shí)現(xiàn)非線(xiàn)性化分類(lèi)。即將本文提出的桑樹(shù)掛果圖像融合特征圖輸入到改進(jìn)分層閾值化PCNN模型時(shí)，該模型會(huì)自動(dòng)建立起對(duì)應(yīng)圖像像元720′1 280個(gè)神經(jīng)元，通過(guò)上述迭代運(yùn)算，實(shí)現(xiàn)對(duì)相似特征神經(jīng)元的集體觸發(fā)點(diǎn)火，從而產(chǎn)生一系列的輸出圖像，最后通過(guò)最小交叉信息熵規(guī)則篩選，形成了成熟桑葚的分割區(qū)域。

1.2.5 成熟桑葚目標(biāo)的輸出

在成熟桑葚區(qū)域分割出后，目標(biāo)圖像還會(huì)呈現(xiàn)出果實(shí)不完整和一些殘留噪聲，包括桑葚特有的聚花果形態(tài)小顆粒果實(shí)之間的分割空隙、樹(shù)葉遮擋后不完整桑果等，如圖3a所示，該圖像為原始圖像圖2a在經(jīng)過(guò)特征融合，并由改進(jìn)分層閾值化PCNN模型區(qū)域分割后得到的結(jié)果。本文利用形態(tài)學(xué)膨脹和腐蝕組合運(yùn)算，在該結(jié)果上去除獨(dú)立噪聲，平滑連通成熟桑葚目標(biāo)區(qū)域，最后完成成熟果實(shí)的輸出，如圖3b和圖3c所示。

a. 輸入圖像a. Input imageb. 去除噪聲的結(jié)果b. Results after noise removalc. 平滑連通的成熟桑葚區(qū)域c. Ripe mulberry regions after smoothing and connecting

2 試驗(yàn)與結(jié)果分析

2.1 試驗(yàn)環(huán)境與參數(shù)選擇

為了驗(yàn)證所提出方法在成熟桑葚視覺(jué)分割中的性能，選擇如下平臺(tái)進(jìn)行試驗(yàn)：

硬件配置：Intel? Core?i7-3520M 2.90 GHz CPU，8GB RAM，NVIDIA Quadro NVS 5200M 顯卡的計(jì)算機(jī)。

軟件環(huán)境：采用Window 7操作系統(tǒng)，在Visual C++ 2015編程環(huán)境中實(shí)現(xiàn)，由C/C++語(yǔ)言編寫(xiě)，具有較好的移植性，可進(jìn)一步用于其他硬件平臺(tái)應(yīng)用。

改進(jìn)的分層閾值化PCNN模型的參數(shù)設(shè)置是根據(jù)成熟桑葚目標(biāo)分割的特點(diǎn)，參考文獻(xiàn)[25]和[27]并通過(guò)多次試驗(yàn)調(diào)整得到。確定了式（7）中鄰域空間連接權(quán)矩陣，由中心像素的8鄰域邊界像素距離決定，取式（12）：

2.2 成熟桑葚分割結(jié)果

試驗(yàn)對(duì)象為晴天均勻光照、晴天非均勻光照、晴天遮陰和陰天光照等4種光照條件下拍攝的桑樹(shù)掛果圖像，每一種選取50幅進(jìn)行試驗(yàn)，每一幅圖像分辨率為720′1 280像素。每一幅試驗(yàn)圖像上不僅包含了呈現(xiàn)為紫紅或紫黑色顏色特征急待摘取的桑葚成熟果實(shí)這一識(shí)別目標(biāo)。同時(shí)，還存在了綠色同形態(tài)的未成熟桑葚、綠色桑葉、褐灰色桑樹(shù)枝干以及顏色與成熟桑葚相近的深紅色土壤等大量背景干擾。試驗(yàn)?zāi)繕?biāo)設(shè)計(jì)為，在自然環(huán)境的桑樹(shù)掛果圖像中，有效分割出成熟桑葚，完整提取果實(shí)目標(biāo)。

另外，試驗(yàn)還選取了目前廣泛采用的果實(shí)圖像非監(jiān)督分割算法：基于頻率調(diào)諧視覺(jué)顯著圖的OTSU法、利用顏色空間分量聚類(lèi)的-means法，以及分別用桑葚圖像的Itti視覺(jué)顯著圖[28-29]、GBVS視覺(jué)顯著圖[30-31]替換本文采用的頻率調(diào)諧視覺(jué)顯著圖，所形成的PCNN模型法等共計(jì)4種分割方法，與本文算法在成熟桑葚目標(biāo)的檢測(cè)效果上進(jìn)行對(duì)比。

其中，-means法參考文獻(xiàn)[9]和[10]，在Lab顏色空間上進(jìn)行聚類(lèi)，參數(shù)取為3。

圖4～7展現(xiàn)了所選取方法在試驗(yàn)圖像上所獲得的一些典型結(jié)果，同時(shí)就這些結(jié)果本文將展開(kāi)進(jìn)一步的分析。

2.3 結(jié)果分析

從圖4～7的分割結(jié)果可以看到：

1）本文方法能夠從大量桑葉、桑樹(shù)枝干的復(fù)雜背景圖像中準(zhǔn)確提取到桑葚成熟果實(shí)，典型如圖4f、圖5f、圖6f和圖7f所示。而OTSU法和-means法受圖像中桑葉和桑樹(shù)枝干等干擾因素影響較大，易出現(xiàn)較多目標(biāo)誤分割。基于Itti視覺(jué)顯著圖和GBVS視覺(jué)顯著圖的PCNN分割方法，效果相對(duì)較好，但不及本文方法，在圖5和圖6中表現(xiàn)尤為明顯。

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

2）與其他方法比較，本文方法能夠有效區(qū)別出未成熟的綠色桑果與成熟的紫紅或紫黑色桑果，特別如圖4和圖6這樣的近景圖像表現(xiàn)更為明顯。

3）本文方法能有效克服非均勻光照帶來(lái)的強(qiáng)光點(diǎn)影響，典型如圖5a中右上方的太陽(yáng)強(qiáng)光和圖6a中正下方枝干上的直射光并未在本文算法上造成誤分割結(jié)果。而基于Itti視覺(jué)顯著圖、GBVS視覺(jué)顯著圖的PCNN分割方法卻受光照影響較大，在有強(qiáng)光光斑的圖像中分割效果較差，如圖5d、圖6d和圖5e、圖6e展示結(jié)果所示。OTSU法和和-means法同樣在非均勻光強(qiáng)下表現(xiàn)不佳。

4）本文方法能夠克服顏色與成熟桑葚相近的深紅色土壤的影響，典型如圖7f圖所示。

綜上，從分割效果直觀(guān)看出，本文方法能夠在不同自然光照條件下，從桑樹(shù)掛果的復(fù)雜背景圖像中，有效鑒別出成熟桑葚。

2.4 性能指標(biāo)評(píng)價(jià)

為了進(jìn)一步客觀(guān)地驗(yàn)證本文方法的有效性，選用了文獻(xiàn)[26]中的誤分率（misclassification error, ME）來(lái)對(duì)圖像分割性能指標(biāo)進(jìn)行評(píng)價(jià)。

表1展示了對(duì)比方法在晴天均勻光照、晴天非均勻光照、晴天遮陰和陰天光照等4種光照條件下桑葚圖像分割的平均誤分率，每一種包含了50幅圖像的平均結(jié)果。從分割性能的平均指標(biāo)上看，非均勻光照的光斑對(duì)各類(lèi)試驗(yàn)算法的分割結(jié)果都有一定影響，特別在晴天遮陰光照條件下影響最大。但從整體情況上看，本文方法在不同光照條件下均有較好的性能指標(biāo)，適應(yīng)光照變化的能力最強(qiáng)。

表1同時(shí)也展示了不同對(duì)比試驗(yàn)方法在200幅測(cè)試圖像上的平均運(yùn)行時(shí)間。從時(shí)間指標(biāo)上來(lái)看，本文算法相對(duì)于OTSU法和-means法，要耗時(shí)一些，但時(shí)間花費(fèi)不是太高，與-means方法接近。基于Itti視覺(jué)顯著性和GBVS視覺(jué)顯著性的PCNN分割方法，由于在其視覺(jué)顯著圖的計(jì)算復(fù)雜度上相比于頻率調(diào)諧方法要大，所以花費(fèi)時(shí)間比本文算法更長(zhǎng)。

但同時(shí)，本文方法也存在一些問(wèn)題：1）當(dāng)桑葚果實(shí)出現(xiàn)被桑葉遮擋或者相互遮擋重疊的時(shí)候，會(huì)出現(xiàn)分割不完整的問(wèn)題，如圖8b所示。2）另外，對(duì)于白玉王這類(lèi)成熟與未成熟果實(shí)之間顏色差異較小的品種，分割效果不理想，如圖8d所示。這些問(wèn)題也是今后課題研究需要關(guān)注的方向。

表1 對(duì)比方法在不同光照條件下50幅桑葚圖像的平均誤分率和在200幅試驗(yàn)圖像上平均運(yùn)行時(shí)間

a. 遮擋桑葚原始圖像a. Original image of occluded mulberriesb. 遮擋桑葚圖像分割結(jié)果b. Segmentation result of occluded mulberries imagec. 成熟白玉王原始圖像c. Original image of ripe “bai yu wang” mulberriesd. 白玉王桑葚圖像分割結(jié)果d. Segmentation result of “bai yu wang” mulberries image

圖8 遮擋的桑葚和成熟白玉王的視覺(jué)分割

Fig.8 Visual segmentation results of occluded mulberries and ripe “bai yu wang”mulberries

3 結(jié) 論

本文提出了一種成熟桑葚目標(biāo)的視覺(jué)分割方法，該方法利用了圖像目標(biāo)在Lab顏色空間的頻率調(diào)諧視覺(jué)顯著圖和在HSI顏色空間的均衡化分量的融合特征，在脈沖耦合神經(jīng)網(wǎng)絡(luò)模型中實(shí)現(xiàn)了有效的、魯棒的成熟桑葚識(shí)別。通過(guò)在晴天均勻光照、晴天非均勻光照、晴天遮陰和陰天光照等4種光照條件下200余幅桑葚圖像的試驗(yàn)分析，結(jié)果表明：1）本文方法對(duì)于光照變化具有一定的魯棒性，能在不同天氣的光照條件下，較為準(zhǔn)確的提取成熟桑葚目標(biāo)，最大平均誤分率也僅為2.78%（晴天遮陰光照條件）；2）本文方法為非監(jiān)督分類(lèi)方法，不需要大量樣本圖像訓(xùn)練，即可實(shí)現(xiàn)桑葚的有效分割；3）本文方法能夠適應(yīng)成熟桑葚的圖像分布特點(diǎn)，能夠克服桑葚采摘環(huán)境中復(fù)雜背景干擾，對(duì)比當(dāng)前果實(shí)分割的OTSU法（17.73%）、-means法算法（10.69%）和基于Itti視覺(jué)顯著性（7.34%）、GBVS視覺(jué)顯著性的PCNN分割方法（5.83%），具有較好的效果，總體平均誤分率為1.87%。下一步研究工作中將進(jìn)一步在實(shí)時(shí)硬件平臺(tái)上優(yōu)化該方法，使之應(yīng)用在“桑葚生長(zhǎng)遠(yuǎn)程智能監(jiān)測(cè)物聯(lián)網(wǎng)系統(tǒng)”中，實(shí)現(xiàn)桑葚成熟果實(shí)采摘的智能提醒和產(chǎn)量估計(jì)。

[1] 徐子棋，饒良懿，朱金兆，等. 水淹脅迫下飼料桑苗的生長(zhǎng)及光合響應(yīng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(22)：105－114.Xu Ziqi, Rao Liangyi, Zhu Jinzhao, et al. Growth and photosynthesis characteristics of mulberry under flooding stress[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 105－114. (in Chinese with English abstract)

[2] Dimitrijevic D S, Kostic D A, Stojanovic G S, et al. Phenolic composition, antioxidant activity, mineral content and antimicrobial activity of fresh fruit extracts of Morus alba L.[J]. Journal of Food & Nutrition Research, 2014, 53(1): 22－30.

[3] 曾令樹(shù). 果桑的利用價(jià)值與發(fā)展現(xiàn)狀概述[J]. 蠶學(xué)通訊，2015，35(3)：22－25. Zeng Lingshu. An overview of utilization value and development status of mulberry[J]. Newsletter of Sericultural Science, 2015, 35(3): 22－25. (in Chinese with English abstract)

[4] 丁紅星，李敏通，彭俊，等. 桑葚振動(dòng)采摘參數(shù)的試驗(yàn)研究[J]. 農(nóng)機(jī)化研究，2016，38(10)：183－212. Ding Hongxing, Li Mintong, Peng Jun, et al. Experimental study on the vibration parameters of mulberry picking[J]. Journal of Agricultural Mechaniz-ation Research, 2016, 38(10): 183－212. (in Chinese with English abstract)

[5] 趙玲玲，姜文利，張巖，等. 不同天然生物保鮮液對(duì)桑葚貯藏品質(zhì)的影響[J]. 保鮮與加工，2015，15(4)：26－31. Zhao Lingling, Jiang Wenli, Zhang Yan, et al. Effect of different natural biological preservative solution on storage quality of mulberry[J]. Storage & Process, 2015, 15(4): 26－31. (in Chinese with English abstract)

[6] 周金輝，馬欽，朱德海，等. 基于機(jī)器視覺(jué)的玉米果穗產(chǎn)量組分性狀測(cè)量方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(3)：221－227.Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221－227. (in Chinese with English abstract)

[7] 柳琪. 農(nóng)機(jī)行業(yè)下一個(gè)熱點(diǎn)將是農(nóng)業(yè)機(jī)器人[J]. 農(nóng)業(yè)機(jī)械，2016(6)：41－45. Liu Qi. Agricultural robots will be the next focus in agricultural machinery industry[J]. Agricultural Machinery, 2016(6): 41－45. (in Chinese with English abstract)

[8] Nandi C, Tudu B, Koley C. A machine vision technique for grading of harvested mangoes based on maturity and quality[J]. IEEE Sensors Journal, 2016, 16(16): 6387－6396.

[9] 苗中華，沈一籌，王小華，等. 自然環(huán)境下重疊果實(shí)圖像識(shí)別算法與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(6)：21－26. Miao Zhonghua, Shen Yichou, Wang Xiaohua, et al. Image recognition algorithm and experiment of overlapped fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(6): 21－26. (in Chinese with English abstract)

[10] 賈偉寬，趙德安，劉曉洋，等. 機(jī)器人采摘蘋(píng)果果實(shí)的-means和GA-RBF-LMS神經(jīng)網(wǎng)絡(luò)識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(18)：175－183. Jia Weikuan, Zhao Dean, Liu Xiaoyang, et al. Apple recognition based on-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(18): 175－183. (in Chinese with English abstract)

[11] 羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機(jī)器人采摘點(diǎn)的自動(dòng)定位[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(2)：14－21. Luo Lufeng, Zou Xiangjun, Xiong Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 14－21. (in Chinese with English abstract)

[12] 徐黎明，呂繼東. 基于同態(tài)濾波和均值聚類(lèi)算法的楊梅圖像分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015, 31(14)：202－208.Xu Liming, Lü Jidong. Bayberry image segmentation based on homomorphic filtering and-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 202－208. (in Chinese with English abstract)

[13] 陳科尹，鄒湘軍，熊俊濤，等. 基于視覺(jué)顯著性改進(jìn)的水果圖像模糊聚類(lèi)分割算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(6)：157－165. Chen Keyin, Zou Xiangjun, Xiong Juntao, et al. Improved fruit fuzzy clustering image segmentation algorithm based on visual saliency[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(6): 157－165. (in Chinese with English abstract)

[14] Ji W, Zhao D, Cheng F, et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering, 2012, 38(5): 1186－1195.

[15] 張紅旗，王春光，李海軍. 基于遺傳算法的草莓圖像FCM分割方法研究[J]. 農(nóng)機(jī)化研究，2015，37(4)：55－57. Zhang Hongqi, Wang Chunguang, Li Haijun. The research of strawberry image FCM segmentation method based on genetic algorithm[J]. Journal of Agricultural Mechanization Research, 2015, 37(4): 55－57. (in Chinese with English abstract)

[16] 徐偉芳，王愛(ài)印，舒平，等. 幾種常見(jiàn)桑樹(shù)病害的識(shí)別與防治[J]. 蠶學(xué)通訊，2015，35(2)：22－30. Xu Weifang, Wang Aiyin, Shu Ping, et al. Identification and control of several diseases commonly occurred in mulberries[J]. Newsletter of Sericultural Science, 2015, 35(2): 22－30. (in Chinese with English abstract)

[17] 陳誠(chéng). 桑椹品質(zhì)特性分析與研究[D]. 南寧：廣西中醫(yī)藥大學(xué)藥學(xué)院，2011：11－12.

[18] 嚴(yán)春來(lái). 彩色圖像分割算法的研究[D]. 成都：電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，2008：10－11.

[19] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]// Conference on Computer Vision and Pattern Recognition. IEEE, 2009: 1597－1604.

[20] Achanta R, Süsstrunk S. Saliency detection using maximum symmetric surround[C]// Conference on Image Processing. IEEE, 2010: 2653－2656.

[21] Josephus C S, Remya S. Multilayered contrast limited adaptive histogram equalization using frost filter[C]// Recent Advances in Intelligent Computational Systems. 2011: 638－641.

[22] 楊衛(wèi)中，徐銀麗，喬曦，等. 基于對(duì)比度受限直方圖均衡化的水下海參圖像增強(qiáng)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(6)：197－203. Yang Weizhong, Xu Yinli, Qiao Xi, et al. Method for image intensification of underwater sea cucumber based on contrast- limited adaptive histogram equalization[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(6): 197－203. (in Chinese with English abstract)

[23] 姬偉，陶云，趙德安，等. 基于CLAHE的蘋(píng)果樹(shù)樹(shù)枝迭代閾值分割方法研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2014，45(4)：69－75. Ji Wei, Tao Yun, Zhao Dean, et al. Iterative threshold segmentation of apple branch images based on CLAHE[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(4): 69－75. (in Chinese with English abstract)

[24] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: Simulations of results from cat visual cortex[J]. Neural Computation, 1990, 2(3): 293－307.

[25] Chen Y, Park S, Ma Y, et al. A new automatic parameter setting method of a simplified PCNN for image segmentation[J].IEEE Transactions on Neural Networks, 2011, 22(6): 880－892.

[26] Gao C, Zhou D, Guo Y. An iterative thresholding segmentation model using a modified pulse coupled neural network[J]. Neural Processing Letters, 2014, 39(1): 81－95.

[27] Zhou D, Zhou H, Gao C, et al. Simplified parameters model of PCNN and its application to image segmentation[J].Pattern Analysis and Applications, 2016, 19(4): 939－951.

[28] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11): 1254－1259.

[29] Liu L, Yu X, Ding B. A fast segmentation algorithm of PET images based on visual saliency model[J]. Procedia Computer Science, 2016, 92(1): 361－370.

[30] Sch?lkopf B, Platt J, Hofmann T. Graph-based visual saliency[C]// Conference on Advances in Neural Information Processing Systems. MIT Press, 2010: 545－552.

[31] Zhu D, Wang B, Zhang L M. Airport detection based on near parallelity of line segments and GBVS saliency[J]. Journal of Infrared & Millimeter Waves, 2015, 34(3): 375－384.

Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network

He Fuliang1,2, Guo Yongcai1※, Gao Chao1, Chen Jing3

(1.400044,; 2.400715,; 3.400700,)

In the planting environment, it is difficult to detect the ripe mulberry targets automatically by machine vision because of the small shape, irregular distribution of fruits, non-uniformly illuminating condition and complex background interference. This paper presents a visual segmentation approach of ripe mulberries based on frequency-tuned (FT) saliency map and the pulse coupled neural network (PCNN) model in order to improve the segmentation precision and robustness for ripe mulberries. Firstly, the captured mulberry image is transformed into Lab color space. This color space is designed by the perception of the human eye in the natural color. Consequently, the color feature of the target can be expressed by 3 independent components i.e.,, and. Next, the FT saliency map of mulberries can be computed by a multiscale edge detector. And it typically distinguishes differences between the region of ripe mulberries and the complex background in Lab color space. This saliency is illustrated as the difference matrix which includes the Euclidean distance of each pixel between the Lab vectors in the Gaussian filtered image and the average Lab vectors in the original image. Thereafter, the hue feature is extracted from the HSI (hue, saturation, intensity) color space of the captured mulberry image, and then equalized by contrast limited adaptive histogram equalization (CLAHE), which can enhance the color contrast of the mulberry image without being affected by illumination changes. And the feature image of mulberries is generated by fusing the FT saliency and the hue feature, as an input of the improved multilevel threshold PCNN model. Furthermore, the region of ripe mulberries can be detected by this PCNN model, which is a bio-inspired neural network and derived from synchronous dynamics of neuronal activity in a mammal visual cortex. This model is able to cause the adjacent neurons with similar inputs to pulse synchronously, and be appropriate to segment the small target from the complex background. Finally, the segmentation result of the ripe mulberry is acquired by morphology repair operation, and it ensures the integrity of the target region and the independent noise removal. In order to verify the effect of the method proposed in this paper, there were 200 test images captured from the mulberry ecological park of the Tianfu Town, Chongqing City, China in May, 2016. The acquisition time was often on sunny day and cloudy day, aiming at obtaining images under different lighting conditions, such as balanced illumination, imbalanced illumination and backlight. These images were collected by the Canon EOS70D digital camera with 3 648×5 472 pixels, and zoomed into 720×1 280 pixels to apply to the remote intelligent monitoring system of mulberry growth. The algorithm programming development platform is Visual C++ 2015. The experimental results point out that the average misclassification error (ME) by our method is only 1.87%, infinitely superior to the OTSU method with FT saliency (17.73%), the-means method (10.69%), the improved multilevel threshold PCNN method based on Itti saliency map (7.34%), and the PCNN method based on graph-based visual saliency (GBVS) image (5.83%). The average segmentation time of a test image based on our method is 2.562 3 s. Consequently, our approach is effective to segment the ripe mulberries in the complicated background and different lighting conditions.

image segmentation; computer vision; models; mulberry; visual saliency; frequency-tuned; pulse coupled neural network

10.11975/j.issn.1002-6819.2017.06.019

TP391.41

A

1002-6819(2017)-06-0148-08

2016-08-31

2017-01-06

教育部博士點(diǎn)基金（20130191110021）；中央高校基本業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金資助（XDJK2013C157）

賀付亮，男，重慶人，講師，主要從事農(nóng)業(yè)信息化及測(cè)控技術(shù)研究。重慶西南大學(xué)電子信息工程學(xué)院，400715。Email：lighter@swu.edu.cn

郭永彩，女，重慶人，教授，博士生導(dǎo)師，主要從事光電技術(shù)及智能化儀器、數(shù)字信號(hào)處理研究；重慶重慶大學(xué)光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，400044。Email：ycguo@cqu.edu.cn