基于整體外觀特征的植物種類識別研究

陳淑君 周永霞 方勇軍

1(中國計量大學信息工程學院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

基于整體外觀特征的植物種類識別研究

陳淑君1周永霞1方勇軍2

1(中國計量大學信息工程學院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

提出一種基于整體植物外觀特征提取的植物自動識別方案。首先，用普殘差法對植物圖像進行顯著性區(qū)域檢測，較粗略地得到植物對象，再結(jié)合色調(diào)信息進行細分割。接著提取該對象區(qū)域的SIFT特征作為底層局部特征，建立視覺詞包模型，最后設(shè)計分類器進行分類。選取了9種常見的室內(nèi)盆栽，每種植物各28個樣本。在實驗中，分別對比當前流行的 BP神經(jīng)網(wǎng)絡(luò)、SVM和ELM三種分類器的分類性能。實驗結(jié)果發(fā)現(xiàn)，支持向量機和極限學習機有較好的分類效果，識別率可以達到90%左右。這對植物識別的研究及應(yīng)用推廣都具有一定的積極作用。

普殘差法 SIFT 視覺詞包模型 支持向量機 極限學習機

0 引 言

植物與我們?nèi)祟惖纳蠲芮邢嚓P(guān)。植物的自動化識別對農(nóng)業(yè)的發(fā)展、人類的認知活動等都有著非常重要的作用。

當前對植物識別方法的研究較多，但大多都是基于葉片的識別[1-4]，利用葉片的大小、形狀、紋理等特征。文獻[2]先對葉片做去陰影和背景校正等預處理，

再用隨機森林的方法進行分類，在CLEF 2012葉片分類大賽中獲得了第二名。文獻[4]中的Leafsnap是利用葉子邊緣構(gòu)建多尺度曲率模型，以葉片圖像進行分類，在美國東北部的184種樹種數(shù)據(jù)庫上取得了較高的識別率。但在實際應(yīng)用中，用一片單獨完整的植物葉片進行識別有諸多限制，而從整體植物中分割出單獨的葉片難度很大。百度的識圖系統(tǒng)可以對整體植物進行識別，但識別效果不佳，用戶體驗較差。所以本文對基于整體植物特征提取的植物識別進行相關(guān)研究。

1 植物對象分割

植物對象的自動分割是植物識別領(lǐng)域所面臨的一大挑戰(zhàn)。不僅植物本身具有多樣性，其背景及植物盆栽花瓶也各式各樣，傳統(tǒng)的分割算法對植物的分割適用性較差。本文用視覺顯著性檢測的方法對植物對象進行分割。

當前視覺顯著性的研究，是從空域、頻域以及空域頻域相結(jié)合3個方向展開。其中空域模型，最經(jīng)典的是Itti等提出的模型[5]。該模型直接線性融合多種底層特征的顯著圖，具有計算速度快且容易實現(xiàn)的特點，但對顯著對象的描述通常較為模糊，有時會產(chǎn)生塊效應(yīng)，且輪廓定位不夠精確，對復雜背景和噪聲的穩(wěn)健性較差。文獻[6]中提出了一種基于全局對比度的顯著性模型，由于其保留了原圖像的分辨率，因此輪廓定位精確。而普殘差模型[7]SR(Spectral Residual)是在頻域內(nèi)利用幅值譜從全局去除圖像冗余信息獲得顯著信息，運算簡單而快速。

在本文中，我們用普殘差模型對植物前景進行分割。該模型是在頻域內(nèi)從全局角度研究圖像的顯著性特征。如式(1)所示，我們可以將圖像的信息表示為顯著信息H(Iinnovation)與背景信息H(Iredundancy)的和，那么從圖像中減去圖像的冗余信息就可以得到我們所需的圖像顯著域信息了。

H(Iimage)=H(Iinnovation)+H(Iredundancy)

(1)

得到顯著圖后，對圖像進行去噪濾波、形態(tài)學操作等一系列處理即可得到植物對象。但其結(jié)果較為粗糙，為了得到較精確植物分割結(jié)果，我們再結(jié)合植物的色調(diào)信息進行進一步的分割。

2 視覺詞包模型的建立

視覺詞包BOV(Bag-of-Visterms)[8-9]是最近幾年比較流行的一種基于局部表現(xiàn)屬性的圖像表示算法。該模型首先提取目標的底層視覺特征，通過聚類獲得視覺詞典。然后將圖像表示為視覺單詞的頻率直方圖。BOV模型對類內(nèi)改變、背景干擾、姿態(tài)變化、噪聲等都有較好的穩(wěn)健性。

2.1 底層特征的提取

所謂特征是指可供識別的特殊征像或標志，是圖像中的“有趣”部分。

尺度不變特征變換(SIFT)[10]是目前應(yīng)用最廣泛的基于局部描述的特征算子之一。它具有對旋轉(zhuǎn)、尺度、光照不變性，對視覺變化、仿射變換、噪聲容忍度也較高，在各個領(lǐng)域上表現(xiàn)出了良好的性能，本文采用SIFT進行植物特征的提取，其主要步驟如下：

1)尺度空間的生成；

2)尺度空間極值點的檢測；

3)極值點的精確定位；

4)特征點方向的確定；

5)特征點描述算子的生成。

2.2 視覺詞典構(gòu)建

我們在每類植物中選取一個樣本，提取植物對象的SIFT特征構(gòu)建視覺詞典。由于SIFT特征點分布不均勻，會出現(xiàn)聚簇現(xiàn)象，且不同樣本SIFT特征點數(shù)相差甚多。所以我們先對每個樣本所產(chǎn)生的SIFT特征進行第一次K均值聚類，再對產(chǎn)生的中心進行第二次聚類，得到視覺詞典。

視覺詞典的大小，即類別K值的選取是建立視覺詞包模型的一個關(guān)鍵問題。K取值太小，導致特征的判別力不高，可能會將不相似的特征被指定到同個類中；K取值太大，視覺詞包的泛化能力有限，對噪聲穩(wěn)健性差，同時計算量也增大。要根據(jù)一些研究經(jīng)驗進行多次嘗試。

2.3 統(tǒng)計視覺單詞的頻數(shù)

根據(jù)生成的可視詞典，計算每個植物對象區(qū)域中所有視覺單詞出現(xiàn)的次數(shù)。每個特征向量用歐氏距離衡量其相似性，根據(jù)最近鄰原則將植物對象的每個特征向量歸屬到相應(yīng)的視覺單詞，即可得到視覺單詞頻率直方圖。

3 分類器的設(shè)計

本文設(shè)計了三種不同的分類器對植物實現(xiàn)分類。

3.1BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是利用誤差反向傳播方法訓練學習的一種傳統(tǒng)淺層神經(jīng)網(wǎng)絡(luò)[11]，能表示大量的輸入-輸出非線性映射關(guān)系，在各個領(lǐng)域廣泛應(yīng)用，但BP神經(jīng)網(wǎng)絡(luò)也一些不足：

1) 算法的收斂速度慢，特別是一些較復雜的問題，需要設(shè)置較大的神經(jīng)元數(shù)和網(wǎng)絡(luò)隱含層數(shù)時，訓練時間可能會非常長。

2) BP神經(jīng)網(wǎng)絡(luò)最后收斂的值并不能保證是全局最小點，可能會陷入局部極值。

3.2 支持向量機(SVM)

SVM最初于20世紀90年代提出，近年來在解決“過學習”和“維數(shù)災難”等重大問題上發(fā)揮了很大的作用，且相比BP神經(jīng)網(wǎng)絡(luò)，具有不會陷入局部極值的優(yōu)點[12]。

3.3 極限學習機(ELM)

ELM是近年來才提出的一種比較新穎的前饋神經(jīng)網(wǎng)絡(luò)模型[13]。該算法參數(shù)設(shè)置簡單，并且能產(chǎn)生唯一的最優(yōu)解,又具有學習速度快和泛化能力好的特點，在各個應(yīng)用領(lǐng)域表現(xiàn)出了良好的性能。

4 實驗結(jié)果與評價

我們在室內(nèi)拍攝了9種常見的室內(nèi)盆栽，每種各28個樣本，共252個樣本。每種植物都從不同的角度，不同的遠近距離進行拍攝，保證本文設(shè)計的算法具有一定的魯棒性，其中部分樣本如圖1所示。

圖1 植物樣本

我們在Matlab 2014平臺上實現(xiàn)設(shè)計的方案。

4.1 分割的結(jié)果

本文用普殘差的方法做植物對象的分割，部分植物的顯著圖結(jié)果如圖2所示。

(a) 植物一(b) 植物二

(c) 植物三(d) 植物四

(e) 植物五(f) 植物六

(g) 植物七(h) 植物八圖2 植物的顯著圖

由圖2我們可以發(fā)現(xiàn)，大部分樣本顯著點集中在植物對象上，通過一些濾波及形態(tài)學等操作可以較粗糙地得到植物對象。

由于植物對象的顏色特征一般與其周圍的背景區(qū)別度較大，我們利用植物的顏色信息進行更精確的分割。RGB是一個不均勻的顏色空間，首先我們將RGB變換到更貼近我們?nèi)祟愐曈X感知系統(tǒng)的HSV顏色空間。然后用植物的色調(diào)信息進行閾值分割，即可較精確地分割出所需的植物對象，如圖3所示。

(a) 植物一 (b) 植物二

(c) 植物三(d) 植物四

(e) 植物五(f) 植物六

(g) 植物七(h) 植物八圖3 分割結(jié)果

4.2 特征提取的結(jié)果

在分割出的植物對象區(qū)域中提取SIFT特征，每幅圖片會得到上百到上千不等的特征點，如圖4所示。我們可以看到特征點基本都落在植物區(qū)域。

圖4 SIFT特征提取結(jié)果

特征提取后，我們借鑒已有的研究經(jīng)驗成果，進行多次嘗試，構(gòu)建相應(yīng)的視覺詞包模型。

4.3 分類的結(jié)果

將植物樣本平分，其中126個樣本用于訓練，另126個樣本用于測試。設(shè)計不同的分類器進行分類。分別用BP神經(jīng)網(wǎng)絡(luò)、SVM和ELM三種分類器對植物提取的特征進行訓練學習、分類，實驗結(jié)果見4.3.1節(jié)至4.3.4節(jié)。

4.3.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)在小樣本高維數(shù)特征情況下性能較差，而樣本特征維數(shù)太小，又會導致特征的判別力太低。我們發(fā)現(xiàn)當一開始隨著特征維數(shù)的增大，識別率漸漸上升，但當特征維數(shù)大到一定程度以后，分類效果急劇下降。經(jīng)過多次嘗試，我們最終選取視覺詞典大小即特征的維度為500。

由于BP網(wǎng)絡(luò)分類器可能會陷入局部極小值點，且模型參數(shù)的選取對分類器性能影響較大，所以需要進行多次參數(shù)的選擇和訓練。我們最后選取的模型如圖5所示。

圖5 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

在訓練集中，我們選取70%用于訓練，15%用于交叉驗證，15%用于測試，其結(jié)果如表1所示。

表1 神經(jīng)網(wǎng)絡(luò)訓練結(jié)果

最后我們用更大的數(shù)據(jù)集即另126個樣本上進行測試,其識別率為79.47%。

可以發(fā)現(xiàn)，BP神經(jīng)網(wǎng)絡(luò)分類器存在過擬合情況。過多擬合了一些噪聲，訓練數(shù)據(jù)的識別率很高，但模型的泛化能力很弱。

4.3.2 支持向量機

相對于BP神經(jīng)網(wǎng)絡(luò)，SVM在小樣本高維度情況下性能較佳，經(jīng)過多次嘗試，我們選取了大小為1 000的視覺詞典。為了防止部分數(shù)值過大及計算困難，我們首先對數(shù)據(jù)進行了歸一化。

結(jié)合當前的理論學習和我們多次的實驗結(jié)果，我們選擇RBF作為SVM的核函數(shù)。RBF核函數(shù)涉及到兩個重要參數(shù)，懲罰參數(shù)c和核參數(shù)g。為尋找合適的參數(shù)，我們將訓練集隨機分成5等份，進行交叉驗證。用網(wǎng)格方法進行搜索，得到最佳參數(shù)c=20.080 1， g=0.009 5。

最后用最佳參數(shù)建立支持向量機的分類模型，對測試集進行預測，其識別率為88.89%。

4.3.3 極限學習機

極限學習機參數(shù)選取是個關(guān)鍵，其值不同，得到的分類效果也不同。借鑒相關(guān)經(jīng)驗，我們經(jīng)過多次實驗發(fā)現(xiàn)，視覺詞典大小為1 500，核函數(shù)選取sigma時效果較好。同時，因為極限學習機是非穩(wěn)定算法，為了提高識別率，我們用了三個ELM分類器進行集成，根據(jù)三個分類器投票機制得到植物的最終類別。其一些重要的結(jié)果如表2所示。

表2 ELM 實驗結(jié)果

4.3.4 分類器的對比

對以上三種不同的分類器在識別率、運算速度和對特征維數(shù)的適應(yīng)性三個方面上進行對比，結(jié)果見表3。

表3 分類器對比表

從表3中我們可以發(fā)現(xiàn)，相比與BP神經(jīng)網(wǎng)絡(luò)，SVM和ELM體現(xiàn)出了較好的性能。視覺詞包模型的詞典大小即特征的維度太小，會導致辨識度太低，但是，特征維度太大，會增加分類器分類的難度。對BP神經(jīng)網(wǎng)絡(luò)來說，當特征維度取1 000甚至1 500時分類性能急劇下降。而SVM和ELM在高維度小樣本情況下體現(xiàn)了其優(yōu)勢，且BP神經(jīng)網(wǎng)絡(luò)有較嚴重的過擬合情況，而SVM和ELM在該問題有較大的改善。因此，其總體識別率比BP神經(jīng)網(wǎng)絡(luò)高出了許多。

另外，為了進一步分析，我們對比了三種分類器分別在特征維數(shù)選取500、1 000和1 500時的運行時間和識別率，結(jié)果如表4-表6所示。由于算法有一些不穩(wěn)定性，尤其是BP神經(jīng)網(wǎng)絡(luò)，會收斂到局部極小值，其一樣的參數(shù)設(shè)置，其收斂時間和識別率都會有所浮動，所以在運行時間上我們只對大致的數(shù)量級進行記錄和對比。

表4 500維時的對比結(jié)果

表5 1 000維時的對比結(jié)果

表6 1 500維時的對比結(jié)果

如表4-表6所示，ELM分類器在特征選取為500維、1 000維和1 500維時，都有較高的識別率；SVM在較高的特征維數(shù)即1 000維及1 500維時才有較好的識別性能；BP神經(jīng)網(wǎng)絡(luò)在1 000維及1 500維高維情況下分類性能急劇下降，識別率很低。從運算速度上來說，SVM運算速度最快，其次是ELM，BP神經(jīng)網(wǎng)絡(luò)運算最慢。綜上，在算法識別性能上，ELM分類器最佳；而在時間性能上，SVM分類器最佳。相比之下，BP神經(jīng)網(wǎng)絡(luò)在識別率和運算速度上都表現(xiàn)出了較差性能。

5 結(jié) 語

本文用普殘差法對圖像進行顯著區(qū)域檢測，再結(jié)合植物色調(diào)信息，分割出植物對象。然后提取SIFT特征，建立了視覺詞包模型。最后比較BP神經(jīng)網(wǎng)絡(luò)、SVM和ELM三種不同分類器的分類性能。實驗結(jié)果發(fā)現(xiàn)，用本文設(shè)計的實驗方案，植物種類識別率較高，同時，相比與BP神經(jīng)網(wǎng)絡(luò)，SVM和ELM分類器表現(xiàn)出了較好的性能，識別率可達到90%左右，這對植物識別的研究及應(yīng)用推廣都具有一定的積極作用。

最后，我們對實驗方案和實驗結(jié)果進行了一些分析：

1) 在植物分割時，個別圖像分割出的植物對象不夠準確。當圖像的背景存在復雜顯著的區(qū)域時，用普殘差法做顯著性檢測時，可能會將背景分割到植物對象區(qū)域中，比如圖3中的植物八，從而影響了后面的特征提取及分類的準確性。

2) SIFT特征并不能完全表征出植物的特征，辨識度有待提高。在以后的改進工作中我們將結(jié)合其他一些植物特征進行識別。

[1] Prasvita D S, Herdiyani Y. MedLeaf: Mobile Application for Medicinal Plant Identification Based on Leaf Image[J]. International Journal Advance Science, Engineering and Information Technology, 2013,3(2):5-9.

[2] Arora A, Gupta A, Bagmar N, et al. A Plant Identification System using Shape and Morphological Features on Segmented Leaflets[C]// Team IITK, CLEF 2012.

[3] Mónica G L, Ariel E B, Roque M C, et al. Multiscale recognition of legume varieties based on leaf venation images[J]. Expert Systems with Applications, 2014,40(10): 4638-4647.

[4] Kumar N, Belhumeur P N, Biswas A, et al. Leafsnap: A Computer Vision System for Automatic Plant Species Identification[C]// European Conference on Computer Vision. Springer-Verlag, 2012:502-516.

[5] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11):1254-1259.

[6] Cheng M M, Zhang G X, Mitra N J, et al. Global contrast based salient region detection[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2015:409-416.

[7] Hou X, Zhang L. Saliency Detection: A Spectral Residual Approach[C]// Computer Vision and Pattern Recognition, 2007. CVPR ’07. IEEE Conference on. IEEE, 2007:1-8.

[8] Sivic I, Zissermau A. Video goggle: a text retrieval approach to object matching in videos [C]// Proceedings of the 9th IEEE International Conference on Computer Vision. Nice,France; IEEE,2003:1470-1477.

[9] Csurka G, Dance C R, Fan L, et al. Visual categorization with bags of keypoints[J]. Workshop on Statistical Learning in Computer Vision Eccv, 2004, 44(247):1-22.

[10] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[11] 李弼程,邵美珍，黃潔.模式識別原理與應(yīng)用[M].西安：電子科技大學出版社,2008:170-176.

[12] Sergios Theodoridis, Konstantinos Koutroumbas.模式識別[M]. 李晶皎,王愛俠，王驕，等譯.北京：電子工業(yè)出版社,2010: 149-168.

[13] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: Theory and applications[J]. Neurocomputing, 2006, 70(1-3):489-501.

THEPLANTSPECIESRECOGNITIONBASEDONTHEWHOLEAPPEARANCFEATURES

Chen Shujun1Zhou Yongxia1Fang Yongjun21

(CollegeofInformationEngineering,ChinaJiliangUniversity,Hangzhou310018,Zhejiang,China)2(HangzhouWusiIntelligentScienceandTechnologyCo.Ltd.,Hangzhou310018,Zhejiang,China)

In this paper, we propose an algorithm for plant species recognition based on whole appearance features. First, the Spectral Residual method was adopted in salient region detection to segment the plant object roughly. And then, the hue information was used to obtain the precise object. Second, SIFT in the object region was extracted to build the BOV model. Finally, three classifiers were designed and implemented to classify the plant species. In our experiments, there were nine different plant species, and 28 examples of each species. BP neural network, SVM and ELM, these three different classifiers were implemented and compared. The experimental results show that the SVM and ELM classifiers were better than BP neural network, and are able to identify about 90% of these plants correctly. It is important for the research and application of plant species recognition.

Spectral residual SIFT Bag-of-visterms Support vector machine Extreme learning machine

TP3

A

10.3969/j.issn.1000-386x.2017.09.044

2016-07-20。陳淑君，碩士生，主研領(lǐng)域：計算機視覺。周永霞，副教授。方勇軍，工程師。