基于多特征融合的花卉圖像分類

許明廣 李玉溪 劉潤宇 劉星宇 鄭學謙

摘要：正確的實現花卉分類是對該植物進行深入研究的前提條件。針對開源花卉數據集單一和分類效果不佳的問題，本文整理了一個基于國內五種花卉的圖像數據集并使用VGG16網絡模型完成圖像分類任務。為了更好的表征花卉圖像特征信息，本文對VGG16網絡模型參數進行了優化，同時，引入一種基于多特征融合的VGG16網絡模型，與原始VGG16網絡模型進行對比試驗。實驗結果表明，原始VGG16網絡和基于多特征融合的VGG16網絡在國內五種花卉圖像數據庫上均取得了良好的分類效果，并且基于多特征融合的VGG16網絡模型要由于原始VGG16網絡模型。

關鍵詞：深度學習;花卉分類;VGG16;多特征融合

Abstract： Correct flower classification is a prerequisite for further study of the plant. Aiming at the problems of unitary open source flower data set and poor classification effect， this paper sorted out an image data set based on five kinds of domestic flowers and used VGG16 network model to complete the image classification task. In order to better represent the flower image feature information， the parameters of VGG16 network model were optimized in this paper. At the same time， a VGG16 network model based on multi-feature was introduced to conduct a comparative test with the original VGG16 network model. The experimental results show that both the original VGG16 network and the VGG16 network based on multi-feature have achieved good classification effects on the five domestic flower image databases， and the VGG16 network model based on multi-feature fusion is due to the original VGG16 network model.

Keywords： deep learning;Flower classification;VGG16;Multi-feature fusion

0 引言

植物學研究領域中最基礎的一項研究任務就是花卉圖像分類[1]，不同類別的花卉具有不同的特征，辨別一束花卉的種類往往需要綜合顏色、花瓣形狀等等多個方面的特征。花卉分類的難點主要在于不同花卉間的特征相似性和同種花卉間的特征差異性。

花卉分類研究在早期基本都是運用基于人工設計的特征和傳統機器學習算法相結合的方法，例如基于人工設計的特征，尺度不變性（SIFT）[2]結合支持向量機（SVM）[3]的算法結合構成一個分類網絡模型。注意到花卉具有多個特征這一特點，Nilsback M.E和 Zisserman[4]提出了一個新的視覺詞包作為分類特征，這個視覺詞包包括花卉的形狀、紋理以及顏色等特征。同時，Nilsback M.E 和 Zisserman還創建了花卉圖像分類領域經典的開源數據集Oxford Flowers系列數據集。

基于人工設計的圖片特征，其表達能力非常有限，分類效果并不理想。并且由于人工設計的特征大多依賴大量的人工標注信息，耗費資源的同時也限制了該類算法的應用場景。隨著硬件資源的提升，需要依靠大量數據運算的深度學習又重回人們的視野。

ILSVRC（ImageNet Large Scale Recognition Challenge），俗稱ImageNet挑戰賽，是機器視覺領域最受追捧也是最具權威的學術競賽之一，代表了圖像領域的最高水平。在挑戰賽上涌現出了許多優秀的圖像分類算法，例如AlexNet[5]、VGG16[6]、GoogLeNet[7]等。

目前，在花卉圖像分類領域，基于深度學習的算法模型并不常見[8]。Liu[9]等人運用了一種基于顯著性檢測的算法對花卉圖像進行初步的提取，再通過卷積神經網絡進行特征提取，最后完成圖像分類。楊旺功和淮永建[10]提出一種基于多特征融合及興趣區域的花卉圖像分類算法。并在花卉圖像分類任務上取得了良好效果。本文將選取VGG16網絡模型和基于多層融合及興趣區域的花卉圖像分類算法進行實驗分析。

在以往的研究中，研究人員往往采取Oxford Flowers系列數據集作為實驗數據集，Oxford Flowers數據集中為英國常見花卉圖像，并且每一類花卉圖像數據樣張較少。針對上述問題，本文創建了一個基于國內五種常見花卉的圖像數據集，用作本文實驗的數據集。

1 基于多特征融合的花卉圖像分類網絡

1.1 花卉圖像數據集

中國植物圖像庫[11]（Plant Photo Bank of China，PPBC）正式成立于2008年，是中國科學院植物研究所在植物標本館設立的專職植物圖片管理機構。該圖庫采用最新分類系統，已經收錄各類植物圖片511科5419屬38968種7199505幅。本文選取了五種國內常見花卉：牡丹花、菊花、荷花、風信子、洛神花作為研究對象，采用網絡爬蟲[12]技術，從中國植物圖像庫分別搜集了若干張圖片作為素材，經篩選后，每類圖片設定為112張，所有圖像總共560張。五種花卉圖像樣張如圖1所示。

經過篩選后的圖像數據庫，按照18：5：5的比例隨機劃分訓練集、驗證集和測試集。所有圖片均在data文件夾內，并將訓練集放在子文件夾train文件夾內，驗證集在valid文件夾，測試集在test文件夾，每個文件夾中含有五個部分，均以花卉名字的拼音命名，作為其種類的label。

1.2 VGG16網絡模型

VGG系列網絡模型包括VGG13、VGG16以及VGG19，其設計之初主要是為了探究在大規模圖像識別任務上，卷積網絡深度對模型精確度的影響。本文將著重探究VGG16網絡模型，VGG16網絡模型由Simonyan K和Zisserman A在文獻[4]中所提出。該網絡模型在2015年的ImageNet挑戰賽上獲得了第二名的成績。

VGG16網絡模型主要包含8個卷積層、5個池化層、3個全連接層，共計16個權重層。具體結構如圖2所示。

該網絡模型輸入指定的是224 × 224的RGB圖像，所有卷積層用的卷積核大小固定，均為3 × 3，每次卷積行使相同卷積，即卷積操作不改變圖像尺寸大小，僅改變其通道數。卷積層和全連接層的激活函數均使用ReLU函數，池化操作均使用最大池化。

最后一次池化后，數據通過Flatten函數展開，連接到三個全連接層。前兩個全連接層包含4096個通道，第三個全連接層的通道個數根據分類目標個數確定，第三個全連接層后連接softmax函數進行分類。

1.3 基于多特征融合的VGG16網絡模型

研究表明，在卷積神經網絡中，隨著卷積層的疊加，網絡所提取的特征將由具體變得抽象，淺層卷積可以得到分類對象的形狀輪廓等特征，而深層卷積可以得到分類對象的抽象特征，于是基于此特點，文獻[錯誤！未定義書簽。]中作者設計出一個多特征融合的VGG16網絡模型，其網絡模型結構如圖3所示。

與原始VGG16網絡模型不同，多特征融合VGG16網絡模型將Block5中的Conv2層，即VGG16網絡中倒數第二個卷積層作為感興趣區域（roi），將感興趣區域與原始VGG16網絡的最后一個池化層輸出進行拼接，然后通過全局平均池化（GAP），變成一個一維張量再連接全連接層，最后通過softmax分類器進行分類。圖5為多特征融合VGG16網絡模型結構圖。

網絡模型中的全局平均池化取代了原來的Flatten操作，使得網絡的參數量和原網絡相比大大減少。這樣做的好處是，在面對大型分類任務時，將會節省很多訓練時間，節約計算資源。

2 實驗結果及分析

實驗環境采用云服務器環境，服務器配置為：CPU采用64核Intel（R） Xeon（R） Gold 5218 ，CPU內存為256G，實際配置為8核32GB。GPU為一塊NVIDA系列的GeForce RTX 2080Ti，顯存為11GB。實驗代碼采用python語言編寫，深度學習工具為keras。本文所有實驗均訓練三次和測試三次，取三次實驗的平均值作為實驗結果。

2.1 原始VGG16網絡模型實驗結果與分析

VGG16網絡設計之初是面對1000分類的大分類任務，面對小分類任務，容易出現過擬合現象，本文為了減少過擬合現象的發生，提高網絡泛化能力，對VGG16網絡模型以及訓練方法進行了一些調整。訓練方面，采用了Early Stopping的策略，當訓練過程中驗證集的準確率連續20個epoch不再增加時便停止訓練。參數方面，更改Dropout的值以及全連接層的通道數，測試最佳參數。

調整Dropout的參數，分別測得Dropout的值為0.4、0.5和0.6時網絡模型對于五種花如表1所示，Dropout為0.5時，網絡模型的分類準確率最高。

表1 不同Dropout值下的VGG16分類測試結果

Table 1 VGG16 classification test results under different Dropout values

Dropout參數 Dropout = 0.4 Dropout = 0.5 Dropout = 0.6

平均準確率（%） 91.00 91.33 90.67

圖4和圖5分別為原始VGG16網絡模型Accuracy圖和運用Early Stopping訓練策略，Dropout等于0.5調整后的VGG16網絡模型Accuracy圖，可以看到，調整后的網絡模型極大的改善了過擬合的現象，提高了網絡模型的泛化能力。

修改全連接層前兩層通道數，分別設置為：1）4096，4096;2）4096，2048;3）2048，2048;4）1024，1024。實驗結果如表2所示，隨著通道數的減少，分類準確率也在下降，分析原因為：花卉圖像分類屬于細顆粒分類任務，需要表征的信息較多，而減少全連接層中的節點數可能會導致表征的信息不全，無法更好的實現分類任務。

2.2 基于多特征融合VGG16網絡模型實驗結果與分析

（1）兩種VGG16網絡模型測試結果及對比分析

基于多特征融合的VGG16網絡模型（VGG16_Roi）仍然采用Early Stopping的訓練策略，Dopout和全連接層的值與原始VGG16網絡模型保持一致。

表3給出了兩種VGG16網絡模型在各個方面的對比，可以看到，基于多特征融合的VGG16網絡模型雖然擁有更少的參數，但是其網絡模型在全連接層，相當于連接了兩個網絡層次的特征，使其具有更強大的表征能力，擁有更高的分類準確率。

（2）數據增強對網絡模型的性能影響

數據增強最早由斯坦福大學的李飛飛教授提出，當時研究人員們還不清楚海量數據集對于深度學習網絡模型性能效果的影響。本文通過：1）水平、豎直翻轉;2）加入高斯噪聲;3）左右旋轉90°三種方法擴充國內五種花卉圖像數據集，在擴充后的國內花卉圖像數據集上對兩種VGG16網絡模型進行分類測試實驗，對比分析網絡模型性能。

兩種VGG16網絡模型在擴充后的數據集上表現優異，表4給出了兩種網絡模型在擴充后數據集上的分類測試結果，與在小規模數據集上測得的分類準確率相比，原始VGG16網絡模型提高了2.78%，基于多特征融合的VGG16網絡模型提高了2.89%。印證了大規模數據集對深度學習網絡模型性能提升有關鍵作用的觀點。

3 結論

在國內五種花卉圖像數據集上，VGG16網絡模型采取Early Stopping的訓練策略，Dropout值為0.5時，可以很好的防止過擬合現象的發生。面對花卉之類的細顆粒分類任務，即使分類對象種類較少，減小全連接層通道數仍然會降低分類的準確率，因為，全連接層通道數的減少會使全連接層表征的信息更少，無法實現更精確的分類。基于多特征融合的VGG16網絡模型在全連接層前將兩個隱藏層的特征進行了重疊連接，并通過GAP的方法將特征矩陣轉化為一個一維張量，即表征了更多的信息，又減少了網絡的參數量，同時，其模型的分類準確率要優于原始VGG16網絡模型。最后，本文通過數據增強的方式擴充了實驗所用數據集，在擴充后的數據集上測得兩種網絡模型的分類準確率均有所提高，印證了海量數據集對深度學習網絡模型性能提升有關鍵作用的觀點。實驗中仍有值得優化的部分，未來可以擴充國內花卉圖像數據集，加入更多種類的花卉圖像，繼續研究。

參考文獻

基金項目：中國礦業大學（北京）大學生創新訓練項目資助（項目編號：C202004894）

第一作者：許明廣（1999-），男，本科生，主要從事信息工程，圖像處理方面研究。

注釋：

[1]尹紅. 基于深度學習的花卉圖像分類算法研究[D].南昌航空大學，2018.

[2] LOWE D G.Distinctive image features from scale-invariant keypoints[J] . International Journal of Computer Vision，2004，60（2）：91-110.

[3]Burges C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery， 1998， 2（2）： 121-167.

[4]M. E. Nilsback， A. Zisserman. A visual vocabulary for flower classification[C]. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition， IEEE， 2006，1447-1454.

[5]Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks[C].Proceedings of International Conference on Neural Information Processing Systems， 2012，1097-1105.

[6]Simonyan K.， Zisserman A.. Very deep convolutional networks for large-scale image recognition[C] //Preceedings of International Conference on Learning Representations. San Diego， USA， 2015.

[7]Cheng G ， Han J ， Guo L ， et al. Effective and Efficient Midlevel Visual Elements-Oriented Land-Use Classification Using VHR Remote Sensing Images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 53（8）：4238-4249

[8]尹紅，符祥，曾接賢，段賓，陳英.選擇性卷積特征融合的花卉圖像分類[J].中國圖象圖形學報，2019，24（05）：762-772.

[9]Liu Y Y， Tang F， Zhou D W， et al. Flower classification via convolutional neural network[C]// Proceedings of 2016 IEEE International Conference on Functional-Structural Plant Growth Modeling， Simulation， Visualization and Applications. Qingdao：IEEE，2016： 110-116.[DOI： 10.1109/FSPMA.2016.7818296]

[10]楊旺功，淮永建.多層特征融合及興趣區域的花卉圖像分類[J].哈爾濱工程大學學報，2021，42（04）：588-594.

[11]中國科學院植物研究所植物標本館，中國植物圖像庫[EB/OL].[2021-03-27].http：//iplant.cn.

[12]溫婭娜，袁梓梁，何詠宸，等.基于Python爬蟲技術的網頁解析與數據獲取研究[J].現代信息科技，2020，4（01）： 12-13.

中國礦業大學（北京）機電與信息工程學院 北京 100083