蝴蝶種類自動識別研究

謝娟英 侯 琦 史穎歡 呂 鵬 景麗萍 莊福振 張軍平 譚曉陽 許升全

1(陜西師范大學計算機科學學院 西安 710119)2(南京大學計算機科學與技術系 南京 210023)3(山東財經大學計算機科學與技術學院 濟南 250014)4(北京交通大學計算機與信息技術學院 北京 100044)5(中國科學院計算技術研究所 北京 100190)6(復旦大學計算機科學技術學院 上海 200433)7(南京航空航天大學計算機科學與技術學院 南京 210016)8 (陜西師范大學生命科學學院 西安 710119) (xiejuany@snnu.edu.cn)

蝴蝶是節肢動物門、昆蟲綱、鱗翅目、錘角亞目昆蟲的統稱，全世界大約有 18 000多種[1]，中國的蝴蝶種類約有1 200種.蝴蝶大多白天活動，其翅和身體一般都有各色鱗片形成的色斑和花紋.這些色彩和斑紋往往和蝴蝶的生活環境一致，是其保護色，可使蝴蝶避免被鳥類等天敵發現.自古以來蝴蝶就是重要的文化昆蟲，不僅美化人類生活，梁?；葠矍楣适虑О倌陙硪脖蝗藗儌黜?同時多數蝴蝶對其生存的自然環境要求頗高，因此是重要的環境指示昆蟲.但人工鑒別蝴蝶種類不僅需要長期的經驗積累而且費時費力，嚴重影響了人類對蝴蝶的認識.為了提高蝴蝶物種識別效率，方便眾多昆蟲愛好者及大眾了解和認識蝴蝶，本文將建立包含蝴蝶生態照片和標本模式照片的中國蝴蝶數據全集；提出基于深度學習模型Faster R-CNN的生態照片蝴蝶自動檢測和物種鑒定方法，構建生態照片中蝴蝶種類的自動識別系統.

1 蝴蝶自動鑒定研究背景

近年來，蝴蝶自動識別受到了越來越多研究者的關注，出現了大量蝴蝶識別應用研究.在基于內容檢索的蝴蝶所屬科識別[2]中根據蝴蝶形狀、顏色和紋理分別提取圖像特征，然后根據相似度返回分類結果.基于極限學習機的蝴蝶種類自動識別[3]使用局部二值模式(local binary patterns, LBP)[4]和灰度共生矩陣(grey-level co-occurrence matrix, GLCM)[5]提取蝴蝶圖像紋理特征，然后使用極限學習機進行分類.基于單隱層神經網絡的蝴蝶識別[6]使用分支長度相似度熵(branch length similarity entropies, BLS)提取蝴蝶形狀特征，然后使用單隱層神經網絡進行分類.Kang等人提出了借助多視角觀察蝴蝶圖像來擴充訓練集，以訓練神經網絡的蝴蝶識別方法[7].基于神經網絡的物種自動識別[8]，從圖片的幾何結構、形態學、紋理特征3方面對魚、蝴蝶、植物3類不同生物設計了15個特有特征，然后使用神經網絡進行訓練和物種分類.然而現有蝴蝶物種識別研究存在如下2個問題：1)使用的蝴蝶數據集均只包含較少的蝴蝶種類；2)使用的蝴蝶照片均是標準蝴蝶照片，即蝴蝶標本的模式照片，沒有涉及蝴蝶在自然生態環境中的生態照片.鑒于此，本研究將提供一個較完整的蝴蝶圖像數據集，其中包括中國現有的所有蝴蝶標本模式照片，以及盡可能多的蝴蝶在其生態環境中的照片，并使該數據集可隨時間積累不斷完善.

Fig. 1 Samples of natural butterfly images圖1 蝴蝶生態照的部分樣本

為實現該數據集，我們通過掃描《中國蝶類志》[9]中的蝴蝶照片得到包含中國蝶類志全部蝴蝶種類的蝴蝶模式照數據，并通過野外拍攝、蝴蝶愛好者捐贈等方式收集盡可能多的蝴蝶生態照數據，這兩大類蝴蝶照片數據一起構成蝴蝶數據全集.該蝴蝶數據集是目前世界上最大的蝴蝶圖像數據集.數據集中包含來自蝴蝶生態環境的多種尺寸、姿態的蝴蝶生態照片，以及中國蝶類志的全部蝴蝶種類的標準模式照片.

然而，蝴蝶本身的擬態性為生態照片中蝴蝶的檢測和識別帶來巨大挑戰.為了識別生態照片中的蝴蝶種類，需要完成照片中蝴蝶的定位問題，以及在此基礎上的蝴蝶種類自動分類識別問題.

深度學習作為機器學習領域的一項技術突破，在圖像處理領域表現出非常好的潛能.Faster R-CNN[10]是深度學習在目標檢測領域的一個經典算法，相比于以往算法不僅提高了檢測精度，更大大提升了檢測速度；多尺度、多長寬比的區域建議框，使其適用于不同尺度的物體檢測；區域位置檢測網絡和分類網絡的結合，真正實現了端到端的目標檢測框架.因此，我們采用Faster R-CNN算法同時實現對生態環境中蝴蝶照片的蝴蝶位置自動檢測和種類識別，以期從復雜的自然環境背景中檢測到不同尺寸、不同姿態的蝴蝶，并進行物種分類，構建一個真正意義上的蝴蝶種類自動識別系統.

本研究不僅克服了現有蝴蝶自動識別研究只依據蝴蝶標本照片進行蝴蝶種類識別的局限；同時提供了一個真正意義上的蝴蝶自動識別系統，實現了對包括任意姿態、任意大小蝴蝶的蝴蝶生態環境中照片的蝴蝶位置自動檢測與種類自動識別；還提供了一個供研究者們使用的目前種類最齊全的包含蝴蝶生態照片的蝴蝶圖像數據集，且該數據集的蝴蝶生態照片還可以隨時間推移，繼續積累和完善.

2 數據與方法

2.1 蝴蝶數據集

本文構建的蝴蝶數據集不僅包括標準的蝴蝶標本照片，還包括自然生態環境中的蝴蝶照片.數據集中的蝴蝶標本標準照片，稱為模式照片，主要來源于中國蝶類志[9]；蝴蝶在其生態環境中的照片，簡稱生態照，來源于野外實地拍攝和蝴蝶愛好者捐贈.

數據集共包含5 695張蝴蝶照片，其中的生態照片如圖1所示，共有1 425張、111種，均為在野外使用高清單反相機拍攝所得.其中17種蝴蝶的生態照片只有一張，即有17種蝴蝶的生態照片只有一個樣本.蝴蝶生態照片的特點是每張照片包含的蝴蝶數量、種類不確定，而且蝴蝶由于自身的擬態躲避天敵緣故，總是趨向于處在有利于隱藏自身的環境中，使得蝴蝶和周圍環境較難辨別.生態照片的數據統計如圖2所示，多數生態照的蝴蝶類別包含的樣本數量在20個以內，每個蝴蝶種類至少包含一個樣本，最多的包含121個樣本，呈現出典型的長尾分布.

Fig. 2 Data distribution of natural butterfly images圖2 蝴蝶生態照數據分布圖

Fig. 3 Samples of butterfly pattern images圖3 模式照的部分樣本

Fig. 4 Data distribution of standard pattern images of butterflies圖4 蝴蝶模式照數據分布圖

蝴蝶標本的標準照片，即模式照，如圖3所示，通過掃描中國蝶類志[9]的蝴蝶照片得來，共有4 270張、1 176種，包含蝴蝶生態照的所有種類.模式照的特點是一張照片確定地含有一只蝴蝶.模式照的數據分布如圖4所示，多數模式照蝴蝶類別包含的樣本數量在4個左右，每個蝴蝶種類至少包含一個樣本，最多含有14個樣本.對比圖4和圖2可見，模式照數據集包含的蝴蝶種類多，每類樣本數量相差不大，但依然呈現出典型的長尾分布.我們將模式照的蝴蝶種類按照科、亞科、屬、種、亞種，以及蝴蝶的雌、雄、背、腹進行分類.由于部分亞種缺失，部分蝴蝶種類雌、雄、背或腹不全.因此，為了統一，實驗中將蝴蝶數據集所有模式照和生態照的蝴蝶種類均精確到種.該數據集將在“2018年第三屆中國數據挖掘競賽——國際首次蝴蝶識別大賽”中首次對外公開.

數據集中的模式照包含中國蝶類志全部蝴蝶種類，構成蝴蝶種類全集，生態照的蝴蝶種類是模式照蝴蝶種類的子集.我們的目標是自動識別生態照中的蝴蝶種類.因此，以生態照為準，去掉只有單張生態照的蝴蝶種類，最終的實驗數據中，蝴蝶生態照圖像有1 408張、94種.按照訓練集、測試集各50%的比例進行劃分，訓練集向上取整，得到包含721張蝴蝶生態照的訓練集，包含687張蝴蝶生態照的測試集.圖5表示訓練集和測試集的圖像數量統計分布，可以看出訓練集和測試集的分布大致相同，以確?，F有數據環境下得到盡可能優的實驗結果.

Fig. 5 Data distribution of natural butterfly images on training and testing datasets圖5 蝴蝶生態照訓練集和測試集數據分布圖

2.2 數據集劃分

我們對所有生態照的蝴蝶位置進行人工標注，模式照的蝴蝶位置默認為全圖大小.由于深度學習需要大量訓練數據，因此對訓練數據集樣本采用翻轉、旋轉、加噪、模糊、對比度升降等9種方式進行變換，以擴充訓練數據集的蝴蝶圖像數量.

訓練集樣本同時包含生態照和模式照.所有生態照在去掉只有一個樣本的蝴蝶種類后劃分訓練集和測試集.我們的目標是對生態照中的蝴蝶同時進行定位和分類，因此，測試集只包含蝴蝶生態照片.我們希望借助模式照的一些信息預測生態照的蝴蝶類別，因此，將模式照也加入訓練集.模式照加入訓練集的方式分為2種：1)將所有模式照都加入訓練集，這樣做是考慮到蝴蝶全集可有助于更好地提取蝴蝶間的共有特征信息，另外還可提高數據的擴展性，提供包含所有蝴蝶種類的預訓練版本，如果有新數據增加，可以在這個版本上繼續進行增強訓練；2)只加入與生態照種類對應的模式照，這是更為通用的方法，只對要分類的蝴蝶進行訓練，減小模型復雜度，提高分類精度.如2.1節所述，生態照在去掉只有一個樣本的蝴蝶種類后，包含94種蝴蝶、1 408張蝴蝶生態照片.按照訓練集和測試集各50%的比例劃分生態照，測試集包含687張生態照，其余721張生態照片加入訓練集.按照第1種構造訓練集的方法，將所有模式照加入訓練集，再對訓練集所有樣本進行擴充，最終得到訓練集的蝴蝶圖像為49 910張，我們稱之為Data_1.按照第2種生成訓練集的方式，訓練集只加入生態照蝴蝶種類對應的蝴蝶模式照，得到蝴蝶訓練數據集包含13 060張圖像，命名為Data_2.至此，我們將蝴蝶自動識別問題轉化為一個94類的多類目標自動檢測和識別問題.與普通的多類目標檢測和識別問題相比，我們的蝴蝶自動檢測與識別問題的難點不僅在于類別多，更重要的是我們要進行的是相同大類(蝴蝶)下的小類(不同種類蝴蝶)識別，或稱為細粒度分類，因此，本文的蝴蝶自動識別研究更具有挑戰性.

2.3 蝴蝶位置檢測與種類識別方法

本文采用Girshick等人[10]提出的目標檢測方法，同時實現目標的定位和分類.Faster R-CNN[10]結構如圖6所示，它是對R-CNN[11]和Fast R-CNN[12]的改進，相比于開山之作的R-CNN，Fast R-CNN提出新的興趣區域(region of interest, ROI)層來規避冗余的特征提取方式，只對整張圖片全區域進行一次特征提取，同時加入了多任務學習，使得網絡訓練過程中同時學習物體分類和窗口位置回歸.Faster R-CNN在Fast R-CNN基礎上加入了區域生成網絡層(region proposal network, RPN)，來代替耗時的候選區域生成方式，真正實現端到端的目標檢測任務.

Fig. 7 Faster R-CNN image detection procedure圖7 Faster R-CNN圖像檢測流程

Fig. 6 Faster R-CNN network topology圖6 Faster R-CNN的網絡結構

Faster R-CNN區域生成網絡RPN采用多任務學習，將生態照中蝴蝶的位置定位和蝴蝶種類鑒定2個任務同時進行.

(1)

(2)

Faster R-CNN圖像檢測流程如圖7所示，我們首先通過共享卷積層提取蝴蝶圖像特征，得到圖像的特征映射，輸入的特征圖通過滑動窗口掃描，每個滑窗位置得到9種可能的anchors，得到區域建議的低維特征向量，再經過RPN網絡得到區域建議和區域得分，并對區域得分采用非極大值抑制，輸出Top-N得分的區域建議給ROI池化層；通過ROI池化層得到區域建議特征，區域建議特征通過全連接層后，輸出該區域的分類得分以及區域位置.

本文實驗基于深度學習框架Caffe，采用ZF[13]，VGG_CNN_M_1024[14]，VGG16[15]三種網絡結構，使用聯合訓練方式，分別訓練了3個蝴蝶自動識別系統.實驗首先在ImageNet數據上進行預訓練，然后使用擴充的蝴蝶訓練數據集進行微調，所有模型的超參數使用默認參數，初始學習率為0.001，隨后按步長調整；動量設置為0.9，權重衰減設置為0.000 5，共迭代10 萬次.

2.4 蝴蝶識別評價指標

使用交并比(intersection-over-union,IoU)作為區域檢測的評價指標，其定義是預測產生的候選框(candi-date region)與原標記框(ground-truth region)的交疊率，即它們的交集與并集的比值.最理想情況是完全重疊，即比值為1，實驗中取IoU>0.5.我們的目標是生態照中蝴蝶種類的正確識別，因此，實驗結果中沒有具體列出生態照中蝴蝶位置檢測結果的評價指標值.

多類圖像分類評價指標中，平均精度均值(mean average precision,mAP)作為目標檢測的通用指標，是評價多類分類的平均精度均值，因此，本文采用mAP作為蝴蝶識別情況的評價指標.mAP根據精度(precision)和召回率(recall)計算得到.精度的計算方法如式(3)所示，召回率的計算方法如式(4)所示.

(3)

(4)

其中,TP(true positive)為預測結果中正確分類和定位的正樣本個數，FP(false positive)為被錯誤標記為正樣本的負樣本個數，FN(false negative)是被錯誤標記為負樣本的正樣本個數.

為預測訓練所得模型的性能，我們定義正樣本為真實框(ground-truth)和預選框的交并比大于0.5，且預測的分類概率大于0.5，也就是定位和分類同時滿足條件才可認為是正樣本.

根據不同的置信度可以得到若干個(precision,recall)點，以召回率為橫坐標、精度為縱坐標畫出P-R曲線，AP(average precision)是精度和召回率曲線下的面積，也就是P-R曲線的積分，如式(5)所示.

(5)

實際計算中，一般都用若干矩形面積來代替曲線下面積，即將召回率劃分為n塊，[0,1n,…,(n-1)n,1]，則AP可以表示為式(6).

(6)

最終得到的所有類的平均精度，如式(7)所示，其中N為測試數據中的蝴蝶種類數.對于具體的矩形劃分，采用PASCAL VOC Challenge在2010年以后的計算方法[16].

(7)

3 實驗結果與分析

對2種不同的訓練數據集和3種不同的網絡結構，訓練得到6個不同蝴蝶識別系統，各系統對測試集的蝴蝶種類識別mAP結果如表1所示.測試集上蝴蝶位置檢測和分類鑒定的實際效果如圖8所示.由于頁面空間有限，圖8只列出了部分測試結果.為了進一步驗證我們選擇Faster R-CNN實現生態照中蝴蝶位置檢測與種類識別研究的正確性，我們采用最新的算法YOLO v2[17]和YOLO v3[18]對相同的蝴蝶識別任務進行實驗，網絡結構采用相應算法的原始網絡結構，實驗結果如表2所示.

Table1ThemAPResultsofButterflyAutomaticRecognitionSystemsBasedonFasterR-CNN

表1 基于Faster R-CNN的蝴蝶自動識別系統的mAP結果 %

從表1實驗結果可以看出，無論采用哪種網絡結構，基于Faster R-CNN的蝴蝶自動識別系統對生態照中的蝴蝶種類識別均顯示出不錯的效果，最差的mAP值也接近60%，這不僅說明Faster R-CNN在細粒度分類方面的性能，也說明了提出的基于Faster R-CNN的蝴蝶生態照中蝴蝶位置自動檢測和種類自動識別的可行性和準確性.另外，表1數據還揭示，Data_2所得模型的mAP值在整體上優于Data_1所得模型的mAP值，這說明訓練集包含721張蝴蝶生態照片及其與這些生態照蝴蝶種類對應的蝴蝶模式照時，訓練所得模型的蝴蝶位置自動檢測與種類自動識別能力比包含721張蝴蝶生態照與蝴蝶模式照全集所得模型的性能更優.分析只加入與生態照種類對應的蝴蝶模式照片的蝴蝶自動識別系統性能更優的原因在于：該系統降低了模型的復雜度，減少了過多無用蝴蝶種類的干擾，因此，其分類平均精度均值mAP值更高.

Table2ThemAPResultsofButterflyAutomaticRecognitionSystemsBasedonDifferentYOLO

表2 基于不同YOLO算法的蝴蝶自動識別系統的mAP結果 %

表1關于3種不同網絡結構的實驗數據還顯示：在蝴蝶生態照片的蝴蝶位置自動檢測與種類分類識別中，VGG16網絡的性能優于其他2種網絡;但是該模型的復雜度高，訓練時間長，故實際使用過程中可選用分類和位置檢測性能較優、訓練速度較快的中型網絡VGG_CNN_M_1024.

表2關于算法YOLO v2和YOLO v3對2個不同的蝴蝶訓練集進行訓練，所得模型在測試集的mAP值顯示：YOLO v2對Data_2只能得到62.3%的mAP值，遠低于表1所示的基于Faster R-CNN的實驗結果；另外，YOLO v2對Data_1訓練集的訓練結果一直不能收斂，因此，沒有相應測試集的mAP值.YOLO v3對Data_2訓練所得模型的測試集mAP=72.8%，除了與基于Faster R-CNN且采用VGG_CNN_M_1024網絡結構的測試集mAP值類似，不如基于其他網絡結構的Faster R-CNN在Data_2的實驗結果；YOLO v3對Data_1的mAP值只有52.59%.

以上關于表1和表2的實驗結果分析揭示，我們采用Faster R-CNN進行蝴蝶種類識別是非常正確和有效的.

Fig. 8 The detection results on samples of natural butterfly images圖8 部分生態照的檢測結果

如圖8所示，部分生態照蝴蝶位置檢測和種類識別結果顯示：提出的基于Faster R-CNN的蝴蝶自動識別模型，可以同時實現蝴蝶生態照片中蝴蝶的位置自動定位和種類自動識別；還可以同時定位出生態照片中的多只蝴蝶，并正確分類識別其種類；對非常擬態的蝴蝶生態照片中的蝴蝶也能進行位置自動檢測和物種自動鑒定.

4 結論與展望

本文發布了一個全新的蝴蝶圖像數據集，填補了現有蝴蝶自動識別研究使用的蝴蝶圖像數據集沒有蝴蝶自然場景圖像數據的空白；同時提供了一個較完整的中國現有蝴蝶圖像數據集，供“2018年第三屆中國數據挖掘競賽——國際首次蝴蝶識別大賽”使用，并可供所有對蝴蝶自動識別感興趣的研究者們使用，也可用于測試目標自動檢測和分類的相關算法.需要說明的是，使用該數據集時，請按照數據集使用規范引用本文.另外，本文基于Faster R-CNN深度學習模型，構建了一個對自然場景下拍攝的蝴蝶照片中的蝴蝶進行自動定位和物種自動分類鑒定的蝴蝶自動識別系統，彌補了蝴蝶識別研究只對標準的蝴蝶模式照片進行蝴蝶種類識別的局限，實現了一個真正意義上的蝴蝶自動識別系統.最后，本文提出的數據集除可用于目標檢測領域外，還可以用于小樣本分類、細粒度分類等方向，這也是我們未來的研究工作之一.

本研究實現的蝴蝶自動識別系統默認一張生態環境中的蝴蝶照片包含的多只蝴蝶為同一種類的蝴蝶，雖然現實中不同種類的蝴蝶聚集一起的概率很小，也就是說一張生態照中包含多個種類蝴蝶的概率很小，但一旦出現這樣的情況，蝴蝶自動識別問題的難度將上升為多類別多標簽的更具挑戰性的蝴蝶自動識別問題.這也將是我們今后需要進一步考慮和研究的問題之一.另外，實現一個蝴蝶自動識別系統的App，為廣大昆蟲愛好者提供一個蝴蝶自動識別軟件也是我們的未來目標之一.

致謝我們非常感謝Faster R-CNN算法的提出者，因為他們的工作才使我們的蝴蝶自動識別系統得以實現.另外，我們非常感謝南京大學的高陽教授、北京交通大學的于劍教授、北京郵電大學的杜軍平教授，以及山東大學的尹義龍教授為我們稿件提出的寶貴修改意見.我們還要感謝為我們的蝴蝶數據集無償提供蝴蝶生態照片的南開大學的李后魂教授、廣西欽州學院的甄文全博士、青海師范大學的陳振寧教授，以及廣西河池學院的李曉東副教授.最后我們還要感謝陜西師范大學的馬麗濱副教授協助拍攝蝴蝶生態照片，并且非常感謝中國科學院大學網絡空間安全學院的高紅超博士所給予的技術指導!

XieJuanying, born in 1971. PhD, professor. Senior member of CCF. Her main research interests include machine learning, data mining, and biomedical big data analysis.

HouQi, born in 1994. Master candidate. His main research interests include data mining and deep learning.

ShiYinghuan, born in 1984. PhD, associate professor. His main research interests include medical image analysis and machine learning.

LüPeng, born in 1989. PhD, associate professor. His main research interests include video processing, video under-standing, computer vision, and machine learning.

JingLiping, born in 1978. PhD, professor. Member of CCF. Her main research interests include machine learning and high-dimensional data mining.

ZhuangFuzhen, born in 1983. PhD, associate professor. His main research interests include data mining, machine learning, transfer learning, multi-task learning and recommendation systems, etc.

ZhangJunping, born in 1970. PhD, professor. Senior member of CCF. His main research interests include machine learning, biometric authentication, intelligent transportation systems and image processing.

TanXiaoyang, born in 1971. PhD, professor. His main research interests include deep learning, reinforcement learning, and Bayesian learning.

XuShengquan, born in 1967. PhD, professor. His main research interests include entomological taxonomy, insect systematics and bioinformatics, etc.