基于Xception與ResNet50模型的蘑菇分類方法

沈若蘭 黃英來 溫 馨 張 嵐

(東北林業大學 信息與計算機工程學院，黑龍江 哈爾濱 150040)

蘑菇產業是中國農業部門發展最快的產業之一，其也作為一種食用食材，在許多農業大省都處于較高的地位[1]。同時，我國存在許多種類的毒蘑菇，誤食會很危險。當人們遇見未知的蘑菇時，傳統方法為將蘑菇外在信息在瀏覽器窗口進行查詢，其搜索結果依賴于描述者的文本信息，具有較強的主觀性。隨著科技的發展，人們可以通過圖片上傳，從而識別圖像種類，在傳統的識別方法中常用為，先除去背景多余信息再進行特征提取與模型訓練[2]。此方法的模型泛化能力較差且受多種客觀因素影響。

近年來，深度學習方法得到不斷發展，在圖像識別、語音處理等領域都取得了許多進展，許多相關研究工作也隨之展開。同時，目前許多現有的智能識別方法僅停留在實驗階段，缺乏與用戶進行交互的應用設計，但隨著識別技術與智能交互技術更加廣泛的發展，智能識別技術將逐漸走出實驗室，應用于生活實踐[3]。

本文以搭建蘑菇識別APP平臺為主要展現形式，基于深度學習模型的遷移學習為主要訓練方法，對蘑菇圖像進行識別與分類，并返回相關信息。

1 神經網絡及其經典模型

1.1 基于深度學習的遷移學習

深度學習由Hinton[4]等人在2006年提出，其通過對樣本數據的內在規律和表示層次進行學習信息，并通過此信息進行圖像分類、語音識別等任務，是一種復雜的機器學習算法。其具備許多不同的學習模型，如卷積神經網絡CNN，是一種經過不斷優化且發展深入的學習模型，通過對其結構的不斷改進，使其更加適用于圖像識別與分類方向。

由于樣本量較少，本文采用遷移學習[5]的方法進行實驗。其主要為利用前人在基于大規模數據集ImageNet上，通過消耗大量時間計算成本設計出現了許多驗證集準確率高的經典網絡，并可利用其基本參數進行模型的參數初始化代替隨機初始化，減少實驗時間。遷移學習方法可行性高且模型泛型能力強是由于模型低層CNN主要學習低級的邊緣和顏色信息特征，此基礎特征信息在圖像分類任務中提取順序不變，其后CNN主要學習的則是圖像特定的高層特征[6]。

本文借鑒其參數與模型結構，發揮利用在本蘑菇識別的實驗中，以達到更快、更高的識別能力。

1.2 ResNet50與Xception模型

本文實驗采用ResNet50與Xception模型作為實驗模型，進行蘑菇圖像處理和模型訓練。

1.2.1 ResNet50模型

ResNet50模型[7]為深度殘差模型，其于2015年被提出，并在檢測、分割、識別等多個領域取得優績。其出現在于解決隨著網絡加深，訓練集準確率下降的問題，同時具有易于優化、計算量小等特點。

ResNet50包含了49個卷積層和一個全連接層，其中主要包含兩種模塊：一種為Identity模塊，一種為Conv模塊。Identity模塊其輸入輸出維度不變，其經常用于串聯多個模型，Conv模塊為添加維度的殘差塊，其輸入輸出維度不同，其主要功能為改變特征向量維度，每一個殘差塊都包含三個卷積層。ResNet模型采用Shortcut Connection跨層連接傳遞的方式。其殘差連接模塊如圖1所示。

圖1 ResNet50基本模塊

此連接可以將經過卷積處理后的特征與輸入特征進行合并，而不會增加參數和計算復雜度，同時將底層網絡訓練更加充分，使其達到網絡深度增加，精確率也不斷提升的作用。其中的1×1卷積層被稱為瓶頸層，采用1×1卷積層首先進行降維，再通過其卷積進行維度的恢復，降低計算種的參數量。

如圖2所示的模塊連接過程中，添加了關于x的恒等映射，函數關系為F(x)=H(x)-x，其中H(x)為殘差網絡的輸出，F(x)為經過中間卷積處理的輸出。此函數在模型梯度消失時，可以使原輸入恒等映射輸出，相當于輸入特征復制轉移的過程，通過此處理可以使模型結果不會受到梯度消失的不良影響。

圖2 ResNet50函數映射

1.2.2 Xception模型

Xception模型是在InceptionV3模型上進行的改進模型，Chollet F[8]提出一種新的深度卷積神經網絡結構，用深度可分卷積替代Inception模塊，稱為Xception。組成主要由殘差網絡與深度可分離卷積組成。Xception包含36個卷積層，分為14塊，中間12塊都包含線性殘差連接。同時，模型參照深度可分卷積[9]的特點，對輸入數據的每一個通道獨立進行空間逐層卷積，再對其結果進行逐點卷積。

如圖3所示的Xception模型結構介于普通卷積與以上可分卷積之間，第一步通過1×1卷積進行通道分離，第二步獨立繪制每個輸出通道的空間相關性，用3×3單獨處理，最后合并。

圖3 Xception基本模塊

2 實驗與結果分析

2.1 實驗數據與預處理

實驗過程硬件方面為64位windows操作系統，GPU為1 080Ti。軟件方面：使用jupyter notebook作為開發平臺，采用python3.7進行編寫設計，選擇keras與pytorch框架作為程序框架。

實驗結果采用驗證集精度和Top1精確率作為結果評判標準。其中Top1精度為識別結果與標簽相同的準確率。

2.2 實驗數據與預處理

本文數據集來源于Kaggle中，采集了共6 714張蘑菇圖像。實驗數據集總共包含九類蘑菇，包括菌類有落葉松蕈,傘形毒菌, 牛肝菌屬, 阿美尼亞絲膜菌, 肉色粉褶蕈, 緋紅濕傘, 乳菇, 紅菇, 乳牛肝菌。

實驗對數據集以4：1的比例進行訓練集(80%)和驗證集(20%)的分割，所分訓練集數量為5 367張，驗證集數據集為1 347張。每一種蘑菇的樣本圖例如圖4所示。

圖4 九類蘑菇圖像數據

對蘑菇數據集圖像進行數據增強處理，通過平移、分割等圖像預處理，增加數據集樣本的數量，減少由于實驗樣本過少所引起的過擬合現象。同時，將數據集圖像統一整理輸入大小為224×224，規范模型輸入，對圖像數據進行隨機打亂順序處理。

2.3 初步模型實驗

由于卷積神經網絡需要大量樣本進行實驗，而本文采用的是小樣本，為了解決樣本量過少對模型訓練結果造成的影響，實驗引入遷移學習進行訓練。實驗采用的模型為Xception模型和ResNet50模型，并利用此模型預訓練參數作為模型初始參數進行實驗。以下為初步對模型進行的實驗處理過程。

(1)建立BatchNormalization，對模型輸出進行歸一化處理，即將一批不標準數據進行統一處理，將特征值標準正態化，落入對于Relu函數變化敏感的區間，從而達到避免梯度消失、收斂更快的目的。

(2)分別建立神經元個數為256和128的全連接層，激活函數為Relu函數，并再次進行BatchNormalization處理。

(3)搭建分類層，激活函數為Softmax函數，設輸出神經元個數為9。

(4)編譯時將迭代輪次設置為40次，steps_per_epoch為16，訓練中設定初始學習率為0.001，設定最小學習率為1e-8，優化器選為sgd。

以上步驟與參數條件下，實驗結果如表1所示。

表1 實驗一結果

在此種參數條件下，ResNet50模型訓練結果較差，驗證集精確度低于Xception模型約18%。

2.4 模型調整實驗

在此步主要對兩模型的參數和結構進行調整，進行下一步實驗，進一步提高驗證集精確率。

(1)對兩類經典模型原最后全連接層進行層內參數修改，將輸出參數修改為9。

(2)損失函數為CrossEntropyLoss交叉熵函數。此函數將九類輸入數據進行sigmoid函數處理，將輸入映射到[0,1]區間，輸入數據越大則標簽屬于1的概率就越大，并通過增加負log對數求和處理轉化為多類別概率輸出。

(3)添加Dropout處理，減少過擬合現象。將舍棄率設為50%，即該全連接層神經元在每次迭代訓練時有50%的可能性被隨機丟棄不參與訓練，極大減少了參數的數量。

(4)模型編譯時，將momentum動量參數設定為0.9，采用余弦退火函數CosineAnnealingLR調整學習率，學習率呈余弦函數型衰減，其變化和epoch的大小相匹配。設置實驗迭代輪次為100次，綜合實驗GPU 條件，將batch_size批次樣本數設為64。

(5)調整模型微參數，將初始學習率設為0.001，優化器調整為Adam，在實驗過程中函數對參數進行自動調整。

以上步驟的實驗結果如表2和圖5所示。

表2 實驗二結果

通過此實驗，可以看出Xception模型比ResNet50模型Top1精確率高約2%。由此得出，對于此細顆粒蘑菇圖像數據集Xception模型比ResNet50模型在圖像分類任務上更適合。同時Xception模型收斂也相對更快，其損失函數下降趨勢相對快且平穩，在20輪次時下降達到0.30。而ResNet50在接近60輪次時，損失曲線趨勢才相對平穩，下降達到0.31。

圖5 Xception&ResNet50實驗數據

實驗繪制了對于微調整后的Xception模型驗證集圖像預測的混淆矩陣，結果如圖6所示。

可以從混淆矩陣清晰看出第四類蘑菇檢測結果相對偏低，得知其對應數據集量偏少，同時數據集需要進行一定的調整，其蘑菇顏色等信息與其他蘑菇具有一定的相似性。同時具有較高識別率的第五類中有兩張圖片被識別為第六類，第二中有兩張被識別為第一類，兩張被識別為第七類，有三張被識別為第八類。從圖6也可以看出，對于蘑菇驗證集各類蘑菇種類之間的相似類別，以及本模型具有較高識別準確率。

圖6 X c e p t i o n混淆矩陣

Xception模型對于九類蘑菇圖像的識別時間如表3所示。根據結果顯示，除第一類蘑菇第一張識別速度較慢以外，其他八類蘑菇第一張圖像平均識別時間為0.013s完成圖像預測。總體蘑菇圖像平均識別時間為0.013s左右，體現了通過遷移學習并進行微調的Xception模型具有較快的圖像識別預測速度。

表3 九類蘑菇圖像識別時間

3 系統實現

3.1 系統概述

隨著安卓系統手機的普及與發展，市場與各研究中出現了許多基于圖像識別功能的系統設計研發[10]。但菌類識別軟件缺乏，本文將從此角度設計蘑菇識別系統，并以APP形式展現。

總體設計目標為用戶通過拍照或者上傳本地蘑菇圖片，上傳到后臺深度學習平臺，后臺返回相應蘑菇品種及對應知識，同時APP提供給軟件用戶，即蘑菇學習者一個便捷的交流平臺。

蘑菇分類整體系統框架如圖7所示。

圖7 系統整體框架

3.2 APP界面設計及識別

Android客戶端的應用程序在Window10平臺下基于Visual Studio code + Android Studio開發環境中進行開發，通過Android Studio生成.apk文件，安裝設備為安卓系統手機。

客戶端界面設計使用Flutter框架與Andriod Studio布局管理器進行頁面搭建，并與服務器端進行交互，APP設計界面如圖8所示。APP系統后端采用JAVA語言編程實現，連接深度學習平臺并與蘑菇數據庫聯系調用相關種類信息。

圖8 APP界面顯示圖

4 結語

本文提出了將蘑菇圖像分類與兩種經典預訓練模型進行遷移學習的實驗設計，同時設計了對應蘑菇識別APP系統，提供了更便捷、快速的識別方式，目的是解決生活中蘑菇識別應用軟件缺乏與訓練模型時間成本較大的問題。實驗中，由于樣本量不足，采用了在ImageNet大規模數據集上預訓練的模型網絡及其參數進行初始化，在原有模型上修改全連接分類層。實驗首先通過對Xception與ResNet50模型進行遷移測試實驗，得到ResNet50模型與Xception模型精度分別為72.17%、90.33%的實驗結果。再對兩種模型同時進行調整微參數實驗，兩種模型精確率都有所提升，ResNet50模型精確率提升約21.29%，Xception模型提升約4.77%。由此可以得出，Xception模型比ResNet50模型更適合于細顆粒蘑菇數據集的圖像識別任務，同時體現出遷移學習方法對圖像分類任務具有泛化能力強、簡化模型訓練的特點，同時可以有效減少實驗時間，在短時間內提高實驗效果，為計算機輔助識別蘑菇圖像進行分類處理提供可行性實驗論證。