基于多通道結構的卷積神經網絡在圖像分類中的研究

遲凱，魏書偉

（青島恒星科技學院，山東青島，266100）

0 引言

卷積神經網絡是一種特殊類型的神經網絡,在各種圖像分類和目標檢測競賽中均表現出了非常優異的成績[1]。卷積神經網絡通過使用多元非線性特征提取操作而使自身具備了超強學習能力[2],并且能夠從海量數據中自動學習物體的表面特征,大數據時代的來臨和計算機硬件性能的提高加速了人們對卷積神經網絡的研究[3]。近來,在近幾年的網絡架構優化設計研究比賽中表明,內部參數優化和外部網絡架構創新都可以提高其圖像識別、分類的準確率,但隨著網絡深度的增加,可能會出現過擬合現象,網絡模型也逐漸增大,很難應用到嵌入式等移動硬件設備中。

因此，本文從卷積神經網絡基本架構出發，旨在設計出性能更優和網絡模型更小的卷積神經網絡，對經典的傳統網絡Alexnet進行網絡結構改進構建了Tra-net；使用瓶頸結構的卷積模塊Block代替傳統的單一卷積層對圖像進行特征提取，卷積模塊中采用多尺度卷積核進行卷積來擴大感受野的范圍，且加入殘差學習使網絡在加深時避免出現過擬合現象，最后使用全局均值池化GlobalAvepool加普通卷積層代替傳統網絡的FC全連接層，分別構建了Mynet v1、Mynet v2，有效的降低了網絡參數，使得這種輕量型的神經網絡架構可以在容量有限的硬件上運行。

1 基于輕量型卷積神經網絡模型構建

1.1 Tra-net傳統網絡搭建

AlexNet被認為是第一個深度神經網絡架構CNN架構，它展示了CNN在圖像分類和識別任務上的開創性成果。但是隨著人工智能時代的進步和發展，對網絡模型大小和精確度要求越來越高，AlexNet不能滿足實際需求。針對AlexNet網絡結構的三個缺陷：參數太多、精確度較低、容易過擬合，本文首先加入了批量歸一化BN對其進行了改進，構建了Tra-net網絡結構。模塊如圖1所示。

圖1 AlexNet網絡改進Tra-net

與傳統網絡不同的是，在激活函數（Relu）和池化（pool）之間接入一層BN(Batch Normalization)層，即批量歸一化層，替代了傳統的LRN局部響應歸一化層，加入BN層用于解決特征圖中內部協方差平移的有關問題，內部協方差偏移量隨隱藏單位值分布而變化，這會降低網絡的收斂速度，并對參數初始化的要求較高。

1.2 Mynet v1網絡搭建

傳統的卷積神經網絡的卷積結構單一、分類精度不佳且模型參數和計算量較大。單一條通道構成的單一網絡結構在卷積提取特征時明顯表現不佳。本文構建了Block v1卷積模塊，其具體操作是先將輸入的總特征圖一分為三,每條支路網絡均采取瓶頸網絡結構設計,先通過1*1的卷積核來降維,再通過一條3*3或5*5的卷積核進行傳統的卷積操作,最后通過一條1*1的卷積核來升維,整合多條通道的信息。

圖2 Block v1卷積模塊

并行殘差網絡Mynet v1的基本網絡架構采用模塊化設計,通過堆疊Block v1模塊以及在模塊中間穿插多個池化層而形成,最后在整條網絡結構的尾端采用Global Avepool（全局均值池化）層結合普通卷積層的操作，以此來代替傳統網絡結構中的全連接層,全局平均池化層本身就是一種下采樣操作,不摻雜任何參數,減輕過擬合現象的發生并使得網絡更為輕量化。

1.3 Mynet v2網絡搭建

在Block v1卷積模塊基礎上加入殘差學習構建了Block v2卷積模塊,傳統的卷積神經網絡模型通過疊加卷積層來提高網絡深度以此提高網絡的識別準確率，但是如果卷積層疊加過多到達一定程度后，反而會出現梯度消失導致過擬合現象，使得網絡在訓練集和驗證集上表現不一。Block v2卷積模塊如圖3所示。

圖3 Block v2卷積模塊

Mynet v2的基本網絡架構與Mynet v1網絡架構相同，只是使用的卷積模塊不同，兩種改進后的網絡均在同一數據集上進行性能測試，驗證加入組內殘差學習的網絡性能更優。

2 實驗與測試

2.1 數據集

實驗采用的數據集為加州理工學院公開整理的Caltech256數據集,Caltech256數據集據統計共涵蓋了257類目標圖像，共約三萬張，其中背景不計在內,將每一類圖像按照一比四的比例隨機劃分為測試集和訓練集。Caltech256部分樣本如圖4所示。使用三種不同網絡在Caltech256數據集上測試時,設置訓練初始學習率learning rate設置為0.01,學習率的變化方式lr_policy為multistep,最大迭代次數設為60000次,每訓練500次測試一次網絡性能。

圖4 Caltech256數據集部分樣本

2.2 網絡性能測試

實驗對比了三種不同結構的卷積神經網絡在Caltech256數據集上的識別性能。表1統計和比較了三個網絡不同的識別性能。圖5給出了三種網絡在隨著網絡迭代次數的增加時,圖像識別精度的變化曲線。

表1 各模型在Caltech256上的性能

圖5 各模型在caltech256數據集上的訓練曲線

如曲線圖5和表1所示，橫坐標Iteration代表網絡的迭代次數，縱坐標Test accuracy代表測試時的識別準確率，傳統網絡Tra-net在數據集Caltech256上上的識別精度可以達55.61%，網絡模型較大，引入Block瓶頸卷積模塊后的并行輕量化網絡Mynet v1在兩個數據集上的識別精度可達58.08%，極大的減少了網絡模型參數的同時還保證了識別精度均有所提升，在Mynet v1基礎上加入殘差學習的Mynet v2使得網絡的識別精度進一步提升至59.56%，且網絡模型大小保持不變。

從圖5中可以看出，計算機迭代20000次以內，Mynet v1和Mynet v2的識別性能曲線上升較快，在計算機迭代約60000次后，網絡識別性能趨于穩定，改進后的Mynet v1和Mynet v2網絡相比于Tra-net傳統網絡具備更好的分類識別性能；傳統網絡Tra-net使用單一的卷積核提取特征，且整體的參數較多，準確率不高。Mynet v1中使用瓶頸結構的卷積模塊Block代替傳統的單一卷積層對圖像進行特征提取，卷積模塊中采用多尺度卷積核進行卷積來擴大感受野的范圍，識別效果更優，且使用了1*1卷積核大幅度降低了網絡模型參數。Mynet v2驗證了在Mynet v1網絡結構中加入殘差學習可以進一步提升網絡的性能，避免過擬合現象的發生，且不會造成網絡模型參數的增加。

由實驗結果可以看出：（1）本文加入的Block卷積模塊能有效的提升網絡性能。（2）采用并行多支路多卷積核的特征提取對整體識別率是很有貢獻的。（3）使用1*1卷積層的降維操作，可以有效控制網絡參數。（4）加入殘差學習對網絡的識別性能有一定提升，且不會增加網絡參數。

3 結束語

本文實驗結果表明并行殘差網絡Mynet v2比傳統網絡Tra-net和瓶頸結構網絡Mynet v1中的任何一條網絡的精確效果都好，因為Block卷積模塊使用了三組不同大小的卷積核對圖像進行特征提取，增加了網絡的寬度，殘差學習又保證了增加網絡深度的同時避免出現過擬合現象。