增強層次的卷積神經網絡模型研究

史天予　孫家民　袁德鵬

摘要：受生物視覺信息處理機制啟發的目標識別是計算機視覺領域研究的熱點之一，主要思想是對大腦視覺皮層中視覺信息的層次性處理過程進行模擬來實現目標識別。本文以具備稀疏連接思想和自我學習機制的卷積神經網絡為框架，融入分層和仿生的思想，提出增強層次的CNN模型。實驗結果表明該模型的目標識別準確率高達88%。

關鍵詞：側抑制機制 目標識別 Caltech-101 卷積神經網絡

中圖分類號：TP391.14 文獻標識碼：A 文章編號：1007-9416（2016）09-0070-01

1 引言

經典卷積神經網絡（CNN）并沒有很好的對視皮層中視覺信息的層次性處理過程進行模擬， 本文結合生物視覺特點，構建具有分層感知不變性特征和具有學習、識別能力的計算模型，提出AH-CNN算法，在同樣目標條件下進行分類識別，并與其他識別模型進行比較。

2 基于隨機策略的池化層

本文基于隨機池化策略構建隨機池化層， 替代傳統池化層， 在保留最大池化優勢的基礎上添加隨機特性， 可以更好地防止模型訓練時出現過擬合.其公式如下：

（1）

其中為多項式分布位置采樣概率，為i位置的激活值，是特征映射圖第j個池化區域。隨機池化介于最大值池化和均值池化之間，相當于在池化區域上進行不同的形變再進行最大池化操作，在平均意義上，同均值池化類似；在局部區域中，服從最大池化策略。

3 基于側抑制機制的歸一化層

側抑制機制是普遍存在于視覺系統多層次中的一種神經交互作用，這種機制在參與初級視覺感知的同時還參與類似注意機制的高層作用。本文將引入模擬側抑制機制的局部響應值歸一化層（LRN），并部署于每個隨機池化層之后，通過對輸入特征數據的局部歸一化操作將局部化的輸入分散到更大范圍的輸出神經元中，抑制激勵量并調整感知信息編碼，以此將映射特征顯著化，提高CNN模型泛化能力。其公式如下：

（2）

其中為點處的神經元活躍程度，為歸一化活性，a為每個神經元的激活值，b為歸一化權重生成的新的激活值，n為求和覆蓋的相鄰的位于相同空間位置的核映射數量，N是該層中的核總數。常數k，n，α和β為需要在驗證集上選擇最優值的超參數。

4 基于視覺神經層次結構的AH-CNN模型

基于上述隨機池化層和LRN層的構建，本文結合CNN的層次結構，仿照基于視覺信息處理系統的三級分析模型，提出基于視覺神經層次結構的AH-CNN模型。該模型采用卷積層、隨機池化層和LRN層交替組成視覺神經系統的初、中級層次結構，并采用全連接層和分類器模擬視覺神經系統的高級層次結構對目標圖像進行決策識別。

5 實驗結果與分析

本文采用深度學習開發框架Caffe，并選擇Caltech-101數據集進行訓練和測試，結果如圖1所示。實驗證明AH-CNN模型能夠有效的提高圖像目標識別的準確度，對比經典CNN，在準確率上有所提高。

參考文獻

[1]Y. LeCun， B. Boser， J， “Backpropagation applied to handwritten zip code recognition，” Neural computation，1989.

[2]J.Deng，W.Dong，R.Socher， L.-J.Li， K.Li，and L.FeiFei，“Imagenet：A large-scale hierarchical image database，”in CVPR，2009.

[3]A.Krizhevsky，I.Sutskever，and G.Hinton，“Imagenet classification with deep convolutional neural networks，” in NIPS，2012.