基于矩陣2-范數池化的卷積神經網絡圖像識別算法

余 萍， 趙繼生

(華北電力大學電子與通信工程系，河北 保定 071003)

基于矩陣2-范數池化的卷積神經網絡圖像識別算法

余 萍， 趙繼生

(華北電力大學電子與通信工程系，河北 保定 071003)

卷積神經網絡中的池化操作可以實現圖像變換的縮放不變性，并且對噪聲和雜波有很好的魯棒性。針對圖像識別中池化操作提取局部特征時忽略了隱藏在圖像中的能量信息的問題，根據圖像的能量與矩陣的奇異值之間的關系，并且考慮到圖像信息的主要能量集中于奇異值中數值較大的幾個，提出一種矩陣2-范數池化方法。首先將前一卷積層特征圖劃分為若干個互不重疊的子塊圖像，然后分別計算子塊圖像矩陣的奇異值，將最大奇異值作為每個池化區域的統計結果。利用5種不同的池化方法在Cohn-Kanade、Caltech-101、MNIST和CIFAR-10數據集上進行了大量實驗，實驗結果表明，相比較于其他方法，該方法具有更好地識別效果和穩健性。

深度學習；卷積神經網絡；矩陣2-范數；池化；奇異值

近年來興起的卷積神經網絡技術已經成為計算機科學領域的研究熱點，其通過多個階段的變換，深度挖掘隱含信息的本質特征，由于可以直接將原始圖像作為網絡的輸入，避免了復雜特征

提取和數據重建，因此被廣泛應用在文本、語音、圖像識別等領域[1-5]。池化是卷積神經網絡架構中的重要組成部分，其核心思想源于 Hubel和Wiesel[6]有關哺乳動物視覺皮層模型結構的開創性研究工作以及Koenderink和Van Doorn[7]提出的圖像局部相關性原理，是將某些固定區域的聯合分布統計結果作為特征檢測器的響應，用于實現圖像變換的縮放不變性，以使得網絡對噪聲和雜波有很好的魯棒性。通過池化操作，可以減少數據處理量并保留有用信息[8-9]。池化操作在卷積神經網絡結構中非常重要，可對網絡性能產生很大的影響，因此研究行之有效的池化方法是必要的。

1982年，Fukushima和Miyake[10]在神經認知機中采取特征池化的方法用于圖像識別，為其后計算機視覺識別模型中運用池化操作奠定了基礎；Lecun等[11-12]使用均值池化的方法成功訓練出第一個基于誤差梯度的卷積神經網絡；Ranzato等[13]、Jarrett等[14]使用最大池化方法在 Caltech-101、MNIST和NORB數據集上取得了當時最好的測試效果；Sermanet等[15]使用向量范數池化方法將SVHN數據集的正確識別率提升到94.85%；Zeiler 和 Fergus[16]將一種簡單而有效的隨機池化方法用于防止卷積神經網絡訓練過程中產生的過擬合，并且取得了很好的效果。

均值池化方法考慮了池化區域里的所有元素，當使用 f(x) = max(0,x)線性修正函數(rectified linear units, ReLUs)對神經元進行激勵時，在均值計算過程中有很多零元素會削弱較大激活值的貢獻，不能很好地反映池化區域的特征，同時將會對權值的調整產生很大影響；尤其是使用雙曲正切函數(tanh)時，由于tanh函數關于零點反對稱，正負激活部分可能會相互抵消，導致很微弱的池化反應。最大池化很好地解決了上述問題，但是由于其只選取了每個池化區域的最大值，使得較小的激活值無法向下一層傳遞信息，在實際應用中容易產生過擬合，網絡的泛化能力較差，很難將其推廣到測試集上。隨機池化方法因為是根據多項式分布按照概率隨機選取激活值，在采樣層測試階段采取概率加權池化的方法下，使用tanh函數作為激勵時，由于負數的存在，使得測試階段計算出來的加權激活值與訓練階段隨機選取的激活值差別很大，測試分類效果很差[16]。向量范數池化方法在進行特征提取時，需要選取多種形式的向量范數池化方法進行比較才能選擇出表現良好性能的策略，降低了算法性能，使其并沒有得到大規模運用。本文提出一種基于矩陣 2-范數的池化方法，將矩陣的最大奇異值作為池化區域統計結果，在常用的Cohn-Kanade、Caltech-101、MNIST和CIFAR-10數據集上的測試結果表明，該池化方法相比較于其他方法具有更好的識別效果。

1 卷積神經網絡

卷積神經網絡是一個多層的非全連接的神經網絡，融合局部感受野、權值共享和子采樣這 3種結構特性使其自適應實現圖像的旋轉、平移和縮放等形式變換[12,17]。局部感受野是指每一層網絡的神經元只與上一層某個固定大小的相鄰矩形區域內的神經元相連接，通過局部感受野，神經元可以提取到方向線段、端點和角點等初級視覺特征。權值共享極大地減少了網絡模型需要訓練的參數個數，降低了模型復雜度。子采樣降低了特征圖的空間分辨率，提高了模型抗噪能力。圖 1為本文所用到的一個 Cohn-Kanade實驗的卷積神經網絡模型結構，包括輸入層、卷積層(由C標識)、采樣層(由S標識)、全連接層(由F標識)和輸出層。

圖1 Cohn-Kanade實驗的卷積神經網絡模型結構

1.1 卷積層

卷積層負責從輸入圖像的不同局部區域提取特征，可通過若干個可以學習的 × K K大小的卷積核與前一層的局部感受野進行卷積運算，并經過激活函數的非線性作用得以實現。每個卷積層由多個特征圖組成，而每個特征圖又可與前一層的多個特征圖建立關系。卷積層的輸入與輸出形式分別為

其中，Rj表示輸入特征圖的一個選擇；是第(l- 1)層的第i個特征圖的激活值；是第l層的第j個特征圖與第( l-1)層的第i個特征圖相連的卷積核；是第l層的第j個特征圖的偏置；f(·)表示神經元的激活函數，常采用的有飽和非線性函數(例如：sigmoid，表達式為 f(x) = (1 + e-x)-1；tanh等函數)和不飽和非線性函數(例如：softplus，表達式為 f(x) = ln(1+ex)；ReLUs等函數)。

1.2 采樣層

采樣層是將卷積層的特征圖進行抽樣以提取用于分類的重要特征，即把輸入的特征圖劃分為多個不重疊的子塊，然后對每個子塊進行池化操作。采樣層只是做簡單的縮放映射，采樣層的特征圖與前一層的特征圖是一一對應的關系，假設前一個卷積層的特征圖大小為N×N，第j個特征圖矩陣記為，其中表示卷積層第j個特征圖矩陣元素，s和t為對應的序號。采樣窗口大小為n×n，采樣層的輸出為，其中。采樣層主要有均值池化、最大池化、向量范數池化和隨機池化4種構建方式，其計算公式如下：

(1) 均值池化的每個池化區域矩陣元素輸出形式為

(2) 最大池化的每個池化區域矩陣元素輸出形式為

(3) 向量范數池化的每個池化區域矩陣元素輸出形式為

其中，P的取值不同代表了不同形式的向量范數。

(4) 隨機池化的每個池化區域矩陣元素輸出形式為

其中，“??”為向上取整符號。

卷積神經網絡通過卷積層和采樣層的交替作用來學習原始圖像的隱含特征，一般再經過若干個普通神經網絡里的全連接層，其輸入和輸出形式為

按照梯度下降的原則，基于反向傳播算法(back propagation, BP)來調整相應的權重和偏置值。其中，全連接層權重值的更新公式為[18]

其中， x (t )表示該神經元的輸出； δ (t)表示該神經元的殘差項；η表示學習率。

2 基于矩陣2-范數的池化方法

(3) 三角不等式：對于 ?B∈Rn×n，有；

(4) 相 容 性 ： 對 于 ?B∈Rn×n， 有

根據以上矩陣范數的定義，介紹 2種常見的矩陣范數：

① Frobenius范數(F-范數，是向量 2-范數的推廣)

② 譜范數(矩陣2-范數)

其中， AT為A的轉置矩陣， λmax(ATA)為ATA的最大特征值。

對方陣A進行奇異值分解有 A =UDVT，其中U和V都是正交矩陣， D=diag(d1,d2,···,dr)為對角矩陣，并且滿足d1≥ d2≥··· ≥ dr＞0是矩陣A 的r個奇異值，r為矩陣A的秩。矩陣A的 F-范數和2-范數又可以表示為

由式(14)、(15)可知，圖像的能量信息可以用矩陣的奇異值來表征，當圖像發生旋轉、平移、縮放等幾何失真時，根據奇異值分解理論，圖像矩陣的奇異值只發生很微小的變化，即圖像的能量信息具有較高的穩定性[19-21]。因此，可將圖像的能量作為向下一層網絡傳遞的信息，以使得圖像的幾何失真具有高度不變性。考慮到圖像信息的主要能量集中于奇異值中數值較大的幾個，本文提出一種基于矩陣2-范數的池化方法，將矩陣的最大奇異值作為池化區域統計結果。相比較于F-范數方法，不僅計算簡單，且具有更好的穩健性。

以圖 2所示的一個池化過程為例，描述本文提出的矩陣2-范數的池化方法：

步驟 1. 將N×N大小的卷積層特征圖劃分為若干個互不重疊的子塊矩陣，每個子塊矩陣的大小為n×n(圖2的卷積層特征圖中數字區域為其中一個子塊矩陣)；

涉及到反向傳播過程中，由式(11)可知，主要是計算殘差項 δ( t)。

(1) 當l層是卷積神經網絡中的輸出層時，第i個神經元節點的殘差為

其中，Yi表示理想狀態下的第i維標簽，為非線性映射函數的導數，由于輸出層用于分類使用的是sigmoid函數，因此，式(17)可以記為

(2) 當l層是全連接層時，第i個神經元節點的殘差為

(3) 雖然采樣層沒有訓練的參數，不需要進行參數更新，但是后面與之連接的卷積層和全連接層在計算殘差項時需要對其進行相應的操作。因此，仍然需要計算采樣層的殘差。

①當采樣層的下一層是卷積層時，第i個特征圖的殘差為

②當采樣層的下一層是全連接層時，需要將最后一個采樣層的二維特征圖拉伸為特征列向量，這里計算的是特征向量中第 i個神經元節點的殘差

(4) 當l層是卷積層時，需要將圖2采樣層中的一個元素對應的殘差項進行上采樣，本文的策略類似于均值采樣，將一個元素對應的殘差上采樣成具有相同元素的n×n大小的矩陣，第i個特征圖的殘差為

其中， up(·)為一個上采樣函數，就是計算下一個采樣層的殘差與一個n×n大小的全 1矩陣的克羅內克積。

圖2 矩陣2-范數的池化過程舉例

3 實驗及結果分析

為了驗證矩陣 2-范數池化方法的有效性，并且考慮到矩陣 2-范數的定義條件，本文探討在不同池化方法下，卷積層采取目前廣泛使用的ReLUs函數，而全連接層使用sigmoid函數作為激活函數的圖像識別效果。實驗在 Matlab2013a環境下完成，采用的操作系統為Windows 8.1，CPU為Intel i5-4210m，主頻為2.6 GHz，內存為8 G。實驗中的訓練次數最大設置為50次。

3.1 Cohn-Kanade數據集實驗結果

Cohn-Kanade(CK)數據集是美國卡內基梅隆大學機器人研究所和心理學系共同建立的人臉表情庫，本文首先將 CK數據庫中的圖片裁剪成64×64大小的表情圖片，分為憤怒、厭惡、高興、恐懼、驚訝和悲傷等6種不同的表情，包含1 839張圖像，圖3為Cohn-Kanade實驗中用到的部分圖像。實驗中，每種表情都是隨機選取大約 90%的圖片作為訓練樣本，其余的作為測試樣本。

圖3 Cohn-Kanade實驗中用到的部分圖像

在圖1所示的Cohn-Kanade實驗的卷積神經網絡模型結構中，第一個卷積層C1通過5×5大小的卷積核獲得 4個 60×60大小的特征圖，共有4×(5×5+1)=104個需要訓練的未知參數；接下來的采樣層S1對C1中所有互不重疊的2×2大小的子塊進行池化操作，得到4個30×30大小的特征圖，不含有未知參數；余下的C2和S2層與此相類似；F3是一個與 S2全連接的網絡層，神經元個數為100，總共有100×8×(13×13)+100=135300個連接；輸出層包含6個節點，使用全連接層的100維向量進行分類。圖4顯示了一張輸入圖像在矩陣2-范數池化網絡模型的卷積層和采樣層中的特征圖，各特征的數值分布于0到1之間，黑色為0，白色為 1。在采樣層使用不同池化方法下，Cohn-Kanade數據集的分類正確率如表1所示。從表1可看出，對于憤怒表情，最大和向量2-范數池化均能正確識別，而矩陣2-范數池化有1張錯誤識別；對于厭惡和高興表情，只有均值和隨機池化方法有 1張錯誤識別，其他池化方法均能正確識別；對于恐懼表情，5種池化方法都能正確識別；對于驚訝和悲傷表情，只有矩陣 2-范數池化方法識別效率好。矩陣2-范數池化方法在CK數據集上的正確識別率為97.77%。

圖4 矩陣2-范數池化網絡模型的卷積層和采樣層中的特征圖

表1 Cohn-Kanade數據集在不同池化方法下的分類正確率

3.2 Caltech-101數據集實驗結果

Caltech-101數據集包含101類物體和一類背景圖像，總共有9 144張大約300×300分辨率的圖像，每類的圖片數目從31到800張不等。考慮到特征維數較高會帶來內存溢出問題，本文選取類別圖像中數目大于 400張的作為實驗對象，包括background、faces、faces_easy、motorbikes和airplanes 5類共計2 935張圖像，每類隨機選取M張圖像做訓練，訓練樣本共 5×M 張，其余的2935–5×M張為測試樣本。為了滿足輸入圖片的要求，使用雙線性插值算法將其歸一化為 140×140的灰度圖像，圖5為Caltech-101實驗中用到的部分圖像。

圖5 Caltech-101實驗中用到的部分圖像

本研究設計的Caltech-101實驗的卷積神經網絡結構如圖6所示的2個卷積層、2個采樣層和1個全連接層，第一個卷積層的特征圖個數為9，卷積核的大小為16×16；第二個卷積層的特征圖個數為 18，卷積核的大小為 6×6；采樣窗口大小都為5×5；全連接層的神經元個數為200。

圖6 Caltech-101實驗的卷積神經網絡模型結構

采樣層使用不同池化方法，在訓練樣本不同時分類正確率如表2所示。從表2可以看出，本文提出的矩陣 2-范數池化方法比其他池化方法具有較高的識別率，而且訓練樣本的個數直接影響到識別率。當每類訓練樣本個數為 300時，本文提出的池化方法在測試樣本集上的識別率為93.24%。

表2 Caltech-101數據集中訓練樣本不同時，不同池化方法下的網絡分類正確率(%)

3.3 MNIST數據集實驗結果

MNIST手寫字體(0~9數字)數據集共計60 000張訓練圖片和10 000張測試圖片，每張圖片均為28×28的灰度圖像，實驗中只需要將其歸一化為[0，1]。采用經典的卷積神經網絡結構包括2個卷積層、2個采樣層和1個全連接層，卷積核的大小為5×5，采樣窗口大小都為2×2；第一個卷積層的特征圖個數為 6，第二個卷積層的特征圖個數為12，全連接層的神經元個數為200。在采樣層采取不同池化方法下，網絡分類正確率隨著訓練次數變化曲線如圖7所示。

圖7 MNIST數據集中不同池化方法的網絡分類正確率隨著訓練次數變化曲線

MNIST數據集中的數字特征比較簡單，從圖7可以看出，5種池化方法都取得了不錯的識別效果，在訓練35次之后，使用矩陣2-范數池化方法的網絡分類正確率要高于其他方法。表 3的結果為 5種池化方法的最好識別結果，本文提出的方法在經典卷積神經網絡結構下的正確率最高為99.10%。

表3 MNIST數據集在不同池化方法下的網絡分類正確率(%)

3.4 CIFAR-10數據集實驗結果

CIFAR-10數據集包含10類50 000張訓練圖片和10 000張測試圖片，每張圖片均為32×32的彩色自然圖像，實驗中先將圖像轉換成灰度，再進行均值和方差歸一化，最后進行ZCA白化操作。采用的網絡結構設置為：8C1-4S1-16C2-4S2-240F3，卷積核大小為5×5。網絡結構設置中的 C表示卷積層，前面對應的數字表示相應層的特征映射圖個數；S表示采樣層，前面對應的數字表示采樣窗口的大小；F表示全連接層，對應的數字表示神經元的個數。在采樣層使用不同池化方法下，CIFAR-10數據集的分類錯誤率如表4所示。從CIFAR-10數據集實驗結果可以看出，使用矩陣2-范數池化方法提高了識別準確率。

表4 CIFAR-10數據集在不同池化方法下的網絡分類錯誤率(%)

以上的實驗結果說明，MNIST樣本空間變化比較小，5種池化方法的識別率相差不大，但是使用矩陣 2-范數池化方法的識別率還是最高的，而在Cohn-Kanade、Caltech-101和CIFAR-10數據集上，識別率提升效果比較明顯，體現了本文方法在復雜特征樣本上具有較大的優勢。進一步說明，采樣層使用矩陣 2-范數池化方法在降低特征圖分辨率的同時，保留了主要能量信息。

4 結束語

本文根據矩陣的奇異值分解對于圖像的幾何失真具有高度不變性的原理，考慮到圖像信息的主要能量集中于奇異值中較大的幾個，提出一種基于矩陣 2-范數的卷積神經網絡池化方法，首先將卷積層特征圖劃分為若干個互不重疊的子塊圖像，然后分別計算子塊圖像矩陣的奇異值，將矩陣的最大奇異值作為池化區域統計結果。該方法將圖像的能量信息作為下一層網絡傳播的特征，同時也不至于使得信息特征過于復雜化。在Cohn-Kanade、Caltech-101、MNIST和CIFAR-10公開數據集上的對比測試表明：本文方法具有更高的識別率和很好的穩健性，可以反映隱含在圖像中的能量信息特征。

[1] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks [J]. Advance in Neural Information Processing Systems, 2012, 25(2): 1097-1105.

[2] Ji S W, Xu W, Yang M, et al. 3D convolutional neural networks for human action recognition [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 221-231.

[3] Dahl G E, Sainath T N, Hinton G E. Improving deep neural networks for LVCSR using rectified linear units and dropout [C]//Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE Press, 2013: 8609-8613.

[4] Jin J Q, Fu K, Zhang C S. Traffic sign recognition with hinge loss trained convolutional neural networks [J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 15(5): 1991-2000.

[5] Kim I J, Xie X H. Handwritten Hangul recognition using deep convolutional neural networks [J]. International Journal on Document Analysis and Recognition, 2014, 18(1): 1-13.

[6] Hubel D H, Wiesel T N. Receptive fields, binocular interaction and functional architecture in the cat's visual cortex [J]. The Journal of Physiology, 1962, 160(1): 106-154.

[7] Koenderink J, Van Doorn A. The structure of locally orderless images [J]. International Journal of Computer Vision, 1999, 31(2/3): 159-168.

[8] Boureau Y L, Ponce J, Lecun Y. A theoretical analysis of feature pooling in visual recognition [C]//Proceeding of the 27th International Conference on Machine Learning. Haifa, Israel: ICML, 2010: 111-118.

[9] Scherer D, Müller A, Behnke S. Evaluation of pooling operations in convolutional architectures for object recognition [C]//20th International Conference on Artificial Neural Networks. Berlin: Springer, 2010: 92-101.

[10] Fukushima K, Miyake S. Neocognitron: A new algorithm for pattern recognition tolerant of deformations and shifts in position [J]. Pattern Recognition, 1982, 15(6): 455-469.

[11] Lecun Y, Boser B, Denker J S, et al. Handwritten digit recognition with a back-propagation network [C]// Advances in Neural Information Processing Systems. San Francisco, CA: Morgan Kaufmann Publishers, 1990: 396-404.

[12] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition [J]. Proceeding of the IEEE, 1998, 86(11): 2278-2324.

[13] Ranzato M, Boureau Y L, Lecun Y. Sparse feature learning for deep belief networks [C]//Neural Information Processing Systerms. Cambridge: MIT Press, 2007: 1185-1192.

[14] Jarrett K, Kavukcuoglu K, Ranzato M, et al. What is the best multi-stage architecture for object recognition [C]// 2009 IEEE 12th International Conference on Computer Vision. New York: IEEE Press, 2009: 2146-2153.

[15] Sermanet P, Chintala S, Lecun Y. Convolutional neural networks applied to house numbers digit classification [C]// 21st International Conference on Pattern Recognition. New York: IEEE Press, 2012: 11-15.

[16] Zeiler M D, Fergus R. Stochastic pooling for regularization of deep convolutional neural networks [C]// International Conference on Learning Representations. Arizona, USA: ICLR, 2013: 1-9.

[17] Lecun Y, Kavukcuiglu K, Farabet C. Convolution networks and applications in vision [C]//Proceedings of 2010 IEEE International Symposium on Circuits and Systems. New York: IEEE Press, 2010: 253-256.

[18] Hinton G E. How neural networks learn from experience [J]. Scientific American, 1992, 267(3): 145-151.

[19] Wall M E, Rechtsteiner A, Rocha L M. Singular value decomposition and principle component analysis [J]. A Practical Approach to Microarray Data Analysis, 2002, 5: 91-109.

[20] 周 波, 陳 健. 基于奇異值分解的、抗幾何失真的數字水印算法[J]. 中國圖象圖形學報, 2004, 9(4): 506-512.

[21] 朱曉臨, 李雪艷, 邢燕, 等. 基于小波和奇異值分解的圖像邊緣檢測[J]. 圖學學報, 2014, 35(4): 563-570.

Image Recognition Algorithm of Convolutional Neural Networks Based on Matrix 2-Norm Pooling

Yu Ping, Zhao Jisheng

(Department of Electronics and Communication Engineering, North China Electric Power University, Baoding Hebei 071003, China)

The pooling operation in convolutional neural networks can achieve the scale invariance of image transformations, and has better robustness to noise and clutter. In view of the problem that pooling operation ignores the energy information hidden in the image when it extracts local features for image recognition, according to the relationship between energy of the image and singular value of the matrix, and taking into account the image information of the energy mainly concentrates on the larger singular value, a pooling method based on matrix 2-norm was proposed. The former feature map of convolutional layer is divided into several non-overlapping sub blocks, and then singular value of the matrix is calculated. The maximum value is used as the statistical results of each pooling region. Various numerical experiments has been carried out based on Cohn-Kanade, Caltech-101, MNIST and CIFAR-10 database using different kinds of pooling method. Experimental results show that the proposed method is superior in both recognition rate and robustness compared with other methods.

deep learning; convolutional neural networks; matrix 2-norm; pooling; singular value

TP 391

10.11996/JG.j.2095-302X.2016050694

A

2095-302X(2016)05-0694-08

2015-07-20；定稿日期：2016-04-25

余 萍(1963–)，女，浙江富陽人，副教授，學士。主要研究方向為圖像處理、模式識別。E-mail：well_yp@yeah.net