卷積神經網絡綜述

劉健 袁謙 吳廣 喻曉

摘 要： 卷積神經網絡作為深度學習的一種經典而廣泛應用的結構，克服了過去人工智能中被認為難以解決的一些問題。卷積神經網絡的局部連接、權值共享及下采樣操作等特性使之可以有效地降低網絡的復雜度，減少訓練參數的數目，使模型對平移、扭曲、縮放具有一定程度的不變性，并具有強魯棒性和容錯能力，也易于訓練和優化。文章介紹了卷積神經網絡的訓練方法，開源工具，及在圖像分類領域中的一些應用，給出了卷積神經待解決的問題及展望。

關鍵詞： 深度學習； 卷積神經網絡； 網絡結構； 訓練方法

中圖分類號：TP183 文獻標志碼：A 文章編號：1006-8228（2018）11-19-04

Abstract： As a classical kind of widely used network structure in deep learning，convolutional neural networks has successfully solved some problems which were considered difficult to solve in artificial intelligence in the past. The characteristics such as local connections， shared weights，under-sampling etc. can reduce the complexity of networks and the number of training parameters， and can also make the model creating invariance to translation， distortion and zoom and having strong robustness and fault tolerance. So it is easy to train and optimize its network structure. This paper introduces the training methods， open source tools of convolutional neural networks and its applications in the field of image classification， the problems and prospects of the convolutional neural network to be solved are given also.

Key words： deep learning； convolutional neural networks； network structure； training method

0 引言

人工神經網絡（Artificial Neural Network，ANN）是對生物神經網絡的一種近似模擬，是由大量神經元通過相互連接而構成的自適應非線性動態網絡系統。1943年，心理學家McCulloch和數理邏輯學家Pitts提出了第一個神經元數學模型，稱為MP模型[1]。他們通過MP模型提出了神經元的形式化數學描述和網絡結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網絡研究的時代。60年代，Rosenblatt[2]在MP模型基礎上提出了單層感知器模型，但是單層感知器網絡模型不能夠處理線性不可分問題。直到1986年，Rumelhart[3]等人提出了BP算法解決了單層感知器不能解決的問題，掀起了神經網絡在機器學習中的研究熱潮。神經網絡中的大量參數，容易發生局部最優、過擬合、訓練時間長的缺陷。2006 年，Hinton[4]等在《Science》上提出了深度學習，這篇文章的兩個主要觀點是：①多隱層的人工神經網絡具有優異的特征學習能力，學習到的數據更能反映數據的本質特征，有利于可視化或分類；②深度神經網絡在訓練上的難度，可以通過逐層無監督訓練有效克服。Bengio系統地介紹了深度學習所包含的網絡結構和學習方法。目前，常用的深度學習模型有深度置信網絡（Deep Belief Network，DBN）[5-6]、層疊自動去噪編碼機（Stacked Denoising Autoencoders，SDA）[7-8]、卷積神經網絡（Convolutional neural network，CNN）[9-10]等。

1 CNN概述

神經網絡包括輸入層、隱藏層和輸出層，如圖1所示。

卷積神經網絡是一種帶有卷積結構的深度神經網絡，卷積結構可以減少深層網絡占用的內存量，也可以減少網絡的參數個數，緩解模型的過擬合問題。卷積神經網絡中隱藏層是重要組成部分。經典的CNN由輸入層、卷積層、下采樣層（也稱池化層）、全連接層及輸出層組成。典型的LeNet-5[9]是經典的CNN結構，如圖2所示。卷積層和下采樣層一般會取若干個，采用卷積層和下采樣層交替設置，即一個卷積層連接一個下采樣層，下采樣層后再連接一個卷積層，依此類推。由于卷積層中輸出特征面的每個神經元與其輸入進行局部連接，并通過對應的連接權值與局部輸入進行加權求和再加上偏置值，得到該神經元輸入值，該過程等同于卷積過程，CNN也由此而得名[9]。

1.1 卷積層

卷積核是卷積層的重要組成部分。特征提取器是卷積核的本質，其主要作用是自動提取輸入信號的深層信息。卷積層由多個特征面組成，每個特征面由多個神經元組成，它的每一個神經元通過卷積核與上一層特征面的局部區域相連。上一層的特征圖被一個可學習的卷積核進行卷積，然后通過一個激活函數，就可以得到輸出特征圖。每個輸出特征圖可以組合卷積多個特征圖的值[11]：

其中，ulj稱為卷積層l的第j個通道的凈激活，它通過對前一層輸出特征圖xil-1進行卷積求和與偏置后得到，xlj是卷積層l的第j個通道的輸出。f（·）稱為激活函數，通常可使用sigmoid和tanh等函數。Mj表示用于計算ulj的輸入特征圖子集，kjij是卷積核矩陣，blj是對卷積后特征圖的偏置。對于一個輸出特征圖xlj，每個輸入特征圖xil-1對應的卷積核kjij可能不同，“*”是卷積符號。

影響CNN性能有3個因素：層數、特征面的數目及網絡組織。使用9種結構的CNN進行中文手寫體識別實驗，通過統計測試結果得到具有較小卷積核的CNN結構的一些結論：①增加網絡的深度能夠提升準確率；②增加特征面的數目也可以提升準確率；③增加一個卷積層比增加一個全連接層更能獲得一個更高的準確率。Bengio等人[12]指出深度網絡結構具有兩個優點：①可以促進特征的重復利用；②能夠獲取高層表達中更抽象的特征，由于更抽象的概念可根據抽象性更弱的概念來構造，因此深度結構能夠獲取更抽象的表達。He等人[13]探討了在限定計算復雜度和時間上如何平衡CNN網絡結構中深度、特征面數目、卷積核大小等因素的問題。該文獻首先研究了深度與卷積核大小間的關系，通過實驗結果表明網絡深度比卷積核大小更重要；當時間復雜度大致相同時，具有更小卷積核且深度更深的CNN結構，比具有更大卷積核同時深度更淺的CNN結構能夠獲得更好的實驗結果。其次，該文獻也研究了網絡深度和特征面數目間的關系，實驗結果表明，深度越深，網絡性能越好；然而隨著深度的增加，網絡性能也逐漸達到飽和。此外，該文獻還通過固定網絡深度研究了特征面數目和卷積核大小間的關系，通過實驗對比發現特征面數目和卷積核大小的優先級差不多，其發揮的作用均沒有網絡深度大。

1.2 下采樣層

下采樣層用來實現對特征圖的采樣處理，在減少數據量的同時保留有用的信息，使CNN具有抗畸變的能力。下采樣層將每個輸入特征圖通過下面的公式下采樣輸出特征圖：

其中，ulj稱為下采樣層l的第j通道的凈激活，它由前一層輸出特征圖xil-1進行下采樣加權、偏置后得到，β是下采樣層的權重系數，blj是下采樣層的偏置項。符號down（·）表示下采樣函數，它通過對輸入特征圖xjl-1通過滑動窗口方法劃分為多個不重疊的n×n圖像塊，然后對每個圖像塊內的像素求和、求均值或最大值，于是輸出圖像在兩個維度上都縮小了n倍。

下采樣層旨在通過降低特征面的分辨率來獲得具有空間不變性的特征。下采樣層起到二次提取特征的作用，它的每個神經元對局部接受域進行采樣操作。常用的方法有最大下采樣即取局部接受域中值最大的點、均值下采樣即對局部接受域中的所有值求均值、隨機下采樣[14-15]。

1.3 全連接層

全連接層一般位于網絡尾端，對前面逐層變換和映射提取的特征進行回歸分類等處理。將所有二維圖像的特征圖拼接為一維特征作為全連接網絡的輸入。全連接層l的輸出可通過對輸入加權求和并通過激活函數的響應得到：

其中，ul稱為全連接層l的凈激活，它由前一層輸出特征圖xl-1進行加權和偏置后得到的。wl是全連接網絡的權重系數，bl是全連接層l的偏置項。

為了提升CNN網絡性能，全連接層每個神經元的激勵函數一般采用ReLU函數[16]。最后一層全連接層的輸出值被傳遞給一個輸出層，可以采用softmax邏輯回歸進行分類，該層也可稱為softmax層。

2 CNN訓練方法及開源工具

2.1 訓練方法

神經網絡用于模式識別的主流是有監督訓練[17]，無監督訓練更多的是用于聚類分析。對于有監督訓練，根據同類樣本在空間的分布及不同類樣本之間的分離程度找一種適當的空間劃分方法，使得不同類樣本分別位于不同的區域內。

卷積網絡在本質上是一種輸入到輸出的映射，它能夠學習大量的輸入與輸出之間的映射關系，而不需要任何輸入和輸出之間的精確的數學表達式，只要用已知的模式對卷積網絡加以訓練，網絡就具有輸入輸出對之間的映射能力。卷積網絡通過BP算法進行有監督訓練。在開始訓練前，采用一些不同的小隨機數對網絡中的所有的權值和偏置值進行初始化，“小隨機數”用來保證網絡不會因權值過大而進入飽和狀態，從而導致訓練失敗；“不同”用來保證網絡可以正常地學習。隨機初始化的權值和偏置值的范圍可為[-0.5，0.5]或者[-1，1]（或者是其他合適的區間）[18]。

在實際應用中，無標注的數據遠多于有標注的數據，同時對數據進行人工標注也需要耗費較大的人力。但是為了使有監督CNN得到充分的訓練并獲得較好的泛化能力，又需要大量有標注的訓練樣本，這一定程度上制約了CNN在實際中的應用。

2.2 開源工具

深度學習能夠廣泛應用于眾多研究領域，離不開許多優秀的開源深度學習仿真工具。目前常用的深度學習仿真工具有Caffe[19]、Torch、Theano[20]、以及TensorFlow等。

Caffe是一個基于C++語言且關于CNN相關算法的架構。Caffe可以在CPU及GPU上運行，它支持MATLAB和Python接口。Caffe提供了一個完整的工具包，用于訓練、測試、微調及部署模型。Caffe允許用戶對新數據格式、網絡層和損失函數進行拓展；它的運行速度也很快，但是靈活性較差。

Torch是一個支持機器學習算法的科學計算框架。它是采用Lua腳本語言和C語言編寫的。Torch為設計和訓練機器學習模型提供了一個靈活的環境，它還可支持iOS、Android等嵌入式平臺，但Torch沒有Python接口。

Theano是一個允許用戶定義、優化并評價數學表達式的Python庫。提供了NumPy的大部分功能，可在GPU上運行。此外，Theano能夠自動求微分，它尤其適用于基于梯度的方法。Theano能夠很容易且高效地實現遞歸神經網絡（Recurrent Neural Network，RNN）。然而Theano的編譯過程很慢，導入Theano也需要消耗時間。

TensorFlow是Google開源的一款深度學習框架，可以在CPU和GPU上運行，支持C++和Python編程語言，因此可以在不同的計算機上自由運行代碼，程序比Theano編譯時間短。TensorFlow不僅支持深度學習，還有支持強化學習和其他算法的工具。TensorFlow的計算圖是純Python的，因此速度較慢。

3 CNN應用

近年來，CNN已被廣泛應用于圖像處理領域中。Krizhevsky等人[21]第1次將CNN用于LSVRC-12競賽中，通過加深CNN模型的深度并采用ReLU+dropout技術，取得了當時最好的分類結果（該網絡結構也被稱為AlexNet）。相比于AlexNet，Szegedy等人[22]大大增加了CNN的深度，提出了一個超過20層的CNN結構（稱為GoogleNet）。在GoogleNet結構中采用了3種類型的卷積操作，該結構的主要特點是提升了計算資源的利用率，它的參數比文獻[21]少了12倍，而且GoogleNet的準確率更高，在LSVRC-14中獲得了圖像分類“指定數據”組的第1名。Simonyan等人[23]在其發表的文章中探討了“深度”對于CNN網絡的重要性。該文通過在現有的網絡結構中不斷增加具有3×3卷積核的卷積層來增加網絡的深度，實驗表明，當權值層數達到16～19時，模型的性能能夠得到有效提升（也稱為VGG模型）。 VGG與GoogLeNet的深度都比較深，所以網絡結構比較復雜，訓練時間長，而且VGG還需要多次微調網絡的參數。

4 總結

CNN通過權值共享減少了需要訓練的權值個數、降低了網絡的計算復雜度，同時通過下采樣操作使得網絡對輸入的局部變換具有一定的不變性，提升了網絡的泛化能力。卷積神經網絡雖然在一些數據上取得了成功，仍有許多工作需要進一步去做：①很難確定CNN使用哪種網絡結構，使用多少層，每一層使用多少個神經元才是合適的；②訓練數據集與測試數據集的分布不一樣，則CNN很難獲得一個好的識別結果；③如何針對更大規模數據、更深結構網絡設計高效的數值優化、并行計算方法和平臺。

總之，CNN雖然還有許多有待解決的問題，但是這并不影響今后它在模式識別與人工智能等領域中的發展與應用，它在未來很長的一段時間內仍然會是人們研究的一個熱點。

參考文獻（References）：

[1] McCulloch W S，Pitts W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics，1943.5（4）：115-133

[2] Rosenblatt F. Principles of Neurodinamics： Preceptron and Theory of Brain Mechanisms. Washington，USA：Spartan Books，1962.

[3] Rumelhart D E， Hinton G， Williams R J. Learning representations by back-propagating errors. Nature，1986.323（6088）：533-536

[4] Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science，2006.313（5786）：504-507

[5] Hinton G，Osindero S，Teh Y-W. A fast learning algorithm for deep belief nets. Neural Computation，2006.18（7）：1527-1554

[6] Salakhutdinov R，Hinton G. Deep Boltzmann machines.Journal of Machine Learning Research-Proceedings Track，2009.9（1）：448-455

[7] Vincent P，Larochelle H，Bengio Y，et al. Extracting and composing robust features with denoising autoencoders//Proceedings of the 25th international Conference on Machine Learning.Helsinki，Finland，2008：1096-1103

[8] Vincent P，Larochelle H，Bengio Y，et al. Stacked denoising autoencoders：Learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research，2010.11（12）：3371-3408

[9] LeCun Y，Bottou L，Bengio Y，et al. Gradient-base learning applied to document recognition. Proceedings of the IEEE，1998.86（11）：2278-2324

[10] LeCun Y，Boser B，Denker J S，et al. Backpropagation applied to handwritten zip code recognition. Neural Compution，1989.11（4）：541-551

[11] Bouvrie J. Notes On Convolutional Neural Networks，MIT CBCL Tech Report，Cambridge，MA，2006.

[12] Bengio Y，Courville A，Vincent P. Representation learning：A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013.35（8）：1798-1828

[13] He Kai-Ming，Sun Jian. Convolutional neural networks at constrained time cost//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，USA，2015：5353-5360

[14] Boureau Y-L， Roux N L， Bach F， et al. Ask the locals：Multi-way local pooling for image recognition//Proceedings of the 2011 International Conference on Computer Vision. Barcelona，Spain，2011：2651-2658

[15] Zeiler M D，Fergus R. Stochastic pooling for regularization of deep convolutional neural networks. arXiv：1301. 3557v1，2013.

[16] O'Shea K，Nash R. An introduction to convolutional neural networks. arXiv：1511. 08458v2，2015.

[17] Bengio Y. Learning deep architectures for AI.Foundations and Trends in Machine Learning，2009.2（1）：1-127

[18] Fausett L. Fundamentals of Neural Networks：Architec-tures， Algorithms， and Applications. London：Prentice-Hall，1994.

[19] Jia Yang-Qing，Shelhamer E，Donahue J，et al. Caffe：Convolutional architecture for fast feature embedding//Proceedings of the ACM International Conference on Multimedia. Orlando，USA，2014：675-678

[20] Al-Rfou R，Alain G，Almahairi A，et al. Theano：A python framework for fast computation of mathematical expressions. arXiv：1605. 02688v1，2016.

[21] Krizhevsky A， SutskeverⅡ， Hinton G. Imagenet classification with deep convolutional neural networks//Proceedings of the Advances in Neural Information Processing Systems. Lake Tahoe，USA，2012：1097-1105

[22] Szegedy C，Liu Wei，Jia Yang-Qing，et al. Going deeper with convolutions//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，USA，2015：1-9

[23] Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv：1409.1556v6，2014.