基于光網絡的深度學習算法研究

孟海東+冀小青+宋宇辰

摘 要： 光網絡是一種輕便的、通用的和純基于Matlab的深度學習框架。其思想是為深度學習研究提供一個易于理解、易于使用和高效的計算平臺。實現此框架可以支持大部分深度學習架構例如多層感知器網絡（MLP）、卷積神經網絡（CNN）和循環神經網絡（RNN）。該框架支持CPU和GPU無縫轉換。實驗證明此框架在計算機視覺、自然語言處理以及機器人技術中有不同的應用。

關鍵詞： 計算機視覺； 圖像理解； 卷積神經網絡； 多層感知器

中圖分類號： TN915.63?34； TP311 文獻標識碼： A 文章編號： 1004?373X（2017）14?0170?04

Abstract： The optical network is a lightweight， versatile and purely Matlab?based deep learning framework. The idea underlying its design is to provide an easy?to?understand， easy?to?use and efficient computational platform for deep learning research. The framework supports major deep learning architectures such as multilayer perceptron（MLP） networks， convolutional neural networks （CNN） and recurrent neural networks （RNN）. The framework also supports the straightforward switch between both CPU and GPU for computation. The experiment result indicates that the framework has different applications in computer vision， natural language processing and robotic technology.

Keywords： computer vision； image understanding； convolutional neural network； multilayer perceptron

0 引 言

深層神經網絡[1]已經給出了許多機器智能問題的主要進展，最新的神經網絡模型的實現主要強調效率。這些框架可以由20萬～50萬行代碼組成，并經常涉及多個編程語言[2?4]。它需要付出巨大的努力來徹底理解和改進模型。一個簡單的和自我解釋的深層學習框架是高度預期的且加快深層神經網絡模型的理解和應用。

在此提出的光網絡是一個輕便的、通用的和純基于Matlab的深層神經網絡模型。簡潔、高效的Matlab編程技術已被用來實現所有的計算模塊。許多神經網絡流行的類型，如多層感知器、卷積神經網絡、神經網絡都在光網絡中得以實現，是結合隨機梯度下降的幾個變化（SDG）為基礎的優化算法。

自從光網絡僅用Matlab實現，主要的計算用幾百行代碼來矢量化和執行，數量級比現有的框架更簡潔。所有基本操作都可以輕松定制，只需有Matlab編程基本知識。數學化研究人員可以專注于數學建模的一部分而不是工程部分。

應用程序的用戶可以很容易地理解和修改任何部分的框架，開發新的網絡架構，使他們適應新的應用。除了簡單，光網絡還具有以下特點：光網絡包含最現代的網絡架構；計算機視覺中的應用、自然語言處理和強化學習已被證明；光網絡提供了一個綜合的優化算法的收集；光網絡支持在CPU和GPU之間計算的簡單切換；快速傅里葉變換來有效地計算卷積，從而使大卷積核被支持；光網絡自動化的超參數優化了新型選擇性的SGD算法。

1 模 塊

主要的計算模塊包括前饋過程和向后/反向傳播過程。前饋過程評估模型，反向傳播報告網絡梯度。隨機梯度下降算法是用來優化模型參數。

1.1 核心計算模塊

光網絡能夠專注于數學部分而不是低層次的工程細節。為了使本文更完備，在此說明光網絡中的主要計算模塊。本文的所有網絡和相關實驗都是建立在這些模塊的基礎之上。

1.1.1 線性感知器層

一個線性感知器層可以表示為y=Wx+b。在這里，x表示input_dim×1大小的輸入數據，W表示output_dim× input_dim大小的權重矩陣，b是一個output_dim× 1大小的偏置向量，y表示output_dim× 1大小的線性層輸出。

從線性感知器輸入映射到最終的網絡輸出可以表示為z=f（y）=f（Wx+b），f是一個非線性函數，它表示在更深層次的網絡的計算；z是網絡輸出，通常是一個損失值。

1.1.2 卷積層

卷積層由一個多維濾波器組kio將輸入特征圖Nmap_in映射到輸出特征圖Nmap_out。每個輸入特征圖xi與相對應的濾波器組kio進行卷積，卷積的結果是求和并添加偏置值Bo生成o?th輸出圖： 。允許使用大的卷積核，快速傅里葉變換（FFT）是用來計算卷積（及相關）。根據卷積定理[5]，在空間域卷積等價于在頻域的逐點乘法。因此，ki*xi可以用傅里葉變換計算：ki*xi=F-1{F{ki}·F{xi}}。在這里，F表示傅里葉變換，“”表示逐點乘法運算，卷積層支持填充和跨越。

從o?th輸出特征圖到網絡輸出的映射可以表示為z=f（yo）。這里f是從o?th輸出特征圖yo到最終的網絡輸出的非線性映射。與第1.1.1節類似，，，需要在反向的過程中計算。

1.1.3 Max?pooling層

最大pooling層計算在窗口中的最大元素與步幅大小，一個定制的im2col_ln功能是實現轉換pooling補丁為列向量，來矢量化在Matlab中的pooling計算。內置的最大功能是這些列向量可以返回pooling結果和這些最大值的指數，然后，在原來的批量數據恢復相應指數。此外，零填充可應用于輸入數據。

不失一般性，從Max?pooling層輸入到最終的網絡輸出的映射可以表示為z=f（y）=f（Sx），其中S是選擇矩陣，x是一個列向量，它表示輸入數據到這層。

在反向的過程中，被計算并傳遞給淺層：。

當pooling范圍小于或等于該步長大小時，可以用Matlab中簡單的矩陣索引技術計算出。具體來說，與輸入數據相同大小的一個空的張量dzdx被創建。dzdx（from）=dzdy，from是pooling指數，dzdy是一個記錄pooling結果的張量。當pooling范圍大于步長大小時，x中的每一個條目都可以被匯集多次，并且反向傳播梯度需要為這些多個匯集條目積累。在這種情況下，計算可以利用Matlab自帶的功能accumarray（）。

1.1.4 修正線性單元

修正線性單元（ReLU）作為一個主要的非線性映射函數被實現，一些其他的函數包括sigmoid和tanh這里的討論就省略了。ReLU函數是很獨特的函數，如果輸入大于0，則輸出0，否則y=ReLU（x）=x·ind（x>0）。在反向的過程中，如果輸入數據是非負的，則梯度傳遞到較淺層，否則，梯度被忽略。

1.2 損失函數

通常，一個損失函數會和最深核心計算模塊的輸出相連。目前，為了達到分類任務光網絡還支持softmax 中的LogLoss函數。

1.3 優化算法

隨機梯度下降（SGD）為基礎的優化算法是訓練深層神經網絡的主要工具。標準的SGD算法和它的一些流行的變型如adagrad[6]，rmsprop[7]， Adam[8]，同樣實現了深度學習的研究。值得一提的是，在此實現了一個新的選擇性的SGD算法便于參數尤其是學習速率的選擇。

2 實 驗

2.1 多層感知器網絡

在MNIST數據上[9]構造一個多層感知器網絡來測試光網絡的性能。網絡從MNIST圖像數據集取得28×28輸入，在接下來的兩層分別有128個節點。然后，128維特征連接10個節點來計算softmax輸出。實驗結果見圖1。

和測試階段的損失和錯誤率

2.2 卷積神經網絡

在cifar?10數據[10]上由4個卷積層構建一個卷積網絡來測試光網絡的性能。此結構與來自MatConvNet的一個報告相同[3]。32，32，64，64在前三層有5×5大小的卷積核，最后一層有4 × 4大小的內核。ReLU函數應用到每一個卷積層之后作為非線性映射函數。光網絡自動選擇和調整學習速率并可以達到非常精確。與有固定的學習速率的SGD標準比較，選擇性SGD具有更好的精度。最重要的是，使用選擇性SGD避免手動調諧的學習速率。圖2為實驗結果。計算在一個Intel i5 6600K CPU和Nvidia Titan X GPU（12 GB內存）的臺式電腦上進行。當前版本的光網絡用這種網絡結構在GPU上每秒可以處理750個圖像，大約比使用的CPU速度快5倍。

2.3 LSTM網絡

長短期記憶（LSTM）[11]是一個流行的遞歸神經網絡模型。由于光網絡的通用性，LSTM網絡作為一個特定的應用程序可以在光網絡包中實現。值得注意的是，在光網絡中的核心計算模塊用于執行時域前向過程和反向傳播為LSTM。

在一個LSTM模型中的前向過程可以用公式表示為：

和測試階段的損失和錯誤率

優化LSTM模型，在LSTM中通過時間的反向傳播實現和計算最關鍵值：

采用一個關鍵的迭代屬性來計算上述值：

一些其他的梯度可以通過使用上述計算輸出的鏈規則計算：

LSTM網絡測試一個字符語言建模任務，該數據集由選自莎士比亞作品的20 000個句子組成，每個句子斷成67字（和標點符號），LSTM模型可以根據前一個字符預測下一個字符。網絡模型中使用30個隱含節點并且RMSProp用于訓練。在后10次訓練，下一個字符的預測精度提高到70%。

2.4 Q?網絡

作為強化學習中的應用，創建一個和MLP網絡一致的Q?network[12]。然后將Q?network應用到經典的Cart?Pole的問題中[13]。Cart?Pole系統的動力學可以在一個兩層網絡數百次迭代中學習到。對Q?network更新過程的一次迭代為：

式中，act是由概率ε隨機選擇的。所需的網絡輸出值Qnew是利用觀測到的reward和由此產生的狀態的貼現值γV（statenew）計算出來的，通過均衡器預測當前的網絡。通過使用最小平方損失函數：

3 結 論

為了深層神經網絡模型的理解與發展，光網絡提供了一個易于擴展的生態系統。在Matlab環境下，整個計算過程可以很容易地跟蹤和可視化。這些設置的主要功能可以對深度學習研究界提供獨特的便利。

參考文獻

[1] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks [J]. Advances in neural information processing systems， 2012， 25（2）： 1097?1105.

[2] JIA Y， SHELHAMER E， DONAHUE J， et al. Caffe： Convolutional architecture for fast feature embedding [C]// Proceedings of the ACM International Conference on Multimedia. [S.l.]： ACM， 2014： 675?678.

[3] VEDALDI A， LENC K. Matconvnet： Convolutional neural networks for Matlab [C]// Proceedings of the 23rd Annual ACM Conference on Multimedia. [S.l.]： ACM， 2015： 689?692.

[4] BASTIEN F， LAMBLIN P， PASCANU R， et al. Theano： new features and speed improvements [J]. arXiv preprint arXiv， 2012， 20： 42?51.

[5] MALLAT S G. A wavelet tour of signal processing： the sparse way [J]. Academic press， 1998 ， 31 （3） ：83?85.

[6] DUCHI J， HAZAN E， SINGER Y. Adaptive subgradient methods for online learning and stochastic optimization [J]. The journal of machine learning research， 2011 （12）： 2121?2159.

[7] TIELEMAN T， HINTON G. Lecture 6.5?rmsprop： Divide the gradient by a running average of its recent magnitude [J]. Neural networks for machine learning， 2012， 4 （2）： 20?26.

[8] KINGMA D， BA J. Adam： A method for stochastic optimization [C]// Proceedings of the 3rd International Conference for Learning Representations. San Diego： [s.n.]， 2015： 1412?1418.

[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1998， 86（11）： 2278?2324.

[10] KRIZHEVSKY A， HINTON G. Learning multiple layers of features from tiny images [M]. [S.l.： s.n.]， 2009.

[11] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation ， 1997， 9（8）： 1735?1780.

[12] MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human?level control through deep reinforcement learning [J]. Nature 2015， 518（7540）： 529?533.

[13] BARTO A G， SUTTON R S， ANDERSON C W. Neuronlike adaptive elements that can solve difficult learning control problems [J]. IEEE transactions on systems， man and cybernetics， 1983， （5）： 834?846.