深度學習發展綜述*

侯宇青陽 全吉成 王宏偉

(中國人民解放軍空軍航空大學 長春 130000)

深度學習發展綜述*

侯宇青陽 全吉成 王宏偉

(中國人民解放軍空軍航空大學 長春 130000)

鑒于深度學習的研究和應用價值及在學術和工業領域中的重要地位,對目前有代表性的主流的深度學習網絡模型進行介紹,概述了深度學習當前發展狀態,綜述了深度學習發展方向。首先介紹了深度學習的歷史沿革,根據應用研究對四種主要深度學習網絡進行介紹,然后從網絡性能提升、網絡體系發展、新學習模式探索、深度強化學習、可視化理論研究五個方面總結了目前深度學習的發展狀態,最后提出下一步深度學習發展展望。可以看到:深度學習在不同領域都有廣泛的應用,而且具有明顯的優勢,但也存在需要進一步深入探索的問題,如提高深度學習的智能性、提高無標簽數據的利用率等。

深度學習; 卷積神經網絡; 半監督學習; 深度強化學習; 人工智能

Class Number TP18

1 引言

2006年,深度學習泰斗Hinton[1]提出無監督深度置信網絡的訓練方法,2013年深度學習位列10大突破性科技之首,到2016年3月,AlphaGO[2]打敗人類圍棋大師。這十年間深度學習不斷發展創新,研究價值和應用潛力不斷被挖掘發現。近年來深度學習取得驚人進展,從模型、算法,到大規模的應用都取得了令人矚目的成果。深度學習的出現是機器學習的一次重要革命,是人工智能發展巨大推力。人工智能是終極目標,機器學習是實現人工智能的一種分支,深度學習隸屬于人工神經網絡體系,人工神經網絡是基于統計的機器學習方法,相比于基于人工規則的專家系統,表現優異。傳統的神經網絡是一種淺層機器學習,深度學習是傳統神經網絡發展下的新一代神經網絡。深度學習是通過建立、模擬人腦的信息處理神經結構來實現對外部輸入的數據進行從低級到高級的特征提取,從而能夠使機器理解學習數據,獲得信息[3]。

本文主要對深度學習的發展進行總結,介紹現有理論應用成果以及未來的發展方向。

2 深度學習歷史沿革

萌芽期:從BP算法[4]的發明(1970s～1980s)到2006年期間;BP算法使得神經網絡訓練簡單可行。這段期間因為神經網絡模型存在的一系列問題被主流的計算機視覺和學術界所拋棄,只有少數科學家仍堅持研究。存在的問題主要有: 1) 數據獲取的問題。學者們試圖利用有監督的方式訓練深度神經網絡,但是缺少大量有標簽的數據,沒有足夠的樣本導致無法擬合復雜網絡模型的參數,容易出現過擬合,與當時比較流行的淺層學習方法,如隨機森林、支持向量機等,相比,效果不理想,沒有受到關注。 2) 局部極值問題。訓練深度神經網絡時,由于存在非凸優化問題的搜索域中充斥著大量不好的局部極值,使得梯度下降法效果并不好。 3) 梯度彌散問題。這是使得深度神經網絡發展緩慢的主要因素。隨著網絡的深度增加,反向傳播的梯度的幅度值會急劇地減小,使得其更新變化非常緩慢,不能對樣本進行有效的學習。這種問題被稱為“梯度彌散”。 4) 硬件條件不足。由于深度神經網絡的訓練過程,包括反向傳播過程以及大量樣本數據的學習壓力,對計算機硬件提出很高的要求。隨之內存容量擴大、GPU并行計算的發展,為深度學習發展提供了契機。 5) 淺層學習方法大放異彩。隨機森林、支持向量機、多層感知機算法等的發展迅速,并在實踐中取得很好的效果,也使得深度神經網絡受到冷落。

迅速發展期(2006年～2012年):主要以深度無監督學習為主的研究階段。從2006年Hinton提出“深度學習”概念和深度學習的訓練方法之后揭開了深度學習發展的帷幕;

爆發期(2012年至今):2012年Hilton團隊的Alexnet模型[5]在imagenet競賽中取得驚人成績。現在各大互聯網公司紛紛開始成立研究部門進行深度學習工程化的研究,以谷歌、微軟、百度為代表,將深度學習廣泛應用在語音識別、圖像檢索、翻譯等領域,取得了非凡的實際效果。

3 經典深度學習網絡

經過10年的發展歷程,深度學習在圖像處理、語音識別、文本處理等多領域得到了廣泛應用。以卷積神經網絡、深度置信網絡、棧式自編碼網絡和遞歸神經網絡為核心的深度學習模型體系逐漸形成。下面對經典深度學習網絡進行介紹。

3.1 卷積神經網絡

卷積神經網絡(Convolution Nerual Net,CNNs)通過結合局部感知區域、共享權重、空間或時間上的池化降采樣三大特點來充分利用數據本身包含的局部性等特征,優化網絡結構,并且保證一定程度上的位移的不變性[6]。它的權值共享網結構相似于生物神經網絡,降低了網絡模型的復雜度,減少了權值的數量。因為這樣的結構特點使其尤其適合大圖像數據的機器學習,可以使數量龐大的圖像識別問題不斷降維。CNNs的主要結構包括卷積部分和全連接部分。卷積部分包括卷積層、激活層、下采樣層,通過卷積部分的疊加提取特征;全連接部分連接特征提取和輸出計算損失和完成識別分類等功能。

CNNs是第一個真正成功地采用多層層次結構網絡的具有魯棒性的深度學習方法。CNNs適應性強,善于挖掘數據局部特征,使得CNNs已經成為眾多科學領域的研究熱點之一,在模式識別中的各個領域得到應用并取得了很好的結果。隨著海量標記數據和GPU并行計算的發展,使得卷積神經網絡研究大放異彩。

3.2 深度置信網絡

深度置信網絡的基本結構單元是受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)。受限玻爾玆曼機通過學習數據的概率密度分布提取抽象特征。深度置信網絡通過RBM的疊加,逐層學習數據概率分布,即提取多種概率特征。DBN訓練過程分為無監督訓練階段和微調階段。無監督貪婪逐層訓練方法獲得各層的條件概率分布,微調階段包括利用帶標簽數據和BP算法對網絡參數進行調整。DBN具有高靈活性,容易拓展,不僅在圖像處理、語音識別領域網絡預訓練中應用廣泛,也是構建新型深度學習網絡的結構基礎。

3.3 棧式自編碼網絡[8～9]

棧式自編碼網絡的基本單元是自編碼器(Auto-encoder,AE)。自編碼器包括編碼層和解碼層,通過編碼-解碼的方式復現輸入信號。堆棧式自編碼網絡是累加自編碼器,通過無監督貪婪逐層訓練得到每層自編碼器的權重,在每一層得到了關于輸入數據的另一種表達形式,這些不同的表示就是特征,在原有的特征基礎上加入自動學習到的特征可以提高學習能力,是深度神經網絡預訓練的重要方法之一。

3.4 遞歸神經網絡

上述幾種模型,隱層之間彼此獨立,逐層的提取特征,但這樣的連接方式忽略了數據間的關聯性。遞歸神經網絡會對上一層的信息進行記憶,添加到當前層的計算輸出中,在結構中體現為隱層間有節點相連。遞歸神經網絡是非常強大的動態系統,通常用于描述動態時間行為序列,使狀態數據在網絡中循環傳遞,它更擅長語音文本信息[10],一次處理一個輸入序列元素每個節點同時包括過去時刻序列元素的歷史信息,一般采用時間反傳(backpropagation through time,BPTT)訓練算法來解決非長時依賴問題。

4 深度學習現階段研究進展

4.1 改進網絡訓練技巧,提升網絡實用性能

機器學習通過準確率和損失值衡量一個學習網絡的好壞,深度學習網絡訓練的目標就是高準確率和低損失率。經過大量實驗研究,針對深度學習網絡訓練也有技巧和方法來提升算法性能,增強魯棒性。

4.1.1 數據提升和Dropout[11]——解決過擬合

過擬合是指訓練樣本不足時,一個模型從中學習到的不能推廣到新數據的問題。數據提升和Dropout其本質都是隨機打亂數據的相關性。數據提升是指對有限的樣本數據隨機變化,生成新樣本,同時保證數據彼此間相似性低,有利于抑制過擬合,使模型泛化能力更好。Dropout通過設置Dropout參數值,來抑制一定比例神經元活性,使其輸出為0,可以視為一種模型平均,把每個批次的訓練過程中,隨機忽略的隱層節點不同,生成的不同模型平均。這樣權值的更新不再依賴于有固定關系隱含節點的共同作用,有效阻止過擬合現象。

4.1.2 參數調優(fine-tune)

對于一個已知的深度學習網絡結構,如何提升網絡的性能,是我們研究的重點。從理論結構到實際應用需要不斷地調整參數,即參數調優。不同的深度學習網絡結構適合于不同的實際應用,除了結構固有的優點,還可以通過改變反向傳播算法和激活函數來提升網絡性能。常用的反向傳播算法有:隨機梯度下降法(Stochastic Gradient Descend,SGD)、自適應梯度下降方法(AdaGrad)等。激活函數常用的有tanh、sigmoid、ReLU等。ReLU函數的應用是對深度學習應用發展的推進,對于人大腦皮層的工作過程研究,處理信息時有大量神經元處于抑制狀態,只有少數的神經元激活工作,是非常高效的。這與ReLU的原理不謀而合,稀疏連接也是表達了這一生理結構。在訓練過程中確實提升網絡的效率和性能。

4.2 深度學習網絡體系發展

4.2.1 卷積神經網絡體系

卷積神經網絡是發展最為深入的深度學習網絡。卷積神經網絡的結構特點更適合解決圖像領域問題。通過對其結構的不斷研究和改進,形成了一系列網絡模型,在廣泛實際應用中取得成功。

一方面創造性的提出增加跳躍連接結構,克服深度訓練難題,增加網絡深度。深度學習的學習能力通過深度得以提高,但是深度的增加不僅帶來參數激增數據量增大,而且造成訓練過程中反向傳播困難。突破深度限制是未來深度學習發展的必然趨勢。現階段網絡深度研究進展見表1。

表1 深度學習網絡深度研究進展

網絡結構加深提升準確率,驗證了深度學習網絡的深度價值和潛力。

另一方面改變卷積神經網絡結構,典型的包括全卷積網絡[15](Fully Convolutional Networks,FCN)。FCN去掉網絡中的全連接層,全部利用卷積結構進行處理數據,使圖像級理解上升為像素級理解。全連接結構參數占主要部分,且運算耗時,全卷積網絡可以滿足實時性要求,目前涌現一大批基于FCN的泛,例如邊緣檢測、視覺跟蹤、圖像分割等。

4.2.2 棧式自編碼網絡體系

基于自編碼的深度學習體系也在不斷豐富,常用的有稀疏自編碼網絡(sparse Autoencoder)、降噪自編碼網絡[16](denoising auto-encoders,DAEs)和收縮自編碼網絡[17](contractive auto-encoders,CAEs)。稀疏自編碼器通過稀疏限制,即控制神經元大多數時間處于抑制狀態,來對無標記數據學習,得到的特征往往優于數據的原始表達,在實際應用中取得更好的結果;降噪自編碼器通過在原始數據加入隨機噪音來使網絡學習添加了噪聲的數據以提高學習能力;收縮自編碼網絡通過在損失函數加入懲罰項,增強了特征學習的魯棒性。

4.2.3 遞歸神經網絡體系

RNN網絡重視反饋作用,并儲存當前狀態和過去狀態的連接,適用于文本、語言等時間序列特征明顯的數據處理。針對傳統RNN網絡存在問題,提出長短期記憶神經網絡[18](long short-term memory,LSTM)適用于處理和預測時間序列中間隔和延遲非常長的問題,在預測文本和語音識別中表現優異;GRU模型是LSTM模型的改進,在實際應用中,更具有競爭力,性能更穩定。

4.3 構建學習新模式——半監督深度學習

機器學習最常見的就是監督學習和無監督學習,無論淺層學習還是深層學習。無監督學習主要用于網絡模型的預訓練,監督學習用于提高網絡學習能力。通過對人類的學習過程進行研究,對于一種形體事物的認知學習,是少量帶標簽數據學習,結合大量無標簽的圖像進一步學習。而現有的無監督+監督學習是不符合人類的學習習慣。在此基礎上,提出半監督學習的方法,不是簡單的無監督學習和監督學習的疊加,而是將兩者的網絡結構相融合。主要有階梯網絡[19](Ladder Network)、判別深度置信網、卷積深度網絡。下面以階梯網絡為例介紹半監督學習模式:利用現有監督學習網絡,如MLP或CNN,融合以降噪自編碼的無監督學習算法。對于局部學習所得到的學習結果具有可擴展性,次模型在每一層都有具體學習目標,對更大深度的神經網絡是有效的。跳躍網絡和基于層的非監督學習的目標函數有效的把自動編碼轉化為了級聯的隱形變量模型,這種模型適合用于半監督學習,經過實驗訓練在現有數據集均取得最好結果。半監督學習網絡結構設計提供了廣闊的研究空間,在學習模式有更多創新。

4.4 深度強化學習——跨領域融合的人工智能決策算法

高級人工智能領域中,感知能力和決策能力都是衡量智能水平的重要指標。強化學習能夠直接輸入高維感知以做出決策控制智能體(agent),但需要依賴人工提取特征;深度學習具有強感知能力,但缺乏一定的決策能力。因此,將兩者結合,優勢互補,達到合作共贏的效果。深度強化學習是一種更接近人類思維方式的人工智能方法。2013年[20]深智團隊提出的深度Q網絡(deep Q network,DQN),是將卷積神經網絡和Q學習結合,并集成經驗回放技術實現的,實現了端對端的學習控制。深度Q網絡是深度強化學習領域的具開創性意義的工作。2014年[21]Guo等提出將蒙特卡羅樹搜索與深度Q網絡結合,實現了Atari游戲的實時處理,游戲表現也普遍高于原始DQN網絡。深度強化學習具有很強的時間依賴性,遞歸神經網絡適合處理與時間序列相關的問題,因此強化學習與遞歸神經網絡的結合也是深度強化學習的主要形式。2015年[22]Hausknecht等結合LSTM提出了深度遞歸Q網絡(DRQN),在缺失若干幀的數據中也取得很好的實驗結果,魯棒性更好。2016年,深智團隊提出了基于DRL的計算機圍棋程序——初奕號,成為深度強化學習的典型應用。深度強化學習在游戲、智能駕駛、機器人、智能制造等領域還有待深入研究。

4.5 基于可視化的理論研究

深度學習的成功背后缺乏深入理論研究的支撐。深度學習的學習過程是端對端的“黑箱”操作過程,對于隱層的學習過程,學習效果都無法監控和評估,網絡模型出現問題主要還是通過調節外部參數來試探性的解決,這樣的學習模式,對于理解和提升網絡性能是不利的,雖然深度學習是基于人工神經網絡模擬大腦皮層推斷分析數據的復雜層狀網絡結構,但對于其學習的本質還是未知的。為了研究深度學習的學習本質,2013年[23]提出可視化理解卷積神經網絡。通過可視化顯示每一隱層學到的特征,然后調整網絡提高精度。可視化方法對于深入理解網絡具有重要意義,主要有以下幾種方法:可視化激活層、可視化權重、圖像檢索最大化激活神經元、用t-SNE嵌入代碼等。

5 深度學習發展展望

雖然深度學習在應用中取得了很多成績,但是仍存在很多局限:理論研究缺乏、無監督學習能力弱、缺少邏輯推理和記憶能力等。

深度學習的研究多是基于實驗訓練進行的,但是對其內部原理,學習本質研究很少。現在的研究多是在網絡架構、參數選擇等方面,而且深度學習得到的結果使局部最優解,并不是全局最優解,還有進一步提升空間,也需要更加完備深入的理論支撐其發展。

目前主流應用還是以監督學習為主的,但在實際生活中,無標簽未知的數據占主體,所以更應該應用可以發現事物內在關系的無監督學習,但無監督學習未取得突破性的成果,未來還有更廣闊的發展空間。

深度學習是人工智能發展的巨大推力,但是深度學習現階段更側重于處理數據,在智能方向發展較少,如記憶能力和邏輯推理能力,在面對復雜現實任務時,預測和存儲包含信息序列的內容是必要的,這也將成為未來深度學習的一個研究方向。

深度學習對未來社會發展仍將具有重要意義,需要不斷深入研究,多方向多角度更全面的開發深度學習的潛在價值。

[1] HINTON G E, SALAKHUTDINOV R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science,2006,313(5786):504-507.

[2] SILVER D, HUANG A, MADDISON C, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature,2016,529(7587):484-489.

[3] 尹寶才,王文通,王立春.深度學習研究綜述[J].北京工業大學學報,2015,1:48-59.

[4] Rumelhart D, Hinton G, Williams R. Learning representations by back-propagating errors[J]. Nature,1986,323(6088):533-536.

[5] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems. Lake Tahoe: MIT Press,2012:1097-1105.

[6] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]//ar Xiv preprint. 2015. ar Xiv:1409.1556[cs.CV].

[7] MOHAMED A, DAHL G E, HINTON G. Acoustic modeling using deep belief networks[J]. IEEE Transactions on Audio, Speech, and Language Processing,2012,20(1):14-22.

[8] FENG X, ZHANG Y, GLASS J. Speech feature denoising and dereverberation via deep autoencoders for noisy reverberant speech recognition[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Florence: IEEE,2014:1759-763.

[9] VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research,2010,11(11):3371-3408.

[10] GRAVERS A, MOHAMED A, HINTON G. Speech recognition with deep recurrent neural networks[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver: IEEE,2013:6645-6649.

[11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research,2014,15:1929-1958.

[12] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE,1998,86(11):2278-2324.

[13] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for largescale image recognition[EB/OL]//ar Xiv preprint. 2015. ar Xiv:1409.1556[cs.CV].

[14] HE K M, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE,2016.

[15] Justin Johnson, Andrej Karpathy, Li Fei-Fei. DenseCap: Fully Convolutional Localization Networks for Dense Captioning[DB/OL]. http://cs.stanford.edu/people/karpathy/densecap.pdf.

[16] VINCENT P, LAROCHELLE H, BENGIO Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th International Conference on Machine Learning. Helsinki: ACM,2008:1096-1103.

[17] RIFAI S, VINCENT P, MULLER X, et al. Contractive auto-encoders: Explicit invariance during feature extraction[C]//Pro-ceedings of the 28th International Conference on Machine Learning. Bellevue: ACM,2011:833-840.

[18] GRAVERS A, MOHAMED A, HINTON G. Speech recognition with deep recurrent neural networks[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver: IEEE,2013:6645-6649.

[19] Rasmus, Antti, Valpola, et al. Tapani. Semi-supervised learning with ladder network. ar Xiv preprint ar Xiv:1507.02672,2015.

[20] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Playing atari with deep reinforcement learning[C]//Proceedings of the NIPS Workshop on Deep Learning. Lake Tahoe: MIT Press,2013.

[21] GUO X, SINGH S, LEE H, et al. Deep learning for real-time Atari game play using offline Monte-Carlo tree search planning[C]//Advances in Neural Information Processing Systems. Montreal: MIT Press,2014:3338-3346.

[22] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Human-level control through deep reinforcement learning[J]. Nature,2015,518(7540):529-533.

[23] Matthew D Zeiler, Rob Fergus. Visualizing and Understanding Convolutional Networks[J]. ar Xiv:1311.2901,2013.

[24] HINTON G E. To Recognize Shapes, First Learn to Generate Images[C]//Computational Neuro science: Theoretical Insights into Brain Function. Elsevier,2006-10-26.

[25] Yann Lecun, Yoshua Bengio, Geoffrey Hinton. Deep Learning[J]. Nature,2015,521:436-444.

[26] 郭麗麗,丁世飛.深度學習研究進展[J].計算機科學,2015,5:28-33.

[27] 余凱,賈磊,陳雨強,等.深度學習的昨天、今天和明天[J].計算機研究與發展,2013,9:1799-1804.

[28] Geoffrey Hinton. Where do features come from?[J]. Cognitive Science,38(6):1078-1101.

[29] Andrej Karpathy, Li Fei-Fei. Deep Visual-Semantic Alignments for Generating Image Descriptions[DB/OL]. http://cs.stanford.edu/people/karpathy/cvpr2015.pdf.

[30] Geofrrey Hinton, Oriol Vinyals, Jeff Dean. Distilling the Knowledge in a Neural Network[DB/OL]. http://www.cs.toronto.edu/～hinton/absps/distillation.pdf.

[31] ABDEL-HAMID O, MOHAMED A, JIANG H, et al. Convolutional neural networks for speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing,2014,22(10):1533-1545.

[32] 趙冬斌,邵坤,朱圓恒,等.深度強化學習綜述:兼論計算機圍棋的發展[J].控制理論與應用,2016,6:701-717.

[33] CARLSON B A, CLEMENTS M A. A projection-based likelihood measure for speech recognition in noise[J]. IEEE Transactions on Speech and Audio Processing,1994,2(1):97-102.

[34] OUYANG W, ZENG X, WANG X. Learning mutual visibility relationship for pedestrian detection with a deep model[J]. International Journal of Computer Vision, 2016, DOI: 10.1007/s11263-016-0890-9.

[35] PINHEIRO P, COLLOBERT R. Recurrent convolutional neural networks for scene labeling[C]//Proceedings of the 31nd International Conference on Machine Learning. Beijing: ACM,2014:82-90.

Review of Deep Learning Development

HOU Yuqingyang QUAN Jicheng WANG Hongwei

(The Aviation University of Airforce, Changchun 130000)

Considering deep learning’s value of researching and applying and the importance in academic and industry area, this paper reviews the main stream deep learning network models and gives theirs introduction. First, the history of deep learning is introduced. According to applying research, four deep learning network of the main streams are introduced. Second, the developing state of current deep learning is summarizedfrom five aspects which are network performance improvement, net system development, the new learning model to explore, deep reinforce learning and visualization theory research. Last, development prospect of deep learning comes up. Although deep learning outperform other methods abviously in different fields, there are still some issues needed to be solved, such as intelligence of deep learning improvement, raising the utilization ratio of data without labels.

deep learning, convolution neural network, semi-supervised learning, deep reinforce learning, artificial intelligence

2016年10月8日,

2016年11月29日

侯宇青陽,女,碩士研究生,研究方向:控制科學與工程、圖像處理、模式識別。全吉成,男,博士研究生,研究方向:圖像處理,人工智能。王宏偉,男,博士研究生,研究方向:圖像處理,人工智能,虛擬現實。

TP18

10.3969/j.issn.1672-9730.2017.04.002