深度學習領域研究熱點與前沿分析

莊詩夢 王東波

摘要：深度學習源于人工神經網絡的研究，是機器學習研究中的一個新領域。以Web of Science數據庫中2000-2017年與深度學習相關的文獻作為研究對象，運用CiteSpace軟件對國家及機構、關鍵詞、突變詞、共被引等進行可視化知識圖譜分析，對深度學習發展產生重要影響的作者及文獻進行分析，并對深度學習研究領域進行熱點分析，預測了深度學習研究領域的發展趨勢，為深度學習的后續研究提供參考。

關鍵詞：深度學習；CiteSpace；可視化分析

中圖分類號：G353.1文獻標識碼：A

DOI：10.13897/j.cnki.hbkjty.2018.0015

1引言

深度學習作為機器學習的一個全新的領域，能解決許多傳統的機器學習無法解決的問題。深度學習的提出，不僅在學術界引起了極大的關注，也受到了不同國家或地區越來越多學者的關注與重視。機器學習領域最大的挑戰是如何讓機器更好地理解人的意圖、感知，而這正是深度學習研究的目標，亦是深度學習研究的意義所在。在深度學習應用拓展方面，如何充分合理地利用深度學習以增強傳統學習算法的性能仍是目前各領域的研究重點[1]。

2深度學習的相關概念

機器學習是研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構，從而不斷改善自身性能。20世紀80年代，基于BP算法的淺層學習掀起了機器學習的第一次熱潮，此后，基于傳統的淺層機器學習模型相繼被提出。然而，基于傳統機器學習模型的淺層學習在訓練方法等方面仍無從下手。深度學習的提出掀起了機器學習的第二次熱潮，解決了許多淺層學習無法解決的問題。傳統機器學習僅含單層非線性變換的淺層學習結構。深度學習是通過一種深層非線性網絡結構，實現復雜函數逼近，從而實現特征數據學習。

深度學習的概念最早由機器學習領域的泰斗，多倫多大學G.E.Hinton教授于 2006 年提出[2]。同年，該教授及其學生又提出關于深度學習的觀點：含多隱層的人工神經網絡具有很優秀的特征學習能力，其對學習所得到的特征數據有更深入的展示，最終得到的網絡數據更有利于分類或可視化；深度神經網絡在訓練其本身網絡參數上具有一定的難度，但是這些都可以通過“逐層初始化”來克服，而逐層初始化則可以通過無監督學習來實現[3]。

深度學習源于神經網絡的研究，是機器學習的一個全新領域，即通過海量數據用以訓練從而構建相關模型來學習特征數據，深度學習能夠發現大數據中的復雜結構。深度學習較常用的模型或算法有自動編碼器（Autoencoder）、限制波爾茲曼機（Restricted Boltzmann Machine，簡稱RBM）、深信度網絡（Deep Belief Networks，簡稱DBNs）、卷積神經網絡（Convolutional Neural Network，簡稱CNN）等。

目前，深度學習已逐步應用于人臉識別、手寫漢字識別、語音識別、圖像分類等多個領域。

3研究工具和數據來源

3.1研究工具

本文利用美國德雷塞爾大學陳超美博士開發的軟件CiteSpace來進行知識圖譜繪制，并基于圖譜進行可視化分析。這是一款主要用于計量和分析科學文獻數據的信息可視化軟件，可以用來繪制科學和技術領域發展的知識圖譜，直觀地展現科學知識領域的信息全景，識別某一科學領域中的關鍵文獻、熱點研究和前沿方向[4]。本文運用該軟件對Web of Science核心合集數據庫中深度學習相關文獻進行了國家（地區）及機構、關鍵詞、被引共現、突變詞等分析，得出了目前國際視野下深度學習的研究熱點及發展趨勢等相關結論。

3.2數據來源

本文采用的數據來源于ISI的Web of Science核心合集數據庫（包括SCIEXPANDED，SSCI，CPCIS，CPCISSH，CCREXPANDED，IC），以“deep learning”為主題進行檢索，時間跨度為2000-2017年，題錄信息采集日期為2017年3月30日，共檢索出12 678條記錄，檢索出包含美國、中國、英國、澳大利亞等100多個國家或地區的學者的相關文獻，大多以英文為主。從檢索出來的文獻看，與深度學習相關的研究方向主要為計算機科學、工程類、教育教學研究以及神經科學方向。本文將根據檢索出的數據作為本研究的樣本進行研究及分析，從而得出結論。

4基本數據統計分析

本文選擇以Web of Science核心合集數據庫中2000-2017年深度學習研究領域相關的英文文獻作為研究對象。其中2017年文獻還在繼續入庫中，因此基本數據統計分析部分統計的文獻數量截至2016年。2000-2016年英文文獻的發表情況繪制曲線如下圖1所示。

觀察圖1可知，深度學習的熱度越來越高，學者們對于深度學習的研究越來越重視。隨著機器學習及深度學習表現出來的學術價值及其影響力的增大，深度學習相關領域論文發表數量總體呈上升趨勢。

2000-2005年，深度學習相關主題英文文獻發文量較平均，每年發文量在100-200篇之間，且每年發文數量幾乎沒有增長；2006-2012年，文獻數量呈緩慢增長趨勢；從2013年開始，深度學習相關英文文獻發文數量急速增長，從2013年的1 000篇增至2016年的3 015篇。從Web of Science核心合集數據庫中收錄文獻數量看，2013-2016年發文數量占2000-2016年發文總數的63.3%，可見，該時段為深度學習領域研究的熱潮階段，隨著年份增加，各國學者對深度學習的研究愈發重視，深度學習相關研究成果也越來越多。

5可視化結果及分析

5.1國家（地區）與機構分布

運用CiteSpace軟件，繪制國家（地區）與機構可視化圖譜進行分析，設置Time Slicing為2000年至2017年，設置2年為一個時間段，節點類型勾選機構及國家，為使節點呈現為100左右，經多次試驗將閾值（Top N）設為30。生成的可視化圖譜如圖2所示。由圖可知，共有99個節點，364條連線。一個節點代表一個國家（地區）或機構，而節點的大小則表示了該國家（地區）或機構的發文量多少，節點越大，發文越多，反之越少。連線則表示了兩個區域之間的合作關系。由圖2可知，各區域分布比較集中，之間的聯系也比較緊密。由節點大小可知，美國在深度學習研究領域發文最多為3 931篇，中國位居第二，共發表深度學習英文文獻2 325篇，其次則為英國、澳大利亞、德國、加拿大等，這些國家均在深度學習研究領域較為活躍。

由軟件統計的中心性來看（見表1），美國的中心性最大，達到了0.74，遠遠大于其他國家（地區），可見美國在深度學習研究領域的中介作用最明顯，且影響力較大，起著深度學習研究的關鍵性樞紐作用。其次是英國（0.43），雖然英國發文量遠遠少于中國、美國，但其中心性較高，可見英國在深度學習領域影響力較大，與其他國家的交流較多，中介作用較強。中國發文量居第二，而中心性為0.21，位于英國之后，可見雖然發文量較大，對深度學習的研究較多，但是影響力卻不夠，深度學習應用拓展方面在未來幾年內還會繼續深化研究，啟示我國在該領域應該加強與各國家及地區間的交流互動，借鑒國外先進研究成果并加以創新，將更多復合型人才引進到深度學習研究中來，豐富深度學習的應用拓展，從而提升學術影響力和國際影響力。

從發文機構來看，發文量為100及以上的機構共有7個，如下表2所示，機構分析可視化結果如圖3所示。知識圖譜顯示共有141個節點，181條連線。節點之間的連線表示各機構之間的聯系，可見，各機構之間的交流與聯系較多，各機構對于深度學習的研究有相關的交流與借鑒。由表2可知，中國科學院以278的發文量位居第一，緊接著是中外六所大學。總體來看，國際上對于深度學習領域研究的機構大多為高校，可見高校近年來對于深度學習的研究相當重視。在排名前七的機構當中，中國占3位，可見我國各大機構對于深度學習領域的研究相比其他國家的一些機構較為重視并且有適當的成果產出。

5.2研究熱點分析

研究熱點是某一時期內，有內在聯系的、數量相對較多的一組文獻共同探討的科學問題或專題。主題詞是對文章主題的高度概括和精煉，對文章的主題詞進行分析，頻次較高的主題詞在一定程度上可以看作是該領域的研究熱點[5]。關鍵詞是一篇文獻的核心與精髓，它是對文章主題的高度概括與凝練，也是文獻計量研究的重要指標[6]。運用CiteSpace軟件，對關鍵詞進行共現知識圖譜繪制并分析，設置Time Slicing為2000年至2017年，設置2年為一個時間段，節點類型勾選關鍵詞，并選擇術語類型為名詞短語，將閾值（Top N）設為30，繪制關鍵詞知識圖譜進行分析。

生成的熱點關鍵詞可視化知識圖譜如圖4所示，共有139個網絡節點，534條連線。關鍵詞節點越大，則說明該關鍵詞被引用頻次越高。圖4中可見，Deep Learning被引用頻次最高，因本次研究的就是深度學習相關領域。表3按中心性高低列出了中心性前十二的關鍵詞，除去個別情況，熱點關鍵詞基本遵循頻次越高中心性越高的規律。可見，出現頻率越高的詞匯，其中介作用也比較明顯，這些詞在深度學習研究領域的作用也較大，對深度學習研究起著舉足輕重的作用。

除此之外，綜合圖表可知，建立模型和執行作為深度學習研究的關鍵步驟，Model、Performance和Deep Learning頻次及中心性最高是顯然的。除此之外，對知識圖譜及熱詞表分析可知，在深度學習相關領域較熱門的詞還有Neural Network（神經網絡）、Convolutional Neural Network（卷積神經網絡）、Machine Learning（機器學習），因深度學習的概念源于人工神經網絡的研究，是機器學習研究中的一個新的領域，而卷積神經網絡為2014年深度學習相關的新興研究領域。此外，深度學習的構建離不開System（系統）、Algorithm（算法）等。根據圖和表綜合判斷，深度學習在Recognition（識別）、Education（教育）、Classification（分類）等領域應用較為廣泛。

5.3文獻共被引分析

一般來說，高被引文獻在一定程度上反映了文獻的學術影響力和經典程度，并且，其中的知識常被作為相關研究學者進一步研究的知識基礎來源[7]。因此，運用CiteSpace軟件，對被引文獻進行共現知識圖譜繪制并分析高被引文獻十分有必要。設置Time Slicing為2000年至2017年，設置2年為一個時間段，主題詞來源選擇標題、文摘和關鍵詞，節點類型勾選被引文獻，將閾值（Top N）設為20，繪制文獻共被引圖譜進行分析，結果如圖5所示。

一篇文章的被引頻次高低可以看出該文獻在領域中的影響力和地位及他人的認可程度，并為之后的研究提供參考。在Web of Science核心合集數據庫中深度學習相關文獻被引頻次前五位的文章中，Hinton G E為主要作者的文章占三篇，可見該學者在深度學習領域做出了較大的貢獻，具有較高地位。他和Yann LeCun、Bengio Yoshua被稱為深度學習三巨頭。

由圖5及表4可知，Bengio Yoshua在2009年發表的文章Learning Deep Architectures for AI[8]是深度學習研究領域2000-2017年被引頻次最高的文獻，達到609次。該文章主要介紹了人工智能領域的深層構架，討論了關于深層架構學習算法的動機和原理，特別是那些利用單層模型（如限制玻爾茲曼機器）構建塊無監督學習的方法，用于構建深層模型。被引頻次位于第二的是Hinton G E等人于2006年發表的文章A Fast Learning Algorithm for Deep Belief Nets[2]。該文章提出了深度信念網（Deep Belief Networks，DBNs）的概念，開啟了深度學習的熱潮。被引頻次位列第三的是Hinton G E博士與Li Deng、Dong Yu、George E. Dahl共同發表的文章——Deep Neural Networks for Acoustic Modeling in Speech Recognition： The Shared Views of Four Research Groups[9]。該文章發表于2012年，總結了四個研究小組關于語音識別中的聲學建模深層神經網絡的觀點。該文章闡述了具有許多隱藏層并且使用新方法訓練的深層神經網絡（DNN）已被證明在多種語音識別基準上表現優于高斯混合模型（GMM），有時甚至大幅度地增加。這篇文章概述了這一進展情況，并認為更好地并行化深層神經網絡模型的微調仍然是一個主要問題。

5.4高被引作者分析

通過對某領域高被引作者的分析，可知對該領域貢獻較大、起關鍵性作用的作者，有助于對該領域發展過程的了解。因此，通過CiteSpace對某領域被引作者及其貢獻的分析至關重要。運用CiteSpace軟件，設置Time Slicing為2000年至2017年，設置3年為一個時間段，主題詞來源選擇標題、文摘和關鍵詞，節點類型勾選被引作者，為使圖譜節點顯示較為聚集，將閾值（Top N）設為10，繪制共被引作者知識圖譜如圖6所示，共有44個網絡節點，105條連線。按照CiteSpace分析結果得被引頻率較高及中心性較高的被引作者分別如表5、表6所示。

圖譜節點大小由共現頻次決定，節點位置由中心度或密度控制，中心度或密度大的節點是核心節點，代表著研究對象受關注的程度、重要性，是聯系溝通其他節點的樞紐[10]。由圖6可知，（BIGGS J，2003），（LECUN Y，2012），（KRIZHEVSKY A，2012），（HINTON G E，2009）等是較為顯著的中心節點，可見這幾位作者在深度學習研究領域的樞紐作用較大，由此可推測這幾位學者寫的文章較為經典，且對深度學習的研究起了舉足輕重的作用。此外，節點的顏色與年份有關，由圖可知，除去匿名作者以外，高被引作者知識圖譜分布根據節點顏色主要分為三塊。2000-2002年相關文獻作者被引頻次較低，此時，深度學習并未興起；2003年開始，以BIGGS J為代表的學者對深度學習有了初步研究并有相關聯系；2009年，HINTON GE、LECUN Y、KRIZHEVSKY A等學者的深度學習相關文獻被引頻次及中心性較高，代表著這些作家的文獻所受關注程度較高且對深度學習的發展起著樞紐作用。

由表5、表6對比可知，頻次與中心性并非呈正比關系，甚至可以說，兩者并沒有關系。頻次高的被引作者，中心性不一定高，而中心性較高的被引作者，被引頻次也未必很高。有些作者的文雖然被引用較多，但中介作用、影響力并不高。有些作者文章獻雖然被引頻次不算高，但是其中起的聯系溝通作用較大。

簡要介紹幾位深度學習領域的代表學者及其貢獻。Hinton G E和Yann LeCun、Bengio Yoshua被稱為深度學習三巨頭。結合圖6和表5，Hinton G E處于顯著位置，且被引用頻次位列最高。該作者于2006年最早提出了深度學習的概念，并在同年提出了深度信念網（Deep Belief Networks，DBNs）的概念，開啟了深度學習的熱潮。LECUN Y（Yann LeCun）是一名計算機科學家，主要研究神經網絡，在機器學習、計算機視覺、計算神經科學等方面有巨大成就，以卷積神經網絡（CNN）的光學字符識別和計算機視覺工作而聞名，是卷積網絡的創始人[11]。BENGIO Y（Yoshua Bengio ）是Montreal大學教授，他的研究工作主要聚焦在高級機器學習方面，致力于用其解決人工智能問題。此外，BIGGS J等人對深度學習和淺層學習進行了對比，對概念進行了闡述并總結了深度學習和淺層學習的特征。這些代表學者都對深度學習的研究做出了巨大的貢獻。

合作研究已成為當今科學研究的普遍現象。從深度學習相關文獻發文作者來看，發現作者總體合作程度較高，因合作發文質量較高，研究嚴謹，能互相開拓思路等優點，大多數作者選擇了合作發文。在被引頻次前五的文獻中，僅有一篇由一人獨自完成，其余都是在相互合作的基礎上完成的，可見合作發文也是當今發文的一種較為普遍的選擇方式。構建以論文合著為基礎的合作關系網，能夠反映實際情況，具有良好的說服力，可行性及結果的可信度大。[12]

5.5突變詞分析

通過運用CiteSpace軟件對突變詞的圖譜分析，可以挖掘該領域的研究價值，并為該研究領域的發展趨勢及前沿探索提供參考。設置3年為一個時間段，節點類型選擇關鍵詞，術語類型設置為名詞短語和突變術語，并將閾值（Top N）設為20，最終以時區視圖（Timezone）方式顯示突變詞知識圖譜如圖7，并將專業術語突變詞總結歸納得下表7。

通過圖表可以明顯看出，2000—2005年期間，深度學習并未興起，還處于一個萌芽階段，而神經網絡（neural network）、模型（model）、系統（system）等詞的突現，為之后深度學習概念的出現及其發展研究奠定了基礎，因深度學習概念源于神經網絡；而到了2006—2011年，深度學習逐步興起，步入了一個全新領域的初始階段，處于該領域的探索階段，并逐漸轉向知識（knowledge）、高等教育（high education）層面的研究，2009年，深度學習（deep learning）作為該時期的突變詞“爆發”，學者們開始更多著手研究深度學習的戰略（strategy）與動機（motivation），并逐步實現深度學習的算法（algorithm）探索，步入了機器學習（machine learning）的全新領域；深度學習的高潮階段可概括為2012年—2017年，該階段更傾向于深度學習的進一步探索與應用拓展層面，許多學者相繼提出了新的算法模型，如卷積神經網絡（convolutional neural network）、深層神經網絡（deep neural network）、deep belief network（深層信念網絡）等，并將深度學習聚焦應用于圖像（image）物體分類（classification）、圖像（image）分割（segmentation）處理、識別等不同層面。可見，深度學習領域仍處于快速發展并逐漸步入應用拓展階段，可以預見之后深度學習研究領域將會有更加快速、便捷、合適的算法，應及時關注實踐中的應用效果。

6結語

淺層學習到深度學習的過渡是機器學習的全新浪潮，深度學習的提出及興起勢必對機器學習發展產生重大影響。本文以Web of Science核心合集數據庫中2000-2017年與深度學習相關的文獻作為研究對象，運用CiteSpace軟件對國家（地區）及機構、關鍵詞、被引共現、突變詞等進行可視化分析，生成可視化知識圖譜，展現了深度學習研究的總體概況，并對該領域進行了相關熱點與前沿的分析。進一步分析結論如下：

（1）隨著機器學習及深度學習表現出來的學術價值及其影響力的增大，深度學習國際領域發文量總體呈上升趨勢。從2006年提出深度學習概念開始，國際上在深度學習相關研究領域的發文數量開始緩慢上升，并在2013年開始急速增長，可以說達到了深度學習研究的熱潮。

（2）在國際領域，從2000年開始，美國成為該領域發文量最高的國家，中國緊隨其后，但中國在該領域的研究中介作用和影響力明顯沒有美國、英國強，啟示我國在該領域應加強與國際的交流與合作，在借鑒國外先進研究成果基礎上加以創新，將更多復合型人才引進到深度學習研究中來，提升國際影響力。

（3）通過關鍵詞熱點分析，可知深度學習源于人工神經網絡的研究，卷積神經網絡為2014年深度學習相關的新興研究領域。此外，深度學習的構建離不開系統與算法等，深度學習在識別、教育、圖像分割等領域的應用較多。

（4）對Web of Science核心合集數據庫中深度學習相關文獻進行高被引作者分析，HINTON G E、LECUN Y、KRIZHEVSKY A等學者的深度學習相關文獻所受關注程度較高且對深度學習的發展起著樞紐作用。

（5）國際上對深度學習的研究大致可以分為萌芽階段（2000年—2005年）、初始階段（2006年—2011年）和熱潮階段（2012年—2017年）三個階段。萌芽時期比較平靜，主要是為之后的深度學習概念的提出奠定基礎；初始階段主要為前期探索過程，逐步摸索深度學習的戰略、動機及算法的實現，慢慢步入了機器學習的全新領域；熱潮階段傾向于深度學習的進一步探索與應用拓展層面，許多學者提出了新的算法模型，并關注實踐中的應用效果為之后的深度學習研究提供建設性參考價值，在接下來的時段仍具有發展潛能及巨大的發展空間。

不過，本次研究仍存在一些不確定因素。筆者認為最重要的一個原因是只選擇了一個數據庫中的數據，這也是本研究一個最大的局限性，之后可以增加數據庫來源，使呈現的結果更加系統，更具說服力。其次，本文并未對發表在國內的深度學習相關文獻進行分析，分析所得的我國與國際研究實況對比可能缺少說服力，之后可以通過國內文獻的分析，從而對我國的深度學習研究提出建設性建議。

深度學習作為機器學習的一個新的領域，勢必會對機器學習及人工智能系統產生影響，國際上對于深度學習的研究雖然仍處于發展階段，但其越來越受到不同國家學者的關注與重視，且仍有許多方面等待研究與挖掘。隨著理論的完善及算法的開發，深度學習正逐步步入應用拓展階段，信息化下的深度學習也將成為新的發展趨勢，接下來的幾年里深度學習勢必達到一個新的高峰。

參考文獻

[1]孫志軍，薛磊，許陽明，等. 深度學習研究綜述[J]. 計算機應用研究，2012，29（8）：2806-2810.

[2]Hinton G E，Osindero S，Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006，18（7）：1527.

[3]韓小虎，徐鵬，韓森森，等. 深度學習理論綜述[J].計算機時代，2016，（6）：107-110.

[4]侯劍華，胡志剛. CiteSpace軟件應用研究的回顧與展望[J].現代情報，2013，33（4）：99-103.

[5]趙蓉英，徐燦. 信息服務領域研究熱點與前沿的可視化分析[J]. 情報科學，2013，（12）：9-14.

[6]劉青，阮志紅，張俊峰. 基于CiteSpace的深度學習研究熱點與趨勢分析[J]. 軟件導刊：教育技術，2016，15（9）：3-5.

[7]劉貴玉. 基于CitespaceⅢ的國際圖情領域關聯數據研究可視化分析[J]. 農業圖書情報學刊，2014，26（6）：67-73.

[8]Bengio Y. Learning Deep Architectures for AI[J]. Foundations & Trends in Machine Learning，2009，2（1）：1-127.

[9]Hinton G，Deng L，Yu D，et al. Deep Neural Networks for Acoustic Modeling in Speech Recognition： The Shared Views of Four Research Groups[J]. IEEE Signal Processing Magazine，2012，29（6）：82-97.

[10]張璇，蘇楠，楊紅崗，等. 2000-2011年國際電子政務的知識圖譜研究——基于Citespace和VOSviewer的計量分析[J].情報雜志，2012，（12）：51-57.

[11]Haykin S， Kosko B. GradientBased Learning Applied to Document Recognition[D].WileyIEEE Press，

2009.

[12]邱均平，伍超. 基于社會網絡分析的國內計量學作者合作關系研究[J]. 圖書情報知識，2011，（6）：12-17.

作者簡介：莊詩夢（1995-），女，南京農業大學信息科技學院本科在讀，研究方向：信息計量。

王東波（19-），男，南京農業大學領域知識關聯研究中心。

（收稿日期：20170916責任編輯：張靜茹）

Abstract： The indepth learning originated in the study of artificial neural network，which is a new field of machine learning research. This paper takes indepth learning relevant literature from 2000 to 2017 from Web of Science database as research object. By employing the CiteSpace software， a visual knowledge map analysis of states and institutions， keywords， burst terms and cocitation is conducted. Analysis of Authors and literature that have important influence on the development of indepth learning and hotspot analysis on indepth learning research field are carried out. In addition， this paper predicts the development trend of indepth learning research and provides reference for further study of indepth learning

Key words： Indepth Learning； CiteSpace； Quantitative Analysis