國內深度學習領域研究進展與熱點分析
——基于CiteSpace 與VOSviewer 的綜合應用

（山東科技大學計算機科學與工程學院，山東青島 266590）

0 引言

2016 年，谷歌Alpha Go 在世界圍棋競賽中戰勝專業棋手，引發人們對人工智能的激烈探討，同年，“人工智能”一詞寫入中國“十三五”規劃綱要，各大互聯網公司也紛紛加大對人工智能領域的投入，自此人工智能進入高速發展階段。深度學習是人工智能的重點研究領域之一，其原理是建立模型模擬人類大腦神經結構，主要涉及神經網絡的發展與應用［1］。1958 年，第一代神經網絡單層感知器由Rosenblatt［2］提出，在此后的近半個世紀中，由于相關技術的落后，尤其在各種淺層機器學習模型相繼被提出后，神經網絡的研究被擱置［3］。2006 年，Hinton 等［4-5］對神經網絡的數據高維度以及梯度消失等問題展開研究，此后深度學習進入快速發展期。近年來，深度學習引起越來越多人的關注，該領域論文發表量逐年增加，研究人員難以從眾多文獻中把握領域研究熱點及前沿。因此，對國內深度學習領域研究熱點及前沿進行分析，以期為研究人員的深度學習理論及具體應用研究提供參考。

在國內深度學習研究領域，研究人員從深度學習主流模型及其應用入手，論述了深度學習研究進展及未來發展方向。如孫志軍等［6］論述深度學習的興起淵源，介紹了主流學習算法及應用現狀；尹寶才等［1］依據數據流向對具有代表性的深度學習算法進行歸納總結，具體論述了各種深度網絡的結構及特點；張軍陽等［7］梳理深度學習模型架構及優化技巧，對比分析主流的深度學習軟件工具及硬件加速技術；譚笑楓等［8］在簡述深度學習研究歷史的基礎上，重點介紹了卷積神經網絡等經典算法及其應用；張海等［9］利用2006-2019 年WOS 數據庫中深度學習領域的計算機和教育相關研究文獻進行知識圖譜分析，提出深度學習的3個主要研究熱點。本文旨在綜合運用CiteSpace 和VOS?viewer 軟件對2005-2019 年國內深度學習領域期刊文獻進行知識圖譜分析，以得到深度學習領域研究熱點與前沿，使研究人員能更好地了解當前國內深度學習領域發展狀況，并把握未來發展方向。

1 數據來源與研究方法

1.1 數據來源

本文采用的數據來源為中國知網（CNKI）期刊庫，在“高級檢索”中按以下條件進行文獻搜索，選擇“期刊”文獻，主題為“深度學習”，檢索時間段為2005-2019 年，期刊來源類別設置為“核心期刊”。檢索時間為2020 年5 月12日，共檢索得到4 643 條文獻。手動對文獻進行篩選，剔除與研究主題無關的文獻及重復文獻，最終得到4 633 條文獻。將文獻下載保存為refworks 文獻題錄格式，并以down?load_x.txt 格式保存為文本文檔，分別導入CiteSpace 和VOSviewer 軟件進行數據分析。

1.2 研究方法

在科學計量領域，CiteSpace 和VOSviewer 是兩種被研究人員廣泛使用的可視化軟件。CiteSpace 是由美國德雷賽爾大學計算與信息學院陳超美［10］開發的文獻可視化軟件，VOSviewer 是由荷蘭萊頓大學科學技術研究中心的Van 等［11］開發的文獻可視化軟件，兩者都是基于Java 環境的免費軟件，具有操作簡便、功能強大等優點［12］。同時，兩者又各有特點，CiteSpace 是通過年輪圖表示各主題之間的聯系強弱，其中年輪大小表示研究主題的研究頻次，連線粗細表示研究主題之間的關聯強弱；VOSviewer 主要是以距離、密度情況表示聚類關系，可以清晰顯示各聚類簇中的關鍵詞［13］。

關鍵詞是對文獻的核心概括，能囊括文獻的研究方向及研究重點。本文綜合運用CiteSpace5.6 和VOSviewer 對深度學習相關文獻中的關鍵詞進行可視化分析，以得到國內深度學習研究進展、研究熱點及前沿趨勢。將下載的文獻題錄導入CiteSpace 軟件進行格式轉換、文獻去重，設置時間切片為1，節點（Node Types）選擇關鍵詞（Keyword），閾值設置為TOP50，剪切方式選擇路徑搜索算法（Pathfind?er），以及路徑網絡簡化（Pruning Sliced Networks）和合并網絡簡化（Pruning the Merged Network），分別繪制關鍵詞時區視圖和關鍵詞共現圖譜。同樣將文獻數據導入VOSviewer軟件中，設置單個關鍵詞最少出現次數為25 次，得到114個關鍵詞，生成關鍵詞共現權重視圖，以展示關鍵詞之間的聚類關系。

2 研究結果與綜合分析

2.1 關鍵詞時區圖譜分析

通過對關鍵詞進行聚類分析，可得到深度學習領域的研究主題情況。為清晰得到深度學習領域各研究主題出現時間及演進過程，將關鍵詞共現圖譜按照時間進行排布，生成關鍵詞時區圖譜（Time Zone），從而得到各時間段內熱點主題分布情況。如圖1 所示，在關鍵詞時區圖譜中，每一個縱軸對應一個時間段，關鍵詞所在時間軸為該關鍵詞首次出現時間，關鍵詞節點大小代表該關鍵詞出現頻次高低，關鍵詞之間連線代表兩個關鍵詞共同出現的情況。

Fig.1 Keyword time zone map based on CiteSpace圖1 基于CiteSpace 的關鍵詞時區圖譜

由圖1 可知，深度學習領域的研究主題逐年增多，且不斷演變，可大致將其劃分為以下兩個階段：

（1）2005-2014 年，該階段研究主題比較分散，各關鍵詞出現頻次較低，以至于看似是一段空白時期，說明該階段對深度學習的研究較少且分散，未形成較為集中的研究主題。

（2）2014 年至今，是研究主題的主要增長階段。在此階段，通過卷積神經網絡、計算機視覺、圖像處理、圖像分類等高頻關鍵詞，可知卷積神經網絡在計算機視覺領域的相關應用最早受到研究人員關注，特征提取、機器學習和支持向量機等高頻關鍵詞表明機器學習及其相關模型也是研究熱點。隨后研究人員開始探索深度學習模型在故障診斷方面的應用，同時開始研究利用遷移學習解決深度學習模型訓練用時長、需要大量數據、對計算機硬件要求高等問題。循環神經網絡等高頻詞的出現說明深度學習模型開始應用于自然語言處理領域。2014 年至今，各時間段研究主題之間連線密集，說明深度學習領域各研究主題關聯密切，深度學習模型在不斷創新改進，應用領域也逐漸細化。

2.2 突變詞檢測圖譜分析

突變詞檢測用于檢測在某些年份出現頻次驟增的詞語，無論是高頻詞或低頻詞，頻次增長率在某些年份突然增加的關鍵詞更有可能體現領域局部熱點變化，可代表該領域研究前沿［14］。本文利用CiteSpace 軟件中的突變算法對2005-2019 年深度學習領域關鍵詞進行突變檢測，選擇根據突變詞年代分布對24 個突變關鍵詞進行排序，如圖2所示。其中，Strength 列表示關鍵詞突變強度，強度越大，表示該關鍵詞在突變時間段內出現頻次越高，Begin 和End列分別代表關鍵詞突變的開始及結束時間，其形成的時間段為該關鍵詞成為熱點前沿的時間。

Fig.2 CiteSpace-based mutation word detection map圖2 基于CiteSpace 的突變詞檢測圖譜

與圖1 中顯示的2015 年以來深度學習模型在圖像處理、目標檢測及故障診斷等方面的廣泛應用相對應，圖2具體顯示應用中涉及到哪些關鍵技術為當年研究前沿。稀疏編碼、受限玻爾茲曼機和稀疏表示主要應用于圖像處理領域。人類視覺信息處理系統可看作一種高效的圖像處理系統［15］，其采用稀疏編碼策略，因此改進受限玻爾茲曼機使其能學習輸入信號的稀疏表示，從而可將其更有效地應用于圖像處理中。粒子濾波是應用于目標檢測跟蹤的主要算法，針對粒子濾波算法存在的問題提出各種改進方法，有利于提高目標檢測跟蹤精度與實時性。深度置信網絡是用于故障診斷的主要模型，也廣泛應用于人臉識別、語音識別、圖像識別等領域，至今仍是深度學習領域的研究熱點。

2.3 關鍵詞共現權重圖譜分析

在關鍵詞共現聚類方面，相較于CiteSpace 軟件利用節點大小顯示領域內研究主題熱點，VOSviewer 軟件還可清晰展示出領域內各聚類簇中的關鍵詞。本文利用VOS?viewer 軟件，選擇出現頻次（Occurrences）繪制深度學習領域的關鍵詞共現權重圖譜，關鍵詞出現頻次越高，關鍵詞節點越大，如圖3 所示。

Fig.3 Keyword co-occurrence weight map based on VOSviewer圖3 基于VOSviewer 的關鍵詞共現權重圖譜

圖3 中將114 個關鍵詞分為8 個聚類簇，具體特點如下：

（1）聚類1 中有23 個關鍵詞，如圖中紅色關鍵詞所示，主要包括故障診斷、無監督學習、深度信念網絡等，可看出此聚類中主要涉及到深度學習模型在故障診斷等方面的應用，以及所需的關鍵技術。

（2）聚類2 中有19 個關鍵詞，如圖中綠色關鍵詞所示，主要包括詞向量、循環神經網絡、注意力機制、自然語言處理等，該聚類包括深度學習模型在自然語言處理任務中的應用及相關算法。循環神經網絡是一種用于處理序列數據的有效模型，廣泛應用于自然語言處理領域的情感分析、文本分類、推薦系統等。

（3）聚類3 中有16 個關鍵詞，如圖中深藍色關鍵詞所示，主要包括計算機視覺、目標檢測、目標識別等，該聚類主要為深度學習模型在計算機視覺領域的應用。

（4）聚類4 和聚類5 中各有15 個關鍵詞，如圖3 中黃色、紫色關鍵詞所示，主要包括卷積神經網絡、語義分割、人工智能、機器學習等。聚類4 和聚類5 分別展示了卷積神經網絡在圖像處理及人工智能等方面的應用。

（5）聚類6 中有11 個關鍵詞，如圖中淺藍色關鍵詞所示，主要包括圖像處理、殘差網絡等。殘差網絡通過捷徑連接的結構改變了普通直連的神經網絡層數過深導致的梯度消失問題，多用于圖像處理領域，該聚類為深度學習模型在圖像處理方面的應用及其關鍵技術［16］。

（6）聚類7、聚類8 分別有8 個和7 個關鍵詞，如圖中橙色、褐色關鍵詞所示，主要包括模式識別、圖像識別等，這兩個聚類主要展示了深度學習模型在分類識別問題中的應用。

3 總結與展望

本文對國內2005-2019 年深度學習領域核心期刊文獻的關鍵詞進行知識圖譜分析，分別利用CiteSpace 和VOSviewer 軟件繪制關鍵詞時區圖譜、突變詞檢測圖譜和關鍵詞共現權重圖譜，并通過對各圖譜的分析得出深度學習領域研究進展及研究熱點。從關鍵詞時區圖譜和關鍵詞共現權重圖譜中可以看出，深度學習領域研究主要集中在2014 年至今，卷積神經網絡模型及其應用是研究熱點，其最早應用于計算機視覺領域，隨后應用于圖像處理及目標檢測等相關領域。此外，循環神經網絡及其應用也逐漸成為研究熱點。突變詞檢測圖譜檢測到深度學習領域研究重點在深度學習模型創新改進方面，其中深度置信網絡應用廣泛，至今仍是該領域研究熱點。

總體而言，深度學習模型的理論研究尚待完善，各相關具體應用也處于探索研究階段。本文還存在一定局限性，如用于研究熱點分析的2005-2019 年期刊文獻數據量偏少，軟件相關參數還有待進一步調優等。本文僅利用文獻關鍵詞進行研究熱點前沿分析，后續研究將進行文獻引用情況等其它相關分析，以增強結論的可靠性。