基于深度學習的主題資源監測采集功能實現研究

劉艷民　張旺強　祝忠明　陳宏東

摘 ? 要：文章構建了基于深度學習的主題資源監測采集模型，并利用深度學習詞向量工具word2vec對收集的語料進行深度訓練，對采集資源與主題模型進行相似度匹配，通過設定合適閾值來實現自動化監測主題資源。實踐證明：基于深度學習的定主題監測方法在海洋戰略研究所信息監測系統的應用過程中，在主題資源自動監測的準確性上效果優于傳統基于向量空間模型的監測算法，能為專題知識庫和領域情報信息監測系統的構建打下堅實的基礎。

關鍵詞：深度學習;主題資源監測;word2vec;相似度計算

中圖分類號：G202 ? 文獻標識碼：A ? DOI：10.11968/tsyqb.1003-6938.2019035

Research on the Realization of Theme Resource Monitoring and Collection Function Based on Deep Learning

Abstract Theme open knowledge resource acquisition is usually realized by intelligence personnel through fixed-source and fixed-point data acquisition. But in the age of big data， the number of open access information resources has increased dramatically. In order to improve the accuracy and recall rate of automatic monitoring and collection of theme-related resources，to reduce intelligence personnel workload， the latest achievements of deep learning technology is introduced in the field of artificial intelligence. A theme resource monitoring and collection model based on deep learning is proposed. The word vector tool word2vec was used to train the collected corpus in depth. Similarity matching is conducted between theme crawler collection resources and theme model. The practice proves that the thematic monitoring method based on deep learning proposed in this paper is applied to the information monitoring system of the institute of ocean strategy. The accuracy of subject resource automatic monitoring is better than that of traditional detection algorithms.

Key words deep learning; thematic resource monitoring; word2vec; similarity calculation

1 ? 引言

大數據時代背景下，各個領域內的可開放獲取信息資源量以指數形式增長，科研人員在構建專題知識庫、領域情報信息監測、輿情監測系統時，需要從海量可開放獲取的網絡資源中得到專題所涉的最新發展動態，如有關智庫的權威機構、政府部門，國內外大學院系頒發的最新政策、科研數據、研究報告、決策資訊等多種類型的資源。這些數據時效性強，可信度高，已成為學者和研究人員重視和關注的資源。因此，情報人員及時發現和跟蹤、分析利用這些開放信息資源，讓科研人員掌握最新的科技情報信息，對于科學研究的開展具有重要意義。

本文在現有網絡開放信息監測方法研究的基礎上，設計開發了基于深度學習的網絡主題開放資源自動監測和采集功能，隨后將本文方法應用在海洋戰略研究所信息監測平臺中，實現了對監測主題相關情報信息的智能識別、監測和采集發布。結果證明，相比傳統自動監測方法，本文提出的方法優勢是無需手動配置領域監測本體和特征實體指標權重值，主題模型構建和相似度匹配由機器深度學習來實現，提高了主題資源監測采集的準確率和召回率。

2 ? 研究進展

2.1 ? ?主題資源的監測采集研究進展

國外最早由美國國家情報總局和美國國防部首先提出開源情報（Open-source intelligence，OSINT）[1]的理念，主要通過利用公開可以獲取的信息資源來實現情報分析，而不是隱蔽和秘密的信息資源。2005年，美國中央情報局（Central Intelligence Agency，CIA）成立了美國國家情報公開資源中心（Open Source Center，OSC）[2]，該中心主要收集、開發和利用網絡開源情報信息資源。在監測技術和方法方面，Krishna BV等[3]提出基于主題模型的輿情監測和情感分析方法，該方法能夠自動從文本中挖掘態度、觀點和隱藏的情感;Liu MR等[4]從在線新聞中基于實體和新聞文檔的加權無向圖提取關鍵實體和重要事件，從而對新聞文本進行聚類，產生每日重大事件。計算機科學領域的文本挖掘、主題追蹤等技術的發展為網絡信息自動監測提供了重要的參考價值。

國內目前關于互聯網主題資源跟蹤和采集主要通過主題爬蟲和文本挖掘、自然語言處理技術來實現，中國醫學科學院錢慶[5]開發了醫藥衛生體制改革輿情監測系統，該系統的主題追蹤主要借助主題詞表來描述網絡動態信息中的各種知識單元，通過對相關知識單元進行自動抽取和發布，采用向量空間模型的TF-IDF算法強調不同位置特征詞的權重，主題模型構建過程從共現的角度改進了KNN方法，形成了醫療衛生體制改革的主題模型，實現了主題信息自動獲取、自動分類的效果;中科院蘭州文獻情報中心的劉巍[6]通過將自然語言處理技術應用到自動監測功能過程中，可實現對監測資源的重要概念和實體的自動抽取，且與用戶配置的語料庫進行相似度匹配，實現自動化檢測的目標。張智雄[7-8]組織的團隊一直致力于研究科技戰略情報監測技術和系統工具開發，目前已搭建了自動監測平臺，且提出了基于對象計算的戰略情報監測分析方法，從五個維度來進行情報價值的計算，這個過程需要對監測本體和指標權重體系進行配置[9]。上述方法在一定程度上實現了定題監測和采集功能，但在關鍵概念和實體抽取過程中，只支持部分機器學習功能，在相似度匹配部分，需要對領域本體語料和指標權值進行人工配置，降低了自動監測效率，沒用到目前人工智能領域最新成果深度學習技術來提高監測采集的智能化，從而提高檢測效率和降低人工成本。

2.2 ? ?深度學習理論及應用研究進展

深度學習是機器學習研究中的新領域，是一種無監督特征學習和特征層次結構的學習方法，實際上是一種多隱層的神經網絡算法，其核心思想是模擬人腦進行分析學習、決策機制來解決問題。2006年，加拿大多倫多大學教授Geoffery Hinton[10]在《Science》上發表論文，首次提出深度學習的觀點，其本質思想是通過構建多隱層的模型和海量的訓練數據，來學習更有用的特征，從而提升最終預測的準確性。深度學習從大類上可以歸入神經網絡，核心是通過分層網絡獲取分層次的特征信息，解決需人工設計特征的重要難題，它包含有多個重要算法，如卷積神經網絡（Convolutional Neural Networks，CNN）、深信度網絡（Deep Belief Networks，DBN），多層反饋循環神經網絡Recurrent neural Network，RNN）等。與傳統的機器學習算法不同，深度學習可以自動進行特征提取，而無需人工干預，且可以提取為標記、非結構化數據中的潛在特征，如音視頻、圖像、文本等多媒體數據[11]。在具體的特征學習和訓練上，深度學習與神經網絡模型存在差異，深度學習采用自上而下的無監督學習，逐層構建單層神經元，采用wake-sleep算法進行逐層調整優化，收斂至局部誤差最小，自頂層往下誤差矯正信號越來越小[12]。

隨著深度學習技術的迅速發展，基于神經網絡的自特征抽取的詞向量表示方法受到廣大研究者的關注。Mikolov等[15]通過借鑒Bengio等[13]提出的NNLM（Neural Network Language Model）模型以及Hinton[14]的Log Linear模型，提出了word2vec語言模型，Google公司在2013年開放了word2vec這一款用于訓練詞向量的開源軟件工具，標志著深度學習從理論走向了實踐。word2vec模型可以根據給定的語料庫，通過優化后的訓練模型快速有效的將一個詞語表達成實數值的向量形式[16]。word2vec包含了兩種訓練模型，分別是CBOW（Continuous Bag-Of-Words）模型和Skip-Gram模型（見圖1）。

從模型圖可以看出，CBOW和Skip-gram模型均包含輸入層、投影層和輸出層。其中，CBOW模型通過上下文來預測當前詞的詞向量，即將當前詞上下文對應的連續詞語表示成詞袋的形式，將訓練的目標向量選為上下文詞向量的求和。而Skip-gram模型生成詞向量的方式恰好與CBOW模型相反，它僅通過當前詞來預測其上下文。word2vec模型在給定的語料庫上訓練CBOW和Skip-gram兩種模型，然后輸出得到所有出現在語料庫上的單詞的詞向量表示。基于得到的單詞的詞向量，可以計算詞與詞之間的關系，如詞語相似性，語義關聯性等。目前word2vec模型已應用于情報學領域，如輿情演化分析[17]、恐怖組織挖掘[11]、期刊選題相似性計算[12]等。針對word2vec在文本挖掘領域的良好應用效果，本文提出基于深度學習的主題資源監測采集模型。

3 ? 基于深度學習的主題資源監測采集模型構建

本文構建的基于深度學習的主題資源監測采集模型主要包括數據采集、數據預處理（分詞、去停用詞、詞性標注）、特征提取、深度學習（相似度匹配）、采集發布等步驟（見圖2）。傳統監測采集模型相似度匹配使用抽取出的關鍵概念和實體對象與用戶參數配置設定的關鍵詞進行匹配，需要非常專業的詞表及實體規范庫來對主題進行統一表述，降低監測采集的智能化，人工成本較高。向量空間模型要求關鍵詞必須精確匹配，對語義相近的關鍵詞，效果較差。本研究基于word2vec的文本相關度比較模型對語料進行訓練，關鍵詞之間進行相關度比較，即使兩個關鍵詞集合完全沒有交集，也可以給出合理的比較結果。主題資源監測采集模型遵循數據生命周期管理理論，通過構建合理的數據管理組織架構體系，確保采集數據準確性及質量，提高數據有效性、一致性和規范性，實現數據從產生到銷毀的全過程規范化管理，充分發揮采集數據價值，提升采集過程的自動化程度，促進各應用系統信息高度共享，為科研決策提供科學依據。

3.1 ? ?數據采集

數據采集的基礎信息來源是專業人員根據經驗制定的情報機構，包括智庫、權威機構組織、國外大學院系、政府部門等網站內容。本研究截取了海洋戰略研究所指定采集的起始網站列表（見表1）。由表可知，主題爬蟲采用的網頁搜索策略為基于內容評價的搜索策略，利用文本相關度比較算法進行比較，分析網頁內容和主題的相關度來進行爬取。爬取到與主題相關網頁提取情報來源的名稱、網址、正文等基礎信息，作為主題監測的語料集。

3.2 ? ?數據預處理

采集信息后對語料進行預處理過程主要包括網頁凈化、去停用詞、中文分詞、詞性標注等操作。本研究選擇自然語言處理工具對采集文本進行預處理。由于中英文文本差異，預處理步驟有所不同，英文文本挖掘預處理不需做分詞，中文文本需進行中文分詞。通過定義的中文和英文停用詞表進行匹配來對正文信息進行過濾停用詞的預處理。從正文中抽取反映文本主題的實詞，需對文本進行詞性標注。英文文本預處理需做拼寫檢查更正及大寫轉換小寫操作，其預處理獨有的步驟是詞干提取和詞形還原。

3.3 ? ?特征提取

經過預處理后的實體概念集合，需要將信息中的重要特征提取出來，文檔的內容特征利用基本語言單位如字、詞或短語來表示，這些基本語言單位被稱為文檔的特征項，特征項的權值反映的是一個特征項在文檔集合中的貢獻程度。本文利用經典的TF-IDF方法來提取特征項，并在計算特征項的權重時將特征項的位置信息考慮進來，不同位置的特征項對主題的貢獻有差異，對出現在文本標題、首句、段首、段尾和正文五個不同位置的特征項賦予不同的權重。綜合利用詞頻以及位置權重計算出每個概念在文本中的重要度。根據閾值去除滿足條件的概念既為文本的特征項，也既關鍵概念集合，同時根據關鍵特征項集合中的重要度進行排序，可實現抽取指定數量的關鍵概念。抽取出的特征項集合將會用于與主題模型進行相似度匹配，從而判斷是否是用戶關注的主題，如果相似，則將抽取的信息加入語料庫，且將采集的數據進行發布顯示。

3.4 ? ?主題建模

主題模型（Topic model）是針對文本隱含主題的建模方法，其中主題是指一個概念或一個方面，在文檔集中表現為一系列相關的詞語。如果用數學語言來描述的話，主題就是詞匯表上詞語的條件概率分布，與主題關系越密切的詞語，它的條件概率越大，反之則越小，文檔集中的每篇文檔可以包含多個主題，文檔中每一個詞都由其中的一個主題生成。LDA主題模型是由Blei等[18]提出的一個“文本-主題-詞”的三層貝葉斯概率模型，該模型也是一種非監督的機器學習算法，可以用來識別大規模文檔集或語料庫中潛在的主題，它采用了詞袋模型方法[19]。主題資源監測的核心內容是采集情報信息與主題進行相似度計算（計算流程見圖3）。根據海洋戰略研究內容，主題設置為五個方面，分別為海洋戰略與規劃、海洋經濟與科技、海洋環境與資源、海洋政策與管理、海洋法律與權益。每個主題分別選擇一定數量的語料進行訓練，形成主題模型。在采集新聞過程中，將每篇新聞文本與生成的主題模型進行相似度判斷，從而確定每篇新聞文檔的主題類別。通過主題建模和深度學習，計算采集文本與主題語義相似度，在一定閾值范圍內進行主題資源采集及分類。

采集文本與主題相似度計算[20]流程包括：

Step1：每個主題收集一定數量語料首先進行預處理，包括去停用詞、分詞、詞性標注等操作。利用TF-IDF方法提取文本特征項。

Step2：經過Step1預處理后的主題文檔集合建立文檔-詞項矩陣，基于LDA主題模型，訓練主題語料，確定每個主題中前N個主題詞及概率分布。

Step3：采集新聞進行預處理、文本特征項提取。

Step4：主題語料與采集新聞利用word2vec進行訓練和深度學習。

Step5：將主題映射到word2vec空間中，選取主題ti的前h個詞作為主題詞，對主題詞做歸一化處理，即計算每個詞w占主題的權重ωi ，在公式（1）中： θi為詞w在主題ti中的表示。在主題ti映射到word2vec空間上的向量v（ti）計算公式（2）中，即詞w在word2vec空間的坐標*w占主題ti的權重。

ωi= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

v（ti）=[∑][h][n=1]ωinv（win） ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

Step6：將Step3得到的新聞文本映射到word2vec空間。計算方式為每個詞在word2vec空間下的坐標相加，再除以總詞數。文檔向量v（di）計算公式（3）中，c代表的是文檔的總詞數。

v（di）= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （3）

Step7：采集新聞文檔與主題的相似度計算采用歐式距離來度量：

dis tan ce（v（di），v（ti））=|v（di）-v（ti）| ? ? ? ? ? ? （4）

Step8：通過計算測試文本與主題文本向量的歐式距離，設置合適閾值來確定文本是否為主題相關資源。

3.5 ? ?采集發布

采集文本與主題進行相似度計算后，跟主題相關資源的網址信息進行本地數據庫存儲，正文提取算法有最大文本塊和文本密度算法，可以抽取網頁中的文本標題、作者、發布時間、封面圖片、及文章正文等內容，發布內容按照圖片、論文、資訊內容分欄目展示，發布后的網絡資源用戶可進行評價。

4 ? 實驗測試結果

本文在基于深度學習的基礎上，搭建了基于深度學習的海洋發展戰略研究所信息監測系統（見圖4）。并對其監測系統的框架進行設計（見圖5），在這一框架中采集專題管理功能為每個第三方系統創建對應的專題，支持設置第三方系統網站名稱、可訪問IP、專題管理員等。采集任務管理功能支持從外部系統監測源以API的方式讀取采集源列表，且支持同第三方系統自動同步資源列表。分布式采集子系統功能已實現集成Crawler4J爬蟲系統，可實現分布式多任務自動調度。主題建模與相關度計算模塊主要使用LDA構建主題模型，主題模型構建過程中對主題語料庫擴展期刊論文、會議論文關鍵詞、摘要等內容，來提高主題模型精確度。通過word2vec對樣本網頁數據建模生成詞向量模型，結合LDA構建的主題模型進行相似度計算。Web管理系統功能主要實現對采集到的資訊、圖片、論文進行管理、發布。

本試驗LDA主題模型使用的Gibbs抽樣，設置迭代次數為1000次，超參數取固定的經驗值。用word2vec訓練文檔集時，各參數設置情況為size=100， window=5，min-count=1，cbow=1。其中size代表詞向量的維數，window代表上下文窗口大小，min-count代表詞語出現的最小閾值，cbow代表是否使用模型CBOW，0為使用，1為不使用。本實驗使用Skip-gram模型。LDA和word2vec都是用Gensim實現的，Gensim是用于構建主題模型的免費Python包。對五個主題收集英文語料進行LDA主題建模，得到五個主題的top10特征詞及占主題權重（見表2）。

可以看出，對主題爬蟲收集的英文主題語料經過LDA主題模型訓練后，得到的top10主題特征詞能夠較好描述主題特征，海洋戰略與規劃得到的特征詞組合后可形成“marine planning（海洋規劃）”“marine spatial planning”“sea power（海權）”或者“marine power”等關鍵詞。海洋法律與權益得到的特征詞可組合為“marine biodiversity（海洋生物多樣性）”“marine diversity（海洋多樣性）”“marine security（海洋安全）”，而其他特征詞“dispute（沖突）”“right（權利）”等與海洋立法及涉海案件息息相關。海洋經濟與科技主題得到的特征詞主要有“marine industry（海洋工業）”“marine economy（海洋經濟）”，代表了主題的主要研究方向，尤其是印度、日本、菲律賓及印度尼西亞的海洋科學技術。海洋政策與管理主題在英文語料提取的特征詞主要為“ocean policy”“marine policy（海洋政策）”及跟海洋管理有關的“ocean management”“marine management”以及 “coastal zone（沿海地帶）”的管理政策。海洋環境與資源提取的特征詞跟“marine protected area（海洋保護區）”匹配、其他關鍵詞“ecosystem（生態系統）”“conservation（保護）”“environmental（環境）”“climate（氣候）”都跟環境相關。這充分表明LDA主題模型在主題建模方面的優勢，主題爬蟲語料經LDA訓練可很好描述主題信息，為后面相似度匹配及文本分類做鋪墊。

為驗證基于深度學習的主題相關資源采集策略在信息監測系統中的應用效果。本文選擇2017年12月至2018年10月監測系統通過主題爬蟲從各開放知識資源獲取網站采集的約3萬條數據，篩選出4865條與海洋研究相關的新聞，對4865條數據進行人工標識之后，將訓練集和測試集比例按照8：2進行劃分，80%用于訓練集，20%用于測試集。為準確評價主題相似度匹配的效果，本文選取的評價指標為準確率P、召回率R及F1-measure，F1-measure值為準確率和召回率的調和平均值。將機器檢測結果與人工標記結果進行比對。傳統計算文本相似度方法為基于向量空間模型的TF-IDF算法，該方法以詞在文檔中出現頻率以及在文檔集中出現該詞的概率來表征詞的權重。本文通過基于向量空間模型的TF-IDF算法與LDA和word2vec結合的算法進行了對比試驗，對比實驗用同樣的文檔集作為語料庫，首先對語料庫進行預處理，再利用TF-IDF算法把主題文檔和測試文檔表示成關于詞項的向量，然后計算測試文檔與主題文檔的余弦相似度，根據相似度結果值設定合適閾值來作為監測結果，TF-IDF算法測試結果給出F1- measure值（監測結果見表3）。

由檢測結果可看出，當測試總樣本數為973，引入深度學習技術后運用LDA進行主題建模，利用word2vec進行文本主題相似度計算，實驗結果表明，五個主題監測文本的準確率都達到85%以上，文本平均識別率達到91.07%。而基于向量空間模型的TF-IDF算法監測結果的F1值明顯低于本文提出的算法，這說明TF-IDF算法的缺點是僅通過TF（詞頻）和IDF（逆文檔頻率）來計算，不能有效判斷文檔中詞項本身的語義信息，具有一定局限性。

5 ? 結語

本文提出的基于深度學習的主題資源監測采集策略，通過應用在海洋戰略研究所信息監測系統中，可以實現對大量多源異構情報信息進行自動化監測和采集，且通過LDA主題模型對主題進行建模，能夠很好描述主題信息，結合深度學習的相似度匹配算法能夠進行智能主題分類，有效降低情報人員的工作量，提高了主題資源監測的準確率與召回率，其監測效果優于傳統基于向量空間模型的監測算法。

本研究也存在問題和不足，如訓練樣本需要花費大量時間，通過樣本數據建立的主題模型詞向量有限。為了讓主題模型的準確度不斷提高，需要從來源數據中不斷提取新的詞向量對主題模型進行優化、完善，實現主題模型語義關系的自動擴充，從而進一步提高主題信息監測系統自動獲取、自動分類效率，以便為科研人員提供更優服務。

參考文獻：

[1] ?Open-source intelligence[EB/OL].[2019-03-12].https：//en.wikipedia.org/wiki/Open-source_intelligence.

[2] ?Open Source Center[EB/OL].[2019-03-12].https：//en.wikipedia.org/wiki/Open_Source_Center.

[3] ?Krishna BV，Pandey AK，Kumar APS.Topic Model Based Opinion Mining and Sentiment Analysis[C].8th International Conference on Computer Communication and Informatics，Coimbatore，2018.

[4] ?Liu M，Liu Y，Xiang L，et al.Extracting key entities and significant events from online daily news[C].Intelligent Data Engineering and Automated Learning-IDEAL 2008，2008（5326）：201-209.

[5] ?錢慶，安新穎，代濤.主題追蹤在醫藥衛生體制改革輿情監測系統中的應用[J].圖書情報工作，2011，55（16）：46-49.

[6] ?劉巍，王思麗，祝忠明，等.基于自然語言處理技術的定題監測功能實現研究[J].圖書與情報，2018（3）：135-140.

[7] ?張智雄，張曉林，劉建華，等.網絡科技信息結構化監測的思路和技術方法實現[J].中國圖書館學報，2014，40（4）：4-15.

[8] ?張智雄，劉建華，謝靖，等.科技戰略情報監測服務云平臺的設計與實現[J].現代圖書情報技術，2014（6）：51-61.

[9] ?鄒益民，張智雄，劉建華.基于對象行為的情報關注模型研究[J].中國圖書館學報，2013，39（5）：50-59.

[10] ?Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504-507.

[11] ?郭璇，吳文輝，肖治庭，等.基于深度學習和公開來源信息的反恐情報挖掘[J].情報理論與實踐，2017，40（9）：135-139.

[12] ?逯萬輝.基于深度學習的學術期刊選題同質化測度方法研究[J].情報資料工作，2017（5）：105-112.

[13] ?BENGIO Y，SCHWENK H，SEHECAO J S，et al.A neural probabilistic language model[J].Journal of Machine Learning Research，2003，3（6）：1137-1155.

[14] ?Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）：1527-1554.

[15] ?Mikolov T，Sutskever I，Chen K，et al.Distributed representations of words and phrases and their compositionality[J].Advances in Neural Information Processing Systems，2013（26）：3111-3119.

[16] ?Mikolov T，Chen K，Corrado G，et al.Efficient estimation of word representations in vector space[J].Computer Science，2013（2）：1-12.

[17] ?安璐，吳林.融合主題與情感特征的突發事件微博輿情演化分析[J].圖書情報工作，2017，61（15）：120-129.

[18] ?Blei DM，Ng AY，Jordan MI.Latent dirichlet allocation[J].Machine Learning Research Archive，2003（3）：993-1022.

[19] ?Ling W，Luís T，Marujo L，et al.Finding function in form：Compositional character models for open vocabulary word representation[C].Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing.Lisbon，Portugal，2015，1520-1530.

[20] ?Wang ZB，Ma L，Zhang YQ.A Hybrid Document Feature Extraction Method Using Latent Dirichlet Allocation and Word2vec[C].First International Conference on Data Science in Cyberspace（DSC），Changsha，China，2016：98-103.