基于卷積神經網絡的微博話題內容搜索方法*

周 南，杜軍平+，姚 旭，梁美玉，薛 哲，LEE JangMyung

1.北京郵電大學智能通信軟件與多媒體北京市重點實驗室，計算機學院，北京100876

2.釜山國立大學電子工程系，韓國釜山46241

1 引言

微博作為一種被廣泛應用的社交網絡平臺，因為其關注機制和信息實時傳播機制受到了廣大用戶的青睞[1]?，F階段微博平臺已經成為用戶分享經驗、感想和看法的公共虛擬平臺。同時，微博也成為大家獲取信息的關鍵渠道。通過微博平臺用戶可以發表并討論發生在身邊的各類事件和對這些事件的看法。用戶談論的國民安全話題內容在微博平臺上廣泛傳播，這些國民安全話題內容往往反映大家對國計民生的看法，因此，在微博數據環境下對國民安全事件相關話題進行有效搜索，對于用戶了解社會發展和國計民生有著重要意義。

在微博大數據環境下，傳統搜索方法已無法滿足要求，需要在特定搜索情境下進行相關數據發現與數據特征挖掘[2-3]。在傳統方法中，詞項頻率-逆文檔頻率（term frequency-inverse document frequency，TF-IDF）、Okapi Best Matching（BM25）等概率模型方法得到了廣泛應用。近年來，深度學習方法的發展和應用推進了信息搜索研究，以詞嵌入（word embedding）為基礎的端到端神經網絡模型在信息搜索領域研究中有著重要影響[4]。同時，基于深度神經網絡的信息搜索方法也不斷出現，如DSSM（deep structured semantic model）[5]和 CLSM（convolutional latent semantic model）[6]等。這些方法基于深度語義特征表示進行搜索匹配，適用于傳統信息搜索問題。但是對于具有語義稀疏性的微博數據難以適應其語義稀疏性。

本文提出一種基于卷積神經網絡的國民安全話題微博內容搜索方法（microblog search method based on deep convolutional neural networks，MS-DCNN），對國民安全話題相關內容進行搜索，并依據搜索目標內容進行匹配和相關性排序。該方法由微博內容篩選模型和微博內容匹配兩部分組成。微博內容篩選采用卷積神經網絡方法代替傳統索引模型方法，實現對相關內容的快速定位和篩選。微博內容匹配基于“配對查詢（pair-wise）”思想，依據查詢相似度進行匹配排序，得到最終結果。

2 相關工作

社交網絡搜索尤其是微博搜索已經成為信息搜索研究領域重要的分支。近年來，深度神經網絡在信息搜索領域的廣泛應用推動了社交網絡搜索研究的發展。深度神經網絡可以針對微博信息特殊的數據特性進行有效的學習和處理，對提高微博搜索匹配效率和準確率有極大幫助。

2.1 微博話題內容搜索

黃河燕[7]提出了采用大數據可視化方法對社交網絡進行分析。Chy等[8]提出了基于微博查詢時效和詞嵌入方法，進行微博內容相關性查詢的微博搜索，該方法能解決由于關鍵詞匯歧義造成的匹配錯誤問題，并利用時序關系和微博上下文進行微博內容搜索和匹配。Wang等[9]提出一種基于查詢的反饋概念模型來解決微博搜索問題，該方法通過挖掘語義概念信息，并將具有相關關系的語義概念組織起來作為一種混合語義概念模型，最終利用該模型進行語義擴展來提高微博搜索效率。

Srinivasan等[10]通過構建候選關鍵字集合來準確地關聯相關微博內容，用以實現微博數據內容自動篩選。Hao等[11]提出了一種微博新聞信息相關查詢范式，該范式對用戶提出的查詢任務進行重新定義，并將微博數據定義為動態詞語圖模型，將查詢范式與微博詞語圖模型進行匹配計算，獲得查詢結果。傳統微博搜索多采用查詢驅動結合內容相關性、擴展查詢[12]以及時效信息[13-14]等。

2.2 基于深度神經網絡方法的內容搜索

深度神經網絡方法在信息搜索領域的應用有效提高了信息搜索效率。Salakhutdinov和Hinton[15]提出了采用深度神經網絡進行ad-hoc信息搜索。該方法基于深度自編碼方法，用于無標記文檔搜索。Deng等[16]提出了深度堆疊網絡，并將該方法應用到以相關性預測為基礎的信息搜索任務。Bao和Wu[17]提出一種張量神經網絡，采用分層預訓練的思想來解決問答搜索問題，用于基于社區的問答系統答案自動搜索場景。

Wang等[18]利用深度神經網絡方法來挖掘同源數據的多模態語義相關性，并利用該多模態語義相關性進行跨媒體搜索。Ganguly等[19]提出一種廣義語言模型來實現基于詞嵌入的查詢似然語言建模，從而借助語言模型提升計算查詢相似度和匹配可靠程度。Shen等[20]對一些基于潛在語義卷積神經網絡的Web查詢搜索進行了討論，指出了將深度神經網絡應用于搜索匹配的關鍵所在。

Mitra等[21]提出了一種通過深度神經網絡對查詢和文檔的局部特征表示進行搜索和匹配的方法，依據輸入的關鍵局部查詢項作為模式對文檔中相應的內容進行匹配。通過詞嵌入生成的語義向量空間和深度神經網絡，對關鍵局部查詢項的表示特征進行學習，可有效進行匹配查詢。Guo等[22]提出利用深度神經網絡對文本統計特征進行學習，計算查詢相似度進行搜索匹配。

3 基于卷積神經網絡的微博話題內容搜索方法

3.1 問題描述和建模

采用監督學習方法對微博中的國民安全相關話題搜索問題進行建模。定義查詢為qi∈Q，其中qi為某一具體安全事件內容，Q為作為查詢的微博內容的集合。國民安全相關話題的微博內容包含反映國民安全話題內容的語義要素，這些語義要素是識別和篩選國民安全話題內容的關鍵局部語義特征。借助在線知識庫，如維基百科等，來提取這些語義局部特征，將該過程定義為如式（1）所示。

其中，r(·,·)將查詢q映射為在內容上構成相關安全事件E的語義要素。每個e代表某一具體語義要素。k(·)通過在線知識庫為r(·,·)提供知識參考，以獲得全面的要素集合。

具有相似或相關的安全話題微博內容可以通過m(·)獲得，定義如式（2）所示。

其中，rela(·)為具有相同或相似事件話題內容的微博集合。

通過深度卷積神經網絡可以對這些以詞匯為載體的局部意義特征進行學習，并在有效訓練的深度神經網絡模型上進行篩選和匹配。處理過程定義如式（3）所示。

其中，f(·,·)在微博C中依據目標語義要素搜索，并篩選相關微博文本內容D。

在此基礎上，對篩選獲得的微博文本內容進行匹配排序，依據查詢目標的相似度對結果進行排序處理，形成最終結果，如式（4）所示。

其中，rank(·)將篩選結果進行排序處理。

3.2 MS-DCNN方法的提出

本文提出了基于卷積神經網絡的微博話題內容搜索方法（MS-DCNN），包括基于深度卷積神經網絡對安全話題微博內容篩選和微博內容匹配。分別以“逐點查詢（point-wise）”和“配對查詢（pair-wise）”為基礎，對查詢內容和篩選結果進行局部語義特征非線性變換處理，進行相似度計算，得到匹配排序結果?；诰矸e神經網絡的微博話題內容搜索方法框架如圖1所示。

Fig.1 Microblog content search based on deep convolutional neural networks圖1 基于卷積神經網絡的微博話題內容搜索方法

本文提出的方法包括一個微博內容篩選模型和一個微博內容匹配模型，兩種模型分別基于卷積神經網絡。篩選模型基于深度學習方法依據查詢內容篩選相關微博文本內容，代替了傳統搜索方法中的索引功能。微博內容匹配模型對篩選后的微博內容進行排序。與傳統的信息搜索策略不同，本文提出的方法從局部語義特征學習和匹配等方面解決微博內容搜索問題，相對于基于詞項頻率和全局語義的傳統微博文本內容搜索方法具有一定優勢。

4 基于卷積神經網絡的微博話題內容搜索算法的設計與實現

依據微博數據特性，在預處理階段采用預訓練的詞嵌入方法，將微博數據內容處理為可計算張量，為進一步利用深度卷積神經網絡模型進行非線性變換處理做準備。微博內容篩選采用“單點查詢”，對與查詢目標微博內容相同或相關的安全話題內容進行篩選，實現相關目標內容快速定位。微博內容匹配基于深度卷積神經網絡對查詢目標和候選內容進行并行局部語義特征非線性變換，對變換結果進行相關相似度計算，得到最終的匹配排序結果。

4.1 數據預處理

本文采用中國科學院中文文本分析系統（Institute of Computing Technology，Chinese lexical analysis system，ICTCLAS）[23]對來自新浪微博的微博數據集進行分詞處理。在分詞工作完成后進行去除停用詞等降噪處理，將經過去停用詞等降噪處理后留下的詞稱為有效詞匯。一條由|p|個有效詞匯構成的微博為，其中wi為構成一段完整微博的第i個位置的詞匯。將每個詞匯映射為對應的d維表示向量，即詞向量V∈?d?？梢詫⒁粭l微博映射為一個|M|×|P|的表示矩陣，即三維張量M=＜Vw1,Vw2,…,Vw|P|＞ 。

4.2 基于深度卷積神經網絡的微博內容篩選

根據微博內容書寫習慣，長度一般不超過140個字符，并且在表達和語法上存在書寫隨意的特點，采用卷積神經網絡與詞嵌入相結合的方法對微博內容進行處理[24]。微博文本內容中夾雜著不規范的表達和多種符號信息，使得微博文本內容中的詞序和語法都被削弱，另外微博的主要話題大多通過分散在文本中的特定詞匯來表達，導致語義上的稀疏。因此，為適應微博內容的語義稀疏性，采用卷積神經網絡對潛在語義空間下的微博內容向量進行處理，利用卷積神經網絡在局部特征處理上的優勢來挖掘分散在微博文本內容中有用的局部語義。因此，針對獨特的微博文本內容的表達特點，采用了卷積神經網絡模型作為基礎來進行微博文本內容的篩選和匹配，從而實現微博話題內容搜索。

采用卷積神經網絡和詞嵌入方法處理微博內容，目的是能夠有效處理微博內容中起決定作用的分散的關鍵詞匯和短語，并充分利用其蘊含的局部語義特征?；谏疃染矸e神經網絡的微博內容篩選如圖2所示，其中包括兩個卷積層，兩個最大池化層和兩個全連接層。定義卷積核為f∈?m，卷積運算為*，對f與相應的微博張量Mp∈?|p|進行卷積運算。參考Severyn和Moschitti[25]的工作，將卷積定義為如式（5）所示。

式（5）中，C_Fp為微博數據與卷積核在卷積運算下的語義特征表示。該卷積運算在微博語義空間中由位置i運算到位置i+m-1。池化運算與卷積運算搭配進行，在網絡結構中卷積層后緊跟池化層。這里采用最大池化，定義如式（6）所示。

Fig.2 Microblog content filtering on topics based on deep convolutional neural networks圖2 基于深度卷積神經網絡微博話題內容篩選

基于深度卷積神經網絡的微博內容篩選描述如算法1所示。

算法1基于深度卷積神經網絡微博話題內容篩選算法

輸入：預訓練微博話題內容篩選模型和參數，待篩選微博文本數據的嵌入空間表示向量。

輸出：相關微博內容篩選結果。

步驟1加載預訓練微博話題內容篩選模型和參數。

步驟2輸入待篩選微博文本數據。

步驟3通過微博話題內容篩選模型對待篩選數據的嵌入空間表示向量進行卷積和最大池化運算，獲得面向局部語義特征的深度特征表示。

步驟4通過全連接神經網絡對步驟3所獲得的深度特征表示進行非線性變換計算。

步驟5利用Softmax計算內容相關概率分布。

步驟6記錄結果。

步驟7重復步驟2至步驟6直至篩選過程完成。

步驟8返回篩選結果。

4.3 基于深度卷積神經網絡的微博內容匹配

其中，θ為深度卷積神經網絡結構各部分參數，P(q,d+)為文檔d+的相似度排名高于d-的概率分布，定義如式（8）所示。P(q,d+)依據帶有標記的訓練數據來計算。另外，依據交叉熵的定義，這里取a=2進行計算。

通過深度卷積神經網絡對微博文本的局部語義特征進行處理，獲取有效微博內容特征表示，并篩選了與查詢目標相關的內容。參考Dehghani等[26]提出的模型，采用“配對查詢”對篩選結果進行匹配排序處理。匹配過程分別對查詢目標內容和篩選結果進行運算處理，以微博原始語義空間非線性變換處理為核心，得到更低維的語義空間，并在此低維空間基礎上采用特征融合的方式，計算篩選結果與查詢目標的內容相似度，對篩選結果依據相似度進行排名，微博內容匹配框架如圖3所示。采用改進的Softmax對融合特征進行相似度分布計算。在訓練過程中采用正例d+和反例d-的“配對查詢”，定義基于交叉熵用于訓練的損失函數如式（7）所示。

P(q,d-)類似于P(q,d+)。匹配和排序的目的是計算查詢目標與篩選得到的微博內容之間的相似度，基于改進Softmax的相似度定義如式（9）所示。

Pr(q)改進于Softmax定義如式（10）所示。

Fig.3 Microblog content matching based on deep convolutional neural networks圖3 基于深度卷積神經網絡的微博話題內容匹配

其中，Fuq為特征融合的表示向量，用于計算排序相似度。函數nlargest(·)用于獲得式（10）中相似度概率分布中具有最大相似度的一項，并返回該相似度?；谏疃染矸e神經網絡的微博內容匹配如算法2所示。

算法2基于深度卷積神經網絡的微博內容匹配算法

輸入：微博文本內容篩選結果。

輸出：帶有安全類話題內容的搜索排序結果。

步驟1加載預訓練微博話題內容匹配模型和參數。

步驟2輸入嵌入空間特征向量表示下的查詢內容和待排序內容。

步驟3通過微博話題內容匹配模型對待篩選數據的嵌入空間表示向量進行卷積和最大池化運算，獲得面向局部語義特征的深度特征表示。

步驟4通過式（11）、式（12）計算篩選結果和查詢內容之間的相似度。

步驟5基于相似度對結果排序。

步驟6重復步驟2至步驟5直至待排序數據處理完成。

步驟7返回結果。

4.4 相似度計算

對查詢目標內容和篩選結果進行相似度計算，相似度定義如式（11）所示。

其中，CNN_non_linear(·)為基于深度卷積神經網絡的非線性變換，由卷積計算和最大池化計算組成，如式（5）和式（6）所示。卷積特征Fq∈R|q|和Fd∈R|d|通過C(·,·)進行融合，如式（12）所示。

其中，運算*為定義在卷積核f上的卷積計算，bi和bj為相應的偏置項。運算⊕定義為融合運算。卷積核的尺寸為m，在對應語義空間的位置i開始進行卷積和最大池化計算。

5 實驗結果與分析

采用從新浪微博爬取的數據集，通過實驗對本文提出的MS-DCNN方法與對比方法進行驗證與分析。與傳統信息搜索算法BM25[3]、基于全連接深度神經網絡的搜索算法DSSM[5]、基于深度卷積神經網絡的搜索算法CLSM[6]和Hu等[27]提出的基于卷積神經網絡的搜索方法Architecture-II進行對比。

5.1 實驗設置

采用的數據集為爬取的新浪微博數據，時間跨度為從2009年9月2日至2016年9月7日的621 718條微博數據，其中238 726條微博為有效正例數據。正例數據中包括4類安全事件話題內容，分別為“恐怖襲擊類”“意外傷害類”“醫療事故類”和“自然災害類”。除將數據集分為正例、噪聲數據外，將該數據集的70%用作訓練集，30%用作測試集。數據分布如表1所示。

5.1.1 數據集

Table 1 Microblog data set quantity distribution表1 微博數據集數量分布

5.1.2 評價指標

采用標準化折扣累積增益（normalized discounted cumulative gain，NDCG）[28]、均值平均精度（mean average precision，MAP）[29]和查詢準確率（precision）評價上述方法的Topn搜索匹配效果。

5.2 MS-DCNN與四種對比方法在三個評價指標上的實驗結果與分析

在數據集上將MS-DCNN與BM25、DSSM、CLSM和Architecture-II四種對比方法通過計算前n項的NDCG、MAP和Precision進行對比與分析。

5.2.1 在恐怖襲擊類安全話題上的實驗結果與分析

在恐怖襲擊類安全話題上的實驗結果如表2和圖4所示。從數據特性上看，恐怖襲擊類微博話題內容包括明顯指代“安全”語義的詞匯，例如“造成傷亡”“恐慌”等。這些詞匯在嵌入語義空間中具有鮮明的特征分布，通過卷積計算和池化計算等非線性變換所得到的語義特征空間中，這些具有鮮明的“安全”語義的詞匯也具有明確的特征分布。本文采用基于深度卷積神經網絡對這些詞匯在嵌入語義空間下的特征進行處理，獲得了針對局部語義的特征表示，并進行篩選和匹配，得到的實驗結果較其他對比方法在搜索評價指標上均有所提高。

Fig.4 Measures of search performance on terrorist attack event topics圖4 在恐怖襲擊類安全話題上的搜索評價

5.2.2 在意外傷害類安全話題上的實驗結果與分析

如表3和圖5所示，DSSM方法和CLSM方法以全局語義深度特征表示為基礎，對局部語義要素信息也具有一定敏感性，使得兩種方法在相同安全話題內容上的評價結果相近。通過訓練深度卷積神經網絡，對能夠表示“安全”的語義詞匯要素進行處理，使得深度網絡結構對此類語義要素敏感。意外傷害類安全話題微博文本的數據特性類似于恐怖襲擊類微博文本的數據特性，包含大量語義要素。通過預訓練深度卷積神經網絡，可以對此類語義要素所包含的語義特征進行有效處理，并獲得適當的深度特征表示。因此本文方法（MS-DCNN）在恐怖襲擊類安全話題和意外傷害類安全話題數據上的搜索結果優于其他對比方法。

Table 3 Top nmeasures of search performance on accidental injury event topics表3 在意外傷害類安全話題上的搜索性能top n評價

Fig.5 Measures of search performance on accidental injury event topics圖5 在意外傷害類安全話題上的搜索評價

5.2.3 在醫療事故類安全話題上的實驗結果與分析

如表4和圖6所示，MS-DCNN與對比方法在評價指標上低于其他安全類話題內容的評價結果，原因是此類安全類話題數據內容在“安全”語義詞匯上區別于其他類安全話題，造成局部語義差別，使得深度網絡結構不敏感。這是因為用戶在討論關于醫療事故類安全話題時并非一直關注于“安全”語義本身，而是較多討論其他相關主題內容，因此導致以全局語義特征表示的對比方法在此類安全話題內容上的搜索指標值相對較低。本文方法（MS-DCNN）采用深度卷積和池化計算來處理局部語義特征，通過局部語義要素空間特征計算獲得的特征表示來訓練，因此可以對混雜在內容中的“安全”話題內容進行計算處理。

Table 4 Top nmeasures of search performance on medical accident event topics表4 在醫療事故類安全話題上的搜索性能top n評價

Fig.6 Measures of search performance on medical accident event topics圖6 在醫療事故類安全話題上的搜索評價

5.2.4 在自然災害類安全話題上的實驗結果與分析

如表5和圖7所示，此類安全話題數據上的整體評價結果優于其他安全類話題。從數據特性上分析可知，此類安全話題數據的語義特征在深度特征空間中相對集中，原因是用戶在微博平臺上討論自然災害類安全話題的內容相對局限，關注對象內容較單一，使得該部分內容局部語義特征較明顯且集中，深度網絡結構對此類內容特征較敏感。

Table 5 Top nmeasures of search performance on natural disaster event topics表5 在自然災害類安全話題上的搜索性能top n評價

Fig.7 Measures of search performance on natural disaster event topics圖7 在自然災害類安全話題上的搜索評價

5.3 MS-DCNN在合并數據上的實驗結果與分析

為了消除微博數據在安全話題類別上的差異，將四類安全話題數據進行合并，從方法特性方面對實驗結果進行評價。如表6、圖8、圖9和圖10所示，本文提出的MS-DCNN方法較BM25、DSSM、CLSM和Architecture-II在NDCG和MAP兩個評價指標上均有所提高。

Table 6 Top nmeasures of search performance on combined dataset of multiple topics表6 在合并數據上的搜索性能top n評價

Fig.8 NDCGmeasures on combined dataset圖8 在合并數據上NDCG評價結果

BM25以自然語言詞袋模型為基礎，對具有語義稀疏性的文本數據難以捕獲其語義特征，因此在處理微博文本數據內容上，由于微博文本與傳統文本具有表達隨意性和語義模糊性的特點，使得BM25在性能上比其他基于卷積神經網絡的方法差。

Fig.9 MAPmeasures on combined dataset圖9 在合并數據上MAP評價結果

Fig.10 Precisionmeasures on combined dataset圖10 在合并數據上Precision評價結果

如圖9和圖10所示，DSSM和CLSM方法在MAP和Precision上的評價結果相近，原因在于DSSM和CLSM均基于詞語哈希的自然語言表示方法，并通過有監督訓練進行搜索匹配。這兩種方法在全局語義特征處理上具有一定優勢，但是相對于局部語義噪聲的魯棒性較低，對于具有獨特特性的微博短文本數據表現相對較差。

如圖8、圖9和圖10所示，Architecture-II和CLSM在NDCG、MAP和Precision上的評價結果好于DSSM，原因在于Architecture-II和CLSM均采用具有卷積神經網絡的計算方法來處理搜索匹配問題。Architecture-II方法將卷積神經網絡所提取的表示空間進行融合，在盡可能保證表示空間為原始狀態下進行非線性自然語言表示特征變換。該方法對局部語義噪聲尤其是語義歧義過濾不足，同樣存在對于局部噪聲的魯棒性較低的問題。

6 結束語

結合社交網絡數據特性，有效挖掘并找出隱藏的局部語義信息，是提高社交網絡搜索效率和準確率的關鍵因素。與傳統文本信息檢索搜索數據環境不同，微博文本環境具有長度有限、表達和書寫隨意等特性，導致微博文本內容語義具有歧義性。本文提出了一種基于深度卷積神經網絡的微博話題內容方法（MS-DCNN），該方法對微博文本數據局部語義進行特征挖掘，并以此為基礎實現搜索和匹配。實驗結果表明本文方法（MS-DCNN）的有效性和優勢。下一步工作將繼續完善該方法在局部語義特征處理上的研究，結合索引模型，對具有相似局部語義特征的微博數據進行索引化編碼，尤其是對語義噪聲進行處理，并擴展該方法至社交網絡搜索的其他方面。