語義約束和時間關聯LDA的社交媒體主題詞鏈提取

萬紅新，彭 云

1(江西科技師范大學 數學與計算機科學學院，南昌 330038) 2(江西師范大學 計算機信息工程學院，南昌 330022) E-mail ：wanhongxin@126.com

1 引 言

隨著互聯網的發展和普及，網民規模及社交媒體呈現爆發式增長趨勢.截至2017年6月，中國網民規模達7.51億，半年共計新增網民1992萬人，互聯網普及率為54.3%，各類論壇/bbs和微博社交媒體的用戶規模數達到4.23億[1].由于互聯網信息傳播具有迅速、便捷的特點，人們愿意在網絡上通過多種途徑發表自己的觀點和看法.一些事件在社交媒體傳播過程中會引起公眾的極大關注和熱烈討論，在網絡上快速形成評論文本大數據，其中蘊含著大量的主題信息.如何從不斷涌現的海量非結構文本數據中，尤其是具有復雜語法和語義表達的中文文本，有效地發現熱點主題以及捕捉熱點主題演變趨勢，是社交媒體主題發現和提取所面臨的挑戰.本文提出的模型可以進行動態主題詞鏈的提取，即不僅僅發現評論對象(評論主體)，同時可以提取與之匹配的評論詞(情感詞)，而且可以獲取其隨時間的變化情況.將以國內知名微博、論壇等的實際社交媒體文本為數據源，在對中文評論文本的語法結構、語義特征進行分析的基礎上，提出語義約束和時間關聯的SCTA-LDA(semantic constrained and time associated LDA)模型，在改善LDA的語義理解能力的同時提高LDA的時間敏感度，以有效提取動態的主題詞鏈.

2 相關研究

一些研究利用機器學習的方法進行文本主題詞語的發現和提取.文獻[2]定義了社交媒體文本之間語義和內容等復合關聯關系，從這種關系中發現網絡文本的主題熱點；文獻[3]針對微博信息噪音大、新穎度難以判斷的問題，在動量模型的基礎上進行優化，提出了基于時序分析的微博突發話題檢測方法；文獻[4]基于網頁聚類生成的主題關鍵詞進行組合生成子話題，并以吸收馬爾可夫鏈對子話題進行吸收衍化，進行重排序提取熱點子話題；文獻[5]提出主題詞頻數進行加權的共現分析方法，利用詞語對的最大信息系數來度量主題詞聚類的相似性，并識別網絡社交媒體文本中的熱點主題；文獻[6]構建基于老詞生命值計算的熱詞間相關性詞語共現網絡，并引入多標簽傳播方法解決話題間重疊熱詞以及時效性等問題，設計聚類算法獲取熱點主題集；文獻[7]提出了一種網絡社交媒體預測模型，通過主題分割、熱點提取和數據聚合獲取原始數據，然后利用相空間重構社交媒體的時間序列，最后將時間序列輸入支持向量機進行建模和預測；文獻[8]指出熱點發現在于提取社交媒體文本的特征，提出了結合粗糙集和最大熵的模型系統來發現社交媒體熱點主題.

隨著社交媒體文本的大數據化趨勢，常規的機器學習方法很難處理海量的文本數據，特別是有監督的機器學習方法，需要對大量的數據進行人工標注.一些研究利用LDA(latent Dirichlet allocation)[9]主題模型的無監督特點，在實現有效文本降維和主題詞提取的基礎上進行社交媒體主題發現.LDA主題模型是一種文本概率生成模型，其主要思想為：文檔是主題的隨機混合，而主題是詞語的概率組合，利用文檔-主題和主題-詞語的分配過程來生成文檔.LDA將表達文本的詞向量轉化為主題向量，大大地降低了文本維度，同時在文檔的生成過程中可以提取主題詞.文獻[10]提出DTM(dynamic topic model)主題模型，將離散化的時間片信息加入到LDA，生成按時間片序列分布的文本語料片，從而獲取隨時間演化的文本主題；文獻[11]提出一種基于可擴展 LDA模型的微博主題特征抽取方法，利用詞語權重調整方法篩選高貢獻度高頻詞語，基于bootstrap思想，迭代產生特征詞條候選集，引入信息熵值理論篩選主題詞條，并利用四維泛化分類實現對特征詞條的泛化和歸類；文獻[12]基于話題熱度和內容兩方面變化建立動態主題模型，挖掘隨時間變化的動態主題鏈，并提出主題熱度計算方法；文獻[13]基于LDA提取微博中的隱含主題，利用主題間的共用詞匯關聯將主題構成一個無向加權圖，并通過PageRank算法將主題排序以獲取熱度主題；文獻[14]針對社交網絡中海量短文本信息具有高維性以及主題分布不均，提出一種基于LDA主題模型的CBOW-LDA(continuous bag-of-word LDA)主題建模方法，通過引入基于CBOW模型的詞向量化方法對目標語料進行相似詞的聚類，能夠有效降低LDA模型輸入文本的維度，并且使主題更明確；文獻[15]提出基于LDA主題模型的社交媒體觀點挖掘方法，分析了LDA在海量評論文本中提取社交媒體觀點的優勢及路徑；文獻[16]針對傳統LDA主題模型忽視節點重要性的問題，提出一種新的社會網絡主題發現算法iMLDA (importance-latent Dirichlet allocation).算法將LDA主題模型與基于Pagerank的節點重要性算法相融合，充分挖掘社會網絡中蘊含的結構信息，提高主題發現的準確率；文獻[17]針對目前提取主題詞和評論詞時，往往沒有考慮它們之間關聯關系，提出了主題-評論TS(topic-sentiment)主題模型，并基于Gibbs抽樣過程進行模型參數推導.TS模型中同樣主題的不同描述對應了不同的評論情感傾向，強調評論情感極性的分布和特定主題的關聯性.模型考慮了評論對象與評論詞的關聯性，通過在LDA中加入情感層來實現，但沒有分析低頻局部評論對象和評論詞的關聯性；文獻[18]采用LDA主題模型進行文本建模，得到所有用戶內容在各個不同主題上的分布，并基于興趣話題集合構造了一組話題相似性特征用于鏈路預測；文獻[19]提出了一種基于加權LDA的熱門主題獲取方法.從提取表征話題的主題詞角度，改進LDA詞語分配權重，并將類別區分詞方法應用于詞序優化，在主題-詞語的分配過程中引入文檔貢獻度和話題權值概率；文獻[20]提出了一種詞聚類LDA的商品評論對象的提取模型，利用詞義相似度和上下文相關性計算詞語間聚類距離，并以詞語聚類簇作為先驗知識影響LDA進行主題-詞語分配，從而提取更符合語義要求的主題評論對象.

從上述研究現狀可以看出，相對于機器學習方法，主題模型是一種無監督學習模型，不需要進行數據的人工標注，并且對文本具有降維作用，所以較適于處理大規模的文本數據.同時主題模型提取的主題詞可以反映所關注的焦點內容，在分配過程中可以實現詞語的聚類，即主題模型不僅能發現主題熱點詞，而且能發現它們之間的潛在關聯性，從而實現主題詞鏈的提取.在社交媒體文本大數據化的背景下，利用改進的主題模型進行關鍵詞挖掘也日漸成為主題發現的研究趨勢之一.由于社交媒體文本存在復雜的語義關系，同時討論主題具有動態變化性，本文將語義獲取和動態主題提取進行有機結合，提出融合語義約束和時間關聯的社交媒體動態主題詞鏈提取模型，從而有效獲取社交媒體評論主題信息及其變化趨勢.

3 語義關系獲取

利用同義詞語義關系獲取同義評論對象關聯關系，并利用關聯關系來影響LDA的主題-詞語分配，有利于提取更多的低頻評論對象.以句子為單位基于依存句法分析和詞性分析來發現評論對象和評論對象、評論對象和評論詞之間的關聯關系，并通過改進的PMI、詞頻關聯等算法計算關聯強度，最后利用這些關聯關系和關聯強度來影響LDA模型中詞語的主題分配，以便發現更多的低頻評論對象、低頻評論詞及其關聯關系.

3.1 同義評論對象關系提取

關注評論對象的同義性，同義評論對象可以互相取代，應盡量分配到同一主題，如“罪犯”“不法之徒”“違法者”“犯罪分子”“罪人”“以身試法者”等，這類評論對象具有較強的同義語義關系，一些低頻的評論對象可以通過同義性關聯到高頻評論對象，從而有利于LDA的識別.

圖1 評論對象的同義語義關系圖Fig.1 Synonymy semantic of the comment objects

候選評論對象是名詞和動名詞，利用《同義詞詞林擴展版》的層級結構可以獲取候選評論對象之間的同義關系，公式如式(1)所示，其中S(wi，wj)等于1表示評論對象詞語w1和w2具有同義性，l1-4表示同義詞詞林的前四層結構.

(1)

在獲取評論對象間的同義關聯集后，可構建如圖1所示的語義關系圖，每一個連通子圖對應一個同義評論對象聚類簇，并依此構建同義關聯組合集Ssoo.

3.2 低頻評論詞與評論對象關系提取

3.2.1 構建候選組合集

利用依存句法關系發現句子中的典型評論對象-評論詞句法結構，并運用詞性關系限制得到候選關聯組合集，設置規則如下：

規則1.依存句法關系滿足SBV(主謂關系)，詞性關系滿足名詞+形容詞，其中的名詞對應評論對象，形容詞對應評論詞.

例1.“這次車禍非常慘烈.”“車流慢但是秩序很好.”2個句子的依存句法分析及詞性標注如圖2所示.其中，句1的關聯組合單元為<車禍，慘烈>，句2具有并列關系，關聯組合單元為<車流，慢>和<秩序，好>.

圖2 例1的依存句法分析及詞性標注Fig.2 Dependency parsing and POS tagging for example 1

通過規則1可以構建候選關聯組合集Sor1，利用S-PMI(sentence pointwise mutual information)計算Sor1中的元素的詞語關聯度，公式如式(2).

(2)

其中，fc(wi，wj)是詞語wi和wj在句子中的共現頻率，f(wi)是wi的詞頻，f(wj)是wj的詞頻.低頻評論詞和評論對象的句式結構關系同樣滿足規則1，可以利用規則1提取的候選關聯組合集Sor1，在此基礎上計算關聯度.

3.2.2 抽取低頻評論對象-評論詞的組合

低頻評論詞一般只修飾比較固定的評論對象，一些低頻的評論詞很難被LDA發現.為了提高低頻評論詞與其修飾的評論對象的關聯度，從詞頻比與共現頻率差值進行分析，即不僅考察共現頻率，而且考察相互的專有性，其關聯度計算如式(3).

(3)

其中，ζ1是詞頻閾值，p′是候選關聯組合中wi和wj的詞頻比，f′(wi)是wi詞頻與共現頻率fc(wi，wj)的差值.取關聯度值大于一定閾值的關聯組合并進行歸一化后構成低頻評論對象-評論詞關聯集合Slor.

3.2.3 評論詞組合關系的提取

由于評論文本情感表達中經常使用多個詞語組合的形式，如“影響很大”“影響不大”“影響不太大”“影響很不明顯”等，其中的主體評論詞都不同程度地和副詞、否定詞進行結合，形成了評論詞組合，并且不同組合表達的情感語義也不相同.在主題模型的主題詞提取過程中如果將這些詞語分開提取的話，會影響評論詞語對評論對象真實情感的表達.所以對于此類組合式情感表達可以進行預先評論詞組合關系提取.利用句法分析來發現評論詞的組合關系，即不僅僅提取單個主體評論詞，而是將否定詞和程度副詞也同時提取，這樣才能獲得較完整的評論語義.利用以下規則來發現評論詞組合關系：

規則2.一個單句中滿足SBV(主謂關系) + ADV(狀中結構)依存結構關系，或SBV(主謂關系) + ADV(狀中結構) + ADV(狀中結構)依存結構關系，對應的“副詞(或否定副詞‘不’) + 形容詞”，或“副詞(或否定副詞‘不’) + 否定副詞‘不’(或副詞) + 形容詞”構成評論詞組合，其中形容詞為主體評論詞.

圖3 詞性標注和依存句法分析Fig.3 Dependency parsing and POS tagging for the examples

根據規則2，從圖3中可以識別出評論詞組合“很大”“不大”“不太大”“很不明顯”.

4 SCTA-LDA模型設計

4.1 語義約束和時間關聯機制

1)詞語語義關系對主題-詞語分配的約束.在對詞語w進行主題分配時，首先判斷是否存在于同義詞關聯集合Ssoo中，如果存在則盡量將該詞語分配到同義詞最多的主題中；否則，以句子為單位找到詞語w前一位置相鄰詞語wp，然后判斷是否存在于集合Slor.如果存在，則需要在LDA的概率分配中進行約束，根據候選關聯組合的關聯度值來增強句子中匹配詞語間的分配概率，即詞語wp和w被分配到同一主題的概率高于LDA的原始分配概率.

圖4 SCTA-LDA模型圖Fig.4 SCTA-LDA model

2)SCTA-LDA的時間關聯主要包括2個方面：① 時間片對主題個數約束的設置；② 時間片內的主題-詞語分配的約束.相對于標準LDA模型主題個數設置的不受約束，SCTA-LDA的主題個數與時間片個數形成動態關聯，即由時間片的數量來決定主題個數；SCTA-LDA加入和時間片關聯的主題-詞語分配權重因子，使得同一時間片內的詞語分配到同一主題的概率要高于非同一時間片內詞語.

4.2 SCTA-LDA結構設計

在主題模型LDA中加入時間層，形成四層模型結構：文檔層、時間層、主題層和詞語層，可以獲取隨時間變化的主題詞，并通過主題聚類識別主題詞間的關聯性，實現動態主題詞鏈發現.SCTA-LDA模型結構如圖4所示，符號說明見表1.

表1 SCTA-LDA模型符號說明Table 1 Notation of SCTA-LDA

4.3 SCTA-LDA的文檔生成過程

SCTA-LDA模型的文檔生成算法如表2所示.

表2 SCTA-LDA文檔生成算法Table 2 Text generation algorithm of SCTA-LDA

4.4 SCTA-LDA模型參數估計

(4)

可推導，SCTA-LDA模型Gibbs抽樣的概率估算公式如式(5)所示.

(5)

由式(5)，可推導出SCTA-LDA四個分布參數的估算如式(6)、(7)、(8)和(9)所示.

(6)

(7)

(8)

(9)

5 實驗分析

5.1 數據集選擇及設置

數據采集于新浪微博(http：//weibo.com)的文本數據，共采集了92 427篇評論文檔，共包含2 865 237個句子.分詞工具采用中科院ICTCLAS，依存句法分析采用哈工大LTP[21].進行實驗效果比較的主題模型分別為SCAT-LDA、DTM[10]、TS[17]和LDA[9]，均采用Gibbs抽樣進行參數估計.主題模型測試集和訓練集評價文檔數的比例設置為1：10.相關系數設置為：文檔-主題概率分布參數α為50/K，K為主題個數，top-n取值為20(即在每個主題中取按概率降序排列的前top-n個詞語作為主題詞)；主題-詞語概率分布參數β為0.01，抽樣次數為1 000次，采用10-fold交叉驗證.比較標準使用人工標注的評論對象集合、評論詞集合和評論對象-評論詞組合集，采用準確率P(Precision)、召回率R(Recall)和F值來評估不同模型的主題詞語提取效果.

5.2 實驗比較分析

5.2.1 評論對象提取

評論對象提取的準確率和召回率如圖5和圖6所示.其中，橫坐標為主題個數K，縱坐標為準確率P和召回率R.

圖5 評論對象提取的準確率比較Fig.5 Precision comparison of comment objects extraction

圖6 評論對象提取的召回率比較Fig.6 Recall comparison of comment objects extraction

從圖5進行分析，SCTA-LDA在不同主題數時都具有更高的準確率.在主題數目大于等于90的時候，其他模型的準確率下降趨勢較明顯，而SCTA-LDA由于引入了語義約束，能夠捕捉低頻評論對象，所以下降趨勢不明顯.LDA傾向于提取全局性的高頻評論對象，并且沒有時間的約束，在主題數較大的時候，準確率下降更為明顯.

從圖6進行分析，主題數少的時候，由于提取的主題詞語有限，各個模型的召回率相差不大.隨著主題數的增加，SCTA-LDA的優勢逐漸體現出來.在主題數較高的時候，語義約束和時間關聯下的SCTA-LDA能夠識別更多的低頻評論對象，而其他模型難以進一步發現低頻評論對象.例如，SCTA-LDA可以發現低頻的同義評論對象，如與高頻評論對象“罪犯”同義的“以身試法者”，而其他模型難以發現此類低頻評論對象.

5.2.2 評論詞提取

評論詞提取的準確率、召回率如圖7和圖8所示.其中，橫坐標為主題個數K，縱坐標為準確率P和召回率R.

圖7 評論詞提取的準確率比較Fig.7 Precision comparison of opinion words extraction

從圖7和圖8進行分析，可以發現SCTA-LDA的準確率優勢較明顯，召回率優勢隨著K的增加也逐漸表現出來.表明語義約束可以提高低頻評論詞的分配概率，從而更多地發現關聯于相對高頻評論對象的低頻評論詞.由于TS考慮了主題和評論詞的關聯，所以評論詞提取的準確率和召回率要高于DTM和LDA.

圖8 評論詞提取的召回率比較Fig.8 Recall comparison of opinion words extraction

SCTA-LDA的R值隨著主題數的增加其上升趨勢很迅速，也說明了一些低頻評論詞通過關聯約束更好地匹配到了相對應的評論對象，隨著這類評論對象的提取而提高了與其關聯評論詞的發現率.例如，一些低頻評論詞，如關聯與評論對象“事故”的評論詞“蹊蹺”、“不可理喻”等，在LDA、DTM和TS中沒有發現，而在SCTA-LDA模型中得以發現.

5.2.3 評論對象-評論詞匹配組合提取

評論對象-評論詞匹配組合提取的準確率和召回率可以考察模型的主題詞鏈提取能力，應盡量將匹配程度高的詞語分配到同一主題.匹配組合提取的P和R如圖9和圖10所示.其中，橫坐標為主題個數K，縱坐標為準確率P和召回率R.

圖9 匹配組合提取的準確率比較Fig.9 Precision comparison of matching group extraction

從圖9進行比較分析，在各個主題數下，SCTA-LDA模型提取匹配組合的準確率都高于其他模型，表明在語義約束和時間關聯情況下，LDA模型可以提取更符合語義要求的主題詞語.TS模型的準確率高于DTM，說明引入主題-評論詞關聯的LDA相對于時間關聯的LDA更能獲取匹配關系.由于LDA沒有加入先驗知識，難以發現一些低頻詞語關系，所以匹配組合提取的準確率偏低.

圖10 匹配組合提取的召回率比較Fig.10 Recall comparison of matching group extraction

從圖10進行比較分析，LDA傾向于發現高頻詞語和高頻共現關系，導致了詞頻較高的詞語在各主題下被重復提取，影響了其他詞語及詞語關系的提取.DTM和TS引入了相應約束后，對于詞語關系的發現率有了明顯改善.而SCTA-LDA在語義約束和時間關聯的作用下，提高了單位時間內的低頻詞語關系的提取率，可以發現一些LDA、DTM和TS模型難以發現的低頻匹配組合，例如，<事故，蹊蹺>、<以身試法者，窮兇惡極>等.

5.2.4 評論對象及評論詞語提取性能比較

對只加入語義約束的LDA模型(記為SC-LDA)、只加入時間關聯的LDA模型(記為TA-LDA)和SCTA-LDA模型進行比較，分析各個模型對于評論對象及評論詞的提取能力，用F值進行評估，如圖11所示.

圖11 評論對象和評論詞提取的F值比較Fig.11 F comparison of comment objects and opinion words extraction

從圖11進行比較分析，在各個主題數下，SCTA-LDA模型的F值均高于其他2個模型，說明相對于僅僅加入一種先驗知識的LDA模型，同時加入語義約束和時間關聯因子的LDA模型具有更好的評論對象和評論詞提取效果.SC-LDA模型的F值高于TA-LDA模型表明語義約束對于主題詞鏈的提取更有幫助，能夠提取一些低頻評論對象及其關聯的評論詞語.加入時間關聯的TA-LDA模型，雖然增加了主題詞語聚類的時間區分度，但對低頻詞語的提取率沒有明顯改善.

6 結束語

由于LDA主題模型可以從大規模的社交媒體文本數據中提取主題詞，并通過主題聚類發現潛在的評論對象和評論詞之間的關系，許多研究利用LDA模型來實現基于主題聚類的主題詞提取.但由于LDA模型語義理解能力的不足，同時對時間缺乏敏感性，提取的主題詞鏈往往不能滿足主題分析的要求，尤其是面對具有復雜語法及語義結構的中文社交媒體評論文本.

根據中文社交媒體評論的特點，充分考慮LDA主題模型文檔-主題-詞語的概率分配機制的基礎上，通過引入語義約束和時間關聯，指導LDA進行主題-詞語分配.其中語義約束可以提升LDA對低頻評論對象、評論詞及其關系的提取率，時間關聯可以提高LDA的時間敏感性，實現動態主題詞語的獲取.實驗結果表明，提出的SCTA-LDA模型對評論對象和評論詞的提取具有較高的準確率和召回率，同時對評論對象-評論詞匹配關系也具有較好的聚類效果，通過這些詞語及其關系的獲取，可以實現大規模文本數據下的中文社交媒體主題的有效提取和分析.

[1] The 40th China statistical report on internet development [EB/OL].http：//www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201708/P020170807351923262153.pdf，2017.

[2] Zhi S，Qinke P.An opinion detection algorithm based on online posts′ relation[C].Proceedings of the 13th International Conference on Computer and Information Science (ICIS)，2014：153-156.

[3] He Min，Xu Jie，Du Pan，et al.Bursty topic detection method for microblog based on time series analysis[J].Journal on Communications，2016，37(3)：48-54.

[4] Wei Ming-chuan，Zhu Jun-jie，Zhang Jin，et al.An algorithm for subtopic detecting based on absorbing Markov chain[J].Journal of Chinese Information Processing，2014，28(1)：41-46.

[5] Li Lei，Liu Ji，Zhang Hong-kui.Topics identification and evolution trend of network public opinion based on co-occurrence analysis[J].Information Science，2016，34(1)：44-47+57.

[6] Chen Yu-zhong，Fang Ming-yue，Guo Wen-zhong.Research on multi-label propagation clustering method for microblog hot topic detection[J].Pattern Recognition and Artificial Intelligence，2015，28(1)：1-10.

[7] Song L，Wu H，Zhang Z.Research on SVM prediction model based on chaos theory[J].Advanced Science and Technology Letters，2016，123(13)：59-63.

[8] Devi K N，Bhaskaran V M.Rough set and entropy based feature selection for online forums hotspot detection[J].International Journal of Computer Applications，2015，117(10)：37-41.

[9] Blei D，Ng A Y，Jordan M I.Latent dirichlet allocation[J].Journal of Machine Learning Research，2003，3(3)：993-1022.

[10] Blei D，Lafferty J D.Dynamic topic models[C].Proceedings of the 23rd International Conference on Machine Learning (ICML)，2006：113-120.

[11] Qiu Ming-tao，Ma Jing，Zhang Lei，et al.A feature extraction method of microblog based on a scalable topic LDA model[J].Information Science，2017，35(4)：22-26+31.

[12] Cao Li-na，Tang Xi-jin.Trends of BBS topics based on dynamic topic model[J].Journal of Management Sciences in China，2014，17(11)：109-121.

[13] Li Feng-ling，Zhu Bao-ping.On LDA-based microblogging topic detection[J].Computer Applications and Software，2014，31(10)：24-26.

[14] Guo Lan-tian，Li Yang，Mu De-jun，et al.A LDA model based topic detection method[J].Journal of Northwestern Polytechnical University，2016，34(4)：698-702.

[15] Chen Xiao-mei，Gao Cheng，Guan Xin-hui.Extraction method of network public opinion based on LDA topic model[J].Library and Information Service，2015，59(21)：21-26.

[16] Qiu Li-qing，Chen Zhuo-yan，Ding Chang-qing，et al.A novel topic discovery algorithm iMLDA based on modified LDA topic model in social networks[J].Information Science，2016，34(9)：115-188+133.

[17] Dermouche M，Kouas L，Velcin J，et al.A joint model for topic-sentiment modeling from text[C].Proceedings of the 30th ACM Symposium on Applied Computing (SAC)，2015：819-824.

[18] Wang Fei-fei，Yang Yang，Jiang Fei，et al.A link prediction method based on similarity of user′s topics[J].Journal of xi′an Jiaotong University，2016，50(8)：103-109.

[19] Li Xiang-dong，Ba Zhi-chao，Huang Li.News topic mining method based on weighted latent Dirichlet allocation model[J].Journal of Computer Applications，2014，34(5)：1354-1359.

[20] Peng Yun，Wan Chang-xuan，Jiang Teng-jiao，et al.An algorithm based on words clustering LDA for product aspects extraction[J].Journal of Chinese Computer Systems，2015，36(7)：1458-1463.

[21] Che W X，Li Z H，Liu T.LTP：a Chinese language technology platform[C].Proceedings of the 23rd International Conference on Computational Linguistics (COLING)，2010：13-16.

附中文參考文獻：

[1] 第40次中國互聯網絡發展狀況統計報告[EB/OL].http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201708/P020170807351923262153.pdf,2017.

[3] 賀 敏，徐 杰，杜 攀，等.基于時間序列分析的微博突發話題檢測方法[J].通信學報，2016，37(3)：48-54.

[4] 魏明川，朱俊杰，張 瑾，等.基于吸收馬爾可夫鏈的子話題發現方法[J].中文信息學報，2014，28(1)：41-46.

[5] 李 磊，劉 繼，張竑魁.基于共現分析的網絡輿情話題發現及態勢演化研究[J].情報科學，2016，34(1)：44-47+57.

[6] 陳羽中，方明月，郭文忠.面向微博熱點話題發現的多標簽傳播聚類方法研究[J].模式識別與人工智能，2015，28(1)：1-10.

[11] 邱明濤，馬 靜，張 磊，等.基于可擴展LDA模型的微博話題特征抽取研究[J].情報科學，2017，35(4)：22-26+31.

[12] 曹麗娜，唐錫晉.基于主題模型的BBS話題演化趨勢分析[J].管理科學學報，2014，17(11)：109-121.

[13] 李鳳嶺，朱保平.基于LDA模型的微博話題發現技術研究[J].計算機應用與軟件，2014，31(10)：24-26.

[14] 郭藍天，李 揚，慕德俊，等.一種基于LDA主題模型的話題發現方法[J].西北工業大學學報，2016，34(4)：698-702.

[15] 陳曉美，高 鋮，關心惠.網絡輿情觀點提取的LDA主題模型方法[J].圖書情報工作，2015，59(21)：21-26.

[16] 仇麗青，陳卓艷，丁長青，等.基于改進LDA主題模型的社會網絡話題發現算法iMLDA[J].情報科學，2016，34(9)：115-188+133.

[18] 王菲菲，楊 揚，蔣 飛，等.面向用戶話題相似性特征的鏈路預測方法[J].西安交通大學學報，2016，50(8)：103-109.

[19] 李湘東，巴志超，黃 莉.基于加權隱含狄利克雷分配模型的新聞話題挖掘方法[J].計算機應用，2014，34(5)：1354-1359.

[20] 彭 云，萬常選，江騰蛟，等.一種詞聚類LDA的商品特征提取算法[J].小型微型計算機系統，2015，36(7)：1458-1463.