基于LDA的長短文本分類比較

王海林++張雅君

摘要：LDA作為一種常用的主題模型，在文本挖掘中作為特征選擇的方法被廣泛應用。但隨著互聯網中短文本信息的逐漸增多，短文本代表性詞少的特點使得LDA對于短文本的主題挖掘不一定能夠達到理想效果，這給LDA的應用帶來了巨大挑戰。為了探究LDA主題模型對短文本的分類效果，基于LDA，對長文本和短文本進行分類，對比分類效果，判斷LDA對于短文本的適用性。

關鍵詞：LDA 主題模型 文本分類 短文本

中圖分類號：TP181 文獻標識碼：A 文章編號：1007-9416（2016）10-0230-01

Abstract：As a common method of topic mining， LDA is used as a method of feature selection in text mining widely. But with the increase in the number of short text， the result of LDA for the topic mining of short text may be not good. It is a challenge for LDA to deal with the few words .This paper classified the short text and long text based on LDA， respectively， compared the result， and estimated whether LDA is suitable for short text.

Key Words：LDA； topic model； text classification； short text

文本數據作為非結構化數據的一種，如何從中進行信息的提取，得到了高度的關注。微博、商品評論等信息都表現為短小、代表性詞少等特征，LDA對于短文本的主題挖掘并不一定能夠達到理想效果。因此，基于LDA對長、短文本進行分類，探究LDA主題模型對于短文本挖掘是否適用。

1 LDA主題模型概述

1.1 LDA基本思想

LDA主題模型[1]認為文檔集合中所有的文檔按照一定的概率共享某些潛在主題，而這些潛在的主題又可以由文檔中的一些特征詞來表示[2]。因此，就可以用一個三層貝葉斯模型來表示 “文檔”、“主題”和“特征詞”之間的關系，如圖1所示。LDA模型可以表示為。

1.2 參數估計

LDA主題模型使用Gibbs抽樣[3]對未知參數φ和θ進行估計，吉布斯更新規則為：參數估計。

2 實驗數據及結果

2.1 實驗數據集及預處理

長文本實驗數據來源于微信公眾號抓取的新聞數據，共社會、教育、健康等7個類別。短文本實驗數據集來源于SODA上海開放數據創新應用大賽網格化管理數據，共有暴露垃圾、跨門營業和占道無證經營3個小類。長文本平均每條新聞在180字以上，共741條；短文本中每條數據平均字數在100字以下，共998條。

2.2 實驗環境

分詞處理：R

主題挖掘：JGibbs

文本分類：libsvm[4]

2.3 實驗結果

選擇精確度、召回率和F值作為評價指標[5]比較分類準確性，結果評價如表1所示。表1中顯示長文本的各指標均高于短文本的各個指標，面對短文本，LDA效果較差。

3 結語

使用LDA對不同長度的文本集進行主題挖掘，利用libsvm進行分類，根據分類結果各評價指標可以看出長文本分類效果明顯高于短文本分類效果，LDA并不適用于短文本。數據集的選取、文本分詞的效果和數據集中類別的數量會對分類結果造成一定的影響，因此，可以進一步研究如何消除這些外在條件的影響從而更加嚴謹的對比LDA對于長、短文本的主題挖掘效果。

參考文獻

[1]Blei D， Ng A ，Jordan M. Latent Dirichlet Allocation [J].Journal of Machine Learning Research，2003（3）：993-1022.

[2]王鵬，高鋮，陳曉美.基于LDA模型的文本聚類研究[J].情報科學，2015，1（33）：63-68.

[3]Thomas L. Grimths， Mark Steyvers. Finding scientific topics[J]. PNAS，2004：52.

[4]董露露.基于特征選擇及LDA模型的中文文本分類研究與實現[D].安徽大學碩士學位論文，2014（4）.

[5]Xiaojun Wu， Liying Fang， Pu Wang， et al. Performance of Using LDA for Chinese News Text Classification [C]. Proceeding of the IEEE 28th Canadian Conference on Electrical and Computer Engineering，2015：1260-1264.

收稿日期：2016-08-26

作者簡介：王海林（1962—），男，漢族，山西大同人，副教授，碩士研究生導師，主要研究領域為：數據建模、大數據、分布式系統；張雅君（1992

—），女，漢族，山西大同人，碩士研究生，主要研究領域為：數據挖掘、數據建模。