統計流形學習中的文本度量方法

李正宇,陳歡歡

(中國科學技術大學 計算機科學與技術學院,合肥 230026)

1 引 言

傳統的文本分類方法可以總結為兩大類:第一類是核方法,例如字符串核[1]就是一種常見的適用于文本分類的核方法.這種方法通過比較不同文本的相似子序列來度量文本之間的相似性.第二種方法把文本表示成為一個特征向量,然后使用樸素貝葉斯(Naive Bayesian,NB)、支持向量機(Support Vector Machines,SVM)、K最近鄰算法(k-Nearest Neighbor,kNN)等分類器進行分類.通常這些方法都基于詞袋模型(Bag of Words,BoW).這兩類方法都基于這樣一個假設:兩個文本之間相同的詞越多,這兩個文本的相似度就越高.但是這一假設忽略了不同詞之間的語義相似性,例如下面兩句話:“Obama invites the champion team to the White House”、“The president has dinner with these best players in his home”,幾乎沒有一個相同的詞,但是它們表達了相同的主題信息.

在自然語言處理領域,研究者們提出了一些基于語義信息的文本分類方法.基于分布式語義假設,Mikolov等人提出了word2vec[2]模型.Word2vec 通過神經網絡結構把詞映射為一個實值向量,稱為詞向量.把文本中所有詞的詞向量的平均值作為該文本的特征向量是一種常用的文本特征提取方法.Word2vec的優點是把分類器難以直接處理的文本數據轉化成了可以直接處理的特征向量數據.但是每個詞對應一個唯一的特征向量,無法很好地體現出詞的主題多義性,不同詞之間的主題相似度也無法進行有效的度量.主題模型(Topic Model)[3]也是一種有效的文本分類方法.主題模型的目標是得到文本的主題分布,通過比較文本的主題分布來比較兩個文本之間的相似度.常見的主題模型有概率隱語義分析[4](probabilistic latent semantic analysis,PLSA)、Latent Dirichlet Allocation[5](LDA)、Gaussian LDA[6,15]等等.這些主題模型都假設每一個文本中的主題服從某一個概率分布,每一個主題下的詞也服從某一個概率分布.作為一個經典的主題模型,LDA包含詞、主題和文本的三層貝葉斯結構[17,18].其中詞到主題以及主題到文本均服從狄利克雷-多項式共軛分布.主題模型也有著訓練語料庫依賴性的問題.由于主題模型采用的是生成模型的迭代訓練方法,如果測試數據和訓練數據的主題差異很大,對于測試數據的主題估計會受到較大的干擾.而且訓練時間受迭代次數影響較大,不利于大規模數據的訓練.Liu等人基于word2vec模型提出了主題詞向量模型[7](Topical Word Embeddings,TWE).與word2vec模型中詞與向量一一對應不同,TWE在不同的主題下有著不同的詞向量,這使得詞的主題多樣性得到了表達.但是和word2vec相同,對于文本來說,文本的主題多樣性也不能較好的進行度量.

本文基于概率模型以及統計流形學習方法,提出一種有效的文本混合主題概率模型以及該模型下文本距離度量方法,即統計流形文本度量(TMSM).該方法基于這一假設:同一主題下的所有詞服從高斯分布,文本中包含多個權值不等的主題,那么文本中的詞的分布可以用混合高斯模型來進行描述,每一個高斯函數代表著某一個主題.這符合文本的生成過程,即文本中的詞出現在該文本中是因為文本具有某些話題,而該詞在這些話題下出現的概率較大.TMSM具有以下優點:①基于混合主題模型的文本表示,文本和詞的主題多樣性可以進行較好的描述;②結合了詞向量模型與主題模型,訓練速度和數據依賴性得到了改良;③通過統計流形學習方法,對文本概率模型的距離進行了度量,文本分類實驗中和其他文本分類算法的對比證明了該方法的有效性.

2 基于統計流形學習的文本度量

2.1 基于詞向量和概率模型的文本表示

Word2vec通過一個大的語料庫訓練得到每一個詞的詞向量.本文提出的文本表示方法結合了詞向量與主題模型,具體過程描述如下.

首先,把每一個詞向量看作是詞向量空間中的一個點,詞向量在詞向量空間中的分布是依賴于每個詞潛在的主題.例如:“北京”和“上海”的詞向量在詞向量空間中比較接近;“股市”和“證券”因為共有的商業主題,其詞向量在詞向量空間中也分布在接近的位置.根據之前的假設,每一個主題下的詞服從高斯分布,那么可以認為所有的詞在所有的主題下服從混合高斯分布.給定所有的詞向量集合W={w1,w2,…,wN},詞向量w的混合概率密度是:

(1)

其中N(·)是高斯函數,πi是第i個高斯函數的權值系數,μi和Σi分別是是第i個高斯函數的均值向量和協方差矩陣,K是主題的數量.每一個高斯函數都代表著某一個潛在的主題.對于某一個詞來說,它屬于第i個主題的概率是:

(2)

對于文本來說,可以把文本中的詞看成是所有詞的一個子集合,而該子集合的劃分是由于文本具有的某些主題導致了主題的權值發生了改變,文本中的詞也進行了重新組合.同樣地,可以用一個混合高斯函數表示文本中的詞的混合概率密度:

(3)

可以看出式(3)和式(1)中的高斯函數分量完全相同,只是權值系數由于主題的不同發生了改變.每一個權值系數反映了文本中相對應主題的比例.根據式(2),每一個詞對第i個主題的貢獻是p(topici|w).那么,文本中第i個主題的權值是∑w∈textπiN(w|μi,∑i).為了確保高斯混合模型權值系數的限制條件∑iθi=1,權值系數θ可以通過式(4)進行計算:

(4)

舉例來說,如果使用式(3)來表示一個關于機器學習主題的論文,那么和“生物學”主題相關的權值系數會非常接近于0,而和“分類器”主題相關的權值系數可能比其他的都要大.

綜上所述,TMSM使用一個高斯混合模型來表示一個文本.使用高斯混合模型的優點是即能體現詞的語義多樣性,也能很好地描述文本的話題多樣性.得到文本的概率模型表示之后,還需要對模型之間的距離或者說相似度進行度量,從而實現文本分類.接下來將詳細介紹統計流形學習方法的基本思想以及利用該方法對文本概率模型進行度量的推導過程.

2.2 統計流形學習方法

流形學習[8]通常假設低維數據嵌入在高維空間中形成觀測數據,流形學習的主要目標是還原數據的低維流形結構.因此,流形學習常被稱為非線性降維[16](Nonlinear Dimensionality Reduction,NLDR).

理論上來說,一個黎曼流形(M,g)是一個以g作為黎曼度量的微分流形M.流形空間上任取一點p∈M,在切空間TpM上可以定義一個內積gp:TpM×TpM→R.那么就可以在流形空間上進行長度、面積或者體積的定義.舉例來說,對于黎曼流形M上的一條連續可微曲線C:[a,b]→M,其曲線方程是C(t).這條曲線的長度可由式(5)定義:

(5)

其中g是黎曼度量矩陣,x是曲線C上的點.更進一步地,可以定義點a到點b之間的距離:

d(a,b)=inf{L(C)},C∈

(6)

如果把概率分布看作是流形空間上的點,那么由一簇概率分布構成的流行空間稱為統計流形.此時式(5)和式(6)不再適用于直接提供距離度量的定義.因此,在統計流形學習中,概率分布通常被映射成為一個參數模型[10].給定一個參數模型S={p(x|λ)|λ=[λ(1),λ(2),…,λ(n)]∈Λ}.其中Λ∈Rn稱為參數空間,p(x|λ)是以λ為參數的概率分布,不同的概率分布對應不同的參數模型.根據信息幾何的理論[11],黎曼幾何可以用來提取統計模型的信息,因此可以把參數模型嵌入到一個黎曼流形當中.通過使用式(5)和式(6),可以度量兩個參數模型,從而度量兩個概率分布.

2.3 基于統計流形學習的文本度量

在統計流形學習的框架下,概率分布之間的距離度量被轉化為參數模型之間的距離度量.參數模型也可以看作是統計流形上的一種坐標,參數決定了對應概率分布在統計流形上的分布.本文使用高斯混合模型來表示文本,在式(3)中可以注意到不同的文本僅僅是權值系數不同,每一個文本對應的高斯混合模型的高斯函數是完全相同的.把高斯混合模型看作函數空間中的一類函數,每個高斯函數可以看作是基函數,那么權值系數就代表著函數空間中的一種坐標.因此,高斯混合模型的參數模型是:

S={p(x|text,θ)|θ=[θ(1),θ(2),…,θ(K)]∈Θ}

(7)

依上文所述,參數模型θ處于一個連續可微的黎曼流形空間中.考慮到高斯混合模型權值系數的一個性質,即θ(1)+θ(2)+…+θ(K)=1,因此參數模型所在的黎曼流形空間的形狀是一個K-1維的超平面.而超平面上的測地線是一條直線,所以在流形空間上連接兩個參數θ1和θ2的最短路徑曲線參數方程是:

C(t)=θ1+(θ2-θ1)t,t∈[0,1]

(8)

本文中使用克羅內克函數(Kronecker delta function)作為黎曼度量,即:

(9)

把式(8)和式(9)帶入式(5),可以得到:

d(θ1,θ2)=L(C(t))

=‖θ1-θ2‖2

(10)

將文本表示為高斯混合模型之后,就可以使用式(10) 計算文本之間的距離.然后就可以使用分類器算法對文本進行分類.

2.4 模型總結與分析

在TMSM中,文本被表示為一個高斯混合函數,詞向量中的語義信息被保存在每一個高斯函數中.此外,詞在不同的高斯函數里具有不同的概率密度,這體現了詞的主題多樣性.另一方面對于文本來說不同主題的權值系數也體現了文本的主題多樣性.

通過高斯混合模型擬合所有詞所在詞空間的概率分布之后,不同文本的權值系數矩陣可以使用式(4)計算得到而不需要重新迭代訓練語料庫.其計算過程是線性的,時間復雜度為O(nt),nt是文本中詞的數量.和主題模型算法中的迭代過程相比,TMSM的訓練速度更快且更加穩定.

3 實驗結果與分析

為了驗證TMSM的有效性,本文將在不同的數據集上進行文本分類測試來驗證該模型的性能,并將其與典型的文本分類算法進行對比.本文實驗的數據集信息見表1所示,其中BBC News是一個5類數據集,R8是8類,而20newsgroups是7類.所有數據集都是英文的文本數據集,每一個文本都有一個類別標簽以供分類.每一個數據集中的訓練集和測試集的比例都接近二比一.分類實驗中使用分類正確率作為檢驗算法性能的標準.

3.1 實驗設置及參數調整

在TMSM模型的第一步,需要從一個語料庫中訓練得到所有詞的詞向量.本文中使用維基百科(Wikipedia)作為語料庫,該語料庫包含數百萬個句子.訓練可以得到七萬多個單詞的詞向量.其他需要語料庫進行訓練的對比算法也使用此語料庫進行訓練.使用word2vec模型訓練詞向量時,有兩個最主要的參數,即向量維數和滑動窗口大小,根據文獻[12]的描述,為了減少計算時間的同時較好的保存詞向量的語義信息,實驗中分析了這兩個參數的參數敏感性,結果見表2.

表1 實驗數據集描述
Table 1 Details of datasets

數據集訓練樣本測試樣本文本總數BBCNews14857402285R854852189767420Newsgroup11293752818821

表2中的分類正確率是word2evc模型使用不同的向量維數和滑動窗口大小時TMSM在R8數據集上的實驗結果.為了保證一致性,word2vec中的神經網絡結構均使用CBOW模型,即使用語境中的詞來預測中心詞的詞向量.此外,主題的數量統一設置為K=300.

表2 word2vec參數敏感度分析
Table 2 Analysis of parametric sensitivity on Word2vec

向量維數滑動窗口大小分類正確率(%)50284．49585．101084．49100290．29591．141091．14150292．01594．351093．31200293．77594．031094．01300291．93592．401093．09

此外,對于TMSM模型來說,主題的數量K也是一個重要的參數.基于表2的實驗結果,將詞向量維數設為150,滑動窗口大小設為5,實驗中同樣分析了主題數量K對于分類結果的影響,結果見圖1所示.可以看出,在三個數據集上分類結果準確率受K的變化影響不大,這體現了TMSM算法的穩定性.

圖1 分類準確率隨主題數量K變化Fig.1 Accuracy changes with different K

綜上所述,在文本分類對比實驗中.參數的設置分別是向量維數=150,滑動窗口大小=5,主題數量K=400.

3.2 文本分類實驗

在進行文本分類實驗之前,所有的數據集都經過了預處理.每一個文本都去除了標點符號和停用詞,如a、the、of等等以排除干擾.在通過式(10)得到文本之間距離之后,分類器算法使用了kNN以及SVM算法,其中kNN算法中的最近鄰數k從{2,5,10,15}中選取最優.SVM算法使用了libSVM庫.

本文選取了6個常用的文本度量方法作為對比算法,分別是TF-IDF[13]、TWE、word2vec直接取平均、LDA、CCG[14](Componential Counting Grid)、周期卷積神經網絡(Recurrent Convolutional Neural Networks,RCNN[21]).實驗結果如表3所示,可以看出,TMSM在非深度學習方法中取得了最好的分類準確率,而且與結果最好的深度學習方法RCNN相比也得到了相近的分類結果.與深度學習模型不同,TMSM是一種基于統計距離度量的算法,對于文本的建模以及距離度量具有更好的的可解釋性.同時,在通過高斯混合模型得到所有詞的詞向量分布之后,文本的表示和度量都是線性時間,時間復雜度和計算量優于目前深度學習中大規模參數訓練方法.同時實驗結果也表明TMSM在節約時間的同時也可以得到和深度學習方法相近的文本分類結果.

表3 各數據集上所有算法的分類正確率 (%)
Table 3 Performance comparison of TMSM and other models on each dataset

數據集TF-IDF+SVMTWE+kNNTWE+SVMWord2vec+kNNWord2vec+SVMLDA+kNNLDA+SVMCCG+kNNTMSM+kNNTMSM+SVMRCNN-BBC78．0691．9492．2791．4491．9493．6093．0479．4194．7095．6396．49R871．3091．4491．5993．1692．9993．0693．5790．1494．3093．4795．7920ng46．6169．6968．8972．8870．5869．8769．7963．4874．6573．2480．23

表4 在每個高斯分布上具有較高概率密度的詞
Table 4 Words which have a higher probability in each Gaussian distribution

主題animaleconomyeducationsciencesportsinternetsocial該主題對應高斯分布下概率密度較大的詞speciesanimalsfishbirdsmammalsinsectswhaleshunterssnakesendangeredsupplyinvestmentpricesbudgetdemanddebtbenefitsfiscaltaxationoversupplyteachinguniversitiesschoolstudentsdegreeclassescollegesgraduatemajorscoursesresearchscientificinstituteengineeringstudylearningpsychologygeologylinguisticsbiomedicalfootballprofessionalteamscompetitionarenaolympicbasketballleaguescontestchampionshipsnetworkaccesslanmailserverssharingclientswapwifitimestampingfreedommoralservilelibertycollectiveindividualismmotivationmorallyarguesunequal

3.3 主題分布檢驗

為了檢驗和評估高斯混合模型對于詞向量空間主題分布的描述能力.我們選擇了具有代表性的主題或者說是高斯函數分量來觀察同一主題下的單詞是否可以按照主題聚集在一起.結果見表4所示,每一列代表一個主題或者說一個高斯函數.每個高斯函數下10個具有較高概率密度的詞被挑選出來.對于詞w來說,它在主題topici中的概率密度是N(w/μi,∑i),高的概率密度表示w在topici中出現的概率較大.可以看出,詞與主題之間的良好匹配結果說明了高斯混合模型對于描述詞向量空間的分布具有較好的效果.

3.4 摘要抽取實驗

除了文本分類之外,摘要抽取也是文本處理領域一個重要的應用.本文提出的文本距離度量方法也可以應用在摘要抽取任務上,只需要將文本中每一句話看做一個文本,然后計算它與整個文本的相似度并進行排序,輸出相似度較高的句子就可以提取得到代表文本主題信息的摘要.

為了驗證TMSM在摘要抽取任務上的有效性,本節實驗中使用公開的567個新聞文本數據集DUC2002*http://www-nlpir.nist.gov/projects/duc/作為目標提取摘要,并且使用文獻[19]中的評估方法ROUGE evaluation對摘要結果進行評估.同時使用目前文本摘要抽取領域最常用的TextRank算法[20]以及DUC2002任務上結果最好的5個摘要提取系統作為對比,結果如表5所示.

表5 摘要抽取實驗結果
Table 5 Results of text summarization

算法文本使用全文文本去除停用詞TextRank0．47080．4229S270．48140．4405S310．47150．4160S280．47030．4346S210．46830．4222S290．45020．4019TMSM0．46970．4319

實驗結果使用ROUGE evaluation toolkit得到的ROUGE score作為評價標準,分數越高表示結果越好.可以看出,使用TMSM算法作為句子和文本之間的距離度量來進行摘要抽取,可以得到和當前主流摘要抽取算法同一水平的性能.

4 結論與展望

本文提出了一種新的文本距離度量算法TMSM.該算法假設同一個主題下的詞在詞空間中服從高斯分布,然后使用高斯混合模型來描述所有詞在所有主題上的分布.文本的表示方法遵循文本的產生過程,即文本產生于若干主題,因此文本中詞的分布可以看作是所有詞的一個偏離分布,偏離的原因是因為不同的文本中各個主題的權值不同.不同的文本對應不同的高斯混合分布.在得到文本的概率模型表示之后,文本之間距離的度量方式在統計流形學習的框架下進行計算.得到文本間距離后,可以使用kNN和SVM分類器實現對文本的有監督分類.

本算法具有開放性,在未來的研究中可以基于不同的假設對文本建立不同的概率模型表示,然后使用統計流形學習方法對其進行度量.對于不同的主題,可以對主題與主題之間的相似度進行度量并在文本度量中加入主題相似度評估.此外,在基于距離度量的半監督深度學習算法[22,23]中,使用TMSM來進行距離度量也是一個值得研究的問題.

[1] Lodhi H,Saunders C,Shawe-Taylor J.Text classification using string kernels [J].Journal of Machine Learning Research,2002,2(2):419-444.

[2] Mikolov T,Chen K,Corrado G,et al.Efficient estimation of word representations in vector space [Z].2013,arXiv:1301.3781.

[3] Rosen-Zvi M,Griffiths T,Steyvers M,et al.The author-topic model for authors and documents [C].Conference on Uncertainty in Artificial Intelligence,2004:487-494.

[4] Hennig L,Labor D.Topic-based multi-document summarization with probabilistic latent semantic analysis [C].Recent Advances in Natural Language Processing,2009:144-149.

[5] Blei D M,Ng A Y,Jordan M I.Latent dirichlet allocation [J].Journal of Machine Learning Research,2003,3(1):993-1022.

[6] Das R,Zaheer M,Dyer C.Gaussian lda for topic models with word embeddings [C].Association for Computational Linguistics,2015:795-804.

[7] Liu Y,Liu Z,Chua T S,et al.Topical word embeddings [C].AAAI Conference on Artificial Intelligence,2015:2418-2424.

[8] Lin T and Zha H.Riemannian manifold learning [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(5):796-809.

[9] Belkin M,Niyogi P,Sindhwani V.Manifold regularization:a geometric framework for learning from labeled and unlabeled examples [J].Journal of Machine Learning Research,2006,7(11):2399-2434.

[10] Suzuki M.Information geometry and statistical manifold[Z].2014,arXiv:1410.3369.

[11] Sun K,Marchand-Maillet S.An information geometry of statistical manifold learning [C].International Conference on Machine Learning,2014:1-9.

[12] Levy O,Goldberg Y,Dagan I.Improving distributional similarity with lessons learned from word embeddings [J].Transactions of the Association for Computational Linguistics,2015,3(1):211-225.

[13] Salton G,Buckley C.Term-weighting approaches in automatic text retrieval [J].Information Processing and Management,1998,24(5):513-523.

[14] Perina A,Jojic N,Bicego M,et al.Documents as multiple overlapping windows into grids of counts [C].Advances in Neural Information Processing Systems,2013:10-18.

[15] Hu P,Liu W,Jiang W,et al.Latent topic model based on gaussian-lda for audio retrieval [C].Chinese Conference on Pattern Recognition,2012:556-563.

[16] Li Dong-rui,Li Mei.Adaptive manifold learning method based on data distribution properties [J].Journal of Chinese Computer Systems,2014,35(6):1387-1391.

[17] Zheng Xiang-yun,Chen Zhi-gang,Huang Rui,et al.Algorithm of commodity recommendation based on SP_LDA model [J].Journal of Chinese Computer Systems,2016,37(3):454-458.

[18] Peng Yun,Wan Chang-xuan,Jiang Teng-jiao,et al.An algorithm based on words clustering LDA for product aspects extraction [J].Journal of Chinese Computer Systems,2015,36(7):1458-1463.

[19] Lin C Y,Hovy E.Automatic evaluation of summaries using n-gram co-occurrence statistics [C].Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology,2003:71-78.

[20] Mihalcea R,Tarau P.TextRank:bringing order into texts [C].Conference on Empirical Methods in Natural Language Processing,2004:404-411.

[21] Lai S,Xu L,Liu K,et al.Recurrent convolutional neural networks for text classification[C].AAAI Conference on Artificial Intelligence,2015:2267-2273.

[22] Hoffer E,Ailon N.Semi-supervised deep learning by metric embedding[Z].2016 arXiv:1611.01449.

[23] Weston J,Ratle F,Mobahi H,et al.Deep learning via semi-supervised embedding[M].Neural Networks:Tricks of the Trade,Springer Berlin Heidelberg,2012:639-655.

附中文參考文獻：

[16] 李冬睿,李 梅.數據分布特性的自適應流形學習方法[J].小型微型計算機系統,2014,35(6):1387-1391.

[17] 鄭祥云,陳志剛,黃 瑞,等.基于SP_LDA模型的商品推薦算法[J].小型微型計算機系統,2016,37(3):454-458.

[18] 彭 云,萬常選,江騰蛟,等.一種詞聚類LDA的商品特征提取算法[J].小型微型計算機系統,2015,36(7):1458-1463.