語義與統(tǒng)計相結(jié)合的中文微博相似度計算方法

摘要：文本相似度在自然語言處理領域中有著廣泛的應用?；谡Z義的相似度計算方法能比較準確地反映詞語之間的復雜關系，而基于統(tǒng)計的相似度計算方法能發(fā)掘詞語中潛在的相關性。微博文本具有稀疏性、實時性、不規(guī)范性等特點，文章在綜合兩者優(yōu)勢的基礎上，提出了一種語義和統(tǒng)計相結(jié)合的中文微博相似度計算方法。實驗證明該方法在各項指標上都優(yōu)于單一的相似度計算方法。

關鍵詞：相似度計算；語義；統(tǒng)計

中圖分類號：TP391.1 文獻標識碼：A 文章編號：1007-9416（2017）03-0231-02

文本相似度計算在文本分類、文本聚類、信息檢索等自然語言處理領域有著廣泛的應用。相比詞語相似度計算，文本相似度計算不僅要識別句子結(jié)構(gòu)、語義關系，還要考慮語境問題。針對這一問題，目前許多研究是把文本相似度計算轉(zhuǎn)換為計算文本中詞語之間的相似度，它通常是通過抽取出文本中所有的名詞和動詞，再計算它們之間的相似度。

目前，常用的文本相似性計算方法主要有基于語義的相似度計算方法和基于統(tǒng)計的相似度計算方法?；谡Z義的相似度計算方法能較準確地反映出詞語之間的復雜關系，但它需要借助本體論，而本體論資源的是否完整又決定了這種計算方法的準確性?；诮y(tǒng)計的相似度計算方法計算量大，且需要大規(guī)模的文本集，而文本集質(zhì)量的好壞又直接決定計算結(jié)果的優(yōu)劣。微博文本具有稀疏性、實時性、不規(guī)范性等特點，導致傳統(tǒng)的相似度計算方法都很難適用。因此，本文把基于語義和基于統(tǒng)計的計算方法兩者結(jié)合起來，提出一種組合相似度計算方法，即語義和統(tǒng)計相結(jié)合的相似度計算方法。

1 常見相似度計算方法

1.1 基于語義的文本相似度計算

基于語義的文本相似度計算常以本體論作為背景知識。目前常用的本體論主要有Framenet、Wordnet和Hownet（知網(wǎng)），而Hownet（知網(wǎng)）是最為著名的采用漢語描述的本體論。在知網(wǎng)中，用概念來對詞匯語義進行描述，每個詞可以表達為幾個概念，而概念又由義原來描述。對于同義詞、近義詞不僅用來表述它的義原是確定的，而且義原的組合形式也是確定的。在計算詞匯語義相似度時，較多是采用劉群、李建素提出的基于《知網(wǎng)》的詞匯語義相似度計算公式，即，各符號代表詳見文獻[1]。

1.2 基于統(tǒng)計的文本相似度計算

基于統(tǒng)計的文本相似度計算方法中最常用的是基于向量空間模型的TF-IDF方法。向量空間模型是1975年Salton等人提出，它是被廣泛使用的模型之一。它把每一個文本表示成一個向量，向量的每一維表示文本的一個特征[2]，形式為：，其中，為特征項在文本中的權值，為特征集的大小[3]。計算特征項的權值使用TF-IDF公式，即，其中，表示特征項在文本中出現(xiàn)的次數(shù)，N表示全部文本數(shù)目，表示出現(xiàn)特征項的文本數(shù)?，F(xiàn)假設有兩個文本，，則與之間的相似度計算可用下面幾種常用的方法：

2 語義與統(tǒng)計相結(jié)合的中文微博相似度計算

本文綜合基于語義和基于統(tǒng)計兩種相似度計算的優(yōu)勢，提出了語義與統(tǒng)計相結(jié)合的中文微博相似度計算方法。下面詳細介紹其算法。

2.1 算法第一步，即計算基于語義的文本相似度

在計算微博文本的相似度時，必須對每條微博文本進行預處理，如分詞、詞性過濾、停用詞過濾、詞頻統(tǒng)計。經(jīng)過預處理后，每條文本只剩下高頻的、有實際意義的動詞和名詞。本文考慮到不同詞性的詞語在語義上其相似度比較低，所以在進行語義相似度計算時先進行詞性分類表示，即把文本向量中詞性為名詞的歸為一類，詞性為動詞的歸為另一類。假設微博文本用向量表示為={}，如果是名詞，是動詞，則詞性分類后該文本向量表示為={}，再分別計算文本中名詞集合和動詞集合的相似度，最后加權平均，得到的就是兩條微博文本的語義相似度。

3 實驗結(jié)果與分析

在驗證算法的有效性之前需要先確定它的加權系數(shù)，即和的取值。本文抓取新浪微博數(shù)據(jù)7124條，利用SinglePass算法分別計算和9種不同取值的F值。實驗結(jié)果證明，為0.4，為0.6時，F(xiàn)值最大，因此，本文提出的組合相似度計算公式中取0.4，取0.6[6]。

為了驗證組合相似度算法的有效性，本文借助SinglePass算法分別比較語義相似度、統(tǒng)計相似度和組合相似度三種不同計算策略的性能，結(jié)果如圖1所示。

通過圖1可以看出，相比語義相似度和統(tǒng)計相似度，采用組合相似度計算策略在各項性能指標上都比較好，這說明引入詞匯語義和相關度的相似度策略能夠更好地識別相關的主題。

參考文獻

[1]劉群，李素建.基于《知網(wǎng)》的詞匯語義相似度計算[C]//第三界漢語詞匯語義學研討會.臺北，2002：59-76.

[2]Salton G，Wong A，Yang C S. A Vector Space Model for Automatic Indexing[J]. Communication of the ACM， 1975，18（11）：613-620.

[3]鄭慶華，劉均，田鋒，孫霞.Web知識挖掘：理論、方法與應用[M].北京：科學出版社，2010.

[4]趙應秋，羅軍，張君艷.基于知網(wǎng)的詞語語義相關度計算[J].信息技術，2010（3）：90-93.

[5]Peat H J，Willet P.The limitations of term cooccurrence data for query expansion in document retrieval systems.Journal of American Society for Information Science，1991，42（5）：378-383.

[6]李楚貞.中文微博主題層次識別方法研究[D].廣東技術師范學院，2014.