引文相似性測量模型

陳衛玲 袁乖寧 王 華 / 重慶科創職業學院

引文相似性測量模型

陳衛玲 袁乖寧 王 華 / 重慶科創職業學院

CSLN 是引文語義鏈網絡。傳統相似度計算不能準確的測量CSLN中引文間的相似性。本文在對引文的特征進行分析后，提出了引文相似性測量模型，該模型能夠提高引文相似性測量的準確性。

引文；CSLN；相似性

1.引言

引文網絡是指被引文獻與引用文獻之間因引用關系而形成的一種網絡。語義鏈網絡（SLN）是一個用于管理Web資源的語義數據模型[1]。一個典型的語義鏈網絡包含語義節點，語義鏈以及語義鏈推理規則。其中，語義節點可以是任意類型的資源、抽象概念或者是另外一個語義鏈網絡。語義鏈是對超鏈接的擴展，并為之添加語義關系。語義鏈繼承了超鏈接的易用性，使之具有推理能力，并且具有語義自組織性：任意節點可以連接到其他語義相關的節點。利用語義鏈推理規則可以推導出更多的語義鏈[2]。

在這篇文章中，我們首先介紹了傳統相似度計算模型，接著對引文的特征進行深入的分析后，最后提出引文相似性測量模型，該模型能夠提高引文相似性測量的準確性。

2.傳統相似度計算模型

當我們進行引文相似度計算時，最常用的方法是采用數學工具把引文表示成一個數學模型，然后在這個模型上進行引文相似度運算。傳統的相似度計算模型有向量空間模型和集合運算模型等。

2. 1向量空間模型

向量空間模型VSM是六十年代末由Salton等人提出來的。VSM是一種代數的模型，目前已經被廣泛的應用于信息檢索等領域而且已經取得了很好的效果。VSM的表示方法是它最與眾不同的優點，VSM是通過把文本以向量的形式定義到實數域來對自然語言的文本進行表示。這種對自然語言文本的表示方法極大的提高了文本的可操作性和可計算性。而模式識別和其它領域中的計算方法也采用了VSM這種對文本的表示方法[3]。

向量空間模型VSM的基本思想是：我們用向量來表示文檔，并且假設詞與詞之間是不相關的，這樣就可以簡化文檔中關鍵詞之間的復雜關系，從而使得向量空間模型VSM具備了可計算性。而在向量空間模型VSM中，把文檔看成是由相互獨立的詞條組 (T1，T2，T3，……，Tn) 所構成，并且對于每一個詞條Ti根據這個詞條在文檔中的重要程度賦以該詞條一定的權值Wi。如果將這些相互獨立的詞條組(T1，T2，T3，……，Tn)看作是一個n維坐標系中的坐標軸，那么這些詞條的權重(W1，W2，W3，……，Wn)就這些坐標軸所對應的坐標值。所以由這些詞條組(T1，T2，T3，……，Tn) 分解得到的正交詞條矢量組就構成了一個文檔向量空間。

2. 2集合運算模型

集合運算模型中用的最多的是Jaccard系數方法：

其中， dj、dk是引文，引文是關鍵詞的集合。Sim(dj, dk)是引文dj和dk的相似度。

3.引文相似性測量模型

一篇引文是由標題、關鍵字、正文等多個部分組成。因為引文的各個部分的重要程度不一樣，所以在計算兩個引文之間的相似性時我們應當把引文的各個部分分開當作多個對象來分析，而不能把一篇引文當作一個對象來分析。例如，引文的正文部分有大量的文字而且關鍵詞很分散，所以我們應當采用統計詞頻的方法來計算兩個引文之間的相似程度。而對于標題和關鍵字，因為關鍵字是整個文章中非常重要的一部分，所占權重也非常大，因此這一部分我們必須要重點考慮。所以我們在計算引文相似性時應該對關鍵字這一部分進行單獨處理。

通過上述分析，本文提出了引文相似性測量模型，我們首先把一篇引文的各個部分分開來進行相似性測量，然后再把各個部分綜合起來以此來計算兩篇引文之間的相似性。本文采用的相似性計算方法如下：

A.正文

引文的正文部分文字量通常都很大，所以我們在計算兩篇引文之間相似性時，首先將引文分解成一系列的句子序列，然后統計出兩篇引文中相同句子的數量和兩篇引文中共有的句子數量，最后用以下公式計算兩篇引文之間的相似性，引文相似度計算公式如下所示：

其中，d1和d2分別代表兩篇引文。

B.關鍵詞

一般來說，引文中都會有關鍵詞，關鍵字是對引文內容的高度概括，是整篇引文最重要的部分。我們通常可以通過計算兩個引文的關鍵詞集合來求出兩個引文之間的相似程度。假設引文d1和引文d2的關鍵詞集合分別是S(d1) 和S(d2)，其中S(d1) = (t1,t2, ……,tm)，S(d2) = (t1,t2, ……, tn)，那么兩篇引文之間相似度計算公式如下：

其中，引文d1的關鍵詞集合的個數m≥0 并且引文d2的關鍵詞集合的個數n ≥0。

C.引文相似性測量模型

因為引文的重點內容分布在引文的不同部分，所以我們首先分別對這些部分進行單獨的相似度計算，然后在這些相似度計算的基礎上得出引文相似性測量模型。

引文相似性測量模型如下:

其中，d1和 d2分別代表兩篇引文，sim（d1，d2）為兩引文之間的相似性。

4.總結

計算兩個引文之間的相似性有多種方法，因為CSLN中的引文是許多對象的集合。單個對象的相似度計算顯然不能準確的測量引文間的相似性。因此，有必要針對引文的不同部分使用不同的相似度計算方法。本文首先介紹了傳統相似度計算模型，然后在對引文各部分的特點進行深入分析后，提出了引文相似性測量模型，該模型能夠提高引文相似性測量的準確性。

[1]H. Zhuge, Y. Sun, and J. Zhang, “Schema theory for semantic link network,” in Proc. Fourth Int. Conf. Semantics, Knowledge and Grid SKG ’08, 2008, pp. 189-196.

[2]H. Zhuge, “Communities and emerging semantics in semantic link network: Discovery and learning,” IEEE Trans. Knowl. Data Eng.,vol. 21, no. 6, pp. 785-799, 2009.

[3]侯海燕. 基于知識圖譜的科學計量學進展研究[博士學位論文].大連:大連理工大學，2006.