基于向量空間模型的項目申報書查重系統設計

胡偉偉，孫 遜，王婷婷

(江蘇省生產力促進中心 江蘇南京210042)

應用技術

基于向量空間模型的項目申報書查重系統設計

胡偉偉，孫 遜，王婷婷

(江蘇省生產力促進中心 江蘇南京210042)

隨著國家及地方科研財政經費的增加，企事業單位對科技項目日益重視，項目申報數量也逐年遞增。為避免對類似項目的重復支持，造成科研經費的浪費，項目查重就顯得尤為必要。提出了基于向量空間模型的項目申報書查重系統設計方法，并介紹設計流程。

項目查重 向量空間模型 分詞

0 引 言

科技是第一生產力。近年來，隨著國家對科技創新工作重視程度的提升，各級政府科研經費投入逐年增加，各企事業單位更加積極地申報各類科研項目。但隨著科研項目申報數量的增加，科研成果重復申報、多頭申報現象日益突出。由于項目分屬不同的機構或部門管理，面對數量巨大的申報材料，傳統的人工形式審查工作量大，且效果也不理想。為避免對重復或相似科研內容的重復支持，本文將介紹一種基于向量空間模型的文本相似度算法，通過該算法來實現項目研究內容相似度的判斷。

1 理論介紹

向量空間模型VSM(Vector Space Model)是20世紀70年代由Salton等人提出的一種簡便、高效的文本表示模型。該模型的基本思想是把文檔簡化為以特征詞(關鍵詞)的權重為分量的多維向量表示。通過該方法將對文本內容的處理簡化為向量空間中向量的運算。文本向量化后，再利用余弦距離來計算兩向量之間的關系，余弦值越大，說明文本相似程度越大。當余弦值為1時，說明文本一致，反之則說明文本匹配度較低。通過向量計算法判別文本的相似性可以使問題的復雜性大為降低。

2 設計流程

項目申報書向量模型化需要經過分詞、詞權重計算、關鍵字提取等步驟，大致流程如圖1所示。

圖1 項目申請書向量模型設計流程Fig.1 Design flow of the VSM project application forms

2.1 申報書預處理

為便于將項目申報書內容進行分詞，可以通過正則表達式去除申報書中的文本格式化標識符(HMTL標簽)、公式、圖片等信息，將其純文本化。

2.2 分詞

分詞是將文本向量化表示的一個重要步驟，分詞的效率和準確度將對文本向量模型的建立和系統速度產生直接影響。

常用的分詞算法有基于字典的分詞方法、基于知識理解的分詞方法、基于詞頻統計的分詞方法等，各種方法各有優缺點。基于字典的分詞方法實現相對簡單，應用廣泛。分詞時可以采用中科院計算所研發的ICTCLAS分詞系統，兼顧效率和準確率。

2.3 特征詞提取和向量模型生成

利用分詞算法將經過預處理的文本進行分詞，并去除分詞后對文本內容識別意義不大但出現頻率很高的停用詞，如“的”、“是”、“在”等。經過分詞處理后，申報書就可以用由若干詞組成的集合來表示：

D表示被處理的文檔，Tj表示在D中出現的經分詞過濾后的詞。

如果把所有詞都作為特征集，那么特征向量的維數將十分巨大，從而導致計算量太大，耗時較長，這時需要進行特征詞提取。特征詞提取的主要功能是在不影響文本核心信息的情況下盡量減少關鍵詞的集合大小，以此來降低向量空間的維度，從而降低計算量，提高系統運行效率。

特征詞的提取可以結合特征詞權重一同進行。

詞在文檔中的權重可以由多種方式來計算，TF-IDF是一種常見的方法，該方法用于評估一個字詞對于一個文件集或者一個語料庫中的其中一份文件的重要程度，是一種常用的加權技術。該方法能過濾掉常見的詞語，而保留重要的詞。TF(Term Frequency)詞頻，指某個詞在文章中出現的頻率，體現了該詞描述文檔的能力。

有些常見非停用詞在文檔中出現頻率較高，它的TF值也相對高些，但是該詞對文章或語句的“話語權”不大，對語義的影響較弱，因此考慮到詞權重時還需要考慮到詞在區分兩文檔時起到的效果。IDF(Inverse document frequency)指逆向文本頻率。

IDF越大，說明該詞在文檔中出現的概率較小，利用該詞能較好地區分文檔。TF-IDF算法，是計算TF×IDF的值，體現了某個詞對文章的重要性，重要性越高，它的TF-IDF值就越大。因此關鍵詞的提取，可以采用TF-IDF值排在前面的若干詞。經特征詞提取及權重計算后，項目申報書的向量模型可以表示為：Dn(，……，Tn，Wn)(j＞n，其中表示為關鍵詞Tn對應的權重)。

2.4 兩申報書相似度計算

通過將擬對比的申報書文本向量化后，計算申報書1和申報書2的相似度就是計算向量空間模型D1、D2的余弦值。

式中D1、D2表示文檔的特征集，W1k、W2k分別表示文本D1和D2第K個特征項的權值，1≤j≤N。

3 結 語

通過對項目申報書相似度對比，可以開展有針對性的查重，解決大海撈針式查重和印象查重，大幅提高項目查重的效率和準確率，但項目申報書相似度測算僅是從文本相似程度的角度去測算，對于相似程度較高或較低的較容易判斷，介于兩者之間的，研究內容是否相似還需要進行人工判斷。

［1］ 殷耀明，張東站. 基于關系向量模型的句子相似度計算[J]. 計算機工程與應用，2014，50(2)：198-203.

［2］ 方延風. 科技項目查重中特征詞TF-IDF值計算方法的改進[J]. 情報探索，2012(1)：1-3.

［3］ 陳桂林，王永成. 一種改進的快速分詞算法[J]. 計算機研究與發展，2000，37(4)：418-423.

Design of VSM-based Duplication Checking System for Project Application Forms

HU Weiwei，SUN Xun，WANG Tingting
(Productivity Centre of Jangsu Province，Nanjing 210042，Jiangsu Province，China)

With the growth of financial expenditures on scientific research from national and local governments，science projects have attracted more attention from enterprises and public institutions and the number of project applications is increasing year by year．To avoid repetitive support of similar projects and prevent the waste of scientific research funds，project duplication checking has become particularly important and necessary．A design method of Vector Space Model(VSM)-based project application form duplication checking system was presented and design procedures were elaborated.

project duplication checking；Vector Space Model(VSM)；word segmentation

TP311.1

：A

：1006-8945(2015)08-0033-02

2015-07-03