分類加權的TF-IDF的網頁分類算法

王彥焱 李文超 吉林大學

分類加權的TF-IDF的網頁分類算法

王彥焱 李文超 吉林大學

網頁分類算法是目前比較熱門的研究課題，目前已經有許多網頁分類算法，其中TFIDF算法是一種用于信息檢索與數據挖掘的常用加權技術，本文通過TFIDF算法提取了每個分類下的具有高區分度的特征詞，在網頁分類時通過找出其中最能代表該網頁的詞素，依據該詞素的類別信息即能對網頁進行分類。由于TFIDF算法中詞頻計算未考慮網頁結構信息，因此在本文中對詞頻計算進行了改進，通過對網頁結構分類，計算詞素出現在不同分類下的權重，達到對網頁信息的合理利用。

TF-IDF 詞頻加權 特征詞提取

1 引言

隨著互聯網的高速發展，網頁規模呈指數級增長，對網頁按照主題進行分類，一方面可以根據需要，濾除包含不良信息的網頁，凈化網絡環境；另一方面可以按照主題為用戶提供類別目錄，這樣既可以實現網頁的分級管理，而且為使用戶更方便的查找所需要的信息，從而提高網頁瀏覽的效率。因此，網頁分類技術的研究正在成為繼文本分類技術的另一大熱點。

2 網頁預處理與中文分詞

2.1 網頁預處理

網頁是信息的集合，其中包含的信息類型非常復雜，一個網頁除了標題、正文之外還可能含有廣告、友情鏈接等信息，這些信息對文本分類的幫助很小，甚至會干擾正確的結果。網頁噪聲處理目前已經存在許多方法有，比較常用的有java的開源項目HTMLParser設計的處理方法，它能超高速解析HTML，而且不會出錯。另外，網頁中一般包含有大量的網頁布局信息，比如javescript和sytle標識的信息等，這樣的信息只是在說明網頁的表示，輸入網頁分類算法中的噪聲，所以應該在算法之前將其刪除，否則會對分類算法造成干擾。

2.2 中文分詞

中文分詞不同于英文，英文中每個單詞之間都有空格分隔，中文書寫以字為單位，一個或多個漢字組成一個詞，中文分詞要做的就是把句子拆分成詞語，以便后續使用。目前存在的中文分詞算法中，中科院計算技術研究所推出的基于隱馬爾科夫模型的ICTCLAS漢語分詞器分詞效率達到95%以上，是目前公認的最好的漢語分詞器。

3 分類加權的TF-IDF的網頁分類算法

3.1 TF-IDF算法

TF-IDF是一種統計方法，用于評估一個字詞在其所在文檔中的重要程度。主要思想是：如果某個詞素在一個文檔中出現的頻率TF高，并且在其他文檔中很少出現，則認為該詞素具有很好的區分能力。tf表征一個詞素在文檔中出現的頻率，idf值是逆向文本頻率，表征詞語的普遍重要性，一個詞語在越多的文檔中出現，則該詞的區分能力越低。其中：

nt，d表示特征詞t在文檔d中出現的次數，M表示d文檔總特征詞數

N為文檔總數，n為包含詞素t的文檔數。

3.2 TF-IDF算法的不足及其改進

TF-IDF算法TF值為詞素的出現次數，沒有考慮網頁的結構信息，無論特征詞出現在哪一部分，它的權重都為1。對于一個網頁來說，這顯然是不合理的，分析HTML文件可知，一個網頁一般包含3種結構：標題、以＜TITLE＞＜TITLE＞標記網頁正文和其余部分。

本文采用分類加權的方法對其改進，將網頁分成上述3個部分，給每個部分賦予不同的權值。權值的大小可采用機器學習中的線性回歸法來確定，輸入一定規模的訓練集，找出使損失函數值最小的權值分配。確定權值后計算每個網頁的TF值時改進的公式為

w1為詞素出現在不同位置時的權重。

3.3 特征詞提取

特征詞的提取是整個分類算法的關鍵，特征詞提取的效果直接影響分類的準確度，算法要保證特征詞具有高區分度，由于原始TF-IDF算法求出的是詞素對其所在文檔的區分度，因此要提取能夠區分每個類別網頁集合的特征詞，需要將每個類別當成一個集合看待，這樣求出的具有較高TFIDF值的詞即是在每個類別中具有高區分度的詞，算法思想為，將每個類別中的所有網頁看作一個單獨的集合，在每個類別中以網頁為單位計算加權分類的TF值，再以類別為單位計算總TF值與IDF值，之后算出的TFIDF值越高，則代表該詞越具有區分度，流程為：①選取合適規模的已分類網頁。②將每個類中的所有網頁看成一個集合，計算每個類中網頁的所以詞素TF值，之后計算每個詞素在該類別下的總TF值。以i表示類別集合，j表示每個網頁，則詞素t在i類別下的TF值為：

③每個類別中的詞素IDF值為總分類數除以包含該詞語的分類的數目，再將得到的商取對數得到計算每個類中的所有詞素的TFIDF值并進行排序。④去掉平凡詞后在每個類中選取排名前500的詞作為該分類的特征詞。

3.4 分類算法

分類算法的流程為：

對于新的網頁，計算網頁中所有詞的TFIDF值進行排序。

取值最大的詞素，若該詞素屬于某個類別的特征集合，則將網頁設置為該類別，否則刪除該詞，再次取值最大的詞進行比較，以此類推求出網頁的類別。

[1]張祥.一個網頁分類系統的研究與實現[D].北京郵電大學，2013

[2]孔令成.基于特征提取和權值計算算法的中文網頁分類研究[D].安徽大學，2010

[3]彭浩，王雅琳.一個面向實時網頁分類的主題特征提取算法[J].計算機與現代化，2008，(7)