Web文本挖掘在智能分類中的應(yīng)用

張黎黎

（長春工程學(xué)院，吉林 長春130012）

1 文本挖掘概述

文本挖掘，又稱為“文本數(shù)據(jù)挖掘”或“文本知識發(fā)現(xiàn)”，是從文本數(shù)據(jù)中抽取隱含的、未知的、潛在且有用信息的過程。它是個分析文本數(shù)據(jù)、抽取文本信息，進(jìn)而發(fā)現(xiàn)文本知識的過程。文本挖掘的出現(xiàn)為文本信息的整理、分析、挖掘提供了有效手段[1]。

文本挖掘的主要目標(biāo)是獲得文本的主要內(nèi)容特征，如文本的主題、文本主題的類屬、文本內(nèi)容的濃縮等。文本挖掘主要有特征抽取、文本分類、聚類等技術(shù)。從提取特征值作為起始點(diǎn)，將自然語言文本自動分配給預(yù)定義的類別，利用文本特征向量對文本進(jìn)行分類，再將一個數(shù)據(jù)對象的集合分組成為多個類或簇，從而產(chǎn)生類標(biāo)記。

2 Web 文本挖掘

Web 文本挖掘是指使用中心詞匯來表示文檔的方法。利用給出求取中心文檔和中心詞匯的算法[2]，對Web 上大量文檔集合的內(nèi)容進(jìn)行總結(jié)、分類、聚類和關(guān)聯(lián)分析，亦可利用Web 文檔進(jìn)行趨勢預(yù)測。

Web 文本挖掘過程中[3]，關(guān)注的是信息元素本身的內(nèi)容與意義，是以文本、圖片、音頻、視頻或者結(jié)構(gòu)記錄等信息內(nèi)容為對象，從中挖掘知識內(nèi)容和語義關(guān)聯(lián)模式。

Web 文本挖掘是通過HTML 文檔進(jìn)行信息的采集，將分布在Web 服務(wù)器上的待挖掘文檔集成在本地文本庫中提取有用的Web 文本信息。然后，采用基于詞典的逐字二分查找方法自動分詞。采用向量空間模型和語義檢索技術(shù)表示文本，采用評估函數(shù)X2統(tǒng)計法對文本的名稱、類型、大小等特征進(jìn)行提取。Web 文本挖掘流程如下圖所示：

圖Web 文本挖掘的基本流程

3 文本分類常用算法

文本分類的算法有很多種，其中最常用到的是TFIDF 方法和Naive Bayes 算法。TFIDF 的主要思想是：如果某個詞或短語在一篇文章中出現(xiàn)的頻率高，并且在其他文章中很少出現(xiàn)，則認(rèn)為此詞或者短語具有很好的類別區(qū)分能力。TFIDF 方法傾向於過濾掉常見的詞語，保留重要的詞語。

Naive Bayes 算法是以闕值大小對文本數(shù)據(jù)進(jìn)行劃分[4]。利用：

其中，χi指C 類文檔第i 個特征，Pr（χi/d ）是從C 類文本中得到特征詞χi的概率，Pr（χi/d ）是從文本d 中得到特征詞χi的概率，n 指d 中詞的個數(shù)，m 是系統(tǒng)詞典的大小。若所得闕值大于預(yù)先設(shè)定的值，則認(rèn)為文本d 屬于C 類別，否則不是。

從概率的大小來研究，Naive Bayes 算法可描述為： 設(shè)文檔d 的文檔向量的分量為相應(yīng)的特征詞在該文檔中出現(xiàn)的頻度，則d 屬于C 類文檔的概率公式為：

4 實(shí)例說明

利用Naive Bayes 算法，通過對用戶提交信息的關(guān)鍵字的提取，對專利信息進(jìn)行智能歸類。

現(xiàn)假設(shè)已經(jīng)對用戶提交信息提取完畢，形成的樣本為： 發(fā)明、請求、權(quán)利。且已事先給定一組分好類的文本作為訓(xùn)練數(shù)據(jù)（如表1），完成對新樣本的分類。

表1

如上所述，該文本用屬性向量表示為d＝(發(fā)明、請求、權(quán)利)，類別集合為Y＝{發(fā)明專利、外觀專利}。

類“發(fā)明專利”下總共有5 個詞語，類“外觀專利”下總共有3 個單詞，訓(xùn)練樣本單詞總數(shù)為8，因此P(發(fā)明專利)＝5/8，P(外觀專利)＝3/8。類條件概率計算如下：

P(發(fā)明|發(fā)明專利)＝P(權(quán)利|發(fā)明專利)＝P(請求|發(fā)明專利) ＝(1＋1)/(5＋)＝2/8

P(發(fā)明|外觀專利)＝P(權(quán)利|外觀專利)＝(0＋1)/(3＋)=1/6

分母中的5，是指“發(fā)明專利”類別下文本長度，也即訓(xùn)練樣本的單詞總數(shù)，3 是指訓(xùn)練樣本有：發(fā)明、請求、權(quán)利共3 個單詞，是指“外觀專利”類下共有3 個單詞。

有了以上類條件概率，開始計算后驗(yàn)概率：

P(發(fā)明專利|d)=2/8×2/8×2/8×5/8=5/512≈0.0097656

P(外觀專利|d)=1/6×1/6×2/6×3/8=2/1728≈0.0011574

比較大小，即可知道這個文檔屬于“發(fā)明專利”類別。即將專利信息都?xì)w屬到“發(fā)明專利”類別下，從而減少了人工操作選擇。

5 結(jié)束語

Web 文本挖掘有利于文本特征項的提取和特征縮減，Web 的文本分類算法對Web 文檔的自動分類有極高的參考價值，對Web 文本挖掘有一定的指導(dǎo)意義。然而，對Web 文本的智能分析涉及Web 數(shù)據(jù)自動采集、Web 數(shù)據(jù)自動分析、統(tǒng)計分析、數(shù)據(jù)挖掘和人工智能以及復(fù)雜社會網(wǎng)絡(luò)等技術(shù)，是一個復(fù)雜過程。

［1］張群.文本挖掘技術(shù)及其在專利信息分析中的應(yīng)用[J].現(xiàn)代情報,2006(3):209-21.

［2］王繼成.Web 文本挖掘技術(shù)研究[J].大理學(xué)院學(xué)報,2011(4):513-520.

［3］張玉峰,何超.基于Web 挖掘的網(wǎng)絡(luò)輿情智能分析研究[J].實(shí)踐研究,2011(4):64-68.

［4］王一蕾,林世平.Web 文本挖掘三種技術(shù)的比較[J].福建電腦,2003(12):20-21.