一種基于英文網頁描述性信息的摘要算法

郭培勝 張 燕

一種基于英文網頁描述性信息的摘要算法

郭培勝 張 燕

本文給出了一種基于英文網頁的描述性信息（context）的摘要算法。該算法改進了提取描述性信息的方法，用HtmlParser工具提取所有符合條件的描述性信息。對描述性信息集進行預處理后，討論了如何解決描述性信息集的相關性問題，并通過實驗結果對比分析了本摘要算法中混合法和聚類法的性能。

網頁自動摘要技術是利用計算機從網頁的文本中抽取句子或利用網頁的特點得到網頁內容的縮減版本，據此預先了解網頁的內容，并判斷是否有必要瀏覽網頁全文從而節省瀏覽時間的一門技術。本文第一部分描述描述性信息獲取和預處理技術，第二部分詳細介紹該摘要算法，第三部分對實驗結果進行分析，最后第四部分是結論。

獲取描述性信息及預處理

網頁來源是通過在搜索引擎工具（如Google）的搜索框中搜索得到的，得到源網頁之后，采用HtmlParser工具和eclipse編程軟件，先匹配目標網址，找到其所在的節點，然后得到其父節點的內容，也即得到了描述性信息。但描述性信息集里還是有大量的噪聲。所以首先去掉換行，去掉多余的空格等，作為預處理的第一步。并依次通過去重、去掉只包含了目標網頁的標題和網址、考慮描述性信息的大小原則和停用詞原則，得到經預處理后的描述性信息集。

算法

經預處理后得到的描述性信息集可能存在如下兩個問題：

1.得到的描述性信息部分地概括了網頁的內容，即片面性問題；

2.得到的描述性信息與網頁相關，但是沒有概括網頁的內容，即相關性問題。

本文主要研究相關性問題。

在描述性信息集中，定義一個描述性信息為相關描述性信息（reference context），定義描述性信息集D 中描述性信息S 的話題度為T（ S， D）。

下面是解決相關性問題的兩種算法。

混合法

描述性信息S 與文本C中句子的話題相關度能用廣義滿意度來衡量，如公式（1）：

混合摘要算法如下：

計算描述性信息S與目標文本中句子的話題相關度。根據1）的結果對描述性信息排序；

選擇具有最高的話題相關度權值的描述性信息作為摘要。

聚類法

當目標文本的文字信息太少時，不適合用目標網頁的文本作為輸入信息，也不適合采用算法一來找出最能描述網頁內容的描述性信息。這里選擇層次聚類算法。

首先選擇一個相似函數，相似度量用經典的余弦相似度。讓S1和S2分別由向量〈w1i，...，wi

N〉和〈w1k，...，wNk〉代表。相似度值公式（2）如下：

設定摘要的最大長度為l ，描述性信息集為：S=｛Si｝i=1..N。

以下是聚類法的步驟。

指定每個句子的類，定義每兩個類｛Si｝和｛Sk｝的相似度Sim（ Si， Sk）。找出最接近的兩個類并合并，這樣使總的類數減一。計算每一個舊類和新類的相似度。這里把兩個類的描述性信息之間的相似度值求平均作為兩個類的相似度值。

圖1 改進后的混合法與改進前的混合法的相似度值比較

圖2 改進后的聚類法與改進前的聚類法的相似度值比較

反復步驟2）和步驟3），直到所有類都聚為大小為N的一個類，或者最相似的兩個類之間的相似值小于給定門限α（0≤α≤1）。

去除只有一個元素的類。

根據類所包含的描述性信息的個數來降序排列類，得到｛C1，...，Cp｝。

對每個類Ci運用排序函數f。這里采用基于網頁內容的摘要算法的Lexrank算法來對同一類的描述性信息進行排序，找出權值最高的描述性信息作為摘要。

當i〈min（l， p）時，認為Ci是排序函數f 的最大值。

實驗結果分析

下面分析摘要算法中混合法和聚類法的性能。比較文獻中的未改進的混合法與本文的混合法的結果，主要比較兩種算法與理想摘要的相似度，該相似度用計算單詞頻率和余弦相似度來完成，比較結果見圖1。

通過圖1可以看出，與改進前的方法相比，改進后的混合法與理想摘要的相似度值更高，說明改進后的方法生成的摘要更接近理想摘要。也證實了改進后的混合法中用HtmlParser工具得到更多的質量較高的描述性信息集的必要性。

比較文獻中的未改進的聚類法與本文的聚類法的結果，方法同上，比較結果見圖2。其中未改進的聚類法的排序函數采用平均TF-ISF方法。

通過圖2可以看出，與改進前的方法相比，改進后的聚類法與理想摘要的相似度值更高，說明改進后的方法生成的摘要更接近理想摘要。同圖1一樣，證實了改進后的聚類法中用HtmlParser工具得到更多的質量較高的描述性信息集的必要性，也反映了在處理相關性問題時采用Lexrank方法比采用平均TF-ISF方法能得到更好的描述網頁內容的描述性信息作為摘要。

結束語

本文提出了一種基于描述性信息的摘要算法。針對預處理后的描述性信息集存在的相關性問題，分別對傳統混合法和聚類法進行了改進，對比實驗結果表明改進后的方法生成的摘要更接近理想摘要，對網頁摘要算法研究有一定的參考價值。

10.3969/j.issn.1001-8972.2015.23.011