基于文本挖掘的論壇熱點(diǎn)問(wèn)題時(shí)變分析

吳 柳，程 愷，胡 琪

?

基于文本挖掘的論壇熱點(diǎn)問(wèn)題時(shí)變分析

吳 柳1，程 愷2，胡 琪2

(1. 江蘇海事職業(yè)技術(shù)學(xué)院，南京 210070；2. 解放軍理工大學(xué)指揮信息系統(tǒng)學(xué)院，南京 210007)

隨著互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)論壇因其開(kāi)放性和自由性成為了輿論的發(fā)源地，真實(shí)地反映了當(dāng)前的新聞熱點(diǎn)和當(dāng)前民眾最關(guān)心的話(huà)題。本文基于網(wǎng)易論壇上的網(wǎng)上談兵欄目，對(duì)相關(guān)帖子進(jìn)行文本挖掘，通過(guò)改進(jìn)傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)對(duì)指定論壇網(wǎng)頁(yè)進(jìn)行爬取，設(shè)計(jì)了關(guān)鍵詞權(quán)重計(jì)算公式提取關(guān)鍵詞，依據(jù)關(guān)鍵詞歸納總結(jié)熱點(diǎn)話(huà)題，提出話(huà)題匹配規(guī)則對(duì)話(huà)題帖子進(jìn)行定位匹配。通過(guò)分析熱點(diǎn)話(huà)題隨時(shí)間變化的趨勢(shì)，把握網(wǎng)絡(luò)輿論的動(dòng)向，并對(duì)話(huà)題進(jìn)一步的發(fā)展趨勢(shì)做出一定預(yù)測(cè)，為相關(guān)部門(mén)及時(shí)、準(zhǔn)確把握網(wǎng)絡(luò)輿論動(dòng)態(tài)走向提供了可靠依據(jù)。

網(wǎng)絡(luò)爬蟲(chóng)；中文分詞；關(guān)鍵詞提取；熱點(diǎn)話(huà)題；時(shí)變分析

0 引言

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)媒體因其方便快捷、互動(dòng)性強(qiáng)的特點(diǎn)，逐漸成為繼報(bào)紙、廣播、電視之后的“第四媒體”，成為現(xiàn)在人們獲取信息的主要途徑。同時(shí)，由于互聯(lián)網(wǎng)的普及，越來(lái)越多的人通過(guò)互聯(lián)網(wǎng)來(lái)表達(dá)一些自己對(duì)某些事件、現(xiàn)象、政策的看法和意見(jiàn)。網(wǎng)絡(luò)上的輿論反應(yīng)了人們真實(shí)的想法和建議，網(wǎng)絡(luò)輿情也被越來(lái)越多的人所關(guān)注[1-3]。

其中，網(wǎng)絡(luò)論壇發(fā)展到今天已成為互聯(lián)網(wǎng)的重要組成部分，網(wǎng)民通過(guò)瀏覽帖子、展開(kāi)討論，表達(dá)對(duì)熱點(diǎn)問(wèn)題的看法和意見(jiàn)。如果能夠及時(shí)分析論壇信息，對(duì)相關(guān)政府機(jī)構(gòu)準(zhǔn)確把握網(wǎng)絡(luò)輿論的動(dòng)態(tài)走向，從而進(jìn)行監(jiān)測(cè)、預(yù)警都具有重要意義[4-6]。然而面對(duì)網(wǎng)絡(luò)中的海量信息，傳統(tǒng)的人工方式分析已無(wú)應(yīng)對(duì)爆炸式的信息增長(zhǎng)，需要采用數(shù)據(jù)挖掘、大數(shù)據(jù)等先進(jìn)技術(shù)手段[7-11]，對(duì)論壇中熱點(diǎn)問(wèn)題討論的信息進(jìn)行有效地采集、分析，從數(shù)據(jù)中獲取有用的知識(shí)。

因此，本文研究了從網(wǎng)絡(luò)論壇內(nèi)容的獲取到數(shù)據(jù)預(yù)處理以及熱點(diǎn)話(huà)題篩選和時(shí)變分析等關(guān)鍵技術(shù)，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)論壇熱點(diǎn)信息的采集，進(jìn)而分析熱點(diǎn)問(wèn)題在時(shí)間序列上的發(fā)展變化規(guī)律。通過(guò)對(duì)網(wǎng)易論壇上的網(wǎng)上談兵欄目進(jìn)行文本挖掘，了解各大軍事熱點(diǎn)問(wèn)題在時(shí)間序列上的走勢(shì)，把握輿論動(dòng)向，根據(jù)得到的熱度曲線圖，挖掘有關(guān)話(huà)題信息，并預(yù)測(cè)下一步話(huà)題發(fā)展情況。

1 總體研究框架

基于文本挖掘的論壇熱點(diǎn)問(wèn)題時(shí)變分析主要包括信息獲取、信息處理、熱點(diǎn)話(huà)題匹配和時(shí)變分析四個(gè)步驟，其總體研究框架如圖1所示。

圖1 基于文本挖掘的論壇熱點(diǎn)問(wèn)題時(shí)變分析總體研究框架

1.1 網(wǎng)絡(luò)論壇信息的獲取

網(wǎng)絡(luò)論壇信息的獲取是將指定所關(guān)注的網(wǎng)絡(luò)論壇的URL，自動(dòng)地獲取論壇的帖子信息，并且按照一定的格式存儲(chǔ)這些信息。網(wǎng)絡(luò)論壇信息的獲取是數(shù)據(jù)預(yù)處理以及數(shù)據(jù)分析的前期準(zhǔn)備工作，涉及到網(wǎng)絡(luò)爬蟲(chóng)等網(wǎng)頁(yè)自動(dòng)訪問(wèn)和虛擬訪問(wèn)技術(shù)，是研究的重點(diǎn)內(nèi)容之一。

1.2 網(wǎng)絡(luò)論壇信息的預(yù)處理

網(wǎng)絡(luò)論壇信息的預(yù)處理是將獲取并存儲(chǔ)得到的帖子進(jìn)行進(jìn)一步的分詞、詞頻統(tǒng)計(jì)、提取關(guān)鍵詞等處理。通常直接存儲(chǔ)的帖子信息數(shù)據(jù)量過(guò)于龐大，并且論壇信息的實(shí)時(shí)性強(qiáng)，直接進(jìn)行分析不僅耗費(fèi)時(shí)間長(zhǎng)，工作量大，而且無(wú)法及時(shí)追蹤分析熱點(diǎn)。對(duì)帖子信息進(jìn)行預(yù)處理相當(dāng)于用提取的關(guān)鍵詞來(lái)代替帖子內(nèi)容，減少了數(shù)據(jù)量，為后續(xù)數(shù)據(jù)分析提供方便。

1.3 網(wǎng)絡(luò)論壇信息的話(huà)題篩選

網(wǎng)絡(luò)論壇信息的話(huà)題篩選是基于對(duì)數(shù)據(jù)的預(yù)處理，通過(guò)對(duì)帖子關(guān)鍵詞以及相應(yīng)的權(quán)重按照權(quán)重由高到低進(jìn)行人工分析，得到具有跟蹤研究意義的話(huà)題系列。這一過(guò)程采用了傳統(tǒng)的人工選擇，是基于機(jī)器對(duì)于自然語(yǔ)言的理解能力受限考慮。在確定的話(huà)題系列基礎(chǔ)上，分析所有話(huà)題可能包括的內(nèi)涵以及在此話(huà)題中具有代表性的關(guān)鍵詞，為每一個(gè)話(huà)題建立關(guān)鍵詞向量，作為話(huà)題規(guī)則，從而進(jìn)一步對(duì)所有帖子進(jìn)行話(huà)題匹配，完成分類(lèi)。

1.4 網(wǎng)絡(luò)論壇信息的時(shí)變分析

網(wǎng)絡(luò)論壇信息的時(shí)變分析是對(duì)話(huà)題在時(shí)間序列上的熱度變化情況進(jìn)行分析的過(guò)程。將選擇出的話(huà)題系列從每個(gè)月抽取出來(lái)放到整個(gè)時(shí)間軸上，可以縱向觀察到話(huà)題的波動(dòng)情況。不同話(huà)題隨時(shí)間序列的發(fā)展情況不同，依據(jù)熱度曲線圖，分析峰值，可以挖掘出在某一時(shí)間段話(huà)題的聚焦情況。

2 關(guān)鍵技術(shù)

2.1 論壇爬蟲(chóng)技術(shù)

網(wǎng)絡(luò)論壇大多采用兩層的結(jié)構(gòu)來(lái)組織整個(gè)討論區(qū)的帖子話(huà)題，對(duì)于帖子本身來(lái)說(shuō)，需要得到的僅僅是兩種類(lèi)型的頁(yè)面信息：話(huà)題索引頁(yè)面和帖子內(nèi)容頁(yè)面。話(huà)題索引頁(yè)面列出主帖的標(biāo)題、發(fā)帖人、發(fā)帖時(shí)間、最后回帖時(shí)間等基本信息，并且鏈接指向帖子內(nèi)容頁(yè)面。論壇網(wǎng)頁(yè)的結(jié)構(gòu)如圖2所示。

圖2 論壇網(wǎng)頁(yè)結(jié)構(gòu)

由于只需要獲取所有的帖子信息，所以不需要網(wǎng)絡(luò)爬蟲(chóng)大面積的抓取網(wǎng)頁(yè)，也正由于此原因，爬蟲(chóng)在話(huà)題索引頁(yè)抓取回來(lái)的網(wǎng)頁(yè)除了與帖子有關(guān)的信息外，其余的都被看作是網(wǎng)頁(yè)噪音，需要進(jìn)一步過(guò)濾。并且采用類(lèi)似“寬度搜索”的爬行策略，從待抓取隊(duì)列中抽取一個(gè)URL后，抓取頁(yè)面上的所有鏈接，判斷抓取的URL在等待隊(duì)列和已訪問(wèn)隊(duì)列中是否已經(jīng)存在，且該鏈接必須以http開(kāi)頭，若符合，則將鏈接添加到等待抓取的隊(duì)列中。

從初始網(wǎng)址開(kāi)始，本文采用的網(wǎng)絡(luò)爬蟲(chóng)架構(gòu)如圖3所示。

2.2 關(guān)鍵詞提取技術(shù)

關(guān)鍵詞提取就是從文本里面把跟這篇文章意義最相關(guān)的一些詞抽取出來(lái)，可以追溯到文獻(xiàn)檢索初期，在還不支持全文搜索時(shí)期，關(guān)鍵詞就可以作為搜索這篇論文的詞語(yǔ)。因此，目前依然可以在論文中看到關(guān)鍵詞這一項(xiàng)。簡(jiǎn)而言之，關(guān)鍵詞就是最能夠反映出文本主題或者意思的詞語(yǔ)。

關(guān)鍵詞提取大致有兩種方法：第一種為關(guān)鍵詞分配，是給定一個(gè)關(guān)鍵詞庫(kù)，然后從詞庫(kù)里面找到幾個(gè)詞語(yǔ)作為將需要提取關(guān)鍵詞的文本的關(guān)鍵詞。第二種為關(guān)鍵詞抽取，是從文本中抽取一些詞語(yǔ)作為這篇文章的關(guān)鍵詞。

另外，從結(jié)果上看關(guān)鍵詞抽取也可以分兩種。第一種僅僅把詞語(yǔ)抽取出來(lái)，實(shí)現(xiàn)較簡(jiǎn)單，比如FudanNLP、jieba、SnowNLP。另一種則是連詞和短語(yǔ)一起抽取出來(lái)，這個(gè)還需要增加短語(yǔ)抽取這一個(gè)步驟，這一類(lèi)的實(shí)現(xiàn)包括ICTCLAS、ansj_seg等。可以把類(lèi)似于“智能手機(jī)”、“全面深化改革”、“非公有制經(jīng)濟(jì)”等短語(yǔ)抽取出來(lái)。對(duì)于聚類(lèi)或者分類(lèi)來(lái)說(shuō)，很明顯短語(yǔ)比詞語(yǔ)更有參考價(jià)值。

關(guān)于關(guān)鍵詞抽取的算法，目前主要有TF-IDF算法、初代KEA算法、TextRank算法和ICTCLAS等。本文采用的是基于ICTCLAS的Ansj關(guān)鍵詞提取技術(shù)，其基本原理為依據(jù)不同詞性詞語(yǔ)的初始權(quán)重，其中標(biāo)題中詞權(quán)重加倍，再結(jié)合詞在文中出現(xiàn)的位置和頻率調(diào)整后，得到每個(gè)詞的權(quán)重score。

由于本文需要通過(guò)關(guān)鍵詞的熱度來(lái)進(jìn)一步確定當(dāng)前的熱點(diǎn)話(huà)題，故結(jié)合帖子的瀏覽量對(duì)關(guān)鍵詞權(quán)重作進(jìn)一步改進(jìn)。具體改進(jìn)的公式如下：

最后生成的關(guān)鍵詞熱度從一定程度上既反映了帖子的基本內(nèi)容，同時(shí)也體現(xiàn)了在所有帖子中的受關(guān)注程度。

2.3 話(huà)題提取技術(shù)

網(wǎng)絡(luò)論壇熱點(diǎn)話(huà)題的獲取是指從大量的網(wǎng)絡(luò)論壇帖子中發(fā)現(xiàn)熱點(diǎn)話(huà)題并利用關(guān)鍵詞定位到具體的帖子的過(guò)程。本文所采用的熱點(diǎn)話(huà)題獲取方法是基于關(guān)鍵詞熱度的。熱點(diǎn)話(huà)題獲取是對(duì)所有帖子內(nèi)容中出現(xiàn)的關(guān)鍵詞進(jìn)行的一個(gè)統(tǒng)計(jì)，關(guān)鍵詞熱度越高表明越受網(wǎng)民的關(guān)注。這種方法所發(fā)現(xiàn)的話(huà)題基本能夠反映出當(dāng)前的熱點(diǎn)問(wèn)題，話(huà)題發(fā)現(xiàn)的過(guò)程如圖4所示。

1. 讀入帖子的關(guān)鍵詞結(jié)果。

按照數(shù)據(jù)預(yù)處理模塊中對(duì)帖子信息進(jìn)行的分詞、關(guān)鍵詞生成結(jié)果，依次把詞語(yǔ)讀入暫存數(shù)組keywords[m]中，其中keywords[m]是一個(gè)字符型的一維數(shù)組，用來(lái)暫時(shí)存放某一條帖子的關(guān)鍵詞結(jié)果。例如標(biāo)題為“我國(guó)運(yùn)載火箭研制”的帖子提取關(guān)鍵詞之后的結(jié)果為“運(yùn)載火箭/176.81”，“研制/149.03”，“我國(guó)/53.72”， “全新/52.02”，“推力/50.14”，“現(xiàn)役/ 45.55”等，將這些詞語(yǔ)按權(quán)重順序依次讀入字符數(shù)字keywords[m]中，即keywords[0]=“運(yùn)載火箭”， keywords[1]=“研制”，keywords[2]=“我國(guó)”，……，依次類(lèi)推。此外，在讀入的同時(shí)自動(dòng)去除權(quán)重較低的詞語(yǔ)。

2. 確定進(jìn)一步研究的熱點(diǎn)問(wèn)題

結(jié)合關(guān)鍵詞結(jié)果、權(quán)重評(píng)分以及帖子瀏覽量的綜合考慮，人工分析得出需要進(jìn)一步研究的話(huà)題系列，分別設(shè)為不同的話(huà)題向量為Vector