校園微博輿情監(jiān)測系統(tǒng)的設計和實現(xiàn)

作者/朱瑞超、譚明川（通訊作者）、王澤宇、向前，云南大學信息學院

引言

網(wǎng)絡輿情是指在互聯(lián)網(wǎng)背景下，眾多網(wǎng)民對社會各種現(xiàn)象、問題所表達的信念、意見、態(tài)度和情緒的總和[1]。伴隨著網(wǎng)絡的普及，廣大網(wǎng)民特別是學生社會參與意識的提高和社會突發(fā)事件的發(fā)生，網(wǎng)絡輿情爆發(fā)出了巨大的力量。微博即時且快速的特性進一步推進了網(wǎng)絡輿情的發(fā)展，微博上的網(wǎng)民輿論也成為網(wǎng)絡輿情中最具影響力的一種[2]。

微博中包含大量的數(shù)據(jù)信息，在“大數(shù)據(jù)”的今天，如何發(fā)現(xiàn)并利用這些有用的數(shù)據(jù)，對有限的數(shù)據(jù)進行無限的挖掘一直是網(wǎng)絡研究的熱點問題。本文通過微博爬取、微博監(jiān)測、敏感詞分析、用戶分析，實現(xiàn)了基于校園的微博輿情監(jiān)測系統(tǒng)。本系統(tǒng)的主要貢獻為以下三點：（1）開發(fā)了一款面向校園的輿情監(jiān)測系統(tǒng)；（2）使用IK正向迭代最細粒度切分算法進行分詞處理；（3）使用pagerank算法進行用戶影響力排名。

1.系統(tǒng)的設計與實現(xiàn)

1.1 系統(tǒng)整體設計

系統(tǒng)設計流程如圖1所示。本系統(tǒng)基本工作流程如下：

首先通過爬蟲進行數(shù)據(jù)的爬取；之后使用IK正向迭代最細粒度切分算法進行分詞處理，將分詞后的數(shù)據(jù)進行敏感詞庫的匹配；最后使用pagerank算法進行用戶的影響力排名，并顯示監(jiān)測結(jié)果。

1.2 爬蟲實現(xiàn)

新浪API爬蟲實現(xiàn)過程分為5步：

Step1：向新浪服務器發(fā)送get請求；

圖1 系統(tǒng)設計流程圖

Step2：調(diào)用api傳遞參數(shù)，通過accesstoken來驗證用戶身份[3]；

step3接收服務器返回的數(shù)據(jù)流；step4：解析json格式的數(shù)據(jù)流；step5：數(shù)據(jù)分析處理。

1.3 分詞算法

本系統(tǒng)采用了IK正向迭代最細粒度切分算法，目前國內(nèi)代表性的分詞器有IK Analyer。分詞器的性能優(yōu)劣取決于它的切詞效率以及靈活性，及是否具備擴展詞庫、禁用詞庫和同義詞庫[4]。

IK正向迭代最細粒度切分算法根據(jù)公式（1）進行分詞：

其中ci表示該詞項在文檔中出現(xiàn)的詞數(shù)，k1是該公式的參數(shù)，表示該詞頻的影響，TF的影響是非線性的。另外，公式中qci表示詞項在查詢詞中的次數(shù)，k2是參數(shù)，公式k2取值的影響要小于k1。公式中的K取值為：

1.4 pagerank算法排名

在對微博用戶排名時我們采用參考pagerank算法，初始的PR值由公式（3）進行確定，之后再對PR值進行入度累計，存放PR的數(shù)組，統(tǒng)計結(jié)構(gòu)體數(shù)組數(shù)量。其中，F(xiàn)count為粉絲數(shù)量，Gcount為關注量，α為收斂系數(shù)，通常取0.85[5]。

使用公式（4）對用戶的影響力進行計算。根據(jù)上面的公式，我們可以計算每個用戶的PR值，在不斷迭代趨于平穩(wěn)的時候，即為最終結(jié)果。

2.排名分析

經(jīng)過pagerank算法計算的排名結(jié)果與粉絲數(shù)量的排名前五名的結(jié)果對比，如表1所示。

表中可以看到，粉絲數(shù)量對多新民周刊在本算法的排名中只排到了第二名的位置，這是由于新民周刊關注了熱門奇事趣聞這個博主，因此新民周刊的粉絲數(shù)量被以一定權(quán)值的形式增加至熱門奇事趣聞這個博主上面。

表1 排名結(jié)果對比

3.總結(jié)與展望

本文設計的微博爬蟲可以滿足基本的要求，既可以快速的爬取已經(jīng)發(fā)布的微博，又可以同時監(jiān)測大量用戶將要發(fā)布的微博信息，但是在程序安全性、進度可控和可視化方面仍有提升空間。后期工作中將著重于用戶界面的設計與優(yōu)化，并優(yōu)化算法進一步提高監(jiān)測效率。

* [1]商艷軍,牛作軍.大學生群體極化行為與網(wǎng)絡輿情[J].重慶科技學院學報(社會科學版),2014,08∶138—140.

* [2]蘭月新.突發(fā)事件微博輿情擴散規(guī)律模型研究[J].情報科學 ,2013,03∶31—34.

* [3]陳永,張健,韓兆吉. 基于OAuth2協(xié)議的服務與服務之間的安全認證[J].電腦編程技巧與維護,2013,24∶119—120+122.

* [4]劉瓊?cè)?基于Lucene的搜索排序算法研究與實現(xiàn)[J].無線互聯(lián)科技 ,2017,04∶143—146.

* [5]LIU Gui—mei. An adaptive improvement on PageRank algorit hm[J]. Applied Mathematics∶A Journal of Chinese Universities(Series B). 2013(01).