大數據環境下網絡輿情預警系統的設計研究

李金海 徐輝

摘 ?要： 近年來，網絡輿情成為了最主要的社會輿情傳播方式之一，在大數據環境下，海量的網絡輿情信息給網絡輿情預警增加了新的挑戰。依托爬蟲技術對新聞網頁、論壇和微博等網站進行信息采集，利用大數據平臺Hadoop對采集的數據進行預處理及挖掘分析，所設計的網絡輿情預警系統能夠完成在大數據環境下，海量的網絡輿情信息中網絡輿情熱點問題的挖掘以及預警等級的自動判別。

關鍵詞： 大數據; 輿情; 預警; 爬蟲技術; 數據挖掘

中圖分類號：TP391 ? ? ? ? ?文獻標識碼：A ? ? 文章編號：1006-8228（2020）01-30-05

Abstract： In recent years， Internet public opinion has become one of the most important ways of social public opinion dissemination. Under the big data environment， massive online public opinion information adds new challenges to online public opinion early warning. Relying on crawler technology to collect information from news web pages， BBS， Weibo and other websites， and using the big data platform Hadoop to preprocess and mine the collected data， the network public opinion early warning system designed in this paper can complete the mining of hot issues of network public opinion and automatically identify the early warning level in the massive network public opinion information under the big data environment.

Key words： big data; public opinion; early warning; crawler technology; data mining

0 引用

2019年2月28日，中國互聯網絡信息中心（CNNIC）在京發布第43次《中國互聯網絡發展狀況統計報告》，《報告》顯示，截至2018年12月，我國網民規模達8.29億，普及率達59.6%[1]。網絡輿情成為了最主要的社會輿情傳播方式之一。而事物往往具有兩面性，網絡輿情也給社會的穩定帶來了威脅。當一些惡意傷害，誹謗誣陷等負面現象出現在網絡輿情中時，會造成社會的不穩定。各種網絡暴力，人肉搜索等，在當今社會的網絡中屢見不鮮。網絡輿情的兩面性日益加劇。目前我國正處于社會矛盾較多的社會轉型期，所以更需要做好有關網絡輿情的工作：對網絡輿情的監測和預警等。正如羅伯特·希斯所說，避免危機的發生或者將危機消滅在萌芽狀態是成本最小、最經濟、也是最成功的危機管理辦法。所以，搭建合理科學的網絡輿情預警體系結構，建立起早期第一道保護壁壘，可以將輿情工作從事后的緊急解決轉變為事前警示，做到提前干預，防患于未然，將輿情危機控制在最小范圍內。建立完善的輿情預警機制，以科學正確的引導社會輿論，保證和促進社會的和諧發展。

在大數據環境下，微博、微信、論壇等社會媒體繁榮發展，產生了網絡輿情預警的大數據需求，所以需要及時分析海量的網絡輿情數據，進而給管理人員提供信息支持，這對網絡輿情預警是新的挑戰。傳統的依靠簡單的數據統計方法進行輿情預警和監控已無法滿足需求。在大數據背景下，網絡輿情的預警，要求從海量的數據中找到有價值的輿情信息[2]。

1 文獻綜述

1.1 國外研究現狀

國外對網絡輿情傳播的研究較早，并且已經有一定的體系和成果。近些年，對社交網絡輿情傳播領域學者們針對輿情傳播話題，輿情傳播模型，輿情傳播影響因素和輿情傳播控制策略等方向進行了深入的探索和討論[3]。

在輿情傳播話題方面，Szabo和Huberman預測了Digg和You Tube兩個門戶網的輿情話題流行度的走勢，并為線上話題趨勢的預測提供了有效的模型[4]。

在輿情傳播模型方面，有學者引入了傳染病模型，并將網民分為易感染、已感染和已免疫三種狀態。而用不同的方法Moreno等提出了新的劃分：易感染者、傳播者和不傳播者，驗證了輿情傳播沒有明確的界限[5]。

在輿情傳播影響因素方面，Brooks提出了網絡削弱了傳統的信息傳遞載體新聞等在信息傳播中的作用，也正是新時代網絡自身的特點帶來了這種變化[6]。

1.2 國內研究現狀

目前，國內對于網絡輿情傳播階段模型的研究者較多，成果較多。對于網絡輿情傳播階段的研究，學者是通過建立模型的方法，他們把網絡輿情的傳播特點和生命周期理論相結合，并帶入到網絡輿情傳播階段的劃分中，從而提出了三、四、五、六階段模型。每個模型各不相同，在網絡輿情的傳播過程中，各個模型的特性也會非常清晰的表現出來。

三階段模型：王來華國內較早對網絡輿情研究的學者，他將網絡輿情傳播階段劃分為發生，變化，和結束三個階段[7]。

四階段模型：劉毅最初將網絡輿情傳播階段劃分為四個階段：漲落階段、序變階段、沖突階段和衰變階段[8]。

五階段模型：根據生命周期理論，蘭月新等分析了網絡輿情傳播的五個階段，即潛伏階段、萌動階段、加速階段、成熟階段和衰退階段[9]。

六階段模型：在Web2.0環境下，崔鵬等分析了網絡輿情傳播的六階段模型：潛伏階段、成長階段、蔓延階段、爆發階段、衰退階段和死亡階段[10]。

隨著各個模型的提出，和不同模型不同概念的創新，推動促進了網絡輿情研究的發展，對網絡輿情預警系統研究提供了基礎。

2 構建大數據環境下網絡輿情監控和預警模型

大數據環境下的網絡輿情預警機制的構建依托爬蟲技術對新聞網頁、論壇和微博等網站進行信息采集，利用大數據Hadoop平臺、MapReduce編程模型對采集的數據進行預處理及挖掘分析，繼而對網絡輿情環境予以監控與預警，包括監測、匯集、分析、警報等，從整體上把握網絡輿情，做到“防范于未然”[11]。構建預警機制的過程中，網絡輿情預警對預警系統信息的及時性與準確性有較高的要求。

2.1 大數據環境下網絡輿情信息的存儲設計

⑴ 網站信息挖掘存儲表，當指定搜索網站時，程序搜索到的網頁內容放在信息存儲表中，用于檢測關鍵詞出現的頻率，并預警。

網絡輿情信息存儲表t_webinfo結構如表1所示。

⑵ 關鍵詞存儲表，搜索的關鍵詞存儲的表格，字段搜索時間（matchtime）是搜索對應的輿情信息的關鍵詞，關鍵詞存儲表t_key結構如表2所示。

2.2 大數據環境下網絡輿情信息的采集與預警

⑴ 獲取網頁內容并將其存入數據庫以及對所需內容的獲取

該模塊是以matchtime為條件，先搜索t_webinfo表（網站輿情信息存儲表）中數據，當前一次 MySQL 操作所影響的記錄行數不存在時，刪除t_key表（關鍵詞存儲表）里該匹配時間的數據，并前臺返回顯示done。

而當數據存在時，循環遍歷搜索到的數據，然后以標題，網址，關鍵詞放入對應數組中。

部分關鍵代碼如下：

$sql="select * from txttmp where matchtime=$matchtime order by id limit ".$step;

$ret = mysql_query（$sql，$conn）;

if（mysql_affected_rows（）<=0）

{

$sql="delete from keytmp where matchtime=$matchtime";

$ret = mysql_query（$sql，$conn）;

echo "";

mysql_close（$conn）;

exit;

}

while（$row = mysql_fetch_object（$ret））

{

$link=trim（$row->link）;

$connarr[$j]=curl_init（$link）;

curl _ setopt （$connarr[$j]， CURLOPT _ RETURNTRANSFER，1）;

curl_setopt（$connarr[$j]， CURLOPT_TIMEOUT， 20）;//這個非常關鍵

curl_multi_add_handle（$mh，$connarr[$j]）;

array_push（$tmpidarr，$row->id）;//link

array_push（$tmplinkarr，$link）;//link

array_push（$tmptitlearr，trim（$row->title））;//title

array_push（$tmpsitearr，$row->site）;//site

$j++;

}

⑵ 網絡輿情的預警

該模塊主要是判斷關鍵詞在指定網站出現的次數，當次數在20-50之間時，返回前臺頁面初級預警，當出現次數在50-100之間時，返回前臺頁面中級預警，當次數達到100次以上時，返回前臺頁面高級預警。

部分關鍵代碼如下：

$sql="select * from txttmp where matchtime=$matchtime";

$result = mysql_query（$sql，$conn）;

if（$result）{

$num = mysql_num_rows（$result）;

}else{

echo "";

}

if（$num>=20&&$num<=50）{

echo "";

}

if（$num>50&&$num<=100）{

echo "";

}

if（$num>100）{

echo "";

}

3 模型的實證分析

3.1 預警系統主界面

系統運行主界面如圖1所示。

該界面是進入輿情預警平臺的主界面。

⑴ keys是寫入需要檢索的網絡輿情關鍵字詞。

⑵ site欄是寫入需要檢索的網站地址，必須以http：//開頭。

⑶ 檢索按鈕就是在檢索網址中檢索關鍵詞，也就是執行程序。

⑷ addkey是當給的關鍵詞搜索框滿足不了需求時，可以增加關鍵詞搜索框。

⑸ 同理addsite是當給的網址搜索框滿足不了需求時，可以增加網址搜索框。

⑹ 當頁面呈現時，會默認寫好在網絡輿情中比較熱門的關鍵詞和輿情出現較明顯的熱點網址，以供用戶參考。

3.2 輿情處理界面

圖2展示了該平臺網絡輿情預警檢索運行后的界面，該輿情并不需要預警，界面展示了檢索網站中出現了關鍵詞的標題，并以紅色凸顯出關鍵詞;關鍵詞一列也就是用戶寫在key中的某個關鍵詞出現在標題中時，這一列將會出現該關鍵詞;位置一列是該關鍵詞出現在標題還是文章內還是標題內;網址一列則是關鍵詞出現的網址;最后是跟蹤時間，即搜索到的該信息的時間，精確到秒。

圖3展示了當關鍵詞出現次數在20到50次之間時達到初級預警，這時會在頁面左下角出現初級預警四個字進行預警提示。

經過實驗，本文設計的預警系統已初步達到了網絡信息的獲取和對獲取信息中關鍵詞的搜索顯示功能。

4 結束語

對于大數據環境下頻發的網絡輿情，需要完善網絡輿情的監測預警，以及采用相應的措施，對于不利于社會安定和諧的網絡輿情，我們要做到及時把控和后續的處理，盡可能做到產生積極向上的社會影響。

對網絡輿情的處理措施要依據當前網絡輿情的情況而定，對其程度的判斷，也是一個分類的過程。本文旨在通過判斷網絡輿情的不同階段，給予政府、個人相應的處理措施建議;利用大數據Hadoop平臺、MapReduce編程模型，通過php、mysql、js、Apache等技術簡單地實現了大數據環境下對網絡輿情的簡單監測與預警。

本次研究中仍有許多不足之處待改進，在之后的研究中，將對以下幾點進行進一步研究和完善。一是本次研究對輿情預警程度劃分并不是很嚴謹，還需要更多地查閱相關資料，借鑒前人的輿情預警等級劃分來完善。二是由于篇幅限制，本文并沒有給出針對不同等級的網絡輿情的具體處理措施，在后續研究中，會多搜集網絡輿情案例，并找尋他們的相同之處和不同之處，進行合理的劃分歸類，并給予合理的處理建議。

參考文獻（References）：

[1] CNNIC：2019年第43次中國互聯網絡發展狀況統計報告[R].北京：中國互聯網絡信息中心，2019.

[2] 儲節旺，朱玲玲.基于大數據分析的突發事件網絡輿情預警研究[J].情報理論與實踐，2017，40（08）：61-66.

[3] Klüver H.，Pickup M.Are they listening？ Public opinion，interest groups and government responsiveness[J]. West European Politics，2018：1-22

[4] Ankolekar A，Szabo G，Luon Y，et al.Friendlee：A Mobile Application for Your Social Life[M].Mobile Computing， Applications，and Services.2009.

[5] Moreno Y，Nekovee M，Pacheco A F.Dynamics of rumor spreading in complex networks[J].PhysicalReview E，2004.69（6）：066130.

[6] Brooks B.S.Journalism in the Information Age：A Guide to Computers for Reporters and Editors[M].Allyn & Bacon，Inc.1996.

[7] 王來華.輿情變動規律初論[J].學術交流，2005.12：155-159

[8] 劉毅.網絡輿情研究概論[M].天津人民出版社，2007：292-326.

[9] 蘭月新，夏一雪，劉冰月，等.網絡輿情傳播階段精細化建模與仿真研究[J].現代情報，2018.38（1）：76-86

[10] 崔鵬，張巍，何毅，等.突發公共事件網絡輿情演化及政府應對能力研究[J].現代情報，2018.38（2）：75-83

[11] 胡瑞娟.面向大數據的群體性事件網絡輿情預警機制研究[J].計算機時代，2017.5：13-16