基于微博的輿情監測與分析的研究

摘要：微博憑借其操作簡單、互動性強、傳播迅捷的特點，發展飛速。微博不僅已經滲透到社會各個方面，而且日益成為新聞輿論的重要源頭。網絡輿情的形成和傳播呈現的是病毒爆發式的增長方式，能對社會產生巨大的影響。但基于微博的輿情監測和分析還是比較貧乏的。在輿情監測和分析研究的基礎上設計與實現了基于微博的Scool輿情監測分析系統。針對微博覆蓋面廣、用戶基數大、數據量巨大、更新速度快的特點，在此系統中信息的存儲采取的是NoSQL與關系數據庫結合的方式。

關鍵詞：微博； 輿情監測； 輿情分析； Scool； NoSQL

中圖分類號：TP311 文獻標識碼：A文章編號：2095-2163（2013）02-0050-04

0引言

目前，隨著網絡全球化的進程加快以及移動技術的推廣，微博已經成為了網絡輿情的主要源頭和有效傳播路徑。由于微博具有的進入門檻低、操作便捷、互動性強等特點，近兩年在全國得到了迅速的普及，獲得廣泛的應用。但是不可忽視的隱患也隨之呈現。微博已經成為了各種謠言和違法信息滋生、蔓延的主要平臺，對社會也造成了無法預知的不良影響。因此，開展微博的輿情監控和分析研究已是大勢所趨，勢在必行。

1研究現狀

目前，已有針對網絡輿情分析和挖掘的軟件產品，較典型的有 Autonomy 網絡輿情聚成系統、Goonie 互聯網輿情監測系統、TRS 互聯網輿情信息監控系統、方正智思輿情預警輔助決策支持系統、中科點擊（北京）科技有限公司研發的軍犬網絡輿情監控系統等。這些系統均能對網絡輿情發揮一定的監測、分析和預警的作用，為社會和諧穩定提供了有效的技術和決策支持。雖然如此，但針對微博輿情監測和分析的大部分系統卻沒有充分考慮到微博用戶基數大、覆蓋面廣、數據量巨大、更新速度快的特點，而在這種情況下，采用普通的關系數據庫顯然無法滿足要求，因此，引入NoSQL技術存儲數據則是一個頗有前景的發展方向。

2微博輿情傳播特點

基于上述對微博使用方式的分析，決定了微博輿情的傳播將具有如下特點：

（1）信息生成和傳播簡便。只要簡單操作，就可以第一時間關注微博新聞中的相關人物，或轉發傳統新聞和論壇中的內容，而且由于移動終端對微博的支持，微博就超越了時間與地域的限制，完全實現了微博的簡便簡易性。

（2）傳播信息快捷。僅以“7 .23”動車事件為例，2011 年7 月23 日晚20 點38 分事故發生，4分鐘后網友發出了第一條微博，比傳統媒體提早了兩個多小時。

（3）病毒爆發式的信息傳播模式。消息一經發出，用戶的所有關注者都能收到，而這一群體再亦如此繼續向外傳播，則微博信息就呈現了病毒爆發式擴散傳播的態勢。

3基于noSQL的數據庫設計

NoSQL最初出現于2009年6月11日由Oskarsson在舊金山發起并組織的一個非正式會議上。NoSQL是當下數據庫家族的外來者，雖然有些通用的特征，但卻沒有一個特征得到了明確定義。

根據輿情監控系統的數據實際情況，在其系統的數據庫設計中引入NoSQL，當寫入數據時，可在MySQL、NoSQL中分別寫入一條數據的不同字段，而讀取數據時，則從MySQL、NoSQL組合字段完成讀取。這一讀/寫過程如圖1所示。

在如圖1所示的組合結構中，MySQL中存儲著需要查詢字段中的數字、時間等類型的小字段，其后按照查詢建立相應的索引，而NoSQL中則存儲著包括大文本字段在內的其他并不需要的字段。查詢過程可描述為，首先將數據主鍵從MySQL中查詢出來，再從NoSQL中直接取出對應的數據。

文中設計的架構模式使得MySQL和NoSQL能夠各自發揮所長，即由MySQL實現關系存儲，而NoSQL則實現數據存儲。這種設計的優點如下：節省MySQL的IO開銷、提高MySQl Query Cache緩存命中率、改進了MySQL主從同步效率、提升了MySQL數據備份和恢復的速度、具有更好的擴展性。

還需一提的是，這種以MySQL為主、NoSQL為輔的架構設計與MySQL的單體架構相比，系統的多樣性能和可擴展性均得到了有效提高。

4基于微博的Scool輿情監測分析系統設計與實現

基于微博的Scool輿情監測分析系統旨在取代傳統的人工收集和監控工作，實現深入、高效挖掘，并實時得到微博網絡中相對敏感的輿論信息，以警示管理人員及時采取相應措施。

基于微博的Scool輿情監測分析系統的實現過程是，每日需定時、周期地對新浪微博、騰訊微博、網易微博、搜狐微博進行網頁抓取后，并對其內容實行解析后存入數據庫，而后通過分詞索引以建立搜索引擎，實現數據索引，再通過用戶設定的關鍵詞庫對采集的數據進行關鍵詞集過濾，由此獲得敏感輿情信息文本返回給用戶界面。系統還應對收集的信息進行自然語言處理，從而識別得到熱點話題和熱門事件。

4.1軟件體系結構

系統分為后臺數據分析模塊和前臺數據展示模塊。后臺模塊負責實現數據抓取與分析，是系統的核心。前臺模塊負責完成微博、Web數據展示和基本維護操作。

4.1.1前臺結構

前臺展示程序分為四大塊，分別是：輿情信息展示、輿情搜索、用戶監控網址和關鍵詞設置、用戶登錄與管理。其中，輿情整體全面展示則按五類來進行和表現，分別是：最新輿情展示、按網站類型展示、按監控網址展示、按話題事件展示和輿情統計。前臺模塊的結構框架如圖2所示。

前臺展示程序主要基于JAVA開源SSH框架來進行構建而得以實現，其設計結構如圖3所示。

在本系統的架構設計中，將在表示層上構設的Struts框架，在業務邏輯層構設的Spring框架以及在數據訪問層構設

（1）表現層使用JSP來實現構建，為客戶端提供對應用程序的訪問；

（2）控制層接受客戶端的請求，并根據不同的請求調用相應的事務邏輯，再將處理結果返回到相關的頁面；

（3）業務邏輯層用來提供相關的業務邏輯；

（4）數據訪問層提供對數據庫的各種操作。

系統設計中的三大框架有機配合、協調統一，其各自實現功能為：

在表現層中，由Struts框架負責處理JSP頁面的請求和轉發工作；在系統中用Hibernate來封裝數據庫的連接類，通過該框架所提供的注解方式實現了實體類與數據庫表結構間的映射關系，并由該框架完成在數據訪問層與數據庫間的交互工作，再通過Hibernate框架的二級緩存EHCache提供對用戶關鍵詞和行業惡劣情感詞的高效緩存。此外，系統使用Spring框架作為系統運行輕量級的容器，負責在業務邏輯層處理業務邏輯工作。通過在配置文件中設置對象的創建方式及對象之間的關系，即可由Spring框架的IoC的容器來創建對象，同時也維護對象之間的依賴關系。通過這三大框架的整合，有效降低了系統中各模塊之間的相關性，由此形成一個結構科學、功能強大和層次清晰的框架體系。

4.1.2后臺結構

由圖6可知道，后臺結構可分為數據緩沖池隊列，線程池線程和數據庫三部分。其中，緩存隊列負責數據流的來源，關鍵處理流程則拆分至各個線程中獨立實現；線程控制數據緩存池中數據流的走向，各線程本身的并發運行均交由線程池實現統一管理。數據庫則采用上述的NoSQL與關系數據庫相結合的對應技術來主導實現。

4.2系統實現

用戶注冊、登錄系統后，可以點擊頁面上的相應標簽來查看有關的輿情記錄。同時，系統也會將每天最新的輿情記錄完整、清晰地呈現。用戶還可以點擊更多的輿情鏈接來查看當日之前任何一天的輿情記錄。

可以點擊系統主頁上的輿情搜索標簽來進行包含指定關鍵詞的輿情記錄，搜索頁面如圖7所示。在輸入框中輸入關鍵詞，就可以看到相關的信息。

5.結束語

在Scool輿情監測和分析系統設計與實現過程中，有關信息存儲方面，本文主要提出了NoSQL和MySQL相結合的方法。實驗證明，采用這種信息存儲的方法可節省MySQL的IO開銷、提高MySQL數據備份和恢復的速度、且比以前更容易實現擴展。對其后類似系統的設計提供了有益借鑒，并顯示了一定參考價值。由于時間及技術的限制，測試和抓取的數據還不夠連續和充分，下一步仍可繼續完善和推進這一方面的工作。

參考文獻：

[1]賈焰，劉江寧. 微博的輿情特點及其謠言治理[J]. 圖書情報知識，2012（6）：7-9.

[2]張玉峰，何超. 基于Web挖掘的網絡智能分析研究[J]. ITA，2011（4）：64-68.

[3]汝艷紅. 微博信息傳播的特點及發展趨勢[J]. 青年記者，2012（8）：27-30.

[4]鐘瑛，劉利芳. 微博傳播的輿論影響力[J]. 新聞與傳播研究，2013（2）：8-12.

[5]FOWLER M. NoSQL Distilled[M]. 2009：1-20

[6]齊海鳳. 網絡輿情熱點發現與事件跟蹤技術研究[D]. 哈爾濱：哈爾濱工程大學，2006：11-30.

[7]林大云. 基于Hadoop的微博信息挖掘[J]. 計算機光盤軟件與應用，2012（1）：7-9.

[8]曾潤喜. 網絡輿情管控工作機制研究[J]. 圖書情報工作，2009（18）：79-82.