基于分布式數據采集和自然語言處理的高校網絡輿情監控系統

張傳營 王世玉 董 懂

（河北科技大學,河北 石家莊 050000）

2020年9月29日，中國互聯網絡信息中心發布第46次《中國互聯網絡發展狀況統計報告》，截至2020年6月我國網民約9.04億人，互聯網普及率達67%，網民中學生群體占比達23.7%，人數為2.14億，居于首位[1]。高校學生基數龐大，具有思想活躍、好奇心強、渴望表達等特點，其獲取外界信息和發表觀點的行為依托信息量龐大、內容繁雜、環境復雜的互聯網平臺，學生在復雜環境中思想動態極易受到影響，因此，高校學生網絡輿情系統監控系統成為高校處理網絡輿情問題的“利器”。

本系統以分布式數據采集和自然語言處理構建高效網絡輿情監測系統，精準預測高校學生網絡輿情的發生和發展規律，對高校網絡輿情進行實時檢測與防控疏導，這對把握引導高校學生意識形態具有重要意義，為我國教育事業的穩定發展和“三全”育人助力。

1 高校網絡輿情現狀

2020年4月，全國英語四六級考試取消，搜索量高達300萬，熱度值直線上升；甘肅某高校大學生家中剛脫貧就被電詐37萬，這個事件在三個小時就達到了傳播峰值，24小時被大V博主轉發；藍翔技校副校長帶師生異地斗毆，不僅充斥媒體版面，也引發網友調侃“打架斗毆哪里強，中國山東找藍翔”，學校名譽嚴重受損，還會影響招生，關系學校的生死存亡。

這幾起高校輿情危機把高校輿情管理和應對問題推到公眾視野。這些事件由校園突發事件引起，網上謠言四起，造成學生人心浮動，破壞正常校園秩序，一旦處置不力或不及時會直接演變為公共危機事件。近年來，高校網絡輿情事件層出不窮，數量急劇上漲。據統計，2020年全國高校重大輿情同比增加33%，較2018年增幅達到133%。在互聯網迅猛發展的新時代，如果妥當處置有苗頭或者已經產生不良影響的危機事件，是所有高校現階段的必修課。

2 高校網絡輿情特點

高校網絡輿情是指高校學生對于突發事件敘述、事件本身描述、個人觀點的個人認知、情緒輸出、解決措施，體現在互聯網上不同方式不同程度的表現形式，是高校學生根據網絡上輿情現狀和自身思想動態狀況結合加工后形成的反饋[2]。

第一，高校學生網絡輿情具有網絡輿情的一般特征：事件突發性、規律周期性和立場多元性等。不少同學生在面對同一內容討論時，會根據自身的理解，從不同角度發表觀點和見解。但同時，我們也必須清楚地認識到，由于人們對事件的認識和理解不同，自然發表的信息具有兩極分化的特點，其中部分學生能夠正確認識事件的原因和處置方法，同時也有很多學生的認知存有偏差，甚至利用互聯網自由行性的特點，隨意發表不當言論。如一些網民通過網絡散布謠言、披露隱私、進行偏激和非理性的謾罵與人身攻擊。

第二，傳播集中性、訴求穩定性、規模易控性等獨特特征。在傳播上，高校網絡輿情一般遵循“產生—發展—蔓延—衰退” 的成長周期，在輿情大規模爆發前都會經歷一段醞釀時期在小范圍內傳播。若高校管理者能夠盡早發現，提前行動，及時解決，對有效降低負面輿情信息傳播規模，減少網絡謠言帶來的校園影響以及社會危害具有重要作用。

第三，如今，大學生所處的互聯網環境是多平臺多形式的新媒體環境，具有網絡輿情分享方式更加便捷、參與限制性更低、信息更新迭代速度更快、信息傳播范圍更廣等特點，給高校網絡輿情控制帶來挑戰。它不僅僅與日常學習和生活相關，其他如國內外時事政治、軍事和宗教等，均是校園網絡討論的范圍。每當一個事件發生后，網絡輿情的主題往往會隨之發生變化。如以 2020年為例，發生的大事件包括：新型冠狀病毒、女排在世界杯奪冠、華為被美國列入“實體清單”事件、疫情期間的封校管理等。每個事件發生后，均會引起學生在網絡上的激烈評論和討論。

3 系統的總體設計

互聯網數據采集與分析系統軟件采用開源的通用采集平臺、自定義數據采集器、開源的Elasticsearch搜索引擎、大數據組件等，進行二次深度定制開發實現，系統后臺使用Java、Python為主要工具語言，前端采用Vue框架，并可根據業務需求進行算法定制。

數據采集清洗子系統是自主研發的通用采集器，采用主從分離的分布式架構[3]，在保證高效率數據采集的同時，也具備高可用性、高擴展性、快速定制采集規則等能力，從而保證數據在線處理子系統擁有增量式采集、按主題分類采集、可定制化采集的強大功能，因是自研發采集組件，可從底層優化采集效率，也可對抓取節點進行橫向擴展，保障數據采集高效性。數據層的存儲解決方案使用HBase+Elasticsearch的組合，均是基于Java開發的，其中Elasticsearch以Lucene的開源后端搜索引擎，同時也是目前發展最快、最受歡迎的搜索引擎，它具備強大的數據索引、快速搜索和海量存儲能力。

數據資源管理子系統可通過開源的分布式數據存儲組件，如Minio、HBase、Hive等，對文本文件、網頁文件、PDF文檔、Office文檔等常見的數據類型提供統一的數據管理能力，并可從文本中提取關鍵信息、實體識別、實體屬性等，構建領域知識圖譜，對外提供知識服務。

數據分析應用子系統在使用開源的基礎算法組件之上，根據業務需求定制算法，通過業務關注方向、專業設備分析模塊、重要人物分析模塊進行全方位、多角度、相關關聯分析與擴展，為系統用戶提供具有實際價值的具有前瞻性的綜合分析內容。

系統采用“外網+內部局域網”方式進行部署，外網部署數據在線處理子系統基于Java開發的C/S架構設計，實現多節點、多進程、多線程并發的方式進行信息采集，能夠部署在國產麒麟系統、Linux或Windows服務器平臺上，實現互聯網信息的采集清洗與跟蹤，局域網部署數據分析管理子系統基于Java開發的B/S架構設計，前端使用主流的Vue框架以及阿里開源的ant-design組件，可達到完美兼容IE11和以Chrome、Firefox三款最主流的瀏覽器的目標，為機關首長提供一個信息瀏覽、統計與分析工具平臺。

三個子系統之間可通過光盤方式實現數據擺渡，實現子系統間的數據交互。系統部署如圖1所示。

圖1 系統總體設計圖

4 系統總體架構設計

本輿情監控系統采用以Java語言為主、以開源軟件為基礎的定制化系統架構，系統共分4個層次，其中資源平臺和基礎平臺層屬于數據在線處理子系統，采用分布式的C/S架構，實現多線程并發信息采集與數據清洗，業務層和功能平臺層屬于數據分析管理子系統，采用B/S架構實現，使用瀏覽器來進行配置和瀏覽。系統的不同功能模塊可靈活部署于不同系統和應用之上，功能模塊間的通信通過消息中間件來完成。軟件采用的系統架構具有與平臺無關性，能夠穩定運行在國產麒麟系統、Linux或Windows平臺之上，便于進行現有資源調度和系統性能調優。為確保自身的高安全性。系統各功能模塊間的通信均可采用數據加密和雙向認證的方式進行，可防止網絡竊聽、報文監測等安全入侵。見圖2。

5 系統部署

根據系統設計和實現方法開發出來的系統原型主要包括兩大部分：第一部分是數據在線處理子系統，主要包括用戶管理、采集器管理、網址管理以及系統自身運行維護管理；第二部分是數據分析子系統，主要給用戶提供可視化的分析結果，瀏覽采集到的信息和各類統計圖表。

系統將在外網和內網分別部署數據在線處理子系統和數據分析子系統，兩個系統之間通過光盤進行單向數據擺渡。可在國產化的硬件平臺上使用，如飛騰1500A CPU服務器平臺，基礎業務數據能夠與國產達夢數據庫實現兼容移植，同時系統能夠運行在國產化的麒麟操作系統上。

整個系統主要由兩大模塊構成，外網負責實施采集互聯網數據，通過主題管理和數據源管理對所采集數據源頭進行控制，外網會部署數據存儲集群，將清洗過后的數據存入其中。內外網將會使用單向的光盤進行數據的擺渡，將分析的基礎數據傳至內網，進行進一步深加工。內網環境將會部署多種語義分析服務，同時，內網也會提供對海量數據存儲資源的管理系統。最后，數據分析應用部分，也將部署在內網環境中，用于展示數據分析結果。

圖2 系統總體架構設計圖

6 結語

本系統利用網絡爬蟲等技術從繁雜的內容中篩選出與確定主題相關的輿情信息，然后對源數據進行清洗和凈化獲得特征詞，以自然語言分析自動形成文摘、自動追蹤主題的轉換、察覺主體間的關系等。對此，高校網絡輿情監測系統可以成為高校處理網絡輿情問題的重要“利器”，助力高校盡早發現，提前行動，及時解決，防控疏導，有效降低負面輿情信息傳播規模，最大限度降低負面影響。