網絡爬蟲在輿情監測中的實踐探索

繆治 任敏敏

摘要：互聯網時代的來臨，信息的傳播速度加快，人民群眾對于社會事件的意見表達越來越方便，為輿情監測的工作帶來了不小的壓力，該文首先對網絡爬蟲與輿情監測進行了簡要概述;其次，對于網絡爬蟲在輿情監測發展中的重要性進行綜合分析;最后，針對如何優化網絡爬蟲在輿情監測中的應用提出三點合理性建議。

關鍵詞：網絡爬蟲;大數據時代;輿情監測

中圖分類號：TP393? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）19-0046-02

隨著信息時代的不斷發展，互聯網大數據時代的來臨，對于輿論監測的能力也需要不斷地升級，網絡上言論更加自由，對于社會熱點問題網民都愿意進行積極的討論和意見的表達，為了社會的穩定發展和網絡環境的凈化需要對社會輿情進行監控，對輿論進行正確的引導，在輿情監測的工作過程中網絡爬蟲的應用實踐越來越廣泛，本文針對網絡爬蟲在輿情監測中的實踐探索進行綜合分析。

1 網絡爬蟲與輿情監測概述

1.1 網絡爬蟲概述

網絡爬蟲也稱為網絡蜘蛛，是一種互聯網追逐者，根據相應的規則對網絡上的信息進行收集和搜索，網絡爬蟲現今共具有四種形式：（1）傳統式網絡爬蟲，是對于主要的門戶網站都進行數據采集的一種方式，傳統的網絡爬蟲由于數據多，盡管運行比較慢，但是信息的收集范圍廣;（2）聚焦式網絡爬蟲，也稱主題式網絡爬蟲，是可以根據選擇好的主題進行專項的信息搜集，針對特定的領域和主題，具有針對性地滿足特定的需要;（3）增量式網絡爬蟲，是僅針對正在運行的網頁進行搜集，可以保證信息的及時性，可以有效地減少信息收集的復雜程度，但是對于信息的收集不全面;（4）深層式網絡爬蟲，是針對互聯網深層次的信息進行整合，一般是將信息形成表單的形式，表單有根據領域知識進行信息整合的表單與網頁結構的信息分析整合表單[1]。

1.2 互聯網輿情監測現狀

網絡輿情是指人民群眾對社會發生的熱點事件以及對事件的后續發展保有什么樣的看法，是在人民群眾共同參與討論后形成的社會輿論，現如今對于社會輿論的討論大多存在于互聯網上，國家和相關部門需要對社會輿論進行實時的監督和管控，國家要做到組織輿論、引導輿論、輿論批評和輿論監督，因此要在組織和引導輿論之前進行輿情的調查和監控。網民對于輿情的表達具有廣泛性和及時性，每一個網絡用戶都可以自由地表達想法，由于網絡發言過于自由，網民沒有足夠的自律，因此，網絡上經常出現錯誤的信息傳播，影響網絡環境的健康有序。網絡輿論在現今的發展中對于社會的影響是巨大的，人云亦云的現象也屢見不鮮，對于社會熱點問題的表達需要進行輿情監測，做出及時的引導和管理。

2 網絡爬蟲在輿情監測發展中的重要性

2.1 網絡爬蟲具有的特質

網絡爬蟲具有三種特質，首先，廣度信息搜索，互聯網信息來源廣泛、信息量巨大，運用網絡爬蟲進行信息收集時可以先用廣度信息搜索進行初始的篩選，這樣可以將大量的無用信息去除，只留下相關信息;其次，最佳信息搜索，是通過對主題最具相關性的信息進行收集，這一特質可以將信息整合的精準度進行提升，對于所需的信息進行最優化的整合，得到最有用的信息;最后，深度信息搜索，互聯網信息有很多的鏈接，具有不同的層次，網絡爬蟲可以追蹤溯源，鉆到深層，尋找到信息的起源。網絡爬蟲根據三種不同的特質對信息進行多種方式的整合和抓取，可以提高信息的過濾程度，再應用到各個領域之中[2]。

2.2 網絡爬蟲在輿情監測中的優勢

網絡爬蟲可以幫助完善輿情監測的工作機制，通過對信息的綜合分析可以建立相關的專業輿情管理部門，由專業人員對網絡爬蟲的信息進行監控、跟蹤和整合，輿情監測的工作人員根據網絡爬蟲的特點可以對信息進行分析形成更準確的監測結果。網絡爬蟲對于信息的整理更加專業，可以形成對輿情工作的專業流程，專業平臺，對微博、貼吧等社交平臺進行實時的監控，運用主題網絡爬蟲的方式對某一話題進行持續的跟蹤監測，可以提高對輿情監控的效率。網絡爬蟲的應用可以形成定期的輿情匯報，定時設置網絡爬蟲的輿情監測，通過平時的專業化管理，可以對輿情進行最新形式的監控，可以在事件熱度升起前就形成輿情的前期準備，以備不時之需。

3 如何優化網絡爬蟲在輿情監測中的應用

3.1 網絡爬蟲技術的升級

網絡爬蟲現如今是輿情監測的主要手段，想要高效地完成輿論監測，必須從根本上提升網絡爬蟲的技術，網絡爬蟲抓取信息的速度通過科學技術手段進行升級革新，信息處理速度是衡量網絡爬蟲應用效率高低的基礎手段，現今的網絡爬蟲對信息的抓取是隔一段時間進行一次信息的抓取，通過技術的革新將信息抓取隔斷時間有效縮短。與此同時，還要增加網絡爬蟲的主題，很多的話題還不能進行主題式的網絡爬蟲搜索，隨著信息更新的速度不斷加快，網絡輿情的信息更新也要提升速度，進行主題優化，將與主題相關的信息進行整合，優化網絡爬蟲的搜索范圍，跟上信息的更新速度。網絡爬蟲對于技術的升級可以將重點放在專業規模的形成，形成專業的數據庫，對過往的信息整合數據進行分析，形成對輿情監測的趨勢整理，可以增加對于輿情預測的可能性，對于信息的收集不能僅限于收集，對于準確度的把控的要形成科學的篩選[3]。

3.2 輿情工作的多元化轉型

輿情監測的工作根據現如今的新媒體、大數據時代也要進行相應的升級與轉型，輿情監測需要進行多元化的轉型，通過各種各樣的社交平臺，增加了信息的獲取渠道，表達意見和看法的平臺也增加了很多，網絡信息的可控性降低，輿論更加多種多樣，對于輿情監測的形式也需要進行多元化的把控。同時輿情監測的內容也需要進行多元化的整合，舊式輿情監測多是單一的內容識別，對于內容與內容之間的關系沒有過多的研究，大數據時代，信息與信息之間、話題與話題之間都是有一定聯系的，為輿論背后的行為動機進行綜合分析。輿情監測已經不能滿足我國對于輿情的管控調整，輿情監測需要向輿論預測的方向進行轉變，對于未來的發展進行可行性分析。輿情工作的多元化轉型有利于網絡爬蟲的進一步應用，共同促進社會發展。

3.3 網絡爬蟲與輿情監測的進一步融合

輿情監測的發展存在著傳統化的思想，還沒有對大數據時代進行更新認識，網絡爬蟲應用對于信息的監控認識不到位，沒有形成專業的規模，很多的輿情監控部門僅僅是幾個人的小部門，對于信息的大數據分析不能滿足現今輿情監測的需求。對于網絡爬蟲的應用需要專業性的人才進行人工智能的操作，輿情管理的人員能力需要進行大數據思維的轉變，按照新思維的發展才能將網絡爬蟲技術不斷升級換代與輿情監測進行完美融合，未來的輿情監測將會分工越來越細致，各司其職又相互配合。隨著人工智能的不斷發展，網絡爬蟲越來越智能，專業部門需要將人工智能的網絡爬蟲功能進行專業性質的開發和研究，進行優化數據處理，輿情工作轉型和網絡爬蟲升級同時進行，團隊工作人員知識技能提升，互相配合、互相促進，才能將輿情監測的工作逐漸智能化。

4 結語

綜上所述，現今是互聯網飛速發展的時代，任何人都可以通過互聯網進行社交和意見表達，網絡輿論具有自發性。隨著新媒體、大數據技術的廣泛應用，以及各種社交軟件的不斷涌現，網絡輿情越來越能夠反映出各種事件的民意導向，對各級決策部門搜集民聲、預測事件發展動向都起著重要的作用，因此網絡輿情分析變得越來越不可或缺。網絡爬蟲可以高效、快速地爬取網絡信息，實現對輿情的獲取和分析，從而為輿情信息的提取提供了一種較好的思路。

參考文獻：

[1] 楊凌云.主題網絡爬蟲關鍵技術的應用探討[J].電腦編程技巧與維護，2018（11）：33-35.

[2] 李臣臣，肖巍.網絡爬蟲技術在高校學生行為分析系統的應用研究[J].電腦迷，2018（06）：72.

[3] 王碧瑤.基于Python的網絡爬蟲技術研究[J].數字技術與應用，2017（05）：76.

【通聯編輯：代影】