基于隱性數據分析的熱點輿情監測與應對策略研究

鄒丁玲 段峰峰

（1湖南師范大學 新聞與傳播學院，湖南 長沙 410081；2湖南省社會輿情監測與網絡輿情研究中心，湖南 長沙 410081）

一、隱性網絡輿情數據及應用

網絡輿情通常是指一定時間內在網絡上傳播的關于某一特定社會問題的所有評論、觀點、意見的集合。這種集合體現了評論者的情感傾訴，其外延較傳統媒體中的輿情更加寬廣，具有自由性、互動性、廣泛性、隱匿性、突發性等特點。在公共事件發生前后，網民在社交媒體平臺上進行互動、發表言論，產生網絡輿情信息，這些信息直接呈現了網民的想法、意見、態度和情緒，可被稱為顯性輿情數據。還有一些數據并沒有表現出與輿情直接相關的熱點言論、情感傾向，但從側面客觀反映了網民的關注焦點和興趣點、網絡輿情主體關系等方面的隱藏內容可被稱為隱性輿情數據。

當網絡用戶出于對某公共事件的關注和興趣，去搜索和瀏覽與之相關的信息時，會在服務器端口、搜索引擎后臺或客戶端上產生相應的搜索歷史和瀏覽足跡，形成搜索日志。這些信息中記錄了用戶的IP地址、搜索詞、瀏覽時間、網頁URL地址等數據，即隱性的輿情數據。數據量的多少能反映網絡用戶對該關鍵詞所代表事件的關注程度，通過從中統計和分析用戶的搜索詞和搜索頻率，可發現某地區、某時間段內的隱藏熱點。［1］許多網站或輿情分析系統推出的“輿情熱點排行榜”即屬于該方面的應用。

目前，一些搜索引擎公司已經研發了借助搜索歷史和瀏覽足跡等隱性數據去發現和挖掘網絡輿情的技術和應用。例如，谷歌公司開發的“谷歌趨勢”（Google Trends）就是一款基于搜索日志分析的應用產品，它有兩個功能，一是查看關鍵詞在谷歌的搜索次數及變化趨勢，二是查看網站流量。［2］它能統計出某個關鍵詞在一定時間段內、在某個地區被搜索的次數，再將其與谷歌搜索引擎后臺隨時間推移的搜索總量及當地的搜索總量相對比，得出該關鍵詞的“相對搜索指數”，然后將較長一段時間統計的該關鍵詞的相對搜索指數描繪出來，以此預測未來趨勢。該應用一個較為著名且成功的例子是“流感趨勢”。實踐中設計人員提前編入一系列與“流感”相關的關鍵詞，如“流感感冒”“溫度計”“發燒”“咳嗽”“流感應該吃什么藥”等，隨后對全球20多個國家的網絡數據進行監測，只要用戶輸入這些關鍵詞，系統就認為可能與“流感趨勢”相關，繼而追蹤、分析并做出相對搜索指數圖。通過觀察較長一段時間以來指數的變化情況，來預測未來趨勢，進而提供流感發病率的預測報告。谷歌的“流感趨勢”能比美國疾病控制中心提前7～10天公布相關的流感預報，在測試階段就表現出良好的預測效果，且“流感趨勢”的預測數據與官方公布的預報數據高度吻合，顯示了基于隱性數據進行輿情預測的前瞻性和準確性。

二、隱性網絡輿情數據的獲取和分析

（一）隱性輿情數據獲取的可行性和挑戰

傳統數據時代，輿情分析的首要步驟是從最具輿情代表性的有限數據集入手。例如，百度作為國內第一大搜索引擎運營商，從后臺數據庫中可以提取出每一個搜索詞的對應搜索量，在社會輿情分析層面，其所指對象通常是從海量搜索數據中截取的最具輿情代表性的有限數據集，借此反映社會關注的基本面或新聞事件的社會關注度，較為粗略地刻畫出中國的“輿情地圖”。［3］這在本質上是通過部分抽樣輿情信息來反映社會整體輿情狀況，難免存在偏差。

大數據時代不再如傳統數據時代需要通過抽樣獲取輿情信息以代表整體的處理方式，網絡技術手段已可以支持通過普查方式來全面覆蓋處理海量的網絡數據，這也為隱性輿情數據的挖掘和發現提供了可行性和技術支持。然而在實際操作中，雖然不必再擔心抽樣方式帶來的偏差，但是需要謹慎考慮數據源本身是否存在偏差，即全面的普查數據可能含有噪音，如不能有效排除，則容易高估算法的精確度，影響輿情分析結果的準確性。同時，由于大部分數據處于孤島狀態，在整合處理時，若無法準確忽略冗余數據信息和整合有效數據信息，也易導致結果的偏離。因此，“讓數據自己說話”的結論是不完整的，數據源需要得到篩選和清理，才能避免潛在誤差。［4］由此可見，對于隱性輿情大數據而言，數據的價值不僅體現在大小上，更體現在利用創新性的數據分析方法，克服和避免數據離散與結果偏差，去挖掘和分析隱性數據信息的潛在價值，這樣才能幫助我們更好地觀察網絡輿情的全貌。

（二）隱性輿情數據的檢索與獲取

隱性輿情數據不僅分布廣泛和隱蔽，而且數據的形式和組織方式也較為復雜，而跨媒體搜索理論和技術的不斷發展及完善或可為隱性輿情數據的檢索與獲取提供一定的創新思路和方法。

1.基于語義識別理論的語義文法。該方法是通過定義各種文法規則，將文法規則賦予語義，然后使用語義文法來描述網絡輿情文本的句子結構及語義信息，可直接從分析結果產生語義解釋。因此，語義文法是對網絡輿情文本進行精準語義識別的依據，也為跨媒體隱性輿情數據的語義相關性研究提供了理論基礎。例如，多文檔自動摘取技術，對頁面上的內容進行過濾，可基本實現對隱性文本輿情的篩選和重組。［5］

2.網絡爬蟲技術。該技術是一種按照一定的規則自動地抓取萬維網信息的程序或腳本，是獲取輿情大數據的主要手段。按照系統結構和實現技術，網絡爬蟲大致可分為通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲、深層網絡爬蟲等。不同網絡爬蟲各有優勢與不足，實際的網絡爬蟲應用系統通常是幾種爬蟲技術相結合實現的，可實現自動爬取網頁獲得輿情信息或者直接從網頁中抽取目標輿情信息，對于隱性熱點輿情數據的檢測和獲取具有重要意義。

3.內容檢索技術。一個輿情事件中所涉及的輿情數據，既有結構化的文本、數字，也有非結構化的圖像、音頻、視頻。根據其特征，需要從基于內容的圖像檢索、音頻檢索和視頻檢索研究中著手。其一，圖像檢索按照技術發展情況看，一類是基于文本的圖像檢索，即通過對圖像的標注和環繞文本來了解圖像的內容，進而進行檢索，如谷歌、百度等主流的搜索引擎目前都是采用TBIR（Text-based Image Retrieval）提供服務的；另一類是基于內容的圖像檢索，主要通過特征提取和相似計算來實現。其二，音頻檢索分為兩大類：一是基于人工產生信息的音頻檢索，指利用人工產生的信息，如標題、藝術家信息、標簽、關鍵詞、時間、用戶評價等查詢；二是基于內容的音頻檢索，利用音頻信息的幅度、頻譜等物理特征，響度、音高、音色等聽覺特性以及音頻類別和語義等特征進行檢索，能夠有效且快速獲得用戶所需的音頻資源。例如，各大音樂平臺推出的“聽歌識曲”功能即是基于內容的音頻檢索技術的體現。其三，視頻檢索，需要對視頻進行結構化處理，將視頻按照其結構組成進行分割，形成基于圖像幀的可分析單元，再抽取顯著的特征，如顏色、紋理、形狀、運動等，來描述視頻內容的視覺信息。例如，美國哥倫比亞大學圖像和高級電視實驗室開發的VisualAeek即提供了一套供人們在Web上搜索和檢索視頻的系統。

（三）隱性輿情數據的分析

1.信息采集。輿情數據分析的首要任務是基于輿情數據檢索和獲取技術從網絡平臺上獲得相關的輿情數據。在此過程中，不僅要抽取輿情相關的頁面，還要過濾重復界面和噪音，同時重視隱性輿情數據信息，即用戶在服務器端口、搜索引擎后臺或客戶端上留下的搜索日志等。［6］

2.信息預處理。在進行數據挖掘工作之前，先對原始數據做必要的數據清洗、集成、變換、歸約等一系列處理工作，以達到挖掘算法進行知識獲取所要求的最低規范和標準。網絡輿情信息的預處理主要分為兩個過程：一是詞項處理，包括文本分詞、詞性標注、停用詞過濾等步驟，剔除一些不具備分析價值的信息；二是關鍵特征提取，即對可以代表信息內容的關鍵詞加以提取，減少系統負擔，提高分析效率。經過預處理后的數據信息將存入數據庫，以備調用。

3.話題識別。目前各類網絡平臺的信息發布和傳播非常迅速，急需在海量和急速增加的各類信息中區分和識別輿情相關信息。該步驟的目的是將輿情大數據的內容歸入不同的話題類別，并在需要的時候建立新的話題，通常借助聚類分析算法完成。聚類分析一般先將輿情數據進行向量化的表述，目的是將自然語言轉化為機器可以理解的形式；然后選擇聚類算法，根據不同算法在功能上的差異，可選取適用算法，加強對隱性輿情數據的辨別。

4.結果反饋。通過對隱性數據中的關鍵詞情感屬性判別、敏感詞分析，形成情感烈度，識別出隱性輿情熱點和潛在熱度，作出輿情預警，并由此總結出針對不同情況的輿情疏導策略。

三、隱性熱點輿情應對策略

（一）引入人工在線實時內容分析進行隱性熱點識別

通過借助輿情系統和技術，來檢索、獲取、處理和分析輿情數據，最終得到和掌握的一般為單變量數據。然而，在輿情研究中，多變量之間的關系和差異是社會實證研究的核心，這包括數據相關關系的建立、輿情主體關系的發現、公共事件的因果關系和解釋力。因此，分析和挖掘隱性輿情熱點，還應引入人工分析處理機制，才能為其尋找更深層次的解釋。在對隱性輿情數據的處理和應對中，人工輿情分析和處理應以人機結合為核心理念，注重大數據技術與人工在線實時內容分析的互動和促進關系。在大數據技術框架下，可進行網絡輿情信息的快速挖掘和自動化分析處理，而人工在線內容分析則能完成深度識別、辨析、挖掘和解釋輿情間差異和關系的任務。［7］人工在線實時內容分析，以社會科學研究中的內容分析法為理論依據，結合編碼員之間的信度，建構線上內容分析流程和機制，流程主要包括準備階段、編碼、質量控制和結果呈現等，以此來有效加強監測、分析和識別隱性數據和熱點輿情，提高精確度和嚴謹性。

（二）優化隱性熱點輿情數據的可視化反饋

在完成跨媒體隱性輿情數據的檢索、分析和熱點識別后，應研究針對不同類型輿情信息的可視化方法，對所凝練和萃取的數據進行呈現和反饋。大數據技術與可視化分析技術相結合，可為隱性輿情數據的監測和隱性熱點的展示構建起全新的框架。隱性輿情大數據的可視化研究，主要是數據圖形化。通過抽取線性關系中的關鍵詞，并按照一定的規律、標準用整齊美觀的圖形界面呈現出來，這種靜態表示方法可分為關鍵詞引導布局、地圖布局、環狀布局、時序布局等不同方式，具有可靈活擴展、展示手段與數據分離、細節提示、疊加顯示的特征。同時，輿情層次數據的可視化，主要是信息層次化，即通過建立自下而上或自上而下的順序結構、層次結構、網狀結構進行可視化區域展示。［8］

（三）實現隱性網絡輿情數據情感傾向精準分析

輿情熱點的爆發往往集中在微博、朋友圈、社區和網站等自媒體平臺，因此目前對于網絡輿情信息的情感傾向分析仍然主要集中在文本載體之上。［9］文本傾向分類是對文本作者的態度、觀點、情感等信息分類，能為輿情治理提供依據，促進輿情信息朝著多角度、立體性方向前進。有學者提出情感詞語加權、語義模式分析、普通文本分析等方法，思路大多是對文本內容進行檢索，計算情感色彩詞，與情感詞庫中的詞匯進行比較分析，并引入相關句式規則以便確認情感屬性，最后統計所有感情色彩信息。并且，通常認為表達情感色彩的詞元越多，文本的情感色彩就越強烈。對于隱性輿情數據而言，不僅要分析其文本情感傾向，更應注重間接關鍵詞、隱晦情感詞、搜索和瀏覽次數等信息。

（四）建立跨媒體隱性輿情大數據預警機制

當出現某個支持度較高的話題，或當話題呈現出焦灼的爭論狀態，或當網絡輿論對某個輿情事件表示反對或焦慮時，應考慮綜合自動化系統檢索及分析與人工實時分析相結合。一是分析網絡輿情熱度影響因素，建立指標體系。在海量數據中，自動發現隱藏熱點，并對它們進行提前分類。二是進行熱點跟蹤定位。把網絡環境下的輿情事件看成一個動態的發展過程，把握其當前狀態和未來趨勢。三是開展敏感信息監控。評析輿情分類的結果，結合當前的宏觀情況，自定義危機詞組，生成輿情預測報告。四是設計輿情預警規則。根據輿情信息、相關人員信息、輿情所處階段、熱度和網民傾向，可將預警分為若干個等級，用不同色彩表示，計算某一個輿情事件的得分情況，輸出相對應的色彩。

四、結語

在對輿情危機進行分析、預測和處理中，顯性數據信息分析往往是主要依據，也是常采用的方法。然而隨著互聯網和移動互聯網內容復雜性的增加，以及輿情信息隱蔽性的提高，隱性數據信息的價值日趨重要。對隱性輿情數據的充分利用有利于更好地實現輿情精準預測，為輿情危機的預警和應對提供更加科學、有效的方案，從而實現輿情危機的引導和化解，促進健康網絡環境的構建。

［1］喻國明.大數據分析下的中國社會輿情：總體態勢與結構性特征——基于百度熱搜詞（2009-2012）的輿情模型構建［J］.中國人民大學學報，2013（5）：2-9.

［2］Google趨勢［EB/OL］. http：//www.google.com/trends，2013-04-26.

［3］唐濤.基于大數據的網絡輿情分析方法研究［J］.現代情報，2014（3）：3-6.

［4］維克托·邁爾-舍恩伯格，肯尼斯·庫克耶.大數據時代［M］.盛楊燕，周濤，譯.杭州：浙江人民出版社，2013：37-43.

［5］張耀之.網絡輿情語義識別的技術分析及識別流程構建［D］.吉林大學，2016.

［6］張榮顯，曹文鴛.網絡輿情研究新路徑：大數據技術輔助網絡內容挖掘與分析［J］.汕頭大學學報（人文社會科學版），2016（8）：111-121.

［7］陳雪剛.基于大數據技術的微博輿情快速自聚類方法研究［J］.情報雜志，2017（5）：113-117.

［8］喻國明，李彪.當前社會輿情場的結構性特點及演進趨勢——基于《中國社會輿情年度報告（2015）》的分析結論［J］.新聞與寫作，2015（10）：37-40.

［9］丁媛媛.基于時間序列的微博熱點話題識別與追蹤［D］.西安科技大學，2017.