面向網絡輿情監控的熱點話題發現技術研究

崇陽

摘要：隨著我國科學技術的不斷發展，互聯網信息技術也得到了飛速的發展和進步，我國的網民的數量直線上升，互聯網的相關資源，如新聞、視頻、論壇、課程等正在呈現飛速的增長，網絡在人們的正常生活中展現著很多的優勢，例如傳達社情民意，已經成為傳統的主流媒體形式之后的主要地位，承載著反應社會輿情的主要責任，在反應社會輿情方面正在發揮著極其重要的作用。本文就互聯網入手，簡單談談網絡輿情與監控的相關概述和意義，并提出幾種熱點話題發現的技術，以期為能夠更好的管理互聯網的秩序和安全提供一定的幫助。

關鍵詞：網絡輿情監控 熱點話題 發現技術研究

引言

隨著我國社會經濟與科學技術的不斷發展，互聯網的發展也十分迅速，國民對于網絡也越來越依賴，網絡已經逐漸形成了自己的特有文化，也產生了一定的網絡輿論，輿論演化的形式也從純粹的的人類社會網絡演化成為向以人為主、人類與機器結合，形成了一個十分雜亂的網絡系統。但是在實際的網絡運行過程中，網絡的引入也會加速網絡輿情在人們之間的傳播，并且正在突破原有儀器和技術的限制，傳播的范圍更加廣泛，速度更加快。因此，如果相關的部門和工作人員不能對這些輿情進行有效的管理和監控，不利的網絡話題和輿情會對正常的社會秩序出現一定的影響。

1.網絡輿情的相關概述

網絡輿情，即針對網絡中出現的反應現實生活中的具有偏向性和針對性的觀點和相關的言論，國民對其進行關注和討論并且已經成為熱點話題的相關言論。網絡輿情涉及到的范圍比較廣泛，但是對社會熱點問題的關注還是十分集中的，這種關注度比較集中的實踐就稱為話題。在網絡飛速發展的情況下，網絡輿情涉及到的熱點話題在很短時間內發生，也會快速地隨著時間的發展被新的話題壓下來，就發生在某特定的時間、地點，可能是一場活動、一場比賽等由一個核心事件或活動和與之相關的事件和活動。

2.網絡輿情監控的必要性

網絡環境具有一定的復雜性，主要表現在兩個方面，首先第一個方面，隨著我國互聯網的不斷發展，國民對于互聯網越來越依賴，在網絡上對于網民發表和討論的社會中的某些事件中，會有大量的言論和看法的表達，甚至會推動著網絡輿情的風向發展，也在很大程度上影響著社會輿論的演化和發展；在另一方面，互聯網的發展十分迅速，已經深入國民的正常的生活和工作中，但是互聯網在發展過程中不可避免的會出現雜亂無章，虛擬性很強，很多違法的東西隱蔽在其中，難以完全進行監管，使得很多時候網絡上一直不可避免的摻雜著正面和負面的言論，一些負面的話題甚至會嚴重影響到我國的正常的社會安全。很多犯罪分子往往會利用網絡針對國民傳播虛假的信息，誤導輿論走向，更有甚者為了分裂我國，擴散一些反動的評論或話題。因此，針對網絡輿情進行監控和管理是十分必要的。

另外，傳統的輿情監控系統在處理網絡輿情的時候，如果在管理過程中發現違規的內容或者敏感問題或者言論的話，直接采取對言論刪除，對用戶進行強行注銷，甚至拉入黑名單，避免這些言論對社會和公共事業造成嚴重的影響。但是上述已經談到，互聯網是具有很強的隱蔽性和復雜性的，采用傳統的輿情監控技術在工作效率方面還是有很多的不足的。首先，網絡上的東西很復雜，紛亂無章，即使網站中的大量網頁經過輿情系統處理之后，話題出現的速度還是很快，敏感問題等很難進行逐一的排查和監控，網絡用戶還是經常會被這些大量的信息給迷惑，分散了精力和注意力；另外，很多時候，關于同一事件會同時又很多網站的若干網頁進行同時講述，報道不斷的更新，很容易造成紛亂的現象，這樣的話就會穿插著雜亂無序的和不相關的報道，不利于相關部門對事件進行集中處理和考量；最后，在輿情事件大量的擺在用戶面前，系統中不能及時對輿情事件的重要程度進行度量化，對于十分緊急的輿情信息不能與一般重要程度的信息有明顯的的區分，顯得信息輕重不明，對于重要程度高的，影響力強的事件不能及時分散相關的精力和時間，不能很好的控制輿情態勢。

3.熱點話題發現的相關技術研究

3.1 經典 single-pass 算法

熱點話題發現與話題追蹤的技術研究簡稱為TDT評測，是最原始公開和通用的話題發現與追蹤的技術之一，具有良好的作用。在使用過程中根據發生的事件對文本信息進行相關的語言組織和分析，然后檢驗各種聚類和分類算法的功能和性能。Single-Pass算法就是TDT評測中使用最多的算法。該算法計算方式簡單，運算速度相對比較快，根據這樣的優勢，該算法比較適用于大數據量的應用或者動態的數據源，并且在計算過程中可以保證具有良好的聚類精度；對于以向量空間模型的高維度文本來說，該計算方法也能夠處理一些高維的數據，另外，對于網絡新聞報道的大數量的及時性新聞對于算法提出的相關的要求該算法也是具有優勢的。但是特殊的一點就是當算法對相關語料輸入的順序比較敏感的時候，語料的輸入順序對于聚類算法的結果就會有很大的不同，這是該算法的一個小的缺點，但是該缺點對于整體的情況的影響并不會太大，因為對于互聯網新聞報道的話題發現在實際應用中對于輸入的順序是確定的，因為事件發生是有事件順序的。Single-pass算法在計算的時候首先是將網絡上的文本或者語料進行累計，然后將累計的結果使用動態聚類方法進行聚合處理，第一次可以用發表的第一篇語料作為對之后文本處理的話題模型，然后設定一個相似度的閾值，之后輸入的文本和語料和之前的模型進行相似度比較，根據之前設定的閾值對不同的話題或者文本加以區分。

3.2 基于層次的聚類算法

基于層次的聚類算法被認為是隨著類簇層次的變化，使得類簇中的相關對象也相應發生變化的一種算法。典型的層次聚類算法主要包括BIRCH算法和CURE 算法這兩種，BIRCH算法在使用過程中，將簇認為是樹，并且將對象的劃分按照平常見到的大樹的樣子，然后結合其他的聚類的算法對聚類形式進行優化；而CURE算法則是將相應的聚用一定數目的對象進行表現，然后對各聚類向之前設定好的聚類中心進行匯聚。層次聚類法有很多的優點，譬如，層次聚類法相比于其他的計算方法來說，聚類的粒度比較靈活，在話題發現和輿情的監督方面有廣泛的適用性，對于各種形狀的對象形成的簇，不同的相似度和不同的對象的距離的代表形式等的適用性都很廣泛。除此之外也有一些不足之處，在很多情況下需要發現和監控的語料、話題等數據的規模都比較大，而且根據新聞話題的時效性來說，數據更新速度比較快，在數據處理的時候應該使用動態聚集的方式。對于層次聚類法來說，雖然使用范圍很廣，但是對于以上說到的大規模或者動態的數據情況還是有一定的不足的。類簇是有一定層次的，隨著類簇層次的變化，類簇中的相關對象也會發生相應的變化，在計算過程中可以將層次聚類法的計算結果變成一個類簇樹，將每個類結點都包含若干子結點，在不同的粒度上對相應數據進行類簇劃分。

3.3 基于密度的聚類算法

基于密度的聚類算法是一種需要考慮多邊形分段區域和數據的空間密度、與外界的連通性和邊界的算法，減少了搜索的復雜度，而且，在基于密度的聚類方法適用于發現的各種形狀的簇，在噪聲數據的處理過程中有很好的作用和效果，對噪聲數據有天然的抵制和限制作用，這是基于密度的聚類方法的優勢。但是還有一定的不足，在使用該算法的時候，很多用戶并不十分理解相關參數的含義和表達意義。

3.4 基于網格的聚類算法

在基于網格的聚類算法中，為了減少搜索的復雜度，是利用劃分空間的方法進行聚類的，一個區域就是在空間中劃分出的一個個小的超立方體。在基于網絡的聚類算法中，對網絡語料或者文本數據的處理首先是將數據進行分割，但是網絡聚類就是將分割方式由二維分割轉變為三維分割，也就是在輸入數據或者語料并進行累計的過程中的空間小立方體中進行的，而數據的分割就是在基于數據點之間的關系導致空間的分割，所以本質上在基于網絡的聚類算法就是不直接對輸入的數據進行處理，而是相應的轉換和變化，然后進行切割，這樣也會有一定的優勢，可以增加網格的數量，提高數據的承受空間，提升對話題的發現速度。在基于網格的聚類算法中，根據算法的不同也有很多的種類區別，其中最具代表性的算法有STING算法、Wave Cluster，其中STING 算法是一種使用小波轉換的方法對聚類進行數據處理的多分辨聚類技術；Wave Cluster算法是一種在高維數據空間中基于網格和密度的多分辨聚類方法。

結語

在網絡世界如此發達的現在，網絡上的信息紛繁不清，多種多樣，一些話題的出現甚至會將社會輿論和網絡輿論進行錯誤的引導，對國家和社會的安定以及國民的生活質量產生十分惡劣的威脅和影響。因此，國家和政府有必要采取一定的研究技術，將話題發現研究投入到輿情監控的實際應用中，對網絡上的熱點話題和及時新聞話題進行嚴格的監管和控制，合理的控制輿論的導向，促進國家公共事業的發展和進步，對構建和諧的具有中國特色的社會主義社會有十分重要的作用，同時也是現階段創建健康安全的互聯網輿情工作中面臨的一個很重要的課題。

參考文獻：

[1]中國互聯網絡發展狀況統計報告.http：//www.Cnnic.net.cn/index/0E/00/l1/. 2010.07.

[2]駱衛華，劉群，程學旗.話題檢測與跟蹤技術的發展與研究[A].全國計算語言學聯合學術會議（J SCL 2003）論文集[C].北京：清華大學出版社，2013，560-566.

[3]李保利，俞士汶.話題識別與跟蹤研究[J].計算機工程與應用，2015，39 （17）：6-10.