話題檢測與跟蹤技術在網絡輿情系統中的應用

摘要：網絡輿情多元且傳播迅速，易催生輿論熱點。話題檢測與跟蹤技術能及時發現輿論熱點，動態把握輿情走向。本文詳述了話題檢測與跟蹤技術任務、關鍵技術及其在網絡輿情系統中的應用，旨在為相關部門提供堅實的技術支撐，科學有效地應對網絡輿情變化。

關鍵詞：話題檢測；話題跟蹤；網絡輿情；系統應用

doi：10.3969/J.ISSN.1672-7274.2025.03.027

中圖分類號：G 206；TP 393.4 " " " " "文獻標志碼：B " " " " " "文章編碼：1672-7274（2025）03-00-04

Application of Topic Detection and Tracking Technology in Online Public Opinion Systems

CHEN Jie

（Shanxi Police College， Taiyuan 030401， China）

Abstract： Online public opinion is diverse and spreads rapidly， easily generating public opinion hotspots. Topic detection and tracking technology can promptly identify these hotspots and dynamically grasp the trend of public opinion. This paper elaborates on the tasks， key technologies， and application of this technology in online public opinion systems， aiming to provide solid technical support for relevant departments to scientifically and effectively respond to changes in online public opinion.

Keywords： topic detection; topic tracking; online public opinion; system application

0 " 引言

近幾十年來，互聯網行業呈跨越式發展，網絡上各種信息以指數級速度增長，并通過新聞網頁、微博、微信等社交媒體平臺進行傳播擴散。當用戶關注度高或討論量較大的話題出現時，可視為進入輿情的萌芽期和初級階段。話題檢測與跟蹤技術作為一項旨在從海量信息中挖掘民眾熱議的社會話題與事件的重要技術，受到研究人員的廣泛關注。針對網上高影響力的熱議話題，采用話題檢測與跟蹤的方法，不僅可以及時動態監測話題衍生傾向，實時把握網絡事件的動向，幫助人們了解輿論焦點的本質，為后續輿情預警、治理提供思考，而且可以提升網絡輿情監測的精度和效率，為凈化網絡環境，避免輿情危機爆發助力[1]。

1 " 話題檢測與跟蹤的任務

話題檢測與跟蹤包含五項基本研究任務：報道切分、首次報道檢測、關聯檢測、話題檢測與話題跟蹤。報道切分是其他四項任務的預處理工作，它針對原始數據流進行識別，根據報道的分布規律或主題內容的差異找出所有報道邊界，并切分成一則則具有完整結構與一致主題的報道；首次報道檢測對網絡中的時序動態數據進行自動識別，檢測每個話題出現的第一篇討論報道；關聯檢測是對網絡媒體數據流中的兩則報道進行判斷，并分析是否討論同一話題；對于社交媒體平臺中的數據，話題檢測的任務是檢測和組織未知的話題，在不清楚話題信息的情況下構建檢測模型；話題跟蹤任務則對已知話題的多則報道進行模型訓練，并利用此模型判斷后續報道與話題的相關性，實現對已有話題的追蹤分析，幫助研究人員獲取明確、詳細的話題描述。話題檢測與跟蹤的每項子任務都并非孤立存在，需要與其他任務相互輔助，共同實現話題信息的有效處理[2]。

2 " 話題檢測與跟蹤的關鍵技術

話題檢測與跟蹤技術是一種檢測新事件并對特定熱議話題進行后續跟蹤的信息獲取技術，可有效地把分散的信息組織匯集起來，從整體掌握話題全部細節并了解各事件之間的關聯性。根據任務類型劃分，主要有兩方面的研究：話題檢測研究與話題跟蹤研究，其中涉及的關鍵技術為話題/報道表示模型、相似度計算和文本聚類、分類算法。話題檢測與跟蹤的操作流程，如圖1所示。

2.1 話題/報道表示模型

在判斷報道歸屬于哪個話題之前，首先需要對話題和報道進行模型化，即表示成計算機便于識別與處理的形式?，F有的話題/報道表示模型主要有語言模型、向量空間模型、中心向量模型。

語言模型是一種概率模型，使用條件概率鏈式法則，假定報道中的單詞相互獨立，將整篇報道的概率拆分成每個單詞在序列中出現的概率乘積，通過計算報道中的單詞和話題類別的聯合概率分布估計該報道的話題類別概率，完成檢測。語言模型不僅考慮到報道中單詞的詞頻，還考慮到了單詞之間的順序和關系，更有利于獲取并掌握報道中的上下文信息。

向量空間模型從報道中提取特征子集，并采取相關算法計算特征項權重，其中權重代表特征項在報道中的重要程度，所有特征項與其相應的權重構成報道的向量表示模型[3]。向量空間模型將對報道內容的處理轉換為向量運算[4]，是目前最便捷有效的文本表示模型。在向量空間模型中，主要采用TF-IDF（Term Frequency-Inverse Document Frequency）加權技術為報道中的特征項計算權重。TF表示詞頻；IDF表示逆文檔頻率，用來衡量特征項的常見程度。特征項在該報道中的詞頻越高，同時在整個報道集合中的逆文檔頻率越高，則該特征項的權重值越大。使用TF-IDF算法可有效地提取報道中的關鍵信息，識別報道中的重要特征[5]。具體計算公式如下：

（1）

（2）

式中，i表示報道中某個單詞；表示單詞i出現的次數；表示報道中的單詞總數；表示語料庫中所有報道的數目；表示出現單詞i的報道數目，分母“+1”是為了防止計算時出現分母為零的情況，即單詞i在任何一篇報道中都未提及。

中心向量模型作為向量空間模型的一種變形，計算所有報道向量表示的平均值并將其作為該話題的中心向量；之后將新報道或后續報道同每個話題的中心向量做比較，判斷報道與哪個話題最相近。

2.2 相似度計算

文本相似度是一種衡量不同報道間相關程度的關鍵指標，也是話題檢測與跟蹤過程中不可或缺的一部分。合理的相似度計算方法可以使聚類、分類性能更優，常用的計算方式有歐式距離、曼哈頓距離、切比雪夫距離、余弦相似度、皮爾遜相關系數等[6]。

歐氏距離（也稱歐幾里得度量），在日常生活中被人們廣泛提及，主要用來衡量兩點間的距離或者向量的自然長度。具體計算公式如下：

（3）

式中，n表示向量維度；表示點A在第維度的坐標；表示點B在第維度的坐標。

向量空間模型和中心向量模型一般采用余弦相似度來衡量報道與話題的相近程度。當兩篇報道的向量接近0度時，余弦值趨近1，兩個向量相似度越大，說明此報道越可能“歸屬”于該話題[7]。具體計算公式如下：

（4）

式中，S和C分別表示報道與話題；和分別表示報道與話題中特征項的權重。

2.3 文本聚類算法

文本聚類是一種經典的無監督機器學習方法，在不知道有多少話題類別的前提下對報道進行劃分，最后將高度相似的報道聚合為一個話題，將差異性大的報道歸于一個新話題。

基于劃分的聚類方法的主要思想是：在給定媒體數據流中對其中的多篇報道進行聚類，將具有高相似性的報道劃分在一個簇中，以此方式凝聚產生多個簇，不同簇間的報道具有較大差異性。K-means算法、層次聚類和Kernel算法為常見的基于劃分的聚類方法。其中，K-means算法是使用率最高的一種算法，K是一個超參數，用來衡量簇的個數，需要人為手動輸入。

基于增量的聚類算法的主要思想是：根據報道輸入的先后順序進行依次處理，一次處理一則報道，分別計算新出現的報道和已經存在的話題之間的相似度。該算法非常直觀，便于實現，不需要重新訓練所有數據，在處理動態增長的數據時更全面、高效，可有效提升話題聚類的性能[8]。Single-pass為目前廣泛應用的增量聚類算法。

2.4 文本分類算法

文本分類是自然語言處理（Natural Language Processing，NLP）中的一項基礎任務，它按照給定的分類規則，將報道劃分到指定的某個或某幾個類別中。目前常見的基于機器學習的分類算法有KNN、樸素貝葉斯等。

KNN算法的基本原理是，當預測一個新報道的類別時，根據它距離最近的K則報道的類別，投票選出比例最大的類別，作為該新報道的分類結果。

樸素貝葉斯根據概率統計相關知識，依據貝葉斯定理與特征條件獨立假設進行報道類別劃分，當報道數據出現時其他各類樣本出現的概率大小決定此報道類別，選擇概率最大的類別作為該報道的最終類別。

3 " 網絡輿情分析系統設計

網絡輿情分析系統由輿情采集、輿情預處理、輿情分析和輿情處置四大模塊組成。網絡輿情分析系統工作流程如圖2所示。

3.1 輿情采集

輿情采集工作主要聚焦于新聞網頁、微博、微信等眾多社交媒體平臺，旨在全面獲取豐富多樣的輿情信息。采用先進的網絡爬蟲技術，對預設監控范圍內的各類網站實施持續、高效的掃描。部署主題網絡爬蟲，該智能化工具能夠自動分析網頁的復雜結構，精準評估頁面內容，并通過對鏈接的深度挖掘進行主題相關性判斷，可提升數據采集的針對性與準確性，為后續的輿情分析階段奠定了堅實的數據基礎，確保了分析結果的全面性和可靠性。

3.2 輿情預處理

輿情預處理指將采集的輿情信息進行提前處理，主要包括中文分詞、去停用詞等一系列數據去噪過程。由于新聞網頁、微博、微信等社交媒體平臺言語表達較為隨意，所以借用jieba分詞工具對報道進行第一步處理，并參考哈工大的停用詞表去除報道中的停用詞，通過上述數據去噪過程，可以提升后續話題檢測與跟蹤的效果。

3.3 輿情分析

前期階段首先將采集的輿情文本數據存于本地數據庫中，按文本發布時間順序提取數據，對其進行預處理操作；利用特征抽取算法抽取報道中的特征項，完成文本的向量化表示。輿情分析模塊是整個系統的核心部分，也是實現網絡輿情跟蹤處置的前提，包括網絡輿情話題檢測以及網絡輿情話題跟蹤兩個部分。輿情話題檢測利用文本聚類算法將新進入的報道設為簇中心，當后續報道出現時計算該報道與簇中心的相似度，若相似度大于設定閾值，則將后續出現的新報道歸入該話題，同時更新簇中心；否則新建一個話題，以此完成話題檢測任務。輿情話題跟蹤是指將文本分類算法應用于話題/報道表示模型，計算一篇報道與話題之間的相似度，若相似度大于設定閾值，則將報道納入該話題類別，以此跟蹤給定話題相關的報道。

3.4 輿情處理

輿情處理工作涵蓋輿情報告的精心生成與高效預警兩大核心環節?；谏钊氲木W絡輿情分析成果，針對特定主題全方位整合相關輿情信息。通過運用先進的可視化技術，以清晰、直觀的方式展現數據之間的內在聯系、隱含的深層信息，以及未來的發展趨勢，確保決策者能夠準確把握輿情的動態走向。通過構建一套完善的輿情預警機制，可實時監測輿情變化，及時發出預警信號，為相關部門提供寶貴的時間窗口，以便其能夠迅速響應、有效引導，確保輿情管理工作的科學性與前瞻性。

4 " 結束語

互聯網傳播技術不斷深化，增加了網絡輿情的發現及后續處置相應難度，需要相關部門及研究人員構建合理的網絡輿情系統，并持續監測網絡輿情走向，以便及時采取準確有效的輿情危機預警與治理措施，縮短網絡輿情事件的生命周期，遏制輿情衍生。文章分析了話題檢測與跟蹤技術，指出話題分析在網絡輿情領域中的重要作用，并將話題檢測與跟蹤技術應用于網絡輿情系統，為網絡輿情的有效發現及后續快捷處置提供重要保障。

參考文獻

[1] 陳珂，劉莉.話題分析和情感分析視角下的高校網絡輿情衍化特征研究[J].全媒體探索，2022（10）：64-69.

[2] 周中雨.基于文本挖掘的網絡輿情話題分析方法研究[D].大慶：東北石油大學，2023.

[3] 張海川，李勝東，石俊濤，等.話題檢測與跟蹤任務中的話題跟蹤研究[J].信息與電腦（理論版），2022，34（11）：151-153.

[4] 李勝東，張海川，石俊濤，等.基于話題結構特性的話題跟蹤系統設計[J].信息與電腦（理論版），2022，34（07）：4-6.

[5] 魏藝澤，郭慧，時曉旭.基于增量文本聚類算法的熱點話題檢測研究[J].華北科技學院學報，2024，21（01）：76-81+124.

[6] 郭瑩，薛濤，胡偉華.面向熱點話題檢測的增量文本聚類算法[J].計算機系統應用，2022，31（09）：280-286.

[7] 劉錕.中文熱點話題檢測與跟蹤技術研究[D].北京：中國電子科技集團公司電子科學研究院，2022.

[8] 李麗蓉.基于文本聚類算法的網絡輿情話題檢測研究[J].山西警察學院學報，2021，29（01）：69-72.