層次聚類算法在媒體日志分析上的應用

胡愷

摘要：隨著云計算和大數據等技術的快速發展，維護互聯網及其軟硬件系統的穩定運行、檢測和修復潛在異常具有重要意義。日志作為軟件系統中的重要組成部分，詳細描述了當前系統狀態，對日志內容和日志輸出特征進行分析，可以判斷當前系統的運行狀態，預測可能發生的異常，為系統管理人員及時采取對應措施節省出寶貴時間。

關鍵詞：層次；數據；媒體；日志

doi：10.3969/J.ISSN.1672-7274.2024.03.048

中圖分類號：TP 311.13? ? ? ? ? ?文獻標志碼：A? ? ? ? ? ?文章編碼：1672-7274（2024）03-0-03

1? ?日志分析研究背景

由于軟件系統的規模和復雜度與日俱增，作為記錄軟件系統運行狀態的日志數據。也呈現出格式復雜、數量龐大、類別失衡等特性。日志作為運維工作中最為核心的監控和分析對象，系統的異常或性能下降一般首先會從日志中體現出來。分析日志記錄的動態信息，可以有效幫助運維人員發現、定位、分析并糾正錯誤，提高廣電系統運行的穩定性和安全性。廣電媒體集團的技術運維工作對于維護其信息安全及業務穩定至關重要[1]。如何采取方法解析日志事件是精準分析日志信息的前提，現在大部分IT環境已使用統一日志平臺，采用關鍵字檢測、統計分析等技術進行日志分析，但仍面臨以下問題。

（1）固定閾值告警的設置依賴人員經驗，準確性難以保證。

（2）關鍵字的梳理工作量大、依賴于運維人員經驗、覆蓋面較窄。

（3）日志分析需要大量研發和運維人員參與，問題處理效率與質量較低，且無法適應日志量快速增長、格式日漸復雜的趨勢。

（4）在識別與歷史數據的某種表現模式沖突的異常時，但異常閾值難以定義，沒有明顯界限。

如何提高日志分析效率、充分發揮日志的價值成為一個亟待解決的重要問題。隨著大型分布式系統的廣泛引入，基于機器學習算法的日志分析方法逐漸在實際項目中被廣泛運用，并取得了良好的結果。

2? ?層次聚類算法原理

層次聚類算法由于其簡單、高效、易實現、聚類結果穩定、適合大規模及高維數據、對噪聲低敏感等特點，是聚類算法里使用最廣泛的主要算法之一[2，3]。層次聚類算法通過對數據集在不同層次進行劃分，可形成樹形的聚類結構[4]。

其算法原理如下。

（1）數據表示。假設有一個包含N個樣本的數據集，每個樣本可以用一個d維特征向量表示，其中d是樣本的屬性維度[5]。

（2）相似度或距離計算。通過選擇適當的相似度或距離度量方法，計算任意兩個樣本之間的相似度或距離值。

（3）初始聚類。將每個樣本視為一個單獨的聚類簇。

（4）聚合策略（凝聚層次聚類）。從初始聚類開始，選擇最相似的兩個聚類簇進行合并。

（5）分裂策略（分裂層次聚類）。從一個包含所有樣本的聚類開始，通過選擇一個樣本進行分裂，將數據集分為兩個較小的聚類簇。分裂的策略可以是根據某種準則選擇樣本進行分裂，如離差最大、方差最大等[6]。

（6）聚類樹或聚類劃分。通過不斷迭代合并或分裂操作，可以形成一個聚類樹，也稱為樹狀圖或譜系圖。聚類樹展示了聚類簇的層次結構和合并或分裂的順序。

（7）停止條件。聚類過程中需要設置停止條件，例如，達到預設的聚類數量、相似度或距離的閾值，或者根據某種評估指標確定最佳聚類數目[7]。

層次聚類算法提供了一種直觀且靈活的聚類方法，適用于各種數據類型和問題，幫助人們理解數據的內在關系和組織結構。

3? ?基于聚類的LogMine日志模式解析

算法

本節采用一種快速識別日志模式的日志分析算法LogMine進行介紹，其基本思路如下。

首先對日志預處理，以合適的粒度進行聚類，然后提取每一類日志的行為模式，在監控日志流時，計算新的日志行為模式與正常行為模式的匹配度，以此判斷系統是否出現異常，如圖1所示。

4? ?層次聚類算法應用場景

本場景基于上海文化廣播影視集團的媒體日志進行介紹。在實際項目應用中，接入網絡設備190臺，系統主機103臺，進行為期一周的日志分析過程。具體過程如圖2所示。

系統總計產生了超過5 000萬條日志，包括代表基礎性能的生產數據、文件上傳產生的靜態數據等。通過LogMine算法訓練出1 800條模式，建立了53個模型庫，分別對應屬于網絡、安全和媒體板塊的53種不同的媒體業務，如表1所示。

通過層次聚類算法分析這些日志，可以輔助進一步的監控和決策，提高運維效率，保障業務安全，實現媒體日志的精細化運營。具體應用場景如下。

4.1 模式識別細分

業務日志數量龐大、種類繁多，日志格式輸出各異，沒有統一標準。聚類算法可自動識別不同類型的日志特征，訓練出不同模式，對應不同業務，方便不同業務線的運維人員有針對性地對日志進行分析處理，大大提高運維效率，如圖3所示。

4.2 未知異常檢測

通過Agent接入實時更新的業務日志后，根據日志間的相似度聚類，將相似度高的日志聚類為一個簇，并從這些簇中提取日志模版，不斷接入新日志進行增量學習，形成模型并建立標準模型庫。

在系統產生新日志后，導入模型庫進行判斷，匹配即為正常數據，反之則標記為異常并向運維人員告警。運維人員也可手動對異常日志進行備注，如異常類型、解決方案等。基于日志的異常標記，后續根據異常特征即可快速判斷并處理，在應對復雜場景時，多種日志模式的異常檢測能力發揮了顯著作用，如圖4所示。

在對新媒體區的網絡設備進行異常分析時，由于網絡設備具有固定標準，可以生成統一的日志格式，通過正則表達式進行解析，并結合聚類算法對數據格式的高容錯性，可以精準命中異常日志，最大程度實現模型的高性能表現。

4.3 智能風險告警

隨著系統架構的日漸復雜，運維人員收到的告警信息也變得多種多樣，通過聚類將泛化的告警信息進行概括，可以在告警發出后，結合異常日志標記等信息，第一時間找到最核心的問題。

基于已有模型對日志自動進行分析，可在故障發生之前就精準定位，幫助運維人員判斷異常類型并及時排障，為運維工作提供有效的智能數據支撐，進一步實現業務實時監控、風險數據統計及安全合規審計，如圖5所示。

在實際項目中，因機房某施工人員誤將一臺交換機管理口網線拔掉，但該異常屬性并未納入監控工具Zabbix的監控指標集，因此并未監測到這一管理口異常，而系統檢測出交換機出現新日志xxx interface down并發出告警，幫助運維人員快速定位故障，恢復正常環境，及時避免了風險進一步擴大。

5? ?結束語

本文采用層次聚類算法，針對上海文化廣播影視集團的網絡、安全、業務等媒體業務日志進行聚類劃分，幫助運維人員在大量異構業務日志中快速了解并定位故障，有效保障了系統的穩定運行。智能大數據運維理念、方法和工具引入廣電媒體行業，提高了媒體平臺運維治理的系統化、規范化、精細化、智能化水平。

參考文獻

[1] 李健．面向移動終端設備的用戶軌跡異常檢測研究[D]．南京：南京郵電大學，2020.

[2] 丁建立，黃天鏡，徐俊潔，等.基于時間序列的多維距離聚類異常檢測方法[J]．計算機工程與設計，2020（7）：1935-1950.

[3] 鄒金偉．IaaS云平臺異常檢測系統的設計與實現[D]．北京：北京郵電大學，2020.

[4] 曾子軒．基于層次聚類和CNN-text的系統日志異常檢測系統[D]．武漢：中南財經政法大學，2020.

[5] 黃天鏡．基于多維特征的ADS-B數據異常檢測方法研究[D]．天津：中國民航大學，2020.

[6] 李潔．基于日志關聯分析的異常檢測技術研究與實現[D]．北京：北京郵電大學，2020.

[7] 李健，付雄，王俊昌．面向物聯網移動終端設備的用戶軌跡異常檢測研究[J]．計算機應用研究，2020（10）：3135-3138.