基于數據挖掘的退庫信息異常告警方法

作者簡介：趙夏（1984— ），女，工程師，碩士；研究方向：網絡安全。

*通信作者：劉睿（1992— ），男，工程師，本科；研究方向：網絡安全，信息運行。

摘要：鑒于目前退庫信息異常告警方法存在的誤警率較高問題，文章提出一種基于數據挖掘的退庫信息異常告警方法。首先，利用網絡爬蟲技術爬取退庫信息，并對無效信息進行識別和清除。其次，對退庫信息進行標準化處理，將需要變化的數據項從原有空間轉換至統一的標準數據空間。再次，運用數據挖掘技術提取退庫信息的異常特征，并運用賦權法對這些異常特征進行融合，以量化退庫信息的異常程度及告警等級。最后，根據量化結果作出相應的告警行為，從而實現基于數據挖掘的退庫信息異常告警。實驗結果表明，該方法的設計誤警率不超過1%，在退庫信息異常告警領域具有廣闊的應用前景。

關鍵詞：數據挖掘；退庫信息；異常；告警；網絡爬蟲技術；賦權法

中圖分類號：TP391" 文獻標志碼：A

0" 引言

隨著信息技術的日新月異，數據挖掘技術在商業分析和決策支持等領域中的地位愈發重要。在企業運營中，退庫信息作為一個重要的數據來源，能夠反映產品質量、客戶需求和供應鏈管理等方面的問題，對于及時發現和解決潛在問題、提高整體運營效率具有至關重要的作用。近年來，信息異常識別與告警方法已引起了研究領域的廣泛關注和重視，眾多學者和專家對此進行了深入研究，提出了一系列的方法和思路。

黃賜豪等［1］介紹了一種基于人工智能的信息異常檢測及預警方法。該方法利用人工智能技術提取信息時序特征，進而識別異常信息并發出告警。顧亞文［2］則提出了一種基于卡爾曼濾波的信息異常監測思路。該方法通過卡爾曼濾波識別信息異常特征，并量化信息異常預警等級。然而，傳統方法在處理效率和準確性方面存在局限，難以滿足現代企業對快速響應和精確決策的需求。因此，對退庫信息異常告警方法進行優化與創新變得尤為重要。

1" 退庫信息獲取及預處理

在進行退庫信息異常告警分析之前，首要步驟是獲取原始退庫信息。為此，本文采用網絡爬蟲技術實現自動化數據抓取。將退庫信息源IP地址，如網站、數據庫等，納入爬蟲的目標列表。在執行爬蟲操作之前，必須確保目標網站允許對其內容進行爬取［3］。部分網站可能會設置爬取限制，例如通過robots.txt文件的規定或實施網站訪問限制。為實現數據抓取功能，使用編程語言編寫爬蟲代碼，通常包括使用網絡請求庫（如Python中的requests庫）發送HTTP請求以獲取網頁內容［4］。隨后，利用解析庫（如BeautifulSoup）對網頁進行解析，從中提取所需數據。通過發送HTTP請求至目標網站并等待服務器響應，可以獲取網頁內容。這些內容可以是HTML、json字符串、二進制數據（如照片或視頻）等多種形式。針對獲取的內容，采用相應的分析方式進行處理。例如，若內容為HTML，使用網頁分析庫進行分析；若為json格式，則將其直接轉換為json對象以便分析。最后，將取得的資料存儲至本地文件或數據庫中，以便后續處理與分析。存儲形式可以是文本、特定格式的文件或直接存儲到數據庫。這一流程確保了數據的完整性和可用性，為后續分析工作提供了堅實基礎。

為提升信息異常告警的精確度，必須對原始數據進行預處理。針對爬取過程中可能存在的錯誤、缺失或不實信息對象，需進行必要的清理工作［5］。退庫信息的屬性項之間，正常情況下均遵循一定的邏輯關系。這些邏輯關系可劃分為數據項間的控制關系與量化關系。控制關系體現在某一數據項的值對其他數據項具有影響作用，而量化關系則主要展現數據項間的大小對比關系［6］。若爬取的退庫信息違反這些邏輯規則，則表明這些數據項可能存在錯誤，或退庫信息存在不完整的情況。為此，采用以下公式來識別并剔除這些無效信息。

P=0，x∈E

1，xE（1）

式中，P表示退庫信息中無效信息識別結果；0表示有效信息；1表示無效信息；x表示退庫信息數據項；E表示退庫信息數據項邏輯關系集［7］。對識別到的無效信息進行清除。此外原始退庫信息中數據項可能存在多個屬性，無法對這類信息直接進行數據挖掘，因此對其標準化處理，可用公式表示為：

Cij=‖Xij-K‖z（2）

式中，Cij表示標準化處理后的退庫信息；Xij表示退庫信息文本中第i個信息的第j個屬性值；K表示退庫信息第j個屬性平均值；z表示退庫信息數據第j個屬性平均絕對偏移［8］。通過以上標準化處理將需要變化的數據項從原有空間轉換到統一的標準數據空間，確保退庫信息文本中所有數據項屬性統一。

2" 基于數據挖掘的信息異常特征提取

在上述內容的基礎上，進一步運用數據挖掘技術，對已預先處理過的退庫信息進行系統性的聚類分析，旨在精確識別退庫信息中的異常特征。相較于其他指標參數，這些異常退庫信息特征能夠更為直觀地反映退庫信息數據的變動特性，

假設，經過預處理后的退庫信息集為M，這個信息集由2部分構成：一是異常信息樣本集合，二是正常信息樣本集合。異常信息樣本集合匯聚了所有表現出異常特征的退庫信息，而正常信息樣本集合則囊括了符合常規模式的退庫信息。通過對這2類樣本的細致比較和深入分析，能夠更精確地把握異常退庫信息的獨特特征，從而為后續的決策和預警提供堅實的支撐。

在處理異常退庫信息樣本時，必須意識到不同樣本之間的特征分布可能呈現顯著的差異。這種差異由多種因素造成，包括但不限于信息采集環境、設備狀態、操作方式等。為了更準確地捕捉這種差異，為不同的樣本設定了相應的權值參數［9］。這些權值參數不僅體現了不同信息樣本在數據集中的重要性，還影響著后續的數據挖掘結果。為了確保獲得更精確的聚類效果，對權值參數進行了差異化設置。

除了權值參數的設置，聚類中心數量的選擇也直接關系到退庫信息異常特征提取的完整性和準確性。為了確保特征提取結果的完整性，結合了參與特征提取的異常退庫信息樣本數量，并設置了與樣本數量相匹配的聚類中心數量。這樣做可以避免因聚類中心數量不足而導致特征提取結果不完整的情況，以異常退庫信息聚類中心為基礎的數據挖掘結果c為：

c=Cij→v（3）

式中，表示退庫信息樣本差異化權值參數；v表示異常退庫信息的聚類中心［10］。根據同一聚類中心下異常退庫信息與聚類中心之間距離相等，計算出異常退庫信息聚類中心的模糊隸屬度：

μ=‖c-v‖/2α（4）

式中，μ表示異常退庫信息聚類中心的模糊隸屬度；α表示退庫信息到聚類中心距離消減系數。由以上公式可知，退庫信息到聚類中心距離越近，則距離中心模糊隸屬度參數值越大，因此可以將以異常信息聚類心中為導向的退庫信息異常特征：

ρ=∏Mi=1μ×c×v（5）

式中，ρ表示退庫信息異常特征。按照以上流程提取到退庫信息所有異常特征，為后續退庫信息異常告警提供依據。

3" 信息異常告警

采用賦權法對退庫信息異常特征綜合分析，得到退庫信息異常指數：

τ=∫expωρ2b2（6）

式中，τ表示退庫信息異常指數；ω表示異常特征權重系數；b表示退庫信息異常特征的聚類區間半徑。根據對退庫信息異常指數的評估，設定了5個級別的告警等級。當異常指數處于0～0.2，告警等級被定為一級，系統不會發出告警，因為退庫信息僅存在輕微異常，不會對整體退庫信息產生不良影響。當異常指數落在0.2～0.4，告警等級提升為二級，系統將觸發告警機制，向用戶提示信息存在異常。隨著異常指數增加到0.4～0.6，告警等級升級為三級，意味著退庫信息的異常程度已有所上升，可能對退庫信息應用產生不良影響，系統將發出相應告警，以提醒用戶注意。當異常指數進一步上升至0.6～0.8，告警等級達到四級，退庫信息的異常程度較為嚴重，將對退庫信息應用產生較明顯的不良影響。系統會發出強烈告警，以引起用戶的重視。最后，當異常指數達到0.8～1，告警等級達到最高的五級，表明退庫信息存在非常嚴重的異常，將對退庫信息應用造成重大不良影響。系統會發出緊急告警，以便用戶能夠迅速采取應對措施。

根據以上規則，本系統能夠準確地判斷預警等級，并采取相應的告警行為。這種基于數據挖掘的退庫信息異常告警機制，有助于及時發現并處理異常情況，確保退庫信息的精確性與可信度。

4" 實驗論證

4.1" 實驗準備與設計

為了驗證本文提出的基于數據挖掘的退庫信息異常告警方法的性能，本文采用了KAHFAAFG數據集進行實驗。該數據集源自某企業的退庫數據庫，包含了總計2.16 GB的退庫信息，其中異常信息占比高達80%。運用本文所提方法對這些退庫信息進行異常告警處理，實驗過程遵循了既定的流程對退庫信息進行處理和數據挖掘，成功提取了信息異常特征，并對退庫信息的異常程度進行了量化，最終實現了異常告警。

實驗環境配置如下：采用了Inter Core i8 CPU，配備了8G硬盤，并運行在Windows2010XP操作系統上。為了評估方法的性能，采用了退庫信息異常誤警比例作為評價指標。異常誤警比例指的是錯誤告警樣本與總異常樣本數量之比，該比例越高，說明告警的精度越低。通過這一指標，對本文提出的方法進行了精度評價。

4.2" 實驗結果與討論

為了使實驗數據具有一定的說明性，實驗首先隨機選取8個異常信息樣本，統計告警與實際對比，如表1所示。其次將本文方法與2種現行方法對比，對比不同異常信息樣本數量下3種方法誤警比例，如表2所示。

對表1—2中的數據進行對比分析，可以得出以下實驗結論：本文提出的方法在退庫信息異常告警值的計算上，與實際值的誤差較小，顯示出與實際情況的高度一致性。相較于2種目前常用的方法，本文方法的誤警比例不超過1%，遠低于這2種方法的誤警率。因此，實驗充分證明了本文設計的告警方法具有極高的精度，在退庫信息異常告警方面展現出了明顯的優勢，能夠實現對退庫信息異常的精準告警。

5" 結語

本文詳細闡述了基于數據挖掘的退庫信息異常告警方法的關鍵性、實施步驟以及所面臨的潛在挑戰。借助此種方法，企業能夠實現退庫數據的自動化處理與分析，從而迅速識別異常狀況，為決策層提供堅實的數據支撐。隨著數據挖掘技術的持續革新與應用領域的不斷擴展，這一方法在未來的重要性將愈加凸顯。然而，值得注意的是，基于數據挖掘的退庫信息異常告警方法并非萬全之策。在實際運用中，模型需要不斷地進行更新與優化。隨著業務的發展與市場的變遷，退庫數據的特征與規律亦可能發生改變。因此，為確保告警機制的有效性，需定期對模型性能進行評估，并根據實際情況進行相應的調整與改進。

參考文獻

［1］黃賜豪，張建寧，張永炘，等.基于人工智能的工程監理信息異常檢測仿真技術研究［J］.粘接，2024（2）：171-174.

［2］顧亞文.基于卡爾曼濾波的電子信息數據異常檢測系統［J］.自動化技術與應用，2023（12）：95-98.

［3］田唯熙，張永仙，琚長輝，等.基于改進圖像信息方法的地震電離層異常信息提取［J］.地震地磁觀測與研究，2023（增刊1）：102-105.

［4］衡紅軍，周文華.基于VAE與局部上下文信息自提取的異常檢測模型［J］.計算機工程與設計，2023（11）：3513-3521.

［5］李金花.基于關聯規則的醫院內部審計異常信息挖掘方法［J］.信息與電腦（理論版），2023（21）：211-213.

［6］王定發.基于線纜狀態數據的特征集成及異常信息自動檢測技術［J］.粘接，2023（5）：188-192.

［7］安世俊.基于深度學習的化工企業財務數據信息異常分析方法［J］.中國新技術新產品，2023（8）：34-36.

［8］楊艷芳，梁中豪，張美玲，等.數字化電能表信息采樣中的反向電量異常識別方法［J］.電氣傳動，2023（4）：78-83.

［9］劉艷鵬，朱立新，馬生明，等.成分數據理論和無監督聚類K-means方法提取背景和異常信息：以安徽省兆吉口鉛鋅礦床為例［J］.地質學報，2022（11）：4038-4055.

［10］李一鵬，王亞軍，栗維勛，等.基于極限學習機的變電站監控系統負荷異常信息的辨識方法［J］.電子器件，2022（5）：1219-1224.

（編輯" 沈" 強）

Normal alarm method of database database information based on data mining

ZHAO" Xia， YIN" Daxin， LIU" Rui*

（State Grid Jiuquan Power Supply Company， Jiuquan 735000， China）

Abstract： In view of the high 1 alarm rate of the current abnormal alarm method， this paper proposes a new abnormal alarm method based on data mining. First， the web crawler technology is used to crawl the database information， and the invalid information is identified and cleared. Then， the database return information is standardized， and the data items that need to be changed from the original space to the unified standard data space. Then， the data mining technology is used to extract the abnormal characteristics of the database information， and the empowerment method is used to integrate these abnormal characteristics to quantify the abnormal degree and alarm level of the database information. Finally， according to the quantitative results of the corresponding alarm behavior， so as to realize the abnormal alarm based on data mining. The experimental results show that the design 1 alarm rate of this method does not exceed 1%， and it has a broad application prospect in the field of abnormal alarm of database return information.

Key words： data mining; database return information; abnormal; alarm; web crawler technology; empowerment method