基于數據挖掘的通信傳輸維護技術分析

周 俊

[摘要]以數據挖掘的關聯規則為基礎,從篩選數據入手,按照數據挖掘的步驟,對每個環節進行詳細展開,分析故障數據的組成、模型以及存儲方式,并在關系數據庫中對提供的數據進行建模,建立基于多維關聯規則的傳輸故障分析模型。

[關鍵詞]傳輸故障數據挖掘關聯規則

中圖分類號:TN91文獻標識碼:A文章編號:1671-7597(2009)0820021-01

目前傳輸維護部門每個月都會對上月的傳輸故障進行統計和分析,以便對下月的工作做出針對性的調整。故障統計涵蓋的內容有故障歷時,故障段落,原因,是否超時等相關信息,這些數據之間到底有些什么聯系,這些聯系是否能對傳輸維護工作起到積極的促進作用單憑一眼無法做出判斷,需要經過數據分析和挖掘,并通過一系列方法發掘出其中的關系才能下結論。本文中所用到的就是數據挖掘技術當中的關聯規則挖掘,也就是從大量的數據中挖掘出有價值描述數據項之間相互聯系的有關知識。希望通過關聯規則挖掘的應用解決一些維護工作中的問題。

一、數據挖掘技術概述

數據挖掘是一個利用各種分析工具在海量數據中發現模型和數據之間關系的過程,這些模型和關系可以被企業用來分析風險、進行預測。同時數據挖掘還是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中,提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數據挖掘過程一般由確定挖掘對象、數據準備、模型建立、數據挖掘、結果分析表述和挖掘應用這幾個主要階段組成,數據挖掘可以描述為這幾個階段的反復過程。待挖掘的數據的模式有很多種,按功能分有兩類預測型模式和描述型模式。

二、關聯規則

關聯規則挖掘發現大量數據中項集之間有趣的關聯或相關聯系。它在數據挖掘中是一個重要的課題,最近幾年已被業界所廣泛研究。關聯規則研究有助于發現交易數據庫中不同商品項之間的聯系,找出顧客購買行為模式,如購買了某一商品對購買其他商品的影響。分析結果可以應用于商品貨架布局、貨存安排以及根據購買模式對用戶進行分類。

(一)APRIORI算法

APRIORI算法是挖掘產生布爾關聯規則所需頻繁項集的基本算法;它也是一個很有影響的關聯規則挖掘算法。APRIORI算法就是根據有關頻繁項集特性的先驗知識(prior knowledge)而命名的。該算法利用了一個層次順序搜索的循環方法來完成頻繁項集的挖掘工作。這一循環方法就是利用k-項集來產生(k+1)-項集。具體做法就是,首先找出頻繁1-項集,記為L1;然后利用L1來挖掘L2,即頻繁2-項集;不斷如此循環下去知道無法發現更過的頻繁K-項集為止。每挖掘一層Lk就需要掃描整個數據庫一遍。為提高按層次搜索并產生相應頻繁項集的處理效率。APRIORI算法利用了一個重要性質,又稱為APRIORI性質來幫助有效縮小頻繁項集的搜索空間。APRIORI性質:一個頻繁項集中任一子集也應是頻繁項集。

(二)多維關聯規則的挖掘

如果不是對交易數據庫而是對存儲在關系數據庫或其它數據進行挖掘,這時的數據是以多維形式定義存儲的。如為了分析故障原因。一個關系數據庫可能記錄了有關這些故障的其它屬性,諸如故障類型、發生時間、故障歷時,故障段落等如果將數據庫或數據倉庫中這些屬性看成謂詞,那么挖掘包含多個謂詞的關聯規則可能就是很有價值的。包含兩個或更多的謂詞的關聯規則就稱為多維關聯規則。

(三)關聯挖掘中的相關分析

一個規則是否有意義取決于主觀與客觀兩方面的判斷,但最終還是由用戶來確定一個規則是否有意義。利用支持度-信任度基本結構挖掘出的關聯規則在許多應用場合都是有價值。但是但是支持度-信任度基本結構在描述一個AB規則是否有意義時,可能會提供一個錯誤知識。因為有時的發生實際并不一定蘊含B的發生。這里就將討論基于相關分析的描述數據項集之間是否存在有意義聯系的有關方法,該方法構成了對支持度一信任度基本結構的補充。若有,則項集A的發生就獨立于項集B的發生;否則項集A和B就是相互依賴或相關的。該定義可以很容易地擴展到多于兩個項集的情況。利用相關分析的一個好處就是它是向上封閉的,也就是說若項集中的各項是相關的,那的每一個超集也都是相關的這也就意味著向相關項的集合中添加一個項并不能改變或消除現有的相關性。

三、基于多維關聯規則的傳輸故障分析

通信傳輸維護部門每個月都會對上月的傳輸故障進行統計和分析,以便對下月的工作做出針對性的調整。故障統計涵蓋的內容有故障歷時,故障段落,原因,是否超時等相關信息,這些數據之間到底有些什么聯系,這些聯系是否能對傳輸維護工作起到積極的促進作用單憑一眼無法作出判斷,需要經過數據分析和挖掘,希望通過關聯規則挖掘的應用解決一些維護工作中的問題。

初始數據是原始數據,未經處理過。首先選擇有針對性的數據,對數據進行預處理,主要包括數據清理、集成和歸約。預處理是為了克服目前數據挖掘工具的局限性。數據將原來不必要的部分去掉,并且合并相同時間的故障,因為相同時間故障一般是由于干線發生問題引起,所以算做一次故障,否則會出現許多相同原因引起故障的重復計算,而造成結果偏離。

(一)利用靜態離散挖掘傳輸故障關聯規則

在這種方法中,定量屬性在關聯知識挖掘之前,就利用概念層次樹進行離散化,其中就是將屬性的取值替換為區間范圍。符號屬性則可以根據需要被泛化到更高的概念層次。此外與挖掘任務相關的數據可能會存放在數據立方中,由于數據立方是按照(多維)屬性進行定義的,因此它非常適合挖掘多維關聯規則。

(二)挖掘傳輸故障中的定量關聯規則

定量關聯規則就是關聯規則所涉及的數值屬性是在數據挖掘過程中,根據一定的挖掘標準,諸如使信任度最大或使挖掘的規則最簡潔,而進行動態離散化。這里所需要的是基于圖像處理基本思想所提出的關聯規則聚類方法。該方法就是將一對定量屬性映射到滿足給定符號屬性的二維方格然后搜索產生相應關聯規則的點的聚類。目前已經提出了一個基于非方格的方法來幫助發現更一般的定量規則而在規則兩邊均可以出現無數目限制的符號屬性和定量屬性。

參考文獻:

[1]欽臻文,通信傳輸系統在城市軌道交通中的應用發展[J].城市軌道交通研究,2009,03.

[2]迪麗拜爾·艾海提、庫德來提·熱西提,數據挖掘技術的應用[J].電腦編程技巧與維護,2009,06.

作者簡介:

周俊(1978-),男,漢族,湖北省人,工學學士,工程師,計算機專業。