基于日志挖掘的打印管理系統的分析與設計

唐維燕

(中國電子科技集團公司第四十五研究所北京100176)

1 原型系統的總體結構

本系統采用了WMI 和數據挖掘技術，對打印服務器的系統日志進行分析，用以進行打印任務查詢、打印成本分攤、設備使用情況分析等打印管理工作。打印管理系統主要由前端、后端的打印管理控制臺和打印日志數據庫及打印服務器組成。前端主要包括收集查詢條件、統計打印信息和打印分析展現等3 個部分。后端主要由日志數據庫管理、日志查詢統計分析處理、日志記入數據庫、日志文件保存與備份、日志挖掘與分析等5 個部分組成。原型系統總體結構如圖1 所示。

圖1 系統總體結構圖

本文討論的重點在于數據挖掘過程中打印日志數據準備、數據預處理、挖掘和分析部分，著重探討如何進行打印日志的數據準備、挖掘和分析。其中涉及的功能模塊包括：

●打印管理前端：一個人機對話的窗口，提供可視化的界面。

●數據庫管理模塊：提供數據的可維護功能。

●數據預處理模塊：根據對打印管理信息的需要，利用WMI 對打印服務器的系統日志記錄中關于打印數據信息進行提取和預處理，包括數據的清洗、歸約、交換、集成等功能。

●數據挖掘模塊：對日志數據源進行關聯挖掘分析，以得到有用的信息。

●日志查詢統計模塊：對經過數據挖掘和分析的日志記錄依據查詢條件計算、分析、匯總。

2 WMI

本系統的打印日志數據準備借助WMI 技術實現。WMI (windows management instrumentation，Windows 管理規范) 是內置在Windows 2000、Windows XP 和Windows Server 2003 系列操作系統中核心的管理支持技術，它基于Distributed Management Task Force (DMTF) 所監督的業界標準，WMI 是一種規范和基礎結構，通過它可以訪問、配置、管理和監視幾乎所有的Windows 資源,如計算機系統、磁盤、外圍設備、事件日志、文件、文件夾、文件系統、網絡組件、操作系統子系統、性能計數器、打印機、進程、注冊表設置、安全性、服務、共享、SAM 用戶和組、Active Directory、Windows 安裝程序、Windows 驅動程序模式(WDM) 設備驅動程序，以及SNMP 管理信息基(MIB) 數據等。WMI 體系結構由3 個主層組成，如圖2 所示。

下面重點闡述一下WMI 體系結構中最重要的中間層——WMI 基礎結構。WMI 基礎結構由3個主要組件構成：公共信息模型對象管理器（Common Information Model Object Manager，CIMOM）、公共信息模型（Common Information Model，CIM）儲存庫、提供程序，以及WMI 腳本庫。前3 個WMI 組件共同提供通過其定義、公開、訪問和檢索配置和管理數據的基礎結構，第4個組件WMI 腳本庫是編寫腳本絕對不可或缺的部分。

圖2 WMI 體系結構

2.1 WMI 提供程序

WMI 提供程序在WMI 和托管資源之間扮演著中間方的角色。WMI 提供程序使用托管資源本機API 與其相應的托管資源通訊，使用WMI 編程接口與CIMOM 通訊。例如，內置的事件日志提供程序調用Win32 事件日志API 來訪問事件日志。

提供程序通常作為駐留在%SystemRoot%system32wbem 目錄中的動態鏈接庫 (DLL) 實現。WMI 包括很多針對Windows 2000、Windows XP以及Windows Server 2003 系列操作系統的內置提供程序。內置提供程序（也被稱為標準提供程序），從已知的操作系統源（如Win32 子系統、事件日志、性能計數器、注冊表等）提供數據和管理函數。

2.2 CIMOM

CIMOM（讀作see-mom）處理使用者和提供程序之間的交互。所有的WMI 請求和數據都經過CIMOM。Windows Management Instrumentation 服務 (winmgmt.exe)，在Windows XP 和Windows Server 系列操作系統上提供了CIMOM 角色，在通用服務主機進程 (svchost.exe) 的控制下運行。管理應用程序、管理工具和腳本調入CIMOM 以挖掘數據、訂閱事件或執行一些其他的與管理相關的任務。

2.3 CIM 儲存庫

WMI 的基本思想是——可以用一個架構統一表示來自不同源的配置和管理信息。CIM 就是這個架構，還調用了模型化托管環境和定義每個由WMI 公開的數據塊的對象儲存庫或類存儲。該架構基于DMTF 公共信息模型標準4。與建立在類概念基礎上的Active Directory 的架構非常相似，CIM 由類組成。然而，不同于Active Directory類表示創建并存儲在目錄中的對象，CIM 類通常表示動態資源。就是說，資源的實例并不存儲在CIM 中，而是通過基于使用者請求的提供程序動態檢索。這是由于大多數WMI 托管資源的操作狀態更改很頻繁，因而必須按需讀取以確保檢索的是最新的信息。

與Active Directory 類相似之處還有就是，CIM 類是分級組織的，每一級的子類從父類繼承。DMTF 維護一組核心和公共基類，系統和應用程序軟件開發人員（如Microsoft 的那些）從這些類派生和創建系統（或應用程序）特定的擴展類。

2.4 WMI 腳本庫

WMI 腳本庫提供自動化對象集，腳本語言（如VBScript、Jscript 及ActiveState 的ActivePerl）利用它訪問WMI 基礎結構。

WMI 腳本庫在一個名為wbemdisp.dll 的單個DLL 中實現，該DLL 物理駐留于%SystemRoot%system32wbem 目錄中。WMI 腳本庫還包括一個名為wbemdisp.tlb 的類型庫。可以使用WMI 腳本類型庫來從基于XML 的Windows 腳本文件（擴展名為.wsf 的WSH 腳本）引用WMI 常數。

本系統就是利用VBScript 語言訪問WMI 基礎結構，從打印服務器的Windows Server 2003 操作系統的系統日志中提取打印相關數據信息。核 心代碼如下：

3 數據預處理模塊設計

數據源準備部分是整個日志分析的基礎，它為后續的分析模塊提供真實可靠、適宜的挖掘數據源。數據挖掘中的預處理階段主要是接收并理解用戶的知識發現需求，確定發現任務，抽取并處理與任務有關的數據源，根據背景知識中的約束性規則對數據進行合法性檢查，通過清洗、歸約、集成等操作，生成供數據挖掘核心算法使用的目標數據，即知識基。知識基是原始數據庫經數據匯集處理后得到的二維表，縱向為屬性，橫向為記錄。它匯集了原始數據庫中與發現任務相關的所有數據的總體特征，是知識發現狀態空間的基底，也可以認為是最初的知識模板。

3.1 數據預處理方法

一般系統的日志信息量非常龐大，并且存在雜亂性、重復性和不完整性的問題。由于系統日志中記載的原始數據來源不一，有關于硬件、軟件和系統問題的日志，以及反應系統中發生的事件等等，這些信息源的配置并不完全相同，所產生的日志信息存在一定的差異，因此有些數據顯得雜亂無章，這是日志雜亂性問題所在。重復性是指對于同一個客觀事物在系統中存在兩個或兩個以上完全相同的物理描述，這樣就帶來了數據的重復和冗余問題。不完整性是由于實際系統存在的缺陷以及一些人為因素造成的數據記錄的缺失，或者數據記錄中出現數據屬性值的丟失或不確定的情況。為此，我們需要對這些原始的數據源進行數據預處理，通過數據清理、數據歸約、數據變換、數據集成等方法，對系統的打印日志信息進行預處理，產生可供挖掘和進一步處理的數據源。

●數據清理的任務是要去除源數據即打印日志信息數據中的噪聲數據和無關數據，處理遺漏數據和清洗臟數據，去除空白數據和在知識背景上的白噪聲，考慮打印日志信息的時間變化和它們的數據變化，主要是對重復數據和缺值數據進行處理，去除重復數據記錄，填補缺省數據。

●系統日志中有些數據屬性對打印分析沒有什么作用，但會大大影響數據挖掘效率，甚至可能導致數據挖掘結果的偏差，產生誤導作用，因此，有效地對數據進行簡化是很有必要的。數據歸約簡化是在對發現任務和數據本身內容理解的前提下，最大限度地精簡數據集。分別對系統打印日志信息中的屬性和記錄進行簡化，對數據的屬性進行剪枝、并值等相關操作。剪枝就是去除對提取打印相關信息沒有貢獻，或者貢獻率很低的屬性值。并值就是把相近的屬性進行綜合歸并處理。

●在系統日志信息中，有些屬性域需要做一定的變換處理，使得挖掘的結果能夠合乎我們的習慣邏輯和表達，如在系統日志記錄中，時間維的屬性值總是表示為一個精確到秒級的數值，但是在某些情況下，我們不需要知道如此精確的時間，而只需要知道大致的時間范圍段，比如以一天這樣的時間段劃分，所以我們要根據需求，做一定的數據變換工作。數據變換也屬于概念分層的范圍，即通過收集并用較高層的概念替換較低層的概念來定義數值屬性的一個離散化。概念分層可以用來歸約數據，通過這種概化，盡管細節丟失了，但概化后的數據更有意義，更容易理解，并且所需的空間比原數據少。

●數據集成主要是將多個文件中的異構數據源進行合并處理，解決語義的模糊性。該部分主要涉及數據的選擇，數據的沖突性以及數據的不一致性問題處理。

在實際的數據挖掘應用中，數據清理、數據集成和數據歸約不一定都用到，需要根據實際情況和需求，合理地對源數據進行預處理。

3.2日志記錄預處理和特征提取

在系統日志中，每一條記錄都包含一些主要的屬性信息和一些次要的信息，如來自系統打印日志的一條記錄可能包含：事件類別、計算機名、日志事件代碼、日志信息、日志記錄編號、日志來源、時間、請求類型、用戶名等信息。但是在打印管理分析中，有些信息不是非常重要的，比如事件類別和日志事件代碼等；有些信息則可以通過預處理中的概化方法，比如對時間信息，我們可以進行概化處理，方便挖掘；而計算機名、用戶名、日志來源等則是一些關鍵信息，必須保留原始樣式。同時對于日志信息，這些內容格式不固定的記錄需要進行日志記錄的規范化預處理(如圖3 所示)。

圖3日志規范化處理流程模塊圖

規范化格式處理的目的是為了達到以下幾個目標：完整性、可擴展性、簡單性。完整性要求規范化處理后的打印日志包含所有的需要信息，否則這個日志在打印分析中就不可用。可擴展性是要求這種方法必須能容納不同的日志內容使日志在類型上不受限制。簡單性是要求規范化格式處理后的日志，要容易被后面的挖掘算法處理分析，同時也方便打印日志數據庫的設計實現。在具體系統實現時，可以作為用戶自定義在對原始日志進行規范化格式處理的同時，得到所需的信息。

4 挖掘與分析平臺設計

完成數據源的準備工作后，采用關聯分析方法從這些數據中找出各個數據項之間的關聯規則，從而獲得打印數據之間存在的關聯信息；然后采用分類算法對所有數據進行分類分析，建立分類模型，對打印日志數據做進一步分類。其實應用于打印分析的數據挖掘方法并不局限于這幾種，其他如聚類、估計、預測方法等挖掘算法，也將隨著打印分析研究的深入和挖掘算法的進一步完善，會得到更好的應用。

因此在設計挖掘與分析模塊的時候，充分考慮到將來的發展趨勢，著眼于系統的伸縮性和可擴展性，采用分層結構的框架來設計挖掘和分析平臺，將挖掘分析應用部分分為四個層次：數據層、挖掘算法層、挖掘任務層、模式表示層。框架結構如圖4 所示。

●數據層：經過規范化預處理的日志數據，為挖掘數據源部分。

●挖掘算法層：提供關聯規則、分類算法、聚類算法等挖掘算法的具體實現，以接口的形式提供給挖掘目標層的任務挖掘。

●挖掘任務層：根據具體的挖掘任務，利用挖掘算法層提供的算法，對挖掘數據源進行日志屬性的內部關聯挖掘、時間序列挖掘、異常檢測、日志分類或聚類分析、統計計算等．

●模式表示層：把挖掘得到的結果以易于用戶理解的直觀方式呈現給用戶，便于用戶對模式進行評估和分析。

以分層結構來設計挖掘分析平臺，結合了打印管理分析工作的特點和數據挖掘技術快速發展的現況，既滿足了現階段數據挖掘在打印管理領域的應用，也增加了整個系統方案的靈活性和可擴展性。

圖4 挖掘層次分析結構框架圖

5 小 結

本文以打印管理的實際功能需求，討論了基于日志的打印管理原型系統設計中應該考慮和需要解決的幾個問題，以數據挖掘的技術要點和過程為出發，從利用WMI 對數據源的提取準備、數據預處理、數據挖掘分析方法的實現這三部分來分析和設計基于網絡共享的打印管理原型系統，著重討論了各個功能模塊的設計思想和使用的技術。利用WMI 獲取系統日志只是WMI 應用中很小的一塊，通過它可以訪問、配置、管理和監視幾乎所有的Windows 資源，本文作者在此借助這個打印管理系統拋磚引玉，希望大家利用WMI“深度挖掘”Windows 系統的各項“潛能”，實現更便捷的管理。

[1] 林曉東，劉心松.文件系統中日志技術的研究[J].計算機應用，1998，118(1)：28-30.

[2] 張施展，高景昌. 基于WMI 技術的計算機自動化管理[J];吉林大學學報(信息科學版);2006，24(4)：451-456.

[3] Han Jiawei，Kamber M 數據挖掘概念與技術[M].范明，盂小峰譯，北京：機械工業出版社，2001

[4] 屈定春，林原. 一種新型的數據庫應用——數據采掘.計算機應用研究，1996(6)：8-11.