基于Agent技術實現高校數據中心建設中異構數據的采集整理

摘要:該文從XML技術、Agent技術角度，結合教育管理信息化標準，探討高校數據中心建設中對原有各種教育管理信息系統異構數據的采集與整理方法，并初步闡述了Agent的設計思路和數據結構的標準化映射轉換方案。

關鍵詞:Agent;數據中心;XML;數據結構映射

中圖分類號:TP311文獻標識碼:A文章編號:1009-3044(2009)14-3609-02

To Implement the Heterogeneous Data Acquisition and Integration Based on Agent in Data-center Constructing of University

WANG Zhong-guo

(Nanyang Normal University， Nanyang 473061， China)

Abstract: This paper discuss on the means of the old EMIS's heterogeneous data acquisition and integration in the university data center constructing based on the XML technology and Agent technology，also expound the Agent design and the method how to transform and map the data structure to the standard format.

Key words: Agent; Data-Center; XML; Data structure mapping

1 引言

我國高校信息化建設近年來取得了巨大的成就，當前不少高校已實現了基本的硬件和軟件環境建設，進入數據整合階段，即數據中心建設階段。由于初期缺乏統一建設標準，高校在用的各種教育信息管理系統各自獨立，無法實現共享，因此，在數據中心建設過程中，如何快速采集整理學校各部門現有的異構數據是極為重要的一環。

2 數據中心在高校信息化建設中的地位

現有的各種教育管理信息系統(文中簡稱EMIS)，如:學生選課系統、財務處網上繳費系統、圖書館信息檢索系統、辦公自動化系統、招生管理系統、設備管理信息系統等。這些已有的管理系統極大的方便了高校師生的學習和工作。但這些管理系統之間基本上互不兼容，獨立使用各自的數據，系統之間數據不能共享，也存在數據不一致的問題。這就需要建立一個涵蓋所有應用數據、邏輯連接的基礎共享數據庫(即數據中心)，規范學校數字化資源，消除信息孤島。

3 數據中心建設面臨的問題

1)信息孤島問題:由于歷史的原因，在高校信息化建設過程中，部門之間條塊分割，缺乏統一接口和標準，各種教育信息管理系統采用了不同的系統架構(例如B/S或C/S，三層分布式等)、不同的數據庫系統(Access、MS SQL Server、My SQL、Orcale等)、不同的應用開發技術(J2EE、PB、.NET等)、不同的開發商、不同的數據接口、缺乏互操作性，使得各信息管理系統之間的信息無法共享，人為地形成了一個個信息孤島。

2)異構數據問題:各業務數據庫存在數據結構不一致的問題。首先對數據對象的定義可能不同，其次數據對象的屬性，及數據字段的描述和長度也各自定義不同;此外，各數據庫還經常存在數據邏輯不一致的問題。

3)各子系統具有各自的用戶管理和授權機制，各業務部門不愿意將自己的數據完全開放給別的部門，由于這種數據安全的限制，使得業務系統之間的數據共享更加困難，很難實現數據的綜合查詢。

4)缺乏統一標準:各種教育管理信息系統的對問題的抽象、定義都沒有統一的標準，因此對于同一個數據對象，在整合過程中必須對同一個屬性進行一致性轉換，并需要進行唯一性檢驗。從技術的角度來講，這是一個單一數據來源的問題。

4 數據采集整合的方法

4.1 制定相應的數據標準

在高校信息資源的建設、開發和應用過程中，要解決好信息資源的共享問題，數據庫的建設要統一規劃，并要及時制定信息采集、整理、數據庫開發的系列標準，以確保數據庫的質量和數據庫之間信息的無縫鏈接，防止資源浪費和重復開發。高校可參照教育部頒布的《教育管理信息化標準》，根據需要制訂符合本校實際需要的統一數據標準，具有其現實可行性和可操作性。文中以《教育管理信息化標準》中高校信息子集中的學生信息子集[1]為例探討異構數據采集整理及標準化轉換方法(圖1)。

4.2 利用Agent技術實現異構數據的采集與整理

依據制定的標準建立標準基礎數據庫，基于Agent技術和XML數據綁定技術，利用Agent數據采集模塊實現對原有管理信息系統中的異構數據進行采集，通過對異構數據進行標準化轉換，采用XML報文形式發送給數據中心Agent數據整理模塊，數據中心將XML報文解析后，經數據校驗成功則導入標準基礎數據庫，作為數據中心的基礎數據。設計Agent功能結構如圖2。

4.2.1 數據庫接口代理

由于不同的教育管理信息系統使用的數據庫系統也可能不同，因此需設計通用數據庫代理接口，而無需原有EMIS提供應用程序接口，降低數據整合的實現難度。Agent需依據不同的數據庫系統環境生成不同的配置文件，執行不同的配置過程，并自動生成Agent所需的數據表，同時建立適應但前數據庫系統的數據庫處理機制。

4.2.2 利用XML數據綁定技術處理傳輸數據

Agent報文使用公共XML數據詞匯描述所有對象，XML數據綁定及數據庫技術其獨特的優勢。Oracle、SQL Server等數據庫和XML之間的集成首要一點就是根據SQL數據創建XML文件。Agent根據采集的數據產生不同的腳本，從而將數據庫數據轉換為XML報文形式。其中數據整理模塊XML報文處理功能除了從XML報文解析出數據信息之外，還包括查詢條件生成處理功能，即依據數據標準生成查詢請求XML報文。

4.2.3 數據對象處理

由于原有EMIS使用的數據結構，多數不符合EMIF數據規范和教育管理信息化標準，因此Agent設計符合EMIF數據規范的數據結構標準化轉換功能[2]。Agent在不改變或不影響原有EMIS操作權限的基礎上，通過獲取不同的EMIS的數據結構，建立原有數據結構與標準化數據規范的映射，保證各個EMIS之間數據的一致性，實現不同EMIS之間信息的采集與整合。

4.2.4 數據結構標準化映射

由于EMIS使用的數據結構大多沒有采用一致的數據規范，因此需設計數據結構的標準化映射模塊，實現對已有數據結構的標準化映射，便于不同信息管理系統間信息的共享和交流。Agent初始化配置過程中依據字符串資源文件，自動生成數據對象標準化命名文件(ObjsName.txt)、數據結構標準文件(比如Y學生基本信息.txt)和數據結構的XML節點描述文件(比如Y學生基本信息XML.txt)。

在數據對象標準化轉換過程中，Agent自動調用對應的數據結構標準文件，并根據用戶設置生成數據結構映射表。根據數據結構層次關系，自動設定數據結構與XML節點或屬性的對應關系，便于數據庫數據與XML報文信息的相互轉換(圖3)。

4.2.5 數據采集與整理

Agent數據采集模塊依據數據整理模塊生成的查詢請求報文生成查詢條件，并依據合法的查詢條件生成數據提取指令，從EMIS中提取相應的數據信息，然后生成符合標準的應答報文返回給數據整理模塊。當Agent數據整理模塊收到應答報文后，從中解析出查詢到的信息，數據檢驗成功后導入標準基礎數據庫，作為數據中心的有效基礎數據。

5 結束語

高校信息化建設中數據中心建設涉及的層面很多，在實現互操作和數據信息共享方面研究很多，但無論是推倒重建還是牽線搭橋的方式，都存在對原有各種EMIS中異構數據的采集整理的問題。因此，文中從Agent技術角度，探討異構數據采集整理的方法，給出了Agent的功能結構和數據結構標準化映射轉換方法。但文中僅以教育管理信息化標準中高等學校管理信息集中學生基本信息子集為例探討，僅為教育軟件開發者或數據中心建設提供參考，還不全面和完善，離應用還有距離，如數據一致性校驗方案等方面還有待進一步研究探討。

參考文獻:

[1] 中華人民共和國教育部. 教育管理信息化標準: 第一部分， 學校管理信息標準[S]. 北京: 人民郵電出版社， 2002.

[2] 教育部教育信息化技術標準委員會. 教育管理信息系統互操作規范(CELTS-40) [ DB /OL].(2002-09-05).