數字化校園建設中異構數據集成研究與應用

王亮

（青島遠洋船員職業學院 山東 青島 266071）

數字化校園的建設，將實現 “三個一”的標準，即：一個數據庫、一個標準和一個平臺。具體而言，包括建立一個符合國際、國家、教育部和行業標準的能夠用于規范化學校應用長期建設的標準規范體系；要建立一個涵蓋一期應用業務和與之關聯的其他業務數據信息于一體的基礎共享數據庫；要建立一個面向最終用戶（師生員工）的能夠集成公共信息、個性化信息、應用模塊功能，具有信息推送能力的應用信息門戶平臺。在這個數據資源共享集成的基礎上，針對特定的用戶角色，建立一個面向教職工、學生需求的信息服務數據集，提供個人全面的信息服務。最后在共享數據平臺中為學校發展決策積累數據，建立一個面向決策分析支持的主題數據集，在此基礎上，可以再逐步建立相應的決策分析支持應用。在實際的數字化校園建設中，可以采用接入的方式完成各類平臺和系統的整合，校園數據中心的建立將是我們在數字化校園建設中重要一環。

1 共享數據中心數據集成平臺設計

共享數據中心[1]數據集成平臺把數據地抽取自然的分成了兩個步驟。第一步是從數據源到中心數據庫的數據抽取；第二步是中心數據庫到主題數據庫或OLAP數據庫的再次抽取。兩個步驟的數據抽取對應兩個層次的數據集成。

1）第一層次的數據集成對應第一步的數據抽取，它是對數據源層的集成，主要目的是抽取出共享的數據，這個過程主要是數據交換，不涉及全局的查詢。

2）第二層次的數據集成對應第二步的數據抽取，它是對中心數據庫的數據進行進一步的抽取和分類，主要面向數據查詢的集成，不涉及數據交換。

第一層次是第二層次的基礎和準備階段。在兩個集成過程中，中心數據庫具有承上啟下的關鍵性作用，是整個系統數據層建模[2]和數據運轉的中心。在共享數據中心建設初期，第一層次的數據集成是主要關心的問題。借鑒現有數據集成方案，并主要針對第一層次的集成，設計了面向共享數據中心的數據集成平臺（簡稱共享平臺）。

圖1 共享數據中心數據集成平臺組成Fig.1 Component of shared data center data integ ration platform

上文中的共享平臺[3]可以概括為一個中心數據庫、一組工具和一組服務。工具和服務與中心數據庫之間有著密切的關系，中心數據庫是基礎，工具和服務共享數據中心數據集成平臺的設計是面向共享數據中心的數據集成平臺的設計與實現上的應用。一個中心數據庫、一組工具和一組服務：一個中心數據庫包括公共字典庫、共享數據庫、信息標準庫、業務管理庫、交換協議庫和歷史庫；一組工具包括信息標準管理、共享數據管理、業務系統管理、交換協議管理、數據來源收集和數據訂閱收集；一組服務包括業務系統數據整合、共享訂閱發布、數字檔案和分析查詢。

2 數據模型實例

學生繳費系統結構如圖2所示：

圖2 學生繳費系統Fig.2 Students capture expends system

1）全局應用系統體系

涉及系統有【用友軟件】【海天學生收費管理系統】。

①學工處給出各學生繳費標準及各細項。圖2學生繳費系統（Students capture expends system）

②財務批量輸入信息。

③學生繳費，打印發票，【海天學生收費管理系統】中進行相應設置。

④可查詢導出數據為excel格式，例如所有欠費學生。

⑤學生繳費可采取工行卡繳費，現金繳費，刷卡繳費。注：學費可分期繳費。

海天學生收費管理系統：這是數字化校園建設初期購買的學費管理系統，本文稱為應用1，采用Access數據庫。

財務用友軟件系統：財務部門與應用1類似的商業系統，本文稱作應用2，采用SQL Server數據庫。主要區別是數據不能直接從區域數據庫獲得，而是必須使用銷售商提供的扁平文件導入/導出來進入或提取。

2）設計集成數據模型

根據上述分析，建立數據集成模型[4]如圖3所示：，

圖3 數據集成模型Fig.3 Data integration model

本圖是數據庫的概括和在應用之間附加了編碼框，代表數據集成需要創建的程序:

①傳遞商品和價格到中心數據庫；

②設置學生收費及學費設置信息到應用1；

③設置財務信息到應用2；

④傳遞財務信息到中心數據庫。

考慮到數據必須進行整理后才能報告的要求，需要確定一個新的中心數據庫，其中還包含能夠傳遞到應用1和應用2的學生信息和繳費信息，以數據映射和應用1的數據庫為基礎，確定中心數據庫的E-R圖。隨著數字化校園中心數據庫的就緒，我們完成了數據集成模型的分析與設計，模型建立的過程總結如下：

①為3個應用定位，開發一個基本的數據模型來顯示數據存儲的關系；

②為每個主要數據結構建立數據映射；

③使用映射關系決定新的集成數據庫的要求完成新的集成數據庫。

3 總體實現

整個數據集成平臺位于異構數據源和應用程序之間，向下協調各種異構數據源，向上為訪問集成數據的應用提供了統一的模式和訪問的通用接口。

該文設計實現的數據集成系統是基于XML[5-6]構建的，使用Java Servlet來動態生成頁面，使用XSL樣式表來進行XML文檔的轉換與顯示。從功能上來看，可以把整個系統分為系統登錄部分；業務功能模塊；數據庫轉換模塊。數據庫轉換存儲模塊為本系統核心模塊，它將數據轉換過程主要表現為3個導入導出階段:第一階段是將SQL Server主庫的數據導出到XML文件中；第二階段是將XML文件中的數據記錄導入到SQL Server從庫中去；第三階段是將XML文件中的數據記錄導入到Access庫中去。如圖4數據集成系統所示。

圖4 系統數據轉換界面Fig.4 System data conversion interface

4 結束語

該文提出的解決方案還存在著若干需進一步進行的工作，首先是數據處理的規模是有一定限制的，一般的大量數據應該沒問題，但是對于海量數據[6]的處理需要作進一步的探討，這個還需要多方技術的支持；其次是速度問題，當遇到大數據量的查詢時，運行速度不是很理想，遠不如關系數據庫。同時，在實現多數據源數據集成的過程中，我們還希望通過良好的查詢優化的算法來減小查詢的執行代價或縮短查詢的相應時間，并且在優化過程中需要考慮數據源的查詢能力以及中間件的處理能力。進一步的工作還包括對查詢分解算法的改進，使之能適應更普遍的查詢。再次，對數據傳輸的安全性沒有深入討論。該文最大限度地屏蔽了各種數據的異構性，特別是XML和關系數據庫之間的異構性，是基于XML的多種數據源數據集成研究的一次有效嘗試。

[1]趙歡，陳熙.在數字化校園中應用異構數據集成技術構建數據中心[J].中國教育信息化，2008（19）:26-28.

ZHAO Huan，CHEN Xi.In the application of digital campus heterogeneous data integration technology build data center[J].China Education Info，2008（19）:26-28.

[2]李為，蔡英蔚，徐輝.基于多線程的異構數據庫集成平臺的設計實現[J].現代電力，2008（5）：69-72.

LI Wei， CAI Ying-wei， XU Hui.Design and realization of heterogeneous database integrated platform based on multithreading[J].Modern Electric Power，2008（5）:69-72.

[3]張素智，劉中峰.數據集成系統中異構數據遷移的研究與設計[J].中原工學院學報，2009（6）:24-28.

ZHANG Su-zhi，LIU Zhong-feng.Research and design on migrate heterogeneous data in data integration[J].Journal of Zhongyuan University of Technology， 2009（6）:24-28.

[4]張嘉揚.異構數據集成技術在教育信息資源整合中的應用研究[D].長春：碩士東北師范大學，2010.

[5]王浩波.基于java和xml的信息集成研究[D].天津:河北工業大學，2004:50-54.

[6]劉雨瀟，楊雅娟.基于JDOM的XML數據解析技術內涵研究[J].現代電子技術，2010，33（22）:40-41.

LIU Yu-xiao，YANG Ya-juan.XML data analysis technique based on JDOM[J].Modern Electronic Technique，2010，33（22）:40-41.

[7]黃毅，鐘碧良.基于XML的異構數據庫間數據遷移的研究[J].科技管理研究，2008（8）:173-174.

HUANG YI，ZHONG Bi-liang.Based on XML data transfer between heterogeneous databases[J].Science and Technology Management Research，2008（8）:173-174.