基于需求驅(qū)動(dòng)的數(shù)字化校園數(shù)據(jù)架構(gòu)研究與設(shè)計(jì)

摘 要： 近年來(lái)，在數(shù)字化校園建設(shè)中，以數(shù)據(jù)服務(wù)為核心，為不同角色提供人性化信息服務(wù)，以及為學(xué)校發(fā)展提供決策支持的需求應(yīng)運(yùn)而生。而單一的統(tǒng)一數(shù)據(jù)庫(kù)在應(yīng)用系統(tǒng)和業(yè)務(wù)規(guī)模擴(kuò)大時(shí)其應(yīng)用查詢效率較低，為此設(shè)計(jì)出一種新的數(shù)字化校園數(shù)據(jù)架構(gòu)，將數(shù)據(jù)交換庫(kù)與共享數(shù)據(jù)庫(kù)分離，使數(shù)據(jù)存放更為有效，從而提高查詢效率。從理論上和技術(shù)上對(duì)新的數(shù)據(jù)架構(gòu)進(jìn)行了可行性分析。新的數(shù)據(jù)架構(gòu)能夠較好地滿足數(shù)字化校園建設(shè)中的新需求。

關(guān)鍵詞： 數(shù)字化校園； 數(shù)據(jù)集成； 數(shù)據(jù)挖掘； 數(shù)據(jù)服務(wù)

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2013）10-78-03

0 引言

隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展和校園網(wǎng)信息化建設(shè)的進(jìn)一步深入，高校數(shù)字化校園建設(shè)實(shí)現(xiàn)了不同業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)資源的共享，各個(gè)“信息孤島”的有機(jī)集成，提高了校園網(wǎng)的運(yùn)作效率[1-2]。然而教育信息化開始進(jìn)入了資源集成時(shí)期，高校如何對(duì)信息資源進(jìn)行規(guī)劃、設(shè)計(jì)、組織和控制，實(shí)現(xiàn)“以用戶為核心的結(jié)構(gòu)化信息資源組織結(jié)構(gòu)”，為每個(gè)人提供最人性化的信息服務(wù)，為學(xué)校發(fā)展提供決策支持，是當(dāng)今校園網(wǎng)信息化發(fā)展的追切需求。

校園數(shù)據(jù)中心的建立是數(shù)字化校園建設(shè)中的重要環(huán)節(jié)。在有關(guān)高校管理信息系統(tǒng)的論文中有很多是關(guān)于數(shù)據(jù)中心的研究，如劉星曄的《加強(qiáng)高校管理信息系統(tǒng)的數(shù)據(jù)共享與利用》[3]一文中指出了目前高校管理信息系統(tǒng)存在的問題，強(qiáng)調(diào)了高校管理信息系統(tǒng)的數(shù)據(jù)共享與利用的重要性，并進(jìn)行了簡(jiǎn)單的實(shí)例分析。宋穎的《數(shù)字化校園建設(shè)的研究》[4]對(duì)數(shù)字化校園建設(shè)過程中數(shù)據(jù)應(yīng)用與交換平臺(tái)問題展開相應(yīng)的研究。王培雷的《高校數(shù)字化校園平臺(tái)的研究與設(shè)計(jì)》[5]對(duì)高校數(shù)字化校園平臺(tái)的設(shè)計(jì)做出詳細(xì)分析，在建設(shè)內(nèi)容、數(shù)字共享方面提出了明確的設(shè)計(jì)思路。可以發(fā)現(xiàn)，其研究重點(diǎn)是建立一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù)，各應(yīng)用系統(tǒng)之間的數(shù)據(jù)交換以此為橋梁，實(shí)現(xiàn)學(xué)校范圍的數(shù)據(jù)共享、數(shù)據(jù)一致性，并在統(tǒng)一數(shù)據(jù)庫(kù)的基礎(chǔ)上建立面向教職工、學(xué)生的應(yīng)用模塊及校級(jí)決策分析模塊。

然而，在建設(shè)中，以統(tǒng)一數(shù)據(jù)庫(kù)為基礎(chǔ)的應(yīng)用存在兩點(diǎn)不足：①當(dāng)?shù)讓訕I(yè)務(wù)系統(tǒng)有大量數(shù)據(jù)更新入統(tǒng)一數(shù)據(jù)庫(kù)時(shí)，基于統(tǒng)一數(shù)據(jù)庫(kù)的應(yīng)用查詢效率很低；②統(tǒng)一數(shù)據(jù)庫(kù)的數(shù)據(jù)表是各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)表的映射，沒有對(duì)數(shù)據(jù)進(jìn)行梳理及按主題存放，數(shù)據(jù)來(lái)源分散。對(duì)此，本文設(shè)計(jì)出了一種新的數(shù)字化校園數(shù)據(jù)架構(gòu)：把數(shù)據(jù)的抽取分成了兩個(gè)步驟，第一步是從數(shù)據(jù)源到數(shù)據(jù)交換庫(kù)的數(shù)據(jù)抽取，第二步是數(shù)據(jù)交換庫(kù)到按主題存放的共享數(shù)據(jù)庫(kù)的再次抽取。共享數(shù)據(jù)庫(kù)的數(shù)據(jù)是對(duì)數(shù)據(jù)交換庫(kù)的數(shù)據(jù)進(jìn)行進(jìn)一步的抽取和分類，主要面向數(shù)據(jù)查詢的集成，不涉及數(shù)據(jù)交換。

1 相關(guān)技術(shù)研究

1.1 基于ETL的數(shù)據(jù)集成

基于ETL數(shù)據(jù)集成的方式，可以看作主要由數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換整合兩部分組成。

1.1.1 數(shù)據(jù)抽取

在現(xiàn)有的各個(gè)業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)信息分散地存儲(chǔ)在各不同的數(shù)據(jù)庫(kù)中，數(shù)據(jù)交換庫(kù)的數(shù)據(jù)需要從這些數(shù)據(jù)源中采集，而由于各數(shù)據(jù)源采用的數(shù)據(jù)庫(kù)類型不同，存儲(chǔ)數(shù)據(jù)的標(biāo)準(zhǔn)也不同，因此必須經(jīng)過處理之后才能裝載到數(shù)據(jù)交換庫(kù)。數(shù)據(jù)交換庫(kù)到共享數(shù)據(jù)庫(kù)又是一次數(shù)據(jù)抽取過程，在這次數(shù)據(jù)抽取過程中，要對(duì)數(shù)據(jù)進(jìn)行梳理、分類和歸納并按主題存放。在數(shù)據(jù)抽取過程中會(huì)遇到很多的問題，主要包括以下幾點(diǎn)。

⑴ 數(shù)據(jù)來(lái)源不同，需要采集數(shù)據(jù)的相關(guān)工具應(yīng)能夠支持各種異構(gòu)數(shù)據(jù)源。

⑵ 不同數(shù)據(jù)庫(kù)支持的數(shù)據(jù)類型有差異，因此選擇的工具應(yīng)具有字段映射功能，能夠?qū)⒊槿〉臄?shù)據(jù)類型轉(zhuǎn)換為目標(biāo)格式。

⑶ 從不同的數(shù)據(jù)源進(jìn)行數(shù)據(jù)抽取，會(huì)有很多的冗余數(shù)據(jù)，因此需要根據(jù)需求進(jìn)行相關(guān)處理。

1.1.2 數(shù)據(jù)轉(zhuǎn)換與整合

數(shù)據(jù)轉(zhuǎn)換與整合需根據(jù)系統(tǒng)分析和構(gòu)建需求，通過數(shù)據(jù)過濾、數(shù)據(jù)轉(zhuǎn)換等操作，將整合之后的數(shù)據(jù)裝載到共享數(shù)據(jù)庫(kù)。

1.2 校園信息的數(shù)據(jù)挖掘

隨著高校信息化實(shí)踐的大量開展，相應(yīng)的基礎(chǔ)設(shè)施和業(yè)務(wù)系統(tǒng)中已積累了海量數(shù)據(jù)。而從沉淀的數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的信息，深入挖掘、綜合利用、轉(zhuǎn)化為知識(shí)，才是業(yè)務(wù)系統(tǒng)真正價(jià)值的體現(xiàn)。

數(shù)據(jù)挖掘技術(shù)用于分析存在于數(shù)據(jù)庫(kù)中的隱含的、有意義的數(shù)據(jù)從而發(fā)現(xiàn)新的關(guān)聯(lián)關(guān)系，它能實(shí)現(xiàn)多種功能，如：自動(dòng)預(yù)測(cè)趨勢(shì)和行為、數(shù)據(jù)關(guān)聯(lián)分析、概念描述、偏差檢測(cè)等[6]。通過業(yè)務(wù)和數(shù)據(jù)理解、數(shù)據(jù)建模、模型評(píng)估及部署等步驟，通過服務(wù)器內(nèi)部的數(shù)據(jù)統(tǒng)計(jì)、多維分析（OLAP）、SPSS等技術(shù)和各類分類預(yù)測(cè)以及描述方法，實(shí)現(xiàn)大量數(shù)據(jù)關(guān)聯(lián)。

數(shù)據(jù)挖掘和分析是建立長(zhǎng)效機(jī)制，實(shí)施校園管理的重要手段[7-9]，加強(qiáng)數(shù)據(jù)分析應(yīng)用是管理的必然趨勢(shì)，其可為校管理者的科學(xué)決策提供重要的參考依據(jù)，幫助學(xué)校各部門精準(zhǔn)服務(wù)，提高師生滿意度。

2 數(shù)字化校園數(shù)據(jù)架構(gòu)設(shè)計(jì)

在數(shù)字化校園建設(shè)的分步實(shí)施中，各個(gè)職能部門先后建立了多個(gè)業(yè)務(wù)系統(tǒng)，各個(gè)業(yè)務(wù)系統(tǒng)相應(yīng)的數(shù)據(jù)庫(kù)也都有了一定的數(shù)據(jù)積累，接下來(lái)如何為師生等不同角色提供人性化的信息服務(wù)，如何對(duì)這些分散的數(shù)據(jù)進(jìn)行處理并為高校的管理和決策服務(wù)，成為高校信息化發(fā)展的需求[10-14]。在應(yīng)用系統(tǒng)和業(yè)務(wù)規(guī)模擴(kuò)大后，基于單一的統(tǒng)一數(shù)據(jù)庫(kù)所建立的應(yīng)用會(huì)帶來(lái)效率問題，因此我們?cè)O(shè)計(jì)出了一種以數(shù)據(jù)服務(wù)為核心的新的數(shù)據(jù)架構(gòu)，如圖1及圖2所示。

在新的數(shù)字化校園的數(shù)據(jù)架構(gòu)中，數(shù)據(jù)的抽取自然地分成了兩個(gè)步驟。第一步是從數(shù)據(jù)源到數(shù)據(jù)交換庫(kù)的數(shù)據(jù)抽取；第二步是數(shù)據(jù)交換庫(kù)到主題數(shù)據(jù)庫(kù)或OLAP數(shù)據(jù)庫(kù)的再次抽取。

⑴ 第一層次的數(shù)據(jù)抽取主要針對(duì)數(shù)據(jù)源層，將數(shù)據(jù)源層數(shù)據(jù)抽取到數(shù)據(jù)交換庫(kù)中，這個(gè)過程只用于數(shù)據(jù)交換，不涉及全局的查詢。

⑵ 第二層次的數(shù)據(jù)抽取主題針對(duì)數(shù)據(jù)交換庫(kù)，它是對(duì)數(shù)據(jù)交換庫(kù)的數(shù)據(jù)進(jìn)行進(jìn)一步的抽取和分類，主要面向數(shù)據(jù)查詢的集成和應(yīng)用展示，不涉及數(shù)據(jù)交換。

第一層次是第二層次的基礎(chǔ)和準(zhǔn)備階段。在兩個(gè)集成過程中，數(shù)據(jù)交換庫(kù)具有承上啟下的關(guān)鍵性作用，是整個(gè)數(shù)字化校園系統(tǒng)數(shù)據(jù)層建模和數(shù)據(jù)運(yùn)轉(zhuǎn)的中心。

3 可行性分析

理論上的可行性分析：在新的數(shù)據(jù)架構(gòu)中，數(shù)據(jù)交換庫(kù)只用于底層業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的交換與共享，共享數(shù)據(jù)庫(kù)為上層的應(yīng)用提供數(shù)據(jù)服務(wù)，共享數(shù)據(jù)庫(kù)與數(shù)據(jù)交換庫(kù)的分離，能夠克服大量數(shù)據(jù)更新時(shí)，單一的統(tǒng)一數(shù)據(jù)庫(kù)應(yīng)用查詢效率低的不足；新的數(shù)據(jù)架構(gòu)以數(shù)據(jù)服務(wù)為核心，著重突出資源的集中和共享，通過對(duì)數(shù)據(jù)交換庫(kù)中數(shù)據(jù)的梳理、貫通、整合和重組，將分散的數(shù)據(jù)按主題存放在共享數(shù)據(jù)庫(kù)中，數(shù)據(jù)存儲(chǔ)更為有效，理論上是可行的。

技術(shù)上的可行性分析：在新的架構(gòu)中，數(shù)據(jù)集成與數(shù)據(jù)分析展示是數(shù)字化校園建設(shè)的重要內(nèi)容，數(shù)據(jù)集成解決數(shù)據(jù)的異構(gòu)性問題，統(tǒng)一數(shù)據(jù)格式，保證數(shù)據(jù)的一致性，使不同應(yīng)用系統(tǒng)中的數(shù)據(jù)能夠相互交流。通過ETL技術(shù)能夠?qū)崿F(xiàn)不同業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的提取、傳輸和加載等操作，目前有較多成熟的工具可供選擇，如商業(yè)的Datastage、Powercenter、DataStage、ODI（Oracle Data Integrator）、SSIS（微軟SQL Server Integration Service），開源的Kettle等。在數(shù)據(jù)分析展示方面也有一些成熟的工具可供使用，如QlikView、Tableau等。綜上可知，從技術(shù)層面上也是可行的。

4 結(jié)束語(yǔ)

本文分析了數(shù)字化校園建設(shè)的現(xiàn)狀，對(duì)數(shù)字化校園建設(shè)中的一些關(guān)鍵技術(shù)進(jìn)行了研究。設(shè)計(jì)出一種新的數(shù)據(jù)架構(gòu)，將數(shù)據(jù)交換庫(kù)與共享數(shù)據(jù)庫(kù)分離，對(duì)數(shù)據(jù)交換庫(kù)的數(shù)據(jù)進(jìn)行梳理并按主題存放在共享數(shù)據(jù)庫(kù)中，共享數(shù)據(jù)庫(kù)用于提供數(shù)據(jù)服務(wù)，數(shù)據(jù)交換庫(kù)只用于底層業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的交換。對(duì)新數(shù)據(jù)架構(gòu)進(jìn)行了理論上和技術(shù)上的可行性分析，可知，新的共享數(shù)據(jù)庫(kù)的建立能夠克服單一的統(tǒng)一數(shù)據(jù)庫(kù)應(yīng)用查詢效率低的不足，較好地滿足了為不同角色提供人性化信息服務(wù)及為學(xué)校發(fā)展提供決策支持的需求。

參考文獻(xiàn)：

[1] 張學(xué)旺，汪林林，馬中峰.數(shù)字化校園綜合應(yīng)用軟件平臺(tái)的關(guān)鍵技術(shù)[J].計(jì)算機(jī)工程，2007.33（23）：267-268

[2] 李培峰，朱巧明.基于Web服務(wù)的校園信息化平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006.27（19）：3564-3566

[3] 劉星曄.加強(qiáng)高校管理信息系統(tǒng)的數(shù)據(jù)共享與利用[J].教育信息化，2005.6：43-44

[4] 宋穎.數(shù)字化校園建設(shè)的研究[J].硅谷，2012.8：94-95

[5] 王培雷.高校數(shù)字化校園平臺(tái)的研究與設(shè)計(jì)[J].價(jià)值工程，2013.3：191-192

[6] 劉同明等.數(shù)據(jù)挖掘技術(shù)及其應(yīng)用[M].國(guó)防工業(yè)出版社，2001.

[7] 鄺濤.數(shù)據(jù)挖掘技術(shù)在高校教務(wù)管理系統(tǒng)中的應(yīng)用研究[D].鄭州大學(xué)，2011.

[8] 湯正華.基于Web Service的數(shù)字化校園的設(shè)計(jì)實(shí)現(xiàn)[D].山東師范大學(xué)，2012.

[9] 唐敏.湖南大學(xué)數(shù)字化校園建設(shè)項(xiàng)目規(guī)劃設(shè)計(jì)與實(shí)現(xiàn)研究[D].湖南大學(xué)，2010.

[10] 趙佳.河北師范大學(xué)公共數(shù)據(jù)庫(kù)平臺(tái)研究與設(shè)計(jì)[D].河北師范大學(xué)，2010.

[11] 劉向東.基于J2EE的數(shù)字化校園應(yīng)用框架[D].中南大學(xué)，2011.

[12] 李榮.數(shù)字化校園統(tǒng)一數(shù)據(jù)集成研究與實(shí)現(xiàn)[D].中國(guó)海洋大學(xué)，2011.

[13] 陸懷平.面向服務(wù)的數(shù)字化校園數(shù)據(jù)交換平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].蘭州大學(xué)，2009.

[14] 馬曉.數(shù)字化校園信息平臺(tái)設(shè)計(jì)與研究[D].長(zhǎng)安大學(xué)，2012.