高校數據共享交換平臺的應用與展望

陳 偉，范宇辰，李廣宏

（東北財經大學網絡信息管理中心，遼寧 大連116025）

高校數據共享交換平臺的應用與展望

陳 偉，范宇辰，李廣宏

（東北財經大學網絡信息管理中心，遼寧 大連116025）

隨著高校網絡信息建設的不斷深入，我校的校園信息化建設正處于一個前所未有的快速發展時期。2011年12月，學校制定并實施了《東北財經大學“十二五”發展規劃》，將“信息集成化”確認為學校未來發展建設的四大重點任務之一，標志著我校教育管理信息工作開始朝標準化、規范化的方向發展。本文首先闡述了東北財經大學數據共享交換平臺的發展現狀，分析了校內教職工和學生的主體需求與當前所面臨的主要問題，并針對不同需求提出了相應的解決措施，最后對我校未來將利用數據挖掘技術對學校信息資源進行整合、分析、決策等提出了設計展望。

數據共享；數據交換；大數據；數據可視化

一、引言

近年來，隨著信息技術產業的蓬勃發展，高校的信息化建設工作也受到了廣泛關注。推進高校信息化建設，打造數字化校園已成為各高等院校的普遍共識。2010年，我校完成了數字化校園建設信息門戶平臺、統一身份認證平臺和統一數據庫平臺“三大平臺”建設。由于信息化建設初期缺乏統一規劃，數據標準各異，業務系統各自為政，導致數據非集成化并形成了許多的信息孤島，這使得大量優秀數據無法共享和利用，獲得更大價值。我校于2014年又進行了數據共享交換平臺的建設。該平臺是整個數字化校園建設的重要組成部分，利用此平臺對校園內散亂分布的數據進行集成化整合，同時將原來分散、利用率低下的信息資源進行數據挖掘，對于我校的發展戰略和決策支持具有重要意義。

二、發展現狀

我校從2006年開始著手進行信息化校園建設工作，整體建設歷程具有階段性和分布性的特點。按照《信息化校園建設總體規劃》的部署，截至2010年，學校信息化基礎設施建設已基本完備，并完成了信息門戶平臺、統一身份認證平臺和統一數據庫平臺三大公共基礎平臺的建設。

2012年1-6月，我校完成了應用系統一期項目建設，包括本科生管理服務、研究生管理服務、人事管理服務和辦公自動化管理四個系統；至2013年12月，我校完成了應用系統二期項目建設，包括招生管理、宿舍管理、畢業離校、就業管理等七個系統，同時集成了教務管理系統和資產管理系統。

2014年至今，通過對基礎平臺和應用系統的完善推廣，我校將管理信息系統建設作為支撐學校管理現代化的基礎，現基本完成對學校各機關部處、教學教輔部門的核心管理業務的橫向整合。

統一數據庫平臺負責集中存儲和處理各種信息數據，并為全校提供信息共享交換服務。為了實現業務系統的集成和數據共享，進而為學校領導提供有力的決策支持，需要建立基于數據管理和綜合性技術方案的數據共享交換平臺，在對大量數據進行安全存儲的同時，通過建立暢通的數據訪問通道，能夠有效協同地將數據進行共享、分析及應用，保證數據共享及交換的時效性、完整性和一致性。[1]

數據共享交換平臺主要需完成以下任務：

1.數據的采集

負責采集更新各業務系統數據，利用數據抽取或同步工具將數據采集至共享數據中心，同時生成數據更新報告。

2.數據的整理

按照學校制定的信息化標準進行數據整合，報告異常數據，保證數據的一致性和準確性，并保留歷史數據。

3.數據的共享

對統一數據庫內的部分或全部資源進行共享和交換，可生成數據使用情況報告。

4.數據的挖掘分析

通過數據挖掘工具對共享數據和歷史數據進行分析評估，用報表、視圖等可視化工具進行展現，為決策提供參考。

目前，我校統一數據平臺可以實現數據導入、共享數據查詢與維護、靈活報表管理、統一代碼管理、通用組合查詢顯示、設置數據查詢和維護權限以及數據同步等功能，但平臺功能僅局限于數據的查詢展示，尚不能實現校園內各業務部門的信息交換交換功能。我們希望對各業務部門的資源、平臺進行更充分的整合，使得應用系統之間雖不具有直接關聯，但數據交換可以在業務數據庫與數據共享交換平臺上完成，建成一個各應用系統耦合度較低、安全性能較強、可以完成數據集中存儲與管理的數據共享與交換平臺。

三、實際需求

目前，建設以全局數據為基礎的數據共享交換平臺已成為各高校信息化建設的核心內容。通過其建設可以有效消除信息孤島，節約人力、物力、財力成本，提高工作效率。各職能部處可以通過該平臺獲取其他業務部門的數據信息，通過對數據的交換、共享、分析、挖掘，為廣大師生提供更加完善的服務，為學校建設以及科學管理提供重要的依據。

另外，數據共享交換平臺的建設是高校信息化建設下一階段——智慧校園建設的工作基礎。完成對學校內大數據有機的整合和繼承管理，掌握學校各項活動中發生的龐大、海量數據，并利用大數據處理技術對這些信息資源進行挖掘、整理、分析，為學校的發展提供決策支持，是下一步我校信息化發展的重點工作。

經過多年的建設與發展，我校網絡的基礎設施建設已經基本完成，已經初步建成了支撐學校日常運行的校級統一信息系統，在業務工作中發揮了積極的作用。但現有的這些系統基本上都是各自封閉的，隨著信息技術的發展以及教育改革的不斷深入，當前信息系統的現狀已經遠不能滿足學校發展的要求，數據整合工作仍然面臨著諸多難題和挑戰。

1.數據資產意識薄弱

數據作為重要的無形資產，其利用水平的高低可以直接反應一個高校的教學科研水平和管理能力。目前我校對數據建設的意識相對薄弱，沒有充分認識到數據也會在學校的教學科研管理中發揮重要作用，導致學校內部業務系統林立，數據沒有形成統一的管理制度，數據資產不能發揮有效價值。

2.數據管理缺乏規范性

目前我校內部已形成了多個業務系統，各部門依據各自的業務需求，分別采用了不同的架構及其開發技術，設計了信息系統建設標準和數據標準。但這些系統在應用及數據層面上彼此分離，導致各單位數據標準不一致，在數據共享平臺的建設過程中，不能有效分析數據庫表結構，在共享過程中時常出現匹配錯誤等現象。

3.存在信息孤島

由于各業務系統的數據維護及管理工作缺乏統一部署，導致我校各業務系統間缺少統一的數據格式和交換接口，雖然部分數據可以通過直接傳輸等形式實現數據資源的交換和共享，但這種傳統方法并不能及時有效地解決大量數據的交互問題，同時各類數據信息分別存儲于不同部門或不同地域（分布性）的不同數據庫（異構性）中，客觀上形成了許多“信息孤島”。

4.數據挖掘與決策支持應用較少

目前，我校的數據共享交換平臺主要應用于數據的展示、查詢、統計等單一層面，對數據進行深度挖掘分析的應用較少。合理整合校內數據，不僅能有效提高數據的利用率，優化管理結構，而且可以通過整合進行數據的挖掘、分析和預測，優化學校管理結構。通過數據整合可以大量減輕學校內部行政、教學、教輔等部門繁雜的事務性管理工作，幫助其更加關注于本部門的業務職能，并為部門及整個學校的發展提供決策支持。

四、有效措施

1.建設統一數據標準

我校于2010年12月由東北財經大學數字化校園基礎平臺建設組進行統一規劃，制定并頒發了《東北財經大學信息標準》（以下簡稱“標準”）。標準的制訂參照教育部《高等學校管理信息標準》（CELTS-33）的制訂規范，并根據我校特點做了適當補充和調整。

標準根據高等學校職能劃分和業務組成，將我校主要管理領域分為學校、學生、教學、研究生、教職工、科研、財務、辦公管理、圖書、資產與設備十個域，也就是對應圖1的十個管理數據子集。

TB——通用/標準數據子集。作為其他十個業務數據子集的公共數據集，構成高校主要管理業務的完整數據標準集。

圖1 數據標準的管理領域劃分

標準從結構上分為兩部分，即數據標準和代碼標準。數據標準包括一系列以管理對象為主體的數據項，其作用是明確管理對象所具有的屬性，并使其在命名，類型，長度，取值范圍等方面標準化。代碼標準從屬于數據標準，是對數據標準中數據項的屬性或取值范圍的描述。數據標準和代碼標準的層次結構如圖2所示。代碼標準按照適用范圍不同分為國家標準、教育部標準、行業標準、學校標準四個模塊。

圖2 數據標準和代碼標準的層次結構

數據標準為我校數據平臺的設計搭建提供了類似數據字典的參考作用，為信息交換、資源共享提供了基礎性條件，有效地增加了各業務部門間的溝通效率。但信息標準在新的形勢下也應有新的擴展，在建設過程中應與時俱進，不斷加以補充完善。

2.建設數據共享交換平臺

數據共享交換平臺為校內各業務系統提供了一個集成的數據倉庫，它將重要的、通用的數據集中到一個數據庫內，數據可以在各部門之間進行有效的共享與利用。數據共享交換中心的建設有效解決了“信息孤島”問題，可以為各項決策提供強有力的支持，最終為實現大數據綜合分析提供一個可靠的、統一的數據支撐平臺。[2]

應用系統與共享數據平臺之間是松散耦合，數據共享交換平臺的架構如圖3所示。

圖3 數據共享交換平臺架構圖

在數據共享與交換平臺中，利用ETL工具通過簡單配置實現異構數據和公共數據庫的數據同步、數據的解析和清洗、數據的轉換等過程。管理員通過ETL客戶端可以創建復雜的同步任務，只需要簡單的拖拽就可以完成任務的配置。

圖4 ETL實現示例圖

通過數據共享交換平臺，實現對ETL任務的統一監控與管理。

圖5 ETL任務運行監控圖

截止2015年12月31日，我校數據交換共享平臺在運任務42個，涉及到十個系統，包括財務數據同步、資產數據同步、教務數據同步、一卡通同步、科研數據同步和多媒體教學信息同步。其中，財務系統同步任務共執行819次，資產設備同步任務共執行748次，教務系統教務成績同步任務共執行714次，教務上課授課同步任務共執行714次，等等。2015年，所有數據同步任務共運行6182次，交換數據量約15個T。

3.完善數據展現

完成數據整合后,如何對積累的海量數據進行有效利用，充分挖掘其潛在價值是首要問題。按照教育信息化建設移動化、智能化、云化的趨勢，從數據的使用方式、新媒體展現形式、數據可視化等多角度來完善數據表現，不斷加強信息技術與廣大師生教育教學、科研管理、公共服務等業務的深度融合。

（1）多層面多角度的數據使用

采用推送（訂購），拉?。ú樵儯┑刃问?，用綜合查詢、大數據綜合分析等形式為各級用戶服務。如各級管理者使用的通用查詢工具、數據管理服務、數據訂購服務、數據分析服務等。

（2）多種新媒體形式的數據展現

除了傳統的PC端數據展示之外，如何在現有移動信息化技術之后出現的多種新媒體形式，包括微信、微博、移動智能終端的進行數據展現，例如與微信平臺、移動校園APP的結合，實現信息anyone，anywhere，anytime隨時可達，是下一階段工作的重點。

（3）數據可視化

在Hadoop上將HDFS存儲的PB級的海量數據利用MapReduce處理之后，數據容量縮小為GB級，然后利用R語言等類似工具進行分析研究，最終轉化為能為決策支持提供支撐的KB級數據，這依賴于Tableau等數據可視化工具。數據的收集、存貯、轉換、篩選、分析、歸納，一切都為最終的展示服務，數據可視化工具能夠以一種簡便易用的方式將復雜的數據呈現出來，使用戶更容易理解，并做出決策。

五、應用特點

1.架構合理，數據可控

以數據共享交換平臺為核心，依托ETL技術實現數據的共享與交換，采用星形模型是最常用的實現模式，它使整個數字化校園形成了一個松耦合集成系統，實現數據調度任務的運行、監控、維護，整體系統靈活、安全、可控。

如圖6所示，首先，星形架構采用不同業務系統與數據交換共享平臺直接聯接，而不必把多業務系統充分網狀互聯，建設成本低，投入小，復雜度較小，易于后期的管理維護。其次，整體系統松耦合，因為采取同步模式實現數據統一，獨立業務系統故障不影響其他系統，單點故障不會對整體數字化校園系統造成沖擊。最后，當某一業務系統升級或者替換，其基礎數據格式、內容將發生變化，只需通過ETL調整其與數據共享交換平臺的接口，并不影響與其相關的其他業務系統的正常操作，實現成本低、效率高。

2.操作簡單，體驗良好

目前，高校的傳統業務系統并不兼容，彼此之間難以實現數據共享交流。我校使用的開源的ETL工具Kettle具有基于Java的圖形化界面，支持拖拽等方式的可視化設計,能方便使用者便捷地對從業務系統抽取到的數據進行傳輸、清洗和加載等。同時，ETL屏蔽了應用系統中較為復雜的業務邏輯，為基于數據倉庫的分析和應用提供了統一的數據接口。利用數據共享與交換平臺，ETL在不同的業務系統之間搭建了一座橋梁，實現數據、業務的互聯互通。

圖6 星形結構架構圖

3.良好的彈性與可擴充性

數據共享交換平臺的核心為ETL技術，具有良好的可擴充性。首先，ETL提供了一些可擴展組件以支持某些ETL定制邏輯的實現，同時支持自定義的SQL查詢、JavaScript和正則表達式等，可自行定制開發相關組件滿足學校業務邏輯的需要。另外，ETL技術支持典型的結構化數據庫系統以及非結構化數據，作為應用廣泛的開源工具，典型的分布式大數據架構、數據立方體等數據源也都可以處理，整體架構具備良好的可擴充性。

六、下一步計劃

隨著人工智能與數據庫相關技術的發展，在做好數據清洗與整合的基礎上，有效地應用數據挖掘手段進一步處理數據、分析數據，近年來，高校大數據挖掘與分析也成為技術研究的熱點。在完成數據整合的基礎上，不僅能完成傳統的數據庫的數據查詢、統計、錄入等功能，利用數據挖掘技術還可以發現數據中的隱含規則和潛在聯系，而且可以通過多種有效手段對數據進行分析、對未來的發展進行預判以及對可能出現的問題進行防范。

1.數據挖掘基本概述

數據挖掘（Data Mining）一般是指在數據庫或數據倉庫中，利用各種分析方法與技術，對過去累積的大量繁雜數據進行分析、歸納與整合等工作，提取出有用的信息，例如趨勢、模式及相關性等，并將其中有價值的信息作為決策參考提供給決策者。通俗地說，數據挖掘就是從數據中發掘信息或知識。[3]

目前，數據挖掘技術已被廣泛應用于醫療、商業、科研、金融、工程管理等領域。在高校中引入數據挖掘技術，可以加快推進學校管理方式的轉變，即以科學管理方式取代傳統管理方式，提高高校管理質量和教學水平，提升人才培養效果，有效增強學校競爭力。

2.數據挖掘的方法

（1）關聯分析

關聯規則的挖掘主要有兩個步驟：首先是要從數據集合中找到頻繁項集，然后通過找到的頻繁項集產生關聯規則。

關聯規則挖掘的第一階段，必須從數據集合中，根據某一項目出現的頻率來找到隱含的頻繁項集，其中某項目組出現的頻率稱為支持度，只要某項集的支持度超過初始設定的最小支持度時，就算找到了頻繁項集，然后再繼續尋找下一個集合。

關聯規則挖掘的第二階段，是找到頻繁項集中產生的關聯規則。系統預先設定一個最小信度，如果某一規則得到的信度超過最小信度，就稱這個規則為關聯規則。

（2）決策樹方法

決策樹的輸入是一組帶有類別標記的樣本，最終會生成一棵二叉樹或多叉樹，節點、葉子和分支是它的基本組成部分。決策樹方法主要分為決策樹生成和決策樹剪枝這兩個步驟。

決策樹的頂端節點叫做根節點，一切決策的過程是從根節點開始的。然后根據系統的需要和特定算法創建子節點，最末端的節點成為葉子。在決策樹的分析過程中，每個節點都會遇到問題，對于問題的不同回答就產生不同的分支，直到最后產生葉子節點。這就是決策樹分類的整個過程。

（3）遺傳算法

遺傳算法是由生物進化的過程演變而來的一種算法，含有三個基本過程（算子）：選擇（繁殖），在舊的種群中選出具有較強生命力的個體，產生新的種群；重組（交叉），選擇兩個不同個體，轉換它們之間的部分基因，產生新的個體；突變（變異），通過對個體進行某些基因的基因突變（1變成0，0變成1）產生新的個體。

3.數據挖掘的目標

數據挖掘的目標是從數據庫中發現隱含的，有意義的知識，其主要功能有概念（類）描述、預測趨勢、關聯分析、聚類、偏差檢測、演化分析等。下面以概念（類）描述、預測趨勢、關聯分析這三個主要功能，結合高校實際情況進行分析：

（1）概念（類）描述

是指通過數據區分、數據特征化比較可以得到對數據的概念或類的描述，簡單來說就是對某類對象的內涵進行描述，并概括這類對象的有關特征。

例如：通過對學生基本信息數據進行數據挖掘后，我們可以將接受助學貸款、參加勤工助學、有欠繳費記錄等信息的學生劃分為經濟困難的學生這一類別，并授權就業指導中心、各學院院辦等部門在數據共享交換平臺查看學生名單，以幫助輔導員更有針對性地了解個別學生生活情況，積極幫助這類學生參加勤工助學、社會實習工作等。

（2）預測趨勢

是指通過建立區分概念或數據類別的函數、模型，對未知的對象進行類別預測并加以標記。數據挖掘可以自動在數據庫中尋找預測性信息，以往需要通過大量手工分析解決的問題如今可以迅速通過數據得出結論。

例如：對歷年學生選課時間、選課人數等數據進行數據挖掘后，系統可以自動監測到學生選課高峰期、某熱門課程等，可以為學校合理規劃選課時間，合理安排教室等做出預測、規劃。

（3）關聯分析

大量的數據中存在的某些可被發現的有用知識就是數據關聯。很多數據庫中都存在著數據關聯，但并不為人所知，因此關聯就是希望找到隱藏在數據庫中的規律和有用的知識。

例如：將每位學生視為一個數據對象，將其學習成績、在校表現、獎懲情況等屬性視為該數據對象的不同數據維度，進行多維數據關聯后，可以構建學生考核、測評標準，建立評價指標體系，對學生進行科學測評，減少傳統測評中的人為干擾，使對學生的評價更為客觀、全面和科學，同時也更加便利。

我校的數據共享交換平臺存儲了非常豐富的教學、科研、管理等各方面的信息，范圍寬廣，數據復雜，一方面為我們提供了大量可供研究的數據，另一方面在目標的選擇、數據的取舍、算法的性能等方面又向我們提出了很大的挑戰。

隨著數據挖掘技術的不斷進步，我們希望未來可以透過數據表面，分析得到其內在本質，獲得更有價值的信息，用更加科學系統的方法對學校的信息資源加以利用，優化資源配置、提高教學質量、提高學校綜合實力。

[1]戚麗,蔣東興,武海平.校園數據中心建設與管理方法的探索[J].中國教育信息化(高教職教),2002(7):54-55.

[2]丁智君.高校數字化校園的數據中心平臺建設[D].上海:復旦大學,2009.

[3]Jiawei Han,M icheline Kamber.數據挖掘概念與技術[M].北京:機械工業出版社,2007.3：88-100.

（編輯：王曉明）

G642.0

A

1673-8454（2016）19-0048-05