王志宏
(昆明工業職業技術學院,云南昆明,650302)
數據交換平臺建設研究
——以昆明工業職業技術學院為例
王志宏
(昆明工業職業技術學院,云南昆明,650302)
文章首先對昆明工職院數據交換平臺的系統構架進行了介紹,對系統各模塊的功能做出分析和設計;并從實際出發,對數據交換的實際操作應用進行了介紹。
數據交換;ETL;異構庫
隨著信息化建設的開展,昆明工業職業技術學院(簡稱昆明工職院),對數字化校園建設加大了投資力度,以幫助學校進行電子事務處理和管理工作。各業務系統的運行,積累了大量的業務數據;但各個系統的業務數據分布在各自的系統中,操作系統、數據庫管理系統和數據標準都不相同。這些數據之間缺乏對應和轉換關系,協同能力較差,形成“信息孤島”。信息雖然可以在本系統中進行流轉,但與其他系統的交互性較差。各自孤立運作的系統將會產生大量的冗余數據和造成業務人員的重復勞動,而采用傳統點對點的數據交換方式將使得系統的集成費用和維護成本增加。構建公共數據交換成為當務之急。
ETL(Extraction、Transform and oad,數據抽取、轉換和裝載)是構建公共數據交換的關鍵環節。ETL系統將一個機構的所有的信息資源集成到一個無縫的、并列的、易于訪問的數據資產中;這樣可使一個功能強大的數據資產運作起來就像一個單一系統。ETL通過建立底層數據交換平臺來聯系整個部門機構的異構系統、應用、數據源等。該平臺用于滿足機構內部的業務系統、數據庫、數據倉庫,以及其它重要的內部系統之間無逢地共享和交換數據的需要。
2.1 實現基礎信息共享
大部分應用系統都需要學生、教師等公共基礎信息,必須建立全校統一標準的基礎信息源,以避免產生數據不一致、數據冗余等現象。而這些信息來源于不同的系統,需要對其進行整合、標準化之后再對外發布,因此,必須建立一個強大的數據采集、數據整合和數據發布的平臺。
2.2 進行實時數據交換
為了保證學校服務、管理的需要,一些應用系統需要其他應用實時提供數據,比如一卡通系統需要人事系統實時提供新到職工的基本信息,以便及時為老師辦理新卡。
2.3 領導決策支持
學校領導需要及時掌握學校在教學、管理、服務等方面的綜合信息,校園信息化建設應當為領導建立一個決策支持平臺,為領導決策提供各種數據、信息、分析報表等,而這些必須建立在一個經過整合的、具有智能分析功能的數據平臺和技術平臺之上。
2.4 有利于系統擴展
學校未來新建的系統會越來越多,應當提供一個強壯的擴展機制,使這些系統能比較方便地與已有系統整合,實現數據的交換和共享,從而使校園信息化框架具有強大的可擴展性。
2.5 數據交換共享服務的系統結構
數據交換平臺是構建學校信息交換的系統框架,制定全校統一的數據采集、維護、交換的技術規范和標準,實現學校信息資源的交換共享、信息集成管理和信息資源的充分利用。
數據交換共享服務是一個分布式開放型網絡系統,它由一個交換中心,若干個應用軟件的適配器,以及保證數據傳輸可靠、安全,穩定的通訊平臺(數據郵局)以及系統運行的輔助單元--管理中心構成,數據交換中的各應用軟件以適配器作為接口,通過與交換中心的消息和數據交互實現信息交換。
3.1 適配器
適配器工作在應用系統端,負責該系統與其他應用系統的數據交換,其主要功能包括:數據輸出、數據輸入。
3.2 數據輸出
數據輸出是指從應用系統中采集數據,并通過數據郵局發送到數據交換中心的全過程。
適配器中的數據獲取方式有以下兩種:(1)實時數據獲取,(2)數據發送。
3.3 數據輸入
數據交換中心根據定義將該系統所需要的數據通過數據郵局傳遞給適配器,適配器對接到的數據進行解析并對該系統的運行狀態進行查詢,在不影響系統正常運轉的前提下將數據傳遞給應用系統,或將數據保存,通知該系統來取。
適配器的數據輸入方式主要有以下兩種:(1)數據推送,(2)應用系統自動獲取。
3.4 通訊平臺
在數據交換共享服務內部,主要用到通訊平臺服務來負責交換、傳遞數據,可以利用現實中傳統的郵局來理解通訊平臺。通訊平臺包括郵局管理以及基于通訊傳輸系統的郵局倉庫組成。郵局管理負責對整個郵局進行控制、數據管理、信息監控并將監控信息報告系統監控臺。郵局倉庫通過通訊傳輸系統進行數據的收發,并在接收端負責緩存數據,同時向郵局管理提供數據收發及監控信息。
數據郵局通過一個個同構的節點的擴展,為C/S結構的系統提供了一個透明的應用數據總線,數據郵局通過數據總線的概念,屏蔽了C/S系統在構架時所面臨的網絡的復雜性。
數據郵局是通過一些同構的節點來延伸其應用數據總線的,在這樣一個結構中,數據郵局使用一些策略來保證這個數據總線的高效率,安全和可靠。這些策略包括復用的連接,節點間的數據加密,節點成組,動態的鏈路選擇等。
3.5 管理中心
管理中心子系統是“數據交換共享服務”的支持系統,包含監控管理、日志管理、認證管理、數據維護等功能。
3.6 數據集成服務
數據交換集成服務主要利用數據交換共享服務,實現各個業務系統與數據中心之間的數據采集、規范、更新、交換等功能。
3.7 數據采集
數據采集的過程是共享數據庫根據數據使用協議,按照約定的時間頻度,通過數據交換共享服務,從數據生產單位的業務系統抽取共享數據。然后按照學校是數據模型進行整理、分類、儲存并實現數據的充分利用。,為保證學校不同來源數據的可靠采集,數據采集模塊支持多種模式的數據采集方式。
3.8 數據采集
數據采集的過程是共享數據庫根據數據使用協議,按照約定的時間頻度,通過數據交換共享服務,從數據生產單位的業務系統抽取共享數據。然后按照學校是數據模型進行整理、分類、儲存并實現數據的充分利用。為保證學校不同來源數據的可靠采集,數據采集模塊支持多種模式的數據采集方式。
3.9 數據推送
數據交換中心根據定義將該系統所需要的數據通過數據郵局傳遞給適配器,適配器對接到的數據進行解析并對該系統的運行狀態進行查詢,在不影響系統正常運轉的前提下將數據傳遞給應用系統,或將數據保存,通知該系統來提取數據。
4.1 建立數據交換
選中數據交換平臺系統列表中的“表輸入”、“表輸出”、“插入/更新”,拖拽到右側工作區。鼠標選中節點鍵盤按shift鍵,拖拽即可連線。
4.2 建立定時執行的JOB
建立JOB的前提是有可以完整執行的作業,把定制的作業進行保存后直接運行即可實現數據的交換。
目前昆明工職院的業務應用系統有教務系統、學生工作管理系統、后勤管理系統、宿舍管理系統、招生管理系統、收費管理系統等。這些業務系統能基本滿足學校日常業務和管理的需要,但各自為政的業務系統隨著業務流程日益復雜,協同化需求,雖然在一定程度上實現了基礎數據的共享,但大部分業務平臺的數據標準和共享還存在問題,在管理層、發展及高效化操作上的支撐服務還遠遠不夠,基于以上實際情況,需針對各部門所使用的各業務系統之間數據交換,實現在不改造原有業務系統的基礎上,實現業務應用整合和數據交換共享,并為未來形成的新協議提供相應適配器,保證新建業務系統能順利進行業務應用整合和數據交換共享。
[1] 唐川,丁梓強. 異構系統 Internet—XML-EDI數據交換平臺設計與實現[J]. 佛山科學技術學院學報:自然科學版,2013,12(9):123—125.
[2] 張強善,白連紅,嚴正香. 基于XML的數字校園數據交換平臺的設計[J].吉林建筑工程學院學報,2013,11(7):112-l15.
Research on construction of data exchange platform -- Taking Kunming Vocational and Technical College of Industry as an example
Wang Zhihong
(Kunming Vocational and Technical College of Industry,Kunming,Yunnan,650302)
System architecture firstly,engineering of Kunming Vocational College of data exchange platform is introduced,each module of the system function analysis and design;and from reality,to the practical application of data exchange is introduced in this paper.
data exchange;ETL;heterogeneous database