基于大數(shù)據(jù)環(huán)境下學(xué)生管理系統(tǒng)的多源異構(gòu)數(shù)據(jù)集成研究

南京師范大學(xué)中北學(xué)院信息科學(xué)與技術(shù)系 王若賢

隨著大數(shù)據(jù)時(shí)代的到來，學(xué)生管理系統(tǒng)中多源數(shù)據(jù)的整合、數(shù)據(jù)信息的共享成為當(dāng)下的研究熱點(diǎn)之一。本文提出將大數(shù)據(jù)中多源異構(gòu)數(shù)據(jù)集成技術(shù)應(yīng)用到高校學(xué)生管理系統(tǒng)中，從異構(gòu)信息的集成、異構(gòu)信息的重構(gòu)、Web Service在系統(tǒng)中的應(yīng)用三個(gè)方面來探討一種輕量級基于SOA的軟件設(shè)計(jì)方法。通過這樣一個(gè)集成，可以把各種相關(guān)數(shù)據(jù)資源進(jìn)行整合，這種為訪問者提供統(tǒng)一界面和接口，從而解決了跨平臺異構(gòu)管理系統(tǒng)導(dǎo)致的信息孤島問題，實(shí)現(xiàn)信息共享。

引言：隨著高等學(xué)校的規(guī)模逐漸擴(kuò)大，高等學(xué)校學(xué)生的管理工作量也翻倍增長。為了應(yīng)對這個(gè)問題，多數(shù)高校都選購了學(xué)生信息管理系統(tǒng)以提高管理工作效率、保證數(shù)據(jù)查詢的有效性、方便學(xué)校的管理工作人員全面的掌握學(xué)生工作情況、降低學(xué)生的工作量。但高校的不同部門采用的系統(tǒng)都是相對獨(dú)立的，學(xué)生相關(guān)信息分散在不同類型的數(shù)據(jù)庫系統(tǒng)中，缺少統(tǒng)一訪問門戶，存在信息孤島問題面對這種情況，本文提出了面向?qū)W生信息管理的異構(gòu)數(shù)據(jù)集成方案，以實(shí)現(xiàn)多種數(shù)據(jù)源數(shù)據(jù)的集成與共享。

1 基于多源異構(gòu)數(shù)據(jù)集成的學(xué)生管理系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)整體設(shè)計(jì)

本文系統(tǒng)的結(jié)構(gòu)分為用戶層、業(yè)務(wù)邏輯層和數(shù)據(jù)源層，從而構(gòu)成一個(gè)多層服務(wù)器體系結(jié)構(gòu)。本文系統(tǒng)中異構(gòu)數(shù)據(jù)庫主要包括學(xué)籍管理數(shù)據(jù)庫、教務(wù)管理數(shù)據(jù)庫和團(tuán)委管理數(shù)據(jù)庫，從而保證用戶對三個(gè)數(shù)據(jù)庫綜合的查詢功能。三個(gè)數(shù)據(jù)庫集成后，用戶不需要考慮數(shù)據(jù)庫的保存位置、連接設(shè)置、數(shù)據(jù)保存格式和數(shù)據(jù)結(jié)構(gòu)等信息即可進(jìn)行查詢操作。具體集成系統(tǒng)結(jié)構(gòu)如圖1。

圖1 集成系統(tǒng)結(jié)構(gòu)

（1）用戶層

用戶層能夠以網(wǎng)頁的形式實(shí)現(xiàn)系統(tǒng)和用戶兩者之間的交互。

（2）業(yè)務(wù)邏輯層（中間件層）

業(yè)務(wù)邏輯層即處理用戶操作并返回結(jié)果的中間層，它需要通過用戶層獲取用戶的操作，通過數(shù)據(jù)源層獲取業(yè)務(wù)需要的數(shù)據(jù)。因?qū)W生信息數(shù)據(jù)異構(gòu)的特點(diǎn)，集成系統(tǒng)獲取數(shù)據(jù)的方式有兩種，一種是直接通過本地?cái)?shù)據(jù)庫讀取所需的數(shù)據(jù)，另一種采用Web Service構(gòu)建數(shù)據(jù)。為了統(tǒng)一不同系統(tǒng)下的異構(gòu)數(shù)據(jù)以及數(shù)據(jù)的安全備份，業(yè)務(wù)邏輯層在獲取數(shù)據(jù)的同時(shí)，將異構(gòu)數(shù)據(jù)整合存儲在本地?cái)?shù)據(jù)庫中。

（3）數(shù)據(jù)源層

數(shù)據(jù)源層主要由多種數(shù)據(jù)來源不同的數(shù)據(jù)組成，是三層結(jié)構(gòu)中的最底層。這一層的數(shù)據(jù)信息有數(shù)據(jù)庫、文件、多媒體等信息。

1.2 中間件Web Service模塊設(shè)計(jì)

中間件Web Service工作模塊如圖2所示，共包含三個(gè)部分：查詢處理器、Web Service中間件、數(shù)據(jù)解析器。

圖2 中間件Web service工作模型

（1）查詢處理器

查詢處理器包括查詢解析、查詢分解、查詢轉(zhuǎn)換三個(gè)部分。

（2）Web Service中間件

1）數(shù)據(jù)庫連接配置

數(shù)據(jù)庫連接配置用來存放與不同數(shù)據(jù)庫連接配置信息，連接配置信息包括數(shù)據(jù)庫連接語句、設(shè)置事務(wù)隔離級別、是否使用外連接抓取等。

2）異構(gòu)數(shù)據(jù)映射配置

異構(gòu)數(shù)據(jù)映射配置負(fù)責(zé)定義類與目標(biāo)數(shù)據(jù)表進(jìn)行映射，可以根據(jù)需要獲取局部或全部的數(shù)據(jù)字段，并且可以對數(shù)據(jù)表字段進(jìn)行統(tǒng)一化、規(guī)范化處理。

3）獲取數(shù)據(jù)封裝

將獲取的數(shù)據(jù)按照約定進(jìn)行封裝，便于集成系統(tǒng)的解析和處理。由Web Service表示數(shù)據(jù)的基本格式即XML的特點(diǎn)，獲取的結(jié)果集還要進(jìn)行XML層的封裝，所以使得接收結(jié)果集的平臺，無論它們所使用的語言、平臺或內(nèi)部協(xié)議是什么，都可以很好的解析數(shù)據(jù)。

（3）數(shù)據(jù)解析器

數(shù)據(jù)解析器與具體數(shù)據(jù)表一一對應(yīng)，完成接收結(jié)果集的信息的提取工作，并將數(shù)據(jù)存放在本地?cái)?shù)據(jù)庫中或交于用戶層顯示給用戶。

1.3 工作流程

（1）Web Service中間件初始化

為了把異構(gòu)數(shù)據(jù)源數(shù)據(jù)集成在本文系統(tǒng)中，首先需要對Web Service中間件進(jìn)行初始化。其中包括連接數(shù)據(jù)庫的配置文件和類、數(shù)據(jù)表映射文件以及程序的數(shù)據(jù)源封裝規(guī)則寫入。初始化基本流程如圖3所示。

圖4 接口可視化調(diào)用界面

圖5 接口返回?cái)?shù)據(jù)界面

圖3 Web service中間件初始化

（2）系統(tǒng)工作過程

系統(tǒng)的運(yùn)行過程如下：

1）用戶向系統(tǒng)發(fā)出查詢請求，系統(tǒng)啟動(dòng)查詢處理器；

2）查詢處理器解析和分解查詢語句，然后將查詢語句生成執(zhí)查詢命令，最后發(fā)動(dòng)查詢命令給相應(yīng)的Web Service中間件；

3）Web Service中間件根據(jù)查詢命令進(jìn)行查詢，然后將查詢結(jié)果返回給業(yè)務(wù)邏輯層中的數(shù)據(jù)解析器；

4）數(shù)據(jù)解析器將查詢結(jié)果存儲到本地?cái)?shù)據(jù)庫，調(diào)用相應(yīng)頁面向用戶顯示結(jié)果集。

2 基于多源異構(gòu)數(shù)據(jù)集成的學(xué)生管理系統(tǒng)實(shí)現(xiàn)

系統(tǒng)主要集成了三個(gè)數(shù)據(jù)庫，即：學(xué)籍管理數(shù)據(jù)庫、教務(wù)管理數(shù)據(jù)庫、團(tuán)委管理數(shù)據(jù)庫，主要實(shí)現(xiàn)對不同數(shù)據(jù)庫中學(xué)生信息的異構(gòu)整合。用戶只要本系統(tǒng)就可以獲取不同數(shù)據(jù)庫中的數(shù)據(jù)，而不必再去不同的管理系統(tǒng)中調(diào)取所需的數(shù)據(jù)，也不用考慮不同數(shù)據(jù)庫中數(shù)據(jù)存儲位置、存儲格式、數(shù)據(jù)結(jié)構(gòu)等不同導(dǎo)致的問題，也就是說，對用戶來說，只是在本系統(tǒng)中進(jìn)行數(shù)據(jù)的查詢，各個(gè)復(fù)雜系統(tǒng)中不同的數(shù)據(jù)結(jié)構(gòu)對用戶而言是不存在的。異構(gòu)數(shù)據(jù)集成使得本系統(tǒng)可以更好的兼容其他學(xué)校系統(tǒng)，無需考慮學(xué)校各個(gè)系統(tǒng)之間平臺、開發(fā)語言以及數(shù)據(jù)結(jié)構(gòu)的差異。異構(gòu)數(shù)據(jù)集成的實(shí)現(xiàn)依托于WebService接口中間件，根據(jù)對不同數(shù)據(jù)的不同數(shù)據(jù)要求，將數(shù)據(jù)表進(jìn)行映射，然后對字段命名規(guī)則統(tǒng)一化，獲取所需的數(shù)據(jù)。WebService接口代碼可以依附本系統(tǒng)一起發(fā)布，也可以發(fā)布在對應(yīng)異構(gòu)數(shù)據(jù)庫的服務(wù)器上。本系統(tǒng)同過HTTP或TCP/IP的方式進(jìn)行接口調(diào)用。得利與WebService接口可視化調(diào)用模式，如圖4所示為獲取學(xué)生獲得榮譽(yù)信息的接口截圖，GetStudentPrize為接口名稱，_studentnumber、_studentrelateinformation為接口的兩個(gè)參數(shù)，填寫相應(yīng)的查詢信息點(diǎn)擊調(diào)用，獲取數(shù)據(jù)集如圖5所示。截圖中可以看出，數(shù)據(jù)是以JSON格式進(jìn)行編碼，以XML進(jìn)行封裝的，極大的滿足了數(shù)據(jù)在不同平臺間的傳遞。系統(tǒng)收到接口反饋的數(shù)據(jù)進(jìn)行解析，并呈現(xiàn)給用戶。

3 結(jié)束語

數(shù)據(jù)的異構(gòu)問題在各個(gè)高校的學(xué)生管理工作中都存在，因此異構(gòu)數(shù)據(jù)集成有很重要的作用和現(xiàn)實(shí)意義，異構(gòu)數(shù)據(jù)集成為解決學(xué)生的各種信息來源于不同的數(shù)據(jù)庫，存儲不同的數(shù)據(jù)格式這個(gè)問題提供了一條解決途徑。

參考：馮潤民，基于SSH的高校學(xué)生管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)：計(jì)算機(jī)工程，2009；馬孝賀，李莎，XML技術(shù)在大數(shù)據(jù)環(huán)境下的運(yùn)用探討：無線互聯(lián)科技，2018；SANTIPACH W,HONIG M L.Optimization of training and feedback overhead for beamforming over block fading channels[J].IEEE Transactions on Information Theory,2010；余小高，余小鵬，基于Web服務(wù)、移動(dòng)代理和本體的教育大數(shù)據(jù)集成研究：信息通信，2017；甘克勤，張寶林，計(jì)雄飛，田方，標(biāo)準(zhǔn)大數(shù)據(jù)實(shí)踐(1)——異構(gòu)數(shù)據(jù)集成：標(biāo)準(zhǔn)科學(xué)，2016；劉云峰，楊冬青，唐世渭，et al.基于XML數(shù)據(jù)集成與交換中的完整性約束研究：計(jì)算機(jī)工程，2005；孫鴻飛，武慧娟，信息系統(tǒng)中基于數(shù)據(jù)倉庫技術(shù)的異構(gòu)數(shù)據(jù)源的集成策略：電腦迷，2017；LEE S W,MOON B.Design of flash-based DBMS:an in-page logging approach;proceedings of the ACM SIGMOD International Conference on Management of Data,Beijing,China,June,F,2007；龐秋奔，李銀，基于Web Service多源異構(gòu)系統(tǒng)增量同步的實(shí)現(xiàn)：計(jì)算機(jī)應(yīng)用與軟件，2018；NG A Y,JORDAN M I.PEGASUS:A policy search method for large MDPs and POMDPs;proceedings of the Conference on Uncertainty in Artificial Intelligence,F,2013；舒建武，基于ASP.Net技術(shù)和工作流技術(shù)的學(xué)生信息管理系統(tǒng)的研究與開發(fā)：浙江工業(yè)大學(xué)，2009；袁宗杰，基于ASP.NET的學(xué)生信息管理系統(tǒng)的設(shè)計(jì)：電子科技大學(xué)，2014。