基于共享數據庫的個人信息中心的探索與實踐

唐國華, 賴 煒, 葉羲陶

(中山大學 網絡與信息技術中心, 廣東 廣州 510275)

基于共享數據庫的個人信息中心的探索與實踐

唐國華, 賴 煒, 葉羲陶

(中山大學 網絡與信息技術中心, 廣東 廣州 510275)

針對高校內部信息系統建設以管理為主的情況,提出采用數據訂閱分發框架的共享數據庫建設模式,在此基礎上建立個人信息中心。該文闡述了個人信息中心的架構模型,對核心關鍵技術進行了研究和分析,并給出了相關的實現技術。共享數據庫可以提供統一的教職工和學生視圖,個人信息中心打破了職能領域的界限,可為教職工和學生用戶帶來了極大的方便,信息系統建設從面向管理的應用擴展到面向個人的服務。

數據訂閱分發； 共享數據庫； 個人信息中心

1 個人信息中心的基本架構

在高校信息化系統建設初期,人們首先關注的是信息孤島問題,并致力于將各部門原有的孤立系統基于統一的技術、統一的平臺、統一的數據管理模式進行重新開發或集成[1],在設計時主要是基于業務部門的管理需求,而較少從教職工和學生的角度進行規劃。對于教職工和學生用戶而言,他們所使用的信息資源很多都是跨業務部門的,如何以“人”為核心進行信息化應用建設,使服務模式向“以用戶為核心、統一的信息資源與個性化應用”轉變[2],已經成為高校信息化建設研究的熱點。

中山大學根據本校信息化建設的實際情況,采用數據訂閱分發框架、CDC體系架構和共享數據庫的模式,實現各個業務系統間的數據共享和同步交換,并在此基礎上建立了個人信息中心和面向教職工的“一表通”業務。個人信息中心的架構如圖1所示。

圖1 個人信息中心架構

個人信息中心由個人信息門戶、個人信息集和共享數據庫組成。個人信息門戶為用戶提供個性化服務,將以往用戶需要在不同業務系統進行的操作整合在一起,以統一的視圖和操作界面供用戶使用；個人信息集是跨職能部門的信息集,匯聚了與個人相關的所有數據；共享數據庫是個人信息中心的基礎,采用ETL的方式集成各業務數據庫的數據,為個人信息集提供準確、一致的視圖。建立個人信息集的難點在于要整合不同業務系統與個人相關的業務數據,這是一個長期的過程。

2 建立個人信息中心的關鍵技術

2.1 共享數據庫的設計

隨著數字化校園的建設,校內各業務部門的信息系統越來越多,系統間的數據交換和數據共享也非常復雜。過去系統間的數據交換采用點對點的方式,這樣的網狀數據交換模式使系統的管理和維護非常困難,也很難保證數據的一致性；而采用共享數據庫的模式可以使數據總線實現系統間數據的交換和共享。

要建設共享數據庫,首先就要明確數據的來源和流向。通過使用U/C矩陣的方式可以直觀、清晰地表現出一個過程對相關數據的使用或者在這個過程中所產生的一些數據,從而進一步分析學校哪些部門產生的哪些數據提供給數據中心,以及哪些部門需要從數據中心共享哪些數據[3](見表1)。

表1 教職工共享信息的U/C矩陣

從U/C矩陣可以看出,各個部門和個人都有信息共享的需求,信息共享包括兩部分[4],即基本信息的共享和事務處理信息的共享。基本信息的共享是指多個子系統共同訪問校園網中相關或者相同的實體,如人事信息和個人聯系方式；而事務處理信息的共享是指某一子系統在處理本系統事務時,要利用其他子系統的事務處理信息,例如人事系統的職稱評審業務,就需要用到教務系統和研究生系統中的教師授課信息。但是,不管是基本信息還是事務處理信息,基本是和“人”相關的,正如前面所提到的,目前高校信息化建設正在從以信息系統為核心轉變為以用戶為核心。因此,共享數據庫的核心就是與“人”相關的業務數據,包括教職工、學生在各個業務系統中的個人數據。此外,組織機構信息、科研項目基本信息、設備基本信息等也是共享數據庫中重要的組成部分。

通過建立共享數據庫,各業務部門信息系統之間不再具有直接的數據關聯,數據交換統一在業務數據庫與共享數據庫之間完成[5],這有利于實現各個部門業務系統的數據交換和共享,也為提供個性化服務、打造個人信息門戶提供堅實的基礎。

2.2 個人信息集建設

在共享數據庫的基礎上,建立個人信息集。教職工以統一職工號、學生以統一學號作為主關聯項,從共享數據庫中同步數據并存放到個人信息集中,同時根據個人的自然屬性和社會屬性加以擴充,最終形成面向個人的信息集。

個人信息集的信息可以分為兩類,一類是存在業務數據庫中、由業務系統負責維護的信息,這類信息的更新需要在業務系統中進行,然后自動同步到共享數據庫,并交換到個人信息集中；另一類為表格特定內容,這些內容并不在業務系統中,需要用戶自行維護,這類信息需要開放權限,讓用戶能夠自主更新和維護。

2.3 數據的共享與交換

建設共享數據庫的關鍵技術是數據共享與交換技術,它支持基于不同硬件平臺、不同數據庫系統、不同語言之間的數據傳輸和通信,實現不同部門、不同應用系統之間的數據共享。數據共享與交換技術主要有4種,即觸發器技術、數據授權技術、ETL(extract-transform-load)技術、ESB(enterprise service bus)技術[6]。其中,觸發器技術占用數據庫資源較大；數據授權技術適用于同一數據庫中不同業務數據庫之間緊耦合；ESB技術只適用于交換數據量不大、業務不復雜的場合。因此,在中山大學數據共享庫建設中,更多的是采用ETL技術,結合數據訂閱分發架構,實現數據的共享和交換。

2.3.1 ETL技術

ETL即數據抽取、轉換和加載[7],它將數據從各種原始的業務系統中讀取出來,按照預先設定好的規則對其進行轉換,使本來異構的數據格式統一起來,并將轉換后的數據按計劃增量或全部導入到目標系統中。當前國內外有很多的ETL工具,其中Kettle是一款開源的ETL工具,用純Java編寫,可以在Windows、Linux、Unix等多個系統平臺上運行,數據抽取高效穩定。Kettle支持絕大多數數據庫,可以做到不同類型的多個數據庫之間數據的同步更新[8]。

2.3.2 數據訂閱分發架構

數據訂閱分發技術提供數據的交換和集成[9],將源數據通過一定方式發布到目的數據庫。它能提供多種方式，跨數據庫類型、跨數據庫版本、跨操作系統平臺的訂閱分發功能,通過將一個源數據庫的某些主題信息發布到一個公共的目錄服務器,使有需求的訂閱端可從目錄服務器獲得主題,并訂閱主題[10]。數據訂閱分發技術可以確保分布在不同地點的數據庫自動同步更新和數據的一致性。圖2是訂閱分發體系結構。

圖2 訂閱分發體系架構

數據訂閱分發技術的工作原理是:訪問控制服務器提供集中式服務,將描述數據源的元數據(共享數據模型)發布到公共服務目錄,供各個訂閱服務器來訂閱。分發服務器通常直接連接源數據庫服務器,接收源數據的所有改變,并保存這些改變,再把這些改變分發給訂閱者。訂閱服務器通常是數據的接收者,負責接收并同步分發服務器推送過來的變更數據。在數據訂閱分發技術中,最關鍵的是變化數據捕獲(changed data capture,CDC)技術[11]。

CDC用來描述捕獲增量變化數據到其他數據庫或數據源。CDC能夠識別自上次提取之后發生變化

的數據,在對源表進行增、刪、改操作的同時就可以提取,并且將變化的數據保存在變更表中,然后以一種可控的方式利用視圖提供給目標數據庫。當前CDC有2種捕獲變化數據方式,即同步CDC和異步CDC。異步CDC又分為3種模式:異步HotLog模式、異步分布式HotLog模式和異步AutoLog模式。

同步CDC模式是通過在源數據庫上建立觸發器的方式來獲取增量數據,因此可以做到實時抽取,但是對源系統性能影響較大,而且一般同步CDC只適用于同一數據庫中。異步模式需要通過解析日志文件實現變化數據的捕獲和提取,會有一段時間的延遲,對源系統影響較小,但實施的成本比較高,技術的實現難度較大[12]。根據中山大學數據共享和交換的實際需求,采用如圖3所示的數據共享和交換模式。

圖3 數據共享和交換模式

數據共享和交換的步驟如下:

(1) 源表在發生增、刪、改操作時,喚醒觸發器,寫入變更表；

(2) 分發服務器讀取分發目錄表(見表2),到相應的源數據庫的變更表和源表中讀取數據,寫入共享數據庫,共享數據庫的數據表記錄除了業務信息外,增加了“更新時間”和“更新標記”兩個字段(見表3),每次分發服務器寫入共享庫時,都會將更新時間置為當前時間,并根據變更表的更新標記寫入共享數據庫。在分發服務器完成一次分發后,將本次分發涉及的變更表中的記錄刪除；

表2 分發目錄表示例

表3 共享數據庫示例

(3) 訂閱服務器定期讀取訂閱目錄表(見表4),根據訂閱目錄表上記錄的相應共享數據表的同步時間戳,讀取共享數據表中變更時間大于等于此時間戳的記錄,然后根據更新標志對目標數據庫的相應記錄進行操作；

(4) 將本次讀取變更記錄中的最大變更時間回寫到訂閱目錄服務上相應記錄的更新時間戳。

表4 訂閱目錄表示例

2.4 教職工綜合填表服務

在個人信息集建立后,中山大學個人信息門戶逐步推出面向個人的綜合服務。首先解決的是教職工填表問題,因為學校各個職能部門有各種不同的表格需要教職工填寫。以往教職工都需要手工填表,而在填寫過程中有如下幾個問題:

(1) 填表煩:個人基本信息需要在不同表格中多次填寫,給用戶增添了很多重復的工作；

(2) 填表難:在填寫相關信息時,往往需要查找以往的記錄,而這些記錄的跨度通常都是3～5年,查找工作比較困難；

(3) 準確度低:對同一個信息,不同職能部門要求會有所不同,容易發生錯填的情況。

實際上,這些填表所需的信息很大一部分是存儲在各業務數據庫中的,在建立了共享數據庫和個人信息集后,就可以提供教職工綜合填表服務。當教職工需要填寫表格時,直接從個人信息門戶中下載對應表格的模板,系統判斷教職工的身份,從個人信息集中提取表格所需要的信息,填寫入模板中。這樣,下載的模板里已經填寫好系統能夠提供的信息,教職工只需要填寫表格中的專用信息,從而大大簡化了表格填寫過程,也提高了數據的準確性。

3 結束語

中山大學在建立共享數據庫的基礎上建立了個人信息集,并推出了綜合填表服務后,極大地方便了廣大教職工,也有效地推動了信息系統在業務部門的使用,從而提高了業務部門的信息化能力,提高了數據的準確性和一致性,為學校綜合決策提供了良好、堅實的基礎。

References)

[1] 張凱,朱亞曉,宓詠.構建“一站式”個人服務中心[J].中國教育網絡,2010(11):62-63.

[2] 劉一凡,鄧何,郭清順.基于Widget技術的個人門戶設計[J].實驗技術與管理,2011,28(5):249-252.

[3] 王瑞昌.面向教職工的數據中心數據共享的研究與實現[D].成都:西南交通大學,2012.

[4] 彭文輝,楊宗凱,趙呈領,等.高校校園管理信息系統數據共享的設計[J].計算機工程與設計,2006,27(11):1970-1972.

[5] 吳琳,張玉振.解析高校數字化校園平臺建設方案與數據共享[J].陜西教育:高教版,2011(10):110-111.

[6] 俞春,袁芳,劉乃嘉,等.高校數據共享與交換技術的應用研究[J].實驗技術與管理,2012,29(11):109-112.

[7] 畢錕,劉軍.ETL系統的設計及其研究[J].軟件導刊,2010,9(5):173-175.

[8] 邢晨,史章君.Kettle 3.1數據同步研究[J].軟件導刊,2013,12(6):98-99.

[9] 王金華,吳榮泉.基于主題的數據訂閱分發技術[J].計算機工程,2006,32(14):78-80.

[10] 李耿,朱美正.數據訂閱分發技術的研究與實現[J].計算機工程與設計,2010,31(12):2876-2879.

[11] 劉洋,衛紅春.數據庫同步技術中變化數據捕獲模式的研究與比較[J].科技視界,2012(9):112-114.

[12] 徐富亮,周祖德.變化數據捕獲技術研究[J].武漢理工大學學報:信息與管理工程版,2009,31(5):740-743.

Exploration and practice of personal information center based on a sharing database

Tang Guohua, Lai Wei, Ye Xitao

(Network and Information Technology Center,Sun Yat-sen University,Guangzhou 510275,China)

The construction of universities’ information system is from the application of oriented management to individual services. According to the status of management information system in colleges and universities, this paper presents the shared database construction mode of adopting data subscription distributed framework,and on the basis,personal information center is established.This paper describes the architecture model of personal information center,researches and analyses the key technology,and the related implementation technique is given.Practice shows that the establishment of a sharing database provides a unified view of the faculty and students, the personal information center breaks the boundaries of the business functional areas,and brings great convenience for faculty and students.

data subscription distributed; sharing database; personal information center

2014- 11- 13

唐國華(1975—),男,廣東廣州,碩士,工程師,研究方向為數據庫開發.

TP392

A

1002-4956(2015)7- 0135- 04