一體化繳費(fèi)接入管理平臺(tái)的數(shù)據(jù)架構(gòu)設(shè)計(jì)與優(yōu)化

李志奎 丁立群 關(guān)英宇

國網(wǎng)電科院北京科東電力控制系統(tǒng)有限責(zé)任公司 北京 100192

0 引言

隨著信息化步伐的加快，企業(yè)為了提高工作效率也建立了相應(yīng)業(yè)務(wù)系統(tǒng)。然而，不同的操作系統(tǒng)、應(yīng)用軟件存在著數(shù)據(jù)存儲(chǔ)方式不統(tǒng)一的情況，使企業(yè)內(nèi)部及企業(yè)之間的信息資源難以共享，形成了“信息孤島”現(xiàn)象。因此，構(gòu)建整合管理平臺(tái)，建立信息共享機(jī)制，通過數(shù)據(jù)中心整合數(shù)據(jù)資源，能夠形成一個(gè)物理上集中管理、綜合控制的環(huán)境。

1 一體化繳費(fèi)接入管理平臺(tái)的數(shù)據(jù)組成

1.1 一體化繳費(fèi)接入管理平臺(tái)

一體化繳費(fèi)管理平臺(tái)全面支撐電力公司、金融機(jī)構(gòu)、非金融機(jī)構(gòu)等多種渠道繳費(fèi)，實(shí)現(xiàn)繳費(fèi)管理、對(duì)賬管理、渠道管理、終端管理、擴(kuò)展業(yè)務(wù)等業(yè)務(wù)功能，隨著相關(guān)行業(yè)的新增業(yè)務(wù)的開展，平臺(tái)將同時(shí)支持更多的新型業(yè)務(wù)。在數(shù)據(jù)部署上，一體化繳費(fèi)管理平臺(tái)采用了省集中部署模式，即在全省數(shù)據(jù)大集中的基礎(chǔ)上，在省公司本部部署一套統(tǒng)一的涵蓋繳費(fèi)交易、渠道注冊(cè)及變更管理、繳費(fèi)渠道運(yùn)營質(zhì)量管理、渠道商管理、繳費(fèi)終端設(shè)備資產(chǎn)管理、設(shè)備運(yùn)行管理、擴(kuò)展功能和系統(tǒng)支撐功能的所有功能應(yīng)用，滿足省公司本部、地市公司和基層單位不同職能層次的繳費(fèi)業(yè)務(wù)應(yīng)用要求，這一套業(yè)務(wù)應(yīng)用集中部署在一組應(yīng)用服務(wù)集群之上，同時(shí)，也采用統(tǒng)一的系統(tǒng)管理應(yīng)用，實(shí)現(xiàn)全省統(tǒng)一的標(biāo)準(zhǔn)代碼管理、參數(shù)配置管理、工作流管理、權(quán)限管理、日志管理、元數(shù)據(jù)管理和接口標(biāo)準(zhǔn)管理等管理維護(hù)。

1.2 數(shù)據(jù)組成概述

數(shù)據(jù)架構(gòu)設(shè)計(jì)的核心目標(biāo)是建立一體化繳費(fèi)管理平臺(tái)規(guī)范統(tǒng)一的數(shù)據(jù)架構(gòu)藍(lán)圖，以支持一體化繳費(fèi)管理平臺(tái)的建設(shè)目標(biāo)。提高應(yīng)用系統(tǒng)運(yùn)行性能，提升一體化繳費(fèi)管理平臺(tái)數(shù)據(jù)的分析利用價(jià)值。其中，數(shù)據(jù)中心的組成包括以下四部分(如圖 1)。

圖1 數(shù)據(jù)中心組成

數(shù)據(jù)庫服務(wù)器：數(shù)據(jù)中心的數(shù)據(jù)為多用戶共享，數(shù)據(jù)中心是負(fù)責(zé)管理和存儲(chǔ)數(shù)據(jù)的軟件和硬件資源。

服務(wù)器：數(shù)據(jù)中心的直接服務(wù)對(duì)象，一般是一個(gè)總公司或組織總部。利用客戶端提供的數(shù)據(jù)資源在數(shù)據(jù)中心服務(wù)器端建立數(shù)據(jù)庫，創(chuàng)建關(guān)系表、索引等，以及查詢和更新數(shù)據(jù)庫中的內(nèi)容。

客戶端：數(shù)據(jù)所有者的服務(wù)器。負(fù)責(zé)元數(shù)據(jù)信息的存儲(chǔ)，包括明密文關(guān)系屬性的對(duì)應(yīng)信息、用于加密數(shù)據(jù)、保存密鑰信息等，以及構(gòu)造密文索引的相關(guān)信息等；負(fù)責(zé)將用戶的明文查詢轉(zhuǎn)換為密文查詢；解密數(shù)據(jù)中心服務(wù)器端傳送過來的加密數(shù)據(jù)；并能夠?qū)饷苤蟮拿魑倪M(jìn)行二次過濾，并把最終正確的查詢結(jié)果呈現(xiàn)給查詢者。

用戶：即是數(shù)據(jù)所有者，又是數(shù)據(jù)中心的間接服務(wù)對(duì)象。通常是一個(gè)人或一個(gè)部門。經(jīng)所有者授權(quán)后通過瀏覽器向數(shù)據(jù)中心客戶端提交查詢請(qǐng)求，訪問存儲(chǔ)在數(shù)據(jù)中心服務(wù)器端的所有者數(shù)據(jù)。

數(shù)據(jù)統(tǒng)一存儲(chǔ)的架構(gòu)設(shè)計(jì)打破了企業(yè)信息孤島，實(shí)現(xiàn)全公司范圍內(nèi)信息數(shù)據(jù)有效共享，實(shí)現(xiàn)數(shù)據(jù)的規(guī)范統(tǒng)一，進(jìn)而充分發(fā)揮出數(shù)據(jù)的應(yīng)用價(jià)值。

2 數(shù)據(jù)架構(gòu)設(shè)計(jì)

一體化繳費(fèi)管理平臺(tái)作為營銷業(yè)務(wù)應(yīng)用系統(tǒng)的重要組成部分，它實(shí)現(xiàn)了新型繳費(fèi)業(yè)務(wù)和傳統(tǒng)繳費(fèi)業(yè)務(wù)的優(yōu)化整合，滿足多種繳費(fèi)渠道的數(shù)據(jù)接入，為營銷業(yè)務(wù)應(yīng)用提供了高質(zhì)量的客戶繳費(fèi)數(shù)據(jù)，推動(dòng)了營銷業(yè)務(wù)的深化應(yīng)用。針對(duì)營銷業(yè)務(wù)應(yīng)用及其他相關(guān)系統(tǒng)的數(shù)據(jù)需求，共同決定了一體化繳費(fèi)管理平臺(tái)的數(shù)據(jù)模型設(shè)計(jì)。

數(shù)據(jù)架構(gòu)基于數(shù)據(jù)模型進(jìn)行設(shè)計(jì)，數(shù)據(jù)架構(gòu)中數(shù)據(jù)技術(shù)分類和數(shù)據(jù)部署設(shè)計(jì)，分別解決每一方面的關(guān)鍵問題，同時(shí)又相互支撐，互為補(bǔ)充，形成一個(gè)統(tǒng)一、有機(jī)的整體數(shù)據(jù)架構(gòu)。數(shù)據(jù)技術(shù)分類和數(shù)據(jù)部署設(shè)計(jì)在數(shù)據(jù)模型的基礎(chǔ)上展開，按照不同的數(shù)據(jù)分類，結(jié)合系統(tǒng)架構(gòu)的要求進(jìn)行數(shù)據(jù)部署設(shè)計(jì)。數(shù)據(jù)架構(gòu)基于數(shù)據(jù)模型從兩個(gè)方面進(jìn)行設(shè)計(jì)，分別是數(shù)據(jù)技術(shù)分類、數(shù)據(jù)部署設(shè)計(jì)，每個(gè)方面分別解決一個(gè)領(lǐng)域的關(guān)鍵問題，同時(shí)又相互支撐，互為補(bǔ)充，形成一個(gè)統(tǒng)一、有機(jī)的整體數(shù)據(jù)架構(gòu)。數(shù)據(jù)技術(shù)分類和數(shù)據(jù)部署設(shè)計(jì)在數(shù)據(jù)模型的基礎(chǔ)上展開，按照不同的數(shù)據(jù)分類，結(jié)合系統(tǒng)架構(gòu)的要求進(jìn)行數(shù)據(jù)部署設(shè)計(jì)，實(shí)現(xiàn)省(直轄市)集中的數(shù)據(jù)部署設(shè)計(jì)。

一體化繳費(fèi)管理平臺(tái)采用省(直轄市)公司集中部署模式，各地市公司通過網(wǎng)絡(luò)訪問省公司一體化繳費(fèi)管理平臺(tái)開展繳費(fèi)業(yè)務(wù)應(yīng)用，省(直轄市)公司集中對(duì)一體化繳費(fèi)管理平臺(tái)業(yè)務(wù)進(jìn)行存儲(chǔ)和管理。一體化繳費(fèi)管理平臺(tái)數(shù)據(jù)包括從營銷業(yè)務(wù)應(yīng)用系統(tǒng)同步過來的基本檔案和應(yīng)收發(fā)行數(shù)據(jù)，從電力營業(yè)廳、網(wǎng)上營業(yè)廳、自助繳費(fèi)終端、電力POS終端、金融機(jī)構(gòu)代收和非金融機(jī)構(gòu)代收等不同繳費(fèi)渠道接收的繳費(fèi)及對(duì)賬數(shù)據(jù)，從用電信息采集系統(tǒng)接收的客戶電量、電費(fèi)數(shù)據(jù)等相關(guān)數(shù)據(jù)。繳費(fèi)數(shù)據(jù)經(jīng)過一體化繳費(fèi)管理平臺(tái)分析、轉(zhuǎn)換和處理后，為營銷業(yè)務(wù)應(yīng)用及其相關(guān)系統(tǒng)提供數(shù)據(jù)應(yīng)用支撐。

3 分布式集群緩存技術(shù)

一體化繳費(fèi)管理平臺(tái)作為業(yè)務(wù)支持軟件系統(tǒng)隨著業(yè)務(wù)需求的變化將處于不斷的改進(jìn)和變化中。同時(shí)，系統(tǒng)采用的企業(yè)級(jí)數(shù)據(jù)庫系統(tǒng)將建立多種接口，以滿足相關(guān)應(yīng)用系統(tǒng)的按照接口規(guī)范數(shù)據(jù)訪問的要求，由于訪問系統(tǒng)的方式多種多樣，從而將產(chǎn)生不同的類型數(shù)據(jù)，這些數(shù)據(jù)也急需進(jìn)一步優(yōu)化。

雖然在應(yīng)用服務(wù)器上采用緩存技術(shù)可實(shí)現(xiàn)上述要求，但是帶來的缺點(diǎn)是犧牲了應(yīng)用服務(wù)器的內(nèi)存來換取數(shù)據(jù)庫的頻繁I/O操作以提高整個(gè)系統(tǒng)的性能。

由多臺(tái)虛擬機(jī)組成一個(gè)集群系統(tǒng)，每臺(tái)虛擬機(jī)自身都有高速緩存，在集群中多個(gè)節(jié)點(diǎn)間采用分布式緩存技術(shù)交換信息，從而形成一個(gè)整體上的分布式緩存模型。對(duì)外提供一個(gè)分布式隊(duì)列請(qǐng)求接口，應(yīng)用程序可以通過調(diào)用請(qǐng)求接口來訪問集群服務(wù)器。當(dāng)一個(gè)遠(yuǎn)程應(yīng)用程序訪問集群服務(wù)時(shí)，應(yīng)用程序首先訪問本地的緩存，并將該請(qǐng)求加入到分布式請(qǐng)求隊(duì)列，分布式緩存根據(jù)調(diào)度算法來響應(yīng)分布式請(qǐng)求隊(duì)列中的請(qǐng)求，當(dāng)該請(qǐng)求得到響應(yīng)時(shí)，集群系統(tǒng)通過查詢處理接口將本地緩存的結(jié)果返回到分布式緩存隊(duì)列，分布式緩存將集群中返回的結(jié)果以數(shù)據(jù)對(duì)象的形式返回給遠(yuǎn)程應(yīng)用程序。對(duì)集群外的訪問者，集群內(nèi)的所有緩存信息好像是一個(gè)整體，分布式緩存可以及時(shí)響應(yīng)所有客戶的請(qǐng)求。

一體化繳費(fèi)管理平臺(tái)中涉及到的業(yè)務(wù)字典表、計(jì)費(fèi)匯總等實(shí)時(shí)訪問的業(yè)務(wù)數(shù)據(jù)，通過分布式集權(quán)緩存，就可以非常簡單地調(diào)用get方法取得該對(duì)象，并且由于分布式集權(quán)緩存本身的冗余機(jī)制使得任何一個(gè)應(yīng)用服務(wù)器節(jié)點(diǎn)的失敗都不會(huì)影響到該對(duì)象的丟失。這樣既有原來各種應(yīng)用服務(wù)器集群所具有的各種技術(shù)特點(diǎn)，而且又增加了原來各種應(yīng)用服務(wù)器集群技術(shù)所沒有的共享對(duì)象訪問特性。

4 數(shù)據(jù)處理優(yōu)化技術(shù)

隨著一體化繳費(fèi)管理平臺(tái)的管理業(yè)務(wù)的不斷積累和發(fā)展，數(shù)據(jù)量也成幾何倍數(shù)地增長，同時(shí)應(yīng)用系統(tǒng)采用模塊服務(wù)的模式，將導(dǎo)致數(shù)據(jù)庫表的數(shù)據(jù)行數(shù)增多。隨著用戶數(shù)量不斷的增長和新業(yè)務(wù)不斷出現(xiàn)以及企業(yè)管理流程的不斷變更，應(yīng)用系統(tǒng)的數(shù)據(jù)量也會(huì)出現(xiàn)進(jìn)一步的增長。以下為一體化繳費(fèi)管理平臺(tái)采用的數(shù)據(jù)優(yōu)化技術(shù)。

4.1 數(shù)據(jù)庫連接池

在讀寫數(shù)據(jù)庫中，資源開銷最大的是建立數(shù)據(jù)庫連接。在每一個(gè)用戶訪問時(shí)，都重新建立連接。這樣不僅要長時(shí)間等待，而且系統(tǒng)可能會(huì)由此導(dǎo)致崩潰。為了解決這一問題，提出了連接池技術(shù)。

連接池是系統(tǒng)在內(nèi)存中建立的一個(gè)連接緩沖池，對(duì)于建立好的數(shù)據(jù)庫連接在程序中的斷開為邏輯斷開，而實(shí)際物理連接被存儲(chǔ)在連接池中并被加以維護(hù)。當(dāng)下一個(gè)連接建立時(shí)，直接從連接緩沖池中取得一個(gè)數(shù)據(jù)庫連接，而不需重新建立。因此，可以大大地提高數(shù)據(jù)庫的響應(yīng)速度，從而提高系統(tǒng)的性能。

4.2 優(yōu)化查詢語句

以數(shù)據(jù)庫為中心的應(yīng)用系統(tǒng)，主要操作往往是查詢操作，查詢語句的優(yōu)劣直接影響數(shù)據(jù)庫訪問的速度，而查詢操作所使用的Select語句在SQL語言中代價(jià)最大，同一條查詢語句，表達(dá)形式對(duì)查詢效率往往影響極大。索引可以快速定位表中的數(shù)據(jù)記錄。使用索引可以提高數(shù)據(jù)庫的速度。如果查詢時(shí)不使用索引，查詢語句將查詢表中的所有字段。如果使用索引進(jìn)行查詢，查詢語句只查詢索引字段，這樣可以減少查詢記錄，提高查詢輸度。

4.3 優(yōu)化數(shù)據(jù)庫結(jié)構(gòu)

數(shù)據(jù)庫設(shè)計(jì)規(guī)范化的目的是為了在表中消除冗余數(shù)據(jù)。減少了數(shù)據(jù)庫中的冗余數(shù)據(jù)，也就提高了數(shù)據(jù)庫的查詢性能。在SQL Server中，數(shù)據(jù)按頁存放，每一頁包含一個(gè)頁頭和若干數(shù)據(jù)行，數(shù)據(jù)行的大小是由行中所包含的字段數(shù)和數(shù)據(jù)類型確定，行的大小對(duì)數(shù)據(jù)庫的性能影響較大。如果數(shù)據(jù)行較小則每頁可以存放較多的行，同時(shí)高速緩存中也就能存放更多的行，減少了數(shù)據(jù)讀寫時(shí)間。在數(shù)據(jù)行包含有定長列和變長列兩種，變長列的開銷更大。在SQL Server中，數(shù)據(jù)庫默認(rèn)把為空值的列作為變長列處理，因此，把列設(shè)為非空會(huì)提高數(shù)據(jù)庫的性能。數(shù)據(jù)庫對(duì)象以頁為單位存儲(chǔ)于磁盤上，頁間通過指針構(gòu)成鏈，表將頁連成一串，對(duì)表分區(qū)是為了創(chuàng)建多個(gè)頁鏈， 所以采用了表分區(qū)技術(shù)，對(duì)于插入操作，分區(qū)為插入提供了多個(gè)插入點(diǎn)，減少了頁的互鎖競爭，加快了事務(wù)的執(zhí)行速度。

根據(jù)需要在數(shù)據(jù)庫基礎(chǔ)上創(chuàng)建新表或視圖，對(duì)于多表關(guān)聯(lián)后再查詢信息的可創(chuàng)建新表，對(duì)于單表查詢的可創(chuàng)建視圖，這樣可充分發(fā)揮數(shù)據(jù)庫的容量大、可擴(kuò)充等特點(diǎn)，所有條件的判斷、數(shù)值計(jì)算統(tǒng)計(jì)均可在數(shù)據(jù)庫服務(wù)器后臺(tái)統(tǒng)一處理后追加到臨時(shí)表中，形成數(shù)據(jù)結(jié)果的過程可用數(shù)據(jù)庫的過程或函數(shù)來實(shí)現(xiàn)。利用數(shù)據(jù)庫描述語言編寫數(shù)據(jù)庫的過程或函數(shù)，然后把過程或函數(shù)打成包在數(shù)據(jù)庫后臺(tái)統(tǒng)一運(yùn)行包即可。

5 結(jié)論

本文依據(jù)企業(yè)應(yīng)用系統(tǒng)整合的現(xiàn)狀和需求，提出了基于數(shù)據(jù)中心的企業(yè)應(yīng)用系統(tǒng)整合平臺(tái)的整體架構(gòu)。并探討了數(shù)據(jù)處理優(yōu)化技術(shù)，整合了企業(yè)資源，消除信息孤島。符合平臺(tái)的發(fā)展方向。隨著行業(yè)的不斷發(fā)展及設(shè)備的不斷更新。本設(shè)計(jì)架構(gòu)將提供了一個(gè)更高效，更靈活，可擴(kuò)展性更強(qiáng)信息管理平臺(tái)。

[1]葉蘇南,彭宏,覃姜維.基于 MVC架構(gòu)的數(shù)據(jù)挖掘平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì).2010.

[2]任慶東,宗喜軍,常凌云.基于面向服務(wù)架構(gòu)的數(shù)據(jù)共享與交換平臺(tái)的設(shè)計(jì)[J].大慶石油學(xué)院學(xué)報(bào).2007.

[3]王柯柯,崔英志,黃賢英,黃麗豐.基于數(shù)據(jù)中心的企業(yè)應(yīng)用系統(tǒng)整合平臺(tái)架構(gòu)的研究和設(shè)計(jì)[J].西南大學(xué)學(xué)報(bào).2009.

[4]王峰,顧明,李麗.基于 J2EE應(yīng)用的數(shù)據(jù)庫訪問的性能優(yōu)化[J].計(jì)算機(jī)工程.2003.

[5]谷震離.SQL Server數(shù)據(jù)庫應(yīng)用程序性能優(yōu)化方法[J].計(jì)算機(jī)工程與設(shè)計(jì).2006.

[6]尹萍.SQL Server數(shù)據(jù)庫性能優(yōu)化[J].計(jì)算機(jī)應(yīng)用與軟件.2005.

[7]陳軍.基于WEB的校園數(shù)據(jù)中心管理研究[D].濟(jì)南:山東大學(xué).2006.