利用多維概念設(shè)計靈活的數(shù)據(jù)匯總模塊

胡繼軍

【摘? 要】近年來統(tǒng)計數(shù)據(jù)處理程序匯總模塊執(zhí)行效率大幅提高，但靈活性還遠(yuǎn)低于用戶期望。通過對統(tǒng)計匯總表結(jié)構(gòu)的分析，發(fā)現(xiàn)它們與多維數(shù)據(jù)模型非常相似，匯總表是多維數(shù)據(jù)的平面化展示。因此，用業(yè)務(wù)數(shù)據(jù)庫的匯總數(shù)據(jù)，作為基礎(chǔ)數(shù)據(jù)來構(gòu)建多維結(jié)構(gòu)，經(jīng)過一定的多維操作，最后輸出平面化的統(tǒng)計匯總表。實踐表明，此方法能夠很好地滿足用戶對效率的需求，同時也能設(shè)計復(fù)雜的匯總表。

【關(guān)鍵詞】多維數(shù)據(jù)模型;統(tǒng)計數(shù)據(jù);匯總模塊

引言

統(tǒng)計數(shù)據(jù)處理程序逐漸朝平臺化方向發(fā)展。其匯總模塊的執(zhí)行效率也發(fā)生了很大變化，以地市級的數(shù)據(jù)為例，200張匯總表的執(zhí)行時間從過去的十幾個小時，降到現(xiàn)在的幾個小時。雖然效率大為提高，但與用戶的實際期望值還有一定的差距。用戶希望在十幾分鐘內(nèi)完成。本文從全新的角度來分析和解決此問題。

1.現(xiàn)有匯總模塊的主要設(shè)計思路

1.1數(shù)據(jù)庫端腳本匯總

早期一些匯總模塊使用“游標(biāo)”技術(shù)進(jìn)行數(shù)據(jù)匯總，即在數(shù)據(jù)庫端腳本中，通過游標(biāo)查詢實現(xiàn)較為復(fù)雜的匯總功能。這是因為一些中、小型的數(shù)據(jù)庫不支持復(fù)雜的匯總功能，例如不能按地區(qū)代碼的前幾位進(jìn)行分組匯總。游標(biāo)方式雖然擴(kuò)大了匯總模塊的通用性，但它直接查詢基礎(chǔ)數(shù)據(jù)，沒有利用數(shù)據(jù)庫內(nèi)置的匯總功能，執(zhí)行效率很低。

1.2分解成多個子匯總的可視化設(shè)計

近年來，隨著Oracle數(shù)據(jù)庫在統(tǒng)計領(lǐng)域的廣泛使用，憑借它在行業(yè)的領(lǐng)先地位，對復(fù)雜匯總的高度支持，數(shù)據(jù)庫端腳本匯總方式逐漸退出歷史舞臺。取代的是可視化的匯總表設(shè)計。但此方法也有其缺陷，匯總表每行甚至每個單元格都是一個子匯總，結(jié)果是產(chǎn)生大量的匯總運(yùn)算，大大降低了整體匯總效率。

2.統(tǒng)計匯總表與多維數(shù)據(jù)模型的統(tǒng)一性

2.1統(tǒng)計匯總表的特點

匯總表包含一個或多個匯總指標(biāo)，并以一個或多個分組展示數(shù)據(jù)。分組之間可以是并列關(guān)系，如先按地區(qū)分組，再按門類分組;也可以是層次遞進(jìn)的關(guān)系，如第一層是省級分組，第二層是市級分組，即省的下面緊接著其所屬的各市。多個分組之間也可以是上面兩種方式的復(fù)雜組合。一個分組包含多個分組值，如省級分組包含各省值，分組反映匯總指標(biāo)的一類屬性，可以理解為維（角度）。匯總指標(biāo)從不同維度表示，發(fā)現(xiàn)與多維數(shù)據(jù)模型非常相似。

2.2多維數(shù)據(jù)模型的特點

多維數(shù)據(jù)模型是一個邏輯概念，它主要解決如何對大量數(shù)據(jù)進(jìn)行快速查詢和多角度展示。該模型的應(yīng)用領(lǐng)域主要有數(shù)據(jù)倉庫、OLAP（在線分析處理）和數(shù)據(jù)挖掘3個方面。它通過引入維、維分層和度量等概念，在邏輯上將數(shù)據(jù)視為一個多維立方體（簡稱立方體）。

維：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性，屬性值構(gòu)成維的成員。如時間維，上面的各分組即是維，也叫分組，有地區(qū)維、行業(yè)門類維等。

維分層：同一維度還可以存在細(xì)節(jié)程度不同的多個描述層次。如時間維，可包括年、月份和日的層次，簡化起見，把維分層作為多個獨立的維。

立方體：用三維或更多的維描述一個對象，各維的成員交叉點（坐標(biāo)點）保存對象的數(shù)值數(shù)據(jù)。在數(shù)據(jù)匯總中，交叉點保存的是匯總指標(biāo)，可以不止一個。

度量：立方體中各維的成員交叉點，是一個單元格，用以存放1個或多個數(shù)值數(shù)據(jù)，這些數(shù)據(jù)就是度量，單元格則是度量的容器。

通過比較統(tǒng)計匯總表和多維數(shù)據(jù)模型的特點，發(fā)現(xiàn)它們是可以互相轉(zhuǎn)換的，都是描述多維結(jié)構(gòu)的數(shù)據(jù)，是視圖與模型的關(guān)系。

3.設(shè)計特色的多維匯總模塊

3.1選擇合適的多維數(shù)據(jù)模型

既然多維數(shù)據(jù)模型與統(tǒng)計匯總表能夠達(dá)到如此高度的統(tǒng)一，那它便是匯總模塊優(yōu)先的選擇。多維數(shù)據(jù)模型的實現(xiàn)有多種途徑，其中主要有多維數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫以及兩者相結(jié)合的復(fù)合方式。用于匯總的細(xì)節(jié)數(shù)據(jù)已經(jīng)存在于業(yè)務(wù)數(shù)據(jù)庫中，而匯總表一般都比較復(fù)雜，如有可能要對分組值進(jìn)行歸并，匯總表里也可能包含多個數(shù)據(jù)匯總，這就要求我們建立起自己的多維結(jié)構(gòu)來處理這些問題。因此，多維數(shù)據(jù)模型是多維與關(guān)系型相結(jié)合的第三種方式。

3.2設(shè)計自定義的多維結(jié)構(gòu)

從上面的分析來看，多維匯總模塊需要設(shè)計自定義的多維結(jié)構(gòu)。套用多維數(shù)據(jù)模型中的概念，一次從業(yè)務(wù)數(shù)據(jù)庫返回的匯總數(shù)據(jù)，都應(yīng)創(chuàng)建一個相應(yīng)的立方體。由于統(tǒng)計匯總表往往包含多個數(shù)據(jù)匯總，因此多維結(jié)構(gòu)也應(yīng)包含多個立方體。

在實踐中，考慮到匯總表有主欄和賓欄之分，多維結(jié)構(gòu)也應(yīng)把分組維分成主欄維和賓欄維兩部分。為了方便統(tǒng)一處理，把匯總指標(biāo)看作一個特殊的維，叫度量維。度量維的成員與各匯總指標(biāo)名稱一一對應(yīng)。這樣每一個匯總指標(biāo)的具體值都有其唯一的維坐標(biāo)，這為后續(xù)的多維操作奠定了基礎(chǔ)。

3.3需要定義的多維操作

（1）立方體的合并。如果匯總表包含多個立方體，這時合并操作是必需的。常用的合并操作是加操作，即在兩個立方體中，對于相同的維坐標(biāo)，如果都有匯總數(shù)據(jù)，則其和作為此坐標(biāo)上的新值;如果只有一個，則此值就是新值;否則為空。合并操作也可以是減操作、最大值操作等。

（2）維成員的排序。排序方式有：無排序、升序和降序，還可以提供自定義的排序。一般情況下，根據(jù)基本匯總數(shù)據(jù)創(chuàng)建的立方體，其各維的成員是有序的。但如果它是合并生成的，維成員的有序一般會打破，就需要重新排序。排序時應(yīng)考慮成員“合計”的特殊性，因為合計一般放在最前面（或最后面），如果作為普通的成員處理，有可能排在中間。

（3）維成員的操作。其主要有維成員的增加、刪除和合并。在地區(qū)分組中，有時需要 “直轄區(qū)”一欄，但直轄區(qū)在行政區(qū)劃中沒有對應(yīng)的級別，它是部分子地區(qū)的合計。常規(guī)的辦法是針對直轄區(qū)再匯總一次。如果支持增加操作，則第二次的匯總就可省略，這大大提高了效率。合并操作實際上是先增加產(chǎn)生新成員，后刪除對應(yīng)的原始成員，這在業(yè)務(wù)數(shù)據(jù)庫不支持復(fù)雜的分組匯總時，特別有用。

3.4其他方面的設(shè)計

有了核心的多維結(jié)構(gòu)，其他方面的設(shè)計就容易多了，這里只作簡單的介紹。對于具體的匯總應(yīng)用，模塊首先需要定義數(shù)據(jù)源、匯總的分組以及匯總指標(biāo)。數(shù)據(jù)源是匯總的數(shù)據(jù)來源，也是業(yè)務(wù)數(shù)據(jù)庫中的一個或多個數(shù)據(jù)表。XML文件是定義匯總表的最佳選擇，一個文件可以定義多個基本匯總，還可以定義這些匯總的合并方式。每個匯總的定義又包含主欄分組、賓欄分組和匯總指標(biāo)的定義。

#號開始的是全局變量或者前面定義的局部變量，首先定義的是匯總字段定義HS1，即度量維，接著定義業(yè)務(wù)數(shù)據(jù)庫需匯總的數(shù)據(jù)，模塊則根據(jù)返回的數(shù)據(jù)，在系統(tǒng)中建立名為“主立方體”的立方體，立方體中定義了兩個分組。配置文件可以手動編寫，也可以開發(fā)可視化的匯總表設(shè)計。

4.多維匯總模塊的執(zhí)行效率及優(yōu)化

本匯總模塊已經(jīng)用于臺州市第三次經(jīng)濟(jì)普查的簡要本和資料本匯總，以及第二次R&D資源清查的匯總開發(fā)。普查的簡要本包含200余張匯總表，匯總時間約為70秒;普查資料本包含400余張匯總表，匯總的時間約為150秒。從上面數(shù)據(jù)可知，本模塊的匯總效率遠(yuǎn)遠(yuǎn)高于10分鐘200張的要求。前面的數(shù)據(jù)是在單線程中計算的，如果在多線程下，速度將提升至少一倍。

本模塊能取得目前的效率，主要取決于兩個方面：一是不從業(yè)務(wù)數(shù)據(jù)庫中直接查詢細(xì)節(jié)數(shù)據(jù)，而是利用業(yè)務(wù)數(shù)據(jù)庫的匯總數(shù)據(jù)建立多維結(jié)構(gòu)。這既能避免大量基礎(chǔ)數(shù)據(jù)的傳輸，又能利用業(yè)務(wù)數(shù)據(jù)庫內(nèi)部匯總的高效優(yōu)點;二是盡量減少對業(yè)務(wù)數(shù)據(jù)庫的匯總次數(shù)。如不要把匯總分成過多的子匯總，多使用多維操作減少匯總的次數(shù)。