數(shù)據(jù)整合在宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的實現(xiàn)

馬小微

中圖分類號：F290 文獻標識碼：A

內(nèi)容摘要：在宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)建設(shè)過程中，常常存在著數(shù)據(jù)難以有效共享、數(shù)據(jù)信息不完整等問題，這主要是由于現(xiàn)有的宏觀經(jīng)濟數(shù)據(jù)大都是存儲于不同的經(jīng)濟主管部門數(shù)據(jù)庫中，各個數(shù)據(jù)庫之間不能實現(xiàn)共享和互通，數(shù)據(jù)不完整、分散、異構(gòu)等情況比較突出，這極大地制約了宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)的建設(shè)質(zhì)量和使用效益，也影響到了宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)的功能的發(fā)揮。基于此，進一步優(yōu)化、整合宏觀經(jīng)濟數(shù)據(jù)，實現(xiàn)數(shù)據(jù)在宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的共享和使用，成為宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)建設(shè)的最重要內(nèi)容和環(huán)節(jié)。

關(guān)鍵詞：數(shù)據(jù)整合 宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng) 實現(xiàn)

引言

不斷健全完善的市場經(jīng)濟體制，對于政府部門進行宏觀經(jīng)濟研究提出了越來越高的要求，相關(guān)政策制定者在政策制定上也越來越依賴于宏觀經(jīng)濟研究和宏觀經(jīng)濟監(jiān)測預(yù)測。在此基礎(chǔ)上宏觀經(jīng)濟監(jiān)測預(yù)測有了較快發(fā)展，同時為了有效解決宏觀經(jīng)濟研究中的信息孤島問題，實現(xiàn)在統(tǒng)一的訪問接口進行宏觀數(shù)據(jù)的共享和傳輸，有必要進一步強化宏觀數(shù)據(jù)的有效整合，切實加強相關(guān)經(jīng)濟部門之間數(shù)據(jù)庫的應(yīng)用集成和數(shù)據(jù)共享，在此背景下，強化數(shù)據(jù)資源的優(yōu)化整合成為宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)的關(guān)鍵環(huán)節(jié)。

實現(xiàn)宏觀經(jīng)濟數(shù)據(jù)共享，不僅能夠很大程度上降低數(shù)據(jù)整理和歸集成本，減少數(shù)據(jù)采集的時間，同時也能夠使得更多的宏觀經(jīng)濟數(shù)據(jù)分析人員獲得經(jīng)濟數(shù)據(jù)，實現(xiàn)數(shù)據(jù)共享，提高數(shù)據(jù)使用效率和使用效益。在實施宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)過程中，要實現(xiàn)數(shù)據(jù)整合和數(shù)據(jù)共享存在一定的難度。這主要是由于宏觀經(jīng)濟數(shù)據(jù)都是各個政府主管部門為了滿足自身管理需求而單獨開發(fā)和維護的，存儲在不同的信息系統(tǒng)和數(shù)據(jù)庫內(nèi)，數(shù)據(jù)庫的管理系統(tǒng)、數(shù)據(jù)模型以及數(shù)據(jù)結(jié)構(gòu)、模式設(shè)計等各個方面都有所不同，宏觀數(shù)據(jù)整合中的數(shù)據(jù)異構(gòu)、命名異構(gòu)以及數(shù)據(jù)結(jié)構(gòu)異構(gòu)等問題比較突出，這在很大程度上制約和影響了宏觀經(jīng)濟數(shù)據(jù)在各個管理系統(tǒng)中的共享和使用。

宏觀經(jīng)濟數(shù)據(jù)源的特征

宏觀經(jīng)濟數(shù)據(jù)監(jiān)測預(yù)測系統(tǒng)中所需要整合的數(shù)據(jù)基本上都是來自于各個政府主管部門，由于部門之間相互獨立，所建立的信息系統(tǒng)都是為了滿足自身管理需求而進行開發(fā)的，系統(tǒng)之間相互兼容性比較小，數(shù)據(jù)在格式以及結(jié)構(gòu)上存在著不小的差異。具體來講，宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的數(shù)據(jù)具有以下幾個方面的特征：

第一，自治性。這主要是指宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的數(shù)據(jù)在進行整合時會涉及到多個部門，這些部門所使用的信息系統(tǒng)和數(shù)據(jù)庫相互獨立，彼此之間沒有實現(xiàn)數(shù)據(jù)共享和數(shù)據(jù)關(guān)聯(lián)。同時，原先各個部門所使用的信息系統(tǒng)也不能夠因為宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的數(shù)據(jù)整合而受到影響，這就要求在進行系統(tǒng)建設(shè)時要確保各個系統(tǒng)在數(shù)據(jù)管理上具有自治性。

第二，異構(gòu)性。這主要是指宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)所涉及的部門比較多，各個部門都是圍繞自身需求進行的系統(tǒng)開發(fā)，因此在數(shù)據(jù)庫版本和應(yīng)用系統(tǒng)上都具有很大的不同，數(shù)據(jù)存儲在oracle、access、dbf、sql等不同的數(shù)據(jù)庫中，這就會導致經(jīng)濟數(shù)據(jù)在結(jié)構(gòu)以及形式等方面都具有很大的不同點，使得經(jīng)濟數(shù)據(jù)具有異構(gòu)性特征。

第三，不完整性。對于宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)建設(shè)來講，所需要的數(shù)據(jù)量比較大，并且數(shù)據(jù)來自于不同的管理部門，相互之間具有獨立性，數(shù)據(jù)存儲在不同的數(shù)據(jù)庫管理系統(tǒng)中，沒有一個管理部門能夠完整地提供出所有的宏觀經(jīng)濟數(shù)據(jù)，就具體部門的宏觀經(jīng)濟數(shù)據(jù)來講，都具有不完整性的特征。

第四，分布性。分布性特征是指宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)進行數(shù)據(jù)整合時所面對的數(shù)據(jù)源是分布式的結(jié)構(gòu)。各個經(jīng)濟主管部門的宏觀經(jīng)濟數(shù)據(jù)都是相互獨立、彼此分散的，存儲在不同的數(shù)據(jù)庫系統(tǒng)中，這些經(jīng)濟數(shù)據(jù)在地理位置上具有分布式的特征。

宏觀經(jīng)濟數(shù)據(jù)整合的總體設(shè)計

由于宏觀經(jīng)濟數(shù)據(jù)在結(jié)構(gòu)上具有異構(gòu)性特征，使得對這些數(shù)據(jù)進行整合時常常都是基于XML異構(gòu)數(shù)據(jù)整合方案來進行操作。按照數(shù)據(jù)源層、數(shù)據(jù)整合層、數(shù)據(jù)倉庫層以及數(shù)據(jù)應(yīng)用層這四個層次進行總體架構(gòu)的設(shè)計。

數(shù)據(jù)源層是整個宏觀經(jīng)濟數(shù)據(jù)監(jiān)測預(yù)測系統(tǒng)的數(shù)據(jù)提供者，在所有的層級中處于最底層，數(shù)據(jù)源層基本上是由各個經(jīng)濟主管部門以及地市相關(guān)數(shù)據(jù)、其他宏觀經(jīng)濟數(shù)據(jù)組成的，在數(shù)據(jù)源組成特征上屬于異構(gòu)類型。對于宏觀經(jīng)濟數(shù)據(jù)監(jiān)測預(yù)測系統(tǒng)來講，需要整合的數(shù)據(jù)大都是在數(shù)據(jù)庫中進行存儲和管理。同時，這些數(shù)據(jù)源層的經(jīng)濟數(shù)據(jù)也可以存儲于網(wǎng)絡(luò)的不同區(qū)域，在網(wǎng)絡(luò)環(huán)境下實現(xiàn)對經(jīng)濟數(shù)據(jù)的管理以及日常維護。

數(shù)據(jù)整合層是宏觀經(jīng)濟數(shù)據(jù)監(jiān)測預(yù)測系統(tǒng)發(fā)展升級的重要環(huán)節(jié)，也是該系統(tǒng)中最為重要的一個數(shù)據(jù)層級。依靠數(shù)據(jù)整合層能夠?qū)崿F(xiàn)對數(shù)據(jù)源更高層次的異構(gòu)性屏蔽和分布性屏蔽。由于數(shù)據(jù)整合層處于數(shù)據(jù)倉庫層以及數(shù)據(jù)源層兩者之間，因此在對數(shù)據(jù)整合層進行處理時都是依靠XML格式文檔充當數(shù)據(jù)源整合的中介，在此基礎(chǔ)上實現(xiàn)數(shù)據(jù)的映射、數(shù)據(jù)的轉(zhuǎn)換以及數(shù)據(jù)的整合工作，并在此環(huán)節(jié)之后將相關(guān)的整合數(shù)據(jù)存儲到宏觀經(jīng)濟數(shù)據(jù)管理數(shù)據(jù)庫中。對于數(shù)據(jù)整合層而言，其基本結(jié)構(gòu)是由數(shù)據(jù)包裝器以及數(shù)據(jù)整合適配器兩者構(gòu)成的。

數(shù)據(jù)倉庫層主要是用于對宏觀經(jīng)濟數(shù)據(jù)進行倉儲的，它也是宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的中心數(shù)據(jù)層級，所存儲的數(shù)據(jù)是圍繞宏觀經(jīng)濟信息以及相關(guān)的經(jīng)濟信息來開展存儲工作的，實現(xiàn)對數(shù)據(jù)倉庫層的開發(fā)利用也是進行宏觀經(jīng)濟監(jiān)測預(yù)測的必要前提和基礎(chǔ)性工作。

數(shù)據(jù)應(yīng)用層位于宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)的最頂層，能夠?qū)崿F(xiàn)數(shù)據(jù)庫與用戶之間的相互對接，在內(nèi)容組成上包括了宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)以及瀏覽器這兩個方面，數(shù)據(jù)使用者依靠瀏覽器作為接口實現(xiàn)對宏觀經(jīng)濟數(shù)據(jù)的訪問和利用，能夠?qū)?shù)據(jù)庫中的數(shù)據(jù)倉庫層進行實時訪問和瀏覽。從整個數(shù)據(jù)庫系統(tǒng)的組成和功能定位來看，應(yīng)用層是數(shù)據(jù)庫系統(tǒng)與用戶之間的溝通橋梁，也是宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)為用戶提供數(shù)據(jù)訪問服務(wù)的通道和平臺。依靠應(yīng)用層實現(xiàn)數(shù)據(jù)整合層與數(shù)據(jù)源層的相互溝通和共享。

宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)數(shù)據(jù)整合的流程

圍繞系統(tǒng)中數(shù)據(jù)整合層的基本功能，就可以對宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)的數(shù)據(jù)整合流程進行規(guī)劃和設(shè)計。總的流程來講，依靠數(shù)據(jù)源訪問器實現(xiàn)對整個宏觀經(jīng)濟數(shù)據(jù)的訪問，并基于異構(gòu)數(shù)據(jù)庫對相應(yīng)的宏觀經(jīng)濟數(shù)據(jù)和必要的異構(gòu)數(shù)據(jù)類型進行分析和提取，結(jié)合數(shù)據(jù)庫管理系統(tǒng)中的XML技術(shù)實現(xiàn)對XML文檔的編譯，并在此基礎(chǔ)上依靠整合適配器完成對宏觀經(jīng)濟數(shù)據(jù)的轉(zhuǎn)換和翻譯。與此同時，在整合宏觀經(jīng)濟數(shù)據(jù)的基礎(chǔ)上還需要圍繞數(shù)據(jù)整合相關(guān)規(guī)則，將數(shù)據(jù)加載成為能夠在數(shù)據(jù)庫中進行整合的標準化語言，實現(xiàn)對整個宏觀經(jīng)濟預(yù)測監(jiān)測系統(tǒng)數(shù)據(jù)的加載。強化對宏觀數(shù)據(jù)監(jiān)測預(yù)測系統(tǒng)等數(shù)據(jù)整合，實現(xiàn)多角度、多層次的宏觀經(jīng)濟數(shù)據(jù)分析，切實解決數(shù)據(jù)整合中的數(shù)據(jù)異構(gòu)、命名異構(gòu)以及數(shù)據(jù)結(jié)構(gòu)異構(gòu)問題，確保宏觀經(jīng)濟數(shù)據(jù)管理平臺的高質(zhì)量、高效益。

總的來講，基于宏觀經(jīng)濟數(shù)據(jù)所具有的分布性、獨立性以及異構(gòu)性等特點，在實踐中主要還是依靠XML技術(shù)來對數(shù)據(jù)進行轉(zhuǎn)換和映射，圍繞數(shù)據(jù)整合流程進行規(guī)劃設(shè)計，并合理制定必要的規(guī)則引擎，實現(xiàn)對整個數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)整合規(guī)則的定義和完善。具體來講，宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的數(shù)據(jù)整合過程如圖1所示。

宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的數(shù)據(jù)整合規(guī)則

宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)的數(shù)據(jù)整合主要是圍繞宏觀經(jīng)濟數(shù)據(jù)以及相應(yīng)的宏觀經(jīng)濟數(shù)據(jù)庫來開展的，基于此，在對宏觀經(jīng)濟數(shù)據(jù)進行轉(zhuǎn)換就需要緊緊圍繞整合規(guī)則來進行，并在此基礎(chǔ)上實現(xiàn)將宏觀經(jīng)濟數(shù)據(jù)向經(jīng)濟數(shù)據(jù)庫中進行有效加載。正是由于宏觀經(jīng)濟數(shù)據(jù)在整合規(guī)則上常常會發(fā)生一些變動，使得數(shù)據(jù)管理者在對宏觀經(jīng)濟數(shù)據(jù)進行整合時應(yīng)當合理引入必要的規(guī)則引擎，依靠規(guī)則引擎的介入有效解決宏觀經(jīng)濟數(shù)據(jù)變化所導致的規(guī)則難以兼容問題，需要明確的是，經(jīng)濟數(shù)據(jù)的整合是一個復(fù)雜過程，合理引入科學的應(yīng)用規(guī)則引擎能夠?qū)崿F(xiàn)數(shù)據(jù)整合規(guī)則的優(yōu)化、完善，提高數(shù)據(jù)整合效益和效率。

整合規(guī)則主要是出于解決數(shù)據(jù)源宏觀經(jīng)濟數(shù)據(jù)異構(gòu)而制定的，依靠整合規(guī)則能夠滿足對不同結(jié)構(gòu)、不同類型宏觀經(jīng)濟數(shù)據(jù)的整合。結(jié)合宏觀經(jīng)濟數(shù)據(jù)異構(gòu)情況，能夠總結(jié)出宏觀經(jīng)濟數(shù)據(jù)整合在數(shù)據(jù)異構(gòu)方面主要存在的情況，如表1所示。

數(shù)據(jù)整合規(guī)則主要是研究宏觀經(jīng)濟數(shù)據(jù)庫SMED中的數(shù)據(jù)表字段以及目標經(jīng)濟數(shù)據(jù)庫TMED中數(shù)據(jù)表字段之間的相關(guān)映射關(guān)系，同時也明確了每一類映射關(guān)系本身都對應(yīng)著一類數(shù)據(jù)整合規(guī)則。

經(jīng)濟數(shù)據(jù)的整合是一個復(fù)雜過程，合理引入科學的應(yīng)用規(guī)則引擎能夠?qū)崿F(xiàn)數(shù)據(jù)整合規(guī)則的優(yōu)化、完善，提高數(shù)據(jù)整合效益和效率。直接映射規(guī)則是將目標宏觀經(jīng)濟數(shù)據(jù)庫與源宏觀經(jīng)濟數(shù)據(jù)庫進行映射的最基本規(guī)則，依靠這一方式能夠?qū)崿F(xiàn)宏觀經(jīng)濟數(shù)據(jù)中存在的結(jié)構(gòu)異構(gòu)以及命名異構(gòu)問題，通常情況下這一數(shù)據(jù)不需要再進行單獨的處理和數(shù)據(jù)轉(zhuǎn)換工作，能夠?qū)崿F(xiàn)數(shù)據(jù)庫中的源字段直接映射為目標字段。

規(guī)則1：TMED與IFSMED在所對應(yīng)的屬性上其列數(shù)據(jù)值一致的情況下，THEN可以不經(jīng)過相關(guān)數(shù)據(jù)轉(zhuǎn)換和處理就可以進行映射。

規(guī)則2：TMED與IFSMED在所對應(yīng)的屬性上其列數(shù)據(jù)值不一致的情況下，THEN需要經(jīng)過相關(guān)數(shù)據(jù)轉(zhuǎn)換和處理將其調(diào)整為TMED字段，在此之后進行數(shù)據(jù)的映射。

規(guī)則3：TMED與IFSMED在所對應(yīng)的字段在數(shù)據(jù)格式上存在不一致的情況下，THEN需要經(jīng)過相關(guān)數(shù)據(jù)轉(zhuǎn)換和處理將其調(diào)整為TMED字段，在此之后進行數(shù)據(jù)的映射。

規(guī)則4：TMED與IFSMED在所對應(yīng)的字段在數(shù)據(jù)值單位上存在不一致的情況下，THEN一般都是需要依靠轉(zhuǎn)換公式將其轉(zhuǎn)換為TMED字段，在此之后進行數(shù)據(jù)的映射。

同時，對于數(shù)據(jù)整合的規(guī)則范式可以參照下面格式進行：

綜上，強化對宏觀數(shù)據(jù)監(jiān)測預(yù)測系統(tǒng)等數(shù)據(jù)整合，實現(xiàn)多角度、多層次的宏觀經(jīng)濟數(shù)據(jù)分析，切實解決數(shù)據(jù)整合中的數(shù)據(jù)異構(gòu)、命名異構(gòu)以及數(shù)據(jù)結(jié)構(gòu)異構(gòu)問題，確保宏觀經(jīng)濟數(shù)據(jù)管理平臺的高質(zhì)量、高效益。基于此，進一步優(yōu)化、整合宏觀經(jīng)濟數(shù)據(jù)，實現(xiàn)數(shù)據(jù)在宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)中的共享和使用，成為宏觀經(jīng)濟監(jiān)測預(yù)測系統(tǒng)建設(shè)的最重要內(nèi)容和環(huán)節(jié)。在提升宏觀經(jīng)濟數(shù)據(jù)流動性和共享性的基礎(chǔ)上，更好地為政府部門進行宏觀經(jīng)濟管理和經(jīng)濟決策提供有力支持和幫助。

參考文獻：

1.孫瑩.社會保障數(shù)據(jù)整合及公眾服務(wù)系統(tǒng)的研究與實現(xiàn)[D].解放軍信息工程大學，2012

2.張華.政務(wù)信息化建設(shè)中數(shù)據(jù)整合技術(shù)的研究與應(yīng)用[D].北京信息控制研究所，2007

3.嚴斌.面向智慧旅游信息系統(tǒng)構(gòu)建的旅游數(shù)據(jù)整合研究[D].上海師范大學，2012

4.邱際光.數(shù)據(jù)挖掘技術(shù)在宏觀經(jīng)濟智能決策支持系統(tǒng)中的研究與應(yīng)用[D].南昌大學，2008