數(shù)據(jù)集成技術(shù)綜述

摘要：從現(xiàn)行信息需求出發(fā)，介紹了數(shù)據(jù)集成技術(shù)發(fā)展的必要性，討論了已有的數(shù)據(jù)集成技術(shù)，分析了這些技術(shù)的優(yōu)缺點(diǎn)，介紹了網(wǎng)格技術(shù)、本體技術(shù)兩個(gè)新的異構(gòu)數(shù)據(jù)集成技術(shù)。在此基礎(chǔ)上給出了本體技術(shù)和中間件相結(jié)合數(shù)據(jù)集成解決方案。最后，提出了數(shù)據(jù)集成方法的發(fā)展方向。

關(guān)鍵詞：數(shù)據(jù)集成；數(shù)據(jù)復(fù)制；模式集成；本體

中圖分類號：TP311文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044(2008)24-1120-03

The Summer of the Data Integrate Technology

ZHONG Qiu-yan

(China Department of Computer， Zengcheng College of South China Normal University， Guangzhou 511063，China)

Abstract：because of the current requirement of information， it introduces the necessity of the data integrate technology's development. It discusses the current data integrate technology and analyze the their advantages and disadvantages. It introduces the grid and ontology that are newest data integration technology. Based on the discuss it describes the data integration schema that is solved by the integrated the ontology with middleware. In the end， it brings forward the development's direction of the data integration.

Key words: data integration; data copy; schema integration; ontology

1 引言

隨著信息技術(shù)飛速發(fā)展和應(yīng)用領(lǐng)域不斷拓寬，信息技術(shù)極大地提高了人們的工作效率，給人們的生活帶來了諸多便利。然而在信息化建設(shè)初期，由于缺乏有效的和合理的規(guī)劃和協(xié)作，造成信息化建設(shè)的大量重復(fù)和“信息孤島”現(xiàn)象，隨著信息量的爆炸式增長，信息化建設(shè)遭遇到巨大的浪費(fèi)。針對目前情況，迫切需要一種技術(shù)用于將之前的各個(gè)獨(dú)立的信息化系統(tǒng)集合起來，給各個(gè)“孤島”架起溝通的橋梁，為將來各種各樣的信息化建設(shè)服務(wù)。隨著互聯(lián)網(wǎng)技術(shù)的誕生，在一定的程度上可以很好的支持信息發(fā)布和信息收集，但對于之前的信息化資源的重用需求，對于日益迫切的分散數(shù)據(jù)訪問和分析需求——跨地區(qū)的連鎖經(jīng)營銷售商要求對其每天總的銷售狀況進(jìn)行分析等，對于越來越復(fù)雜的應(yīng)用環(huán)境——在線分析處理(OLAP)、決策支持系統(tǒng)(DSS)、數(shù)據(jù)挖掘(DM)等，人們迫切需要形成跨組織、跨領(lǐng)域、多應(yīng)用的信息交換和共享。在這種背景下，數(shù)據(jù)集成技術(shù)應(yīng)運(yùn)而生。

數(shù)據(jù)集成技術(shù)是將分布的、異步的，甚至異構(gòu)的獨(dú)立信息源中的有用數(shù)據(jù)集成在一起，使得用戶能夠以透明的方式訪問這些數(shù)據(jù)源，以供將來信息檢索、分析處理等等應(yīng)用的技術(shù)。集成是指維護(hù)數(shù)據(jù)源整體上的數(shù)據(jù)一致性、提高信息共享利用的效率；透明的方式是指用戶無需關(guān)心如何實(shí)現(xiàn)對異構(gòu)數(shù)據(jù)源數(shù)據(jù)的訪問，只關(guān)心以何種方式訪問何種數(shù)據(jù)，圖1顯示了數(shù)據(jù)集成系統(tǒng)模型。[1，2]

數(shù)據(jù)集成是信息系統(tǒng)集成的基礎(chǔ)和關(guān)鍵，好的數(shù)據(jù)集成系統(tǒng)可以保證用戶以低代價(jià)、高效率使用異構(gòu)的數(shù)據(jù)?，F(xiàn)在，越來越多的現(xiàn)代企業(yè)已經(jīng)意識到商業(yè)數(shù)據(jù)集成在企業(yè)日常運(yùn)作和管理中的重要性，全球著名的IT企業(yè)如Oracle、IBM，數(shù)據(jù)開發(fā)環(huán)境單一，工具環(huán)境無關(guān)性差等缺點(diǎn)。而且隨著應(yīng)用的不斷深入，對Microsoft和Sybase等都針對自己的產(chǎn)品提出了數(shù)據(jù)倉庫的數(shù)據(jù)集成解決方案，這些解決方案提供了方便了數(shù)據(jù)集成方法，但它們都或多或少地存在這樣或那樣的缺陷，比如兼容性數(shù)據(jù)集成提出更新更高的要求——任意訂制需要抽取的數(shù)據(jù)、靈活而高效的數(shù)據(jù)抽取方式(實(shí)時(shí)或周期性抽取等)、數(shù)據(jù)抽取的一致性、異構(gòu)信息源(包括半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))集成和系統(tǒng)平臺無關(guān)性等。數(shù)據(jù)集成的研究與設(shè)計(jì)必須深入，解決以前方法的局限性，提供更高的實(shí)用性，找到一種更優(yōu)的維護(hù)方法等等任務(wù)。[3]

2 傳統(tǒng)的異構(gòu)數(shù)據(jù)集成方法

傳統(tǒng)的數(shù)據(jù)集成所采用的方法基本可以分為兩大類：數(shù)據(jù)復(fù)制方法和模式映射方法。

2.1 數(shù)據(jù)復(fù)制方法

數(shù)據(jù)復(fù)制方法將各個(gè)數(shù)據(jù)源的數(shù)據(jù)復(fù)制到與其相關(guān)的其他數(shù)據(jù)源上，并維護(hù)數(shù)據(jù)源整體上的一致性，提高信息共享和利用的效率。數(shù)據(jù)復(fù)制可以是整個(gè)數(shù)據(jù)源的復(fù)制，也可以是僅對變化數(shù)據(jù)的傳播與復(fù)制。數(shù)據(jù)復(fù)制方法可減少用戶使用數(shù)據(jù)集成系統(tǒng)時(shí)對異構(gòu)數(shù)據(jù)源的數(shù)據(jù)訪問量，提高數(shù)據(jù)集成系統(tǒng)的性能。最常見的數(shù)據(jù)復(fù)制方法就是數(shù)據(jù)倉庫方法。該方法將各個(gè)數(shù)據(jù)源的數(shù)據(jù)復(fù)制到同一處——數(shù)據(jù)倉庫，用戶則直接訪問數(shù)據(jù)倉庫獲取數(shù)據(jù)。這種方法既可用于數(shù)據(jù)集成，亦可用于決策支持查詢。 但是，這種對數(shù)據(jù)倉庫的間接訪問方式帶來的問題就是數(shù)據(jù)更新不及時(shí)、數(shù)據(jù)重復(fù)存儲。斯坦福大學(xué)DB Group的數(shù)據(jù)集成方案是數(shù)據(jù)復(fù)制方式數(shù)據(jù)集成方法的代表性方案。然而在應(yīng)用領(lǐng)域中，信息源數(shù)據(jù)通常含有企業(yè)商業(yè)機(jī)密信息或政府部門公眾機(jī)密信息，不能讓數(shù)據(jù)集成系統(tǒng)訪問這些信息或基表。[4]

2.2 模式映射方法：即虛擬視圖的方法

模式集成 ( Schema Integration )是人們最早采用的數(shù)據(jù)集成方法，也是其他數(shù)據(jù)集成方法的基礎(chǔ)。其基本思想是，在構(gòu)建集成系統(tǒng)時(shí)，將各數(shù)據(jù)源共享的數(shù)據(jù)視圖集成為全局模式 (Global Schema)，供用戶按照全局模式透明地訪問各數(shù)據(jù)源的數(shù)據(jù)。該方法不需要重復(fù)存儲大量數(shù)據(jù)，能保證查詢到最新的數(shù)據(jù)，比較適合于集成數(shù)據(jù)多、且更新變化快的異構(gòu)數(shù)據(jù)源集成。

模式集成要解決的兩個(gè)基本問題是：構(gòu)建全局模式與數(shù)據(jù)源共享數(shù)據(jù)視圖間的映射關(guān)系；處理用戶在全局模式基礎(chǔ)上的查詢請求。模式集成過程需要將原來異構(gòu)的數(shù)據(jù)視圖作適當(dāng)?shù)霓D(zhuǎn)換，消除數(shù)據(jù)源間的異構(gòu)性，映射成全局模式。全局模式與數(shù)據(jù)源數(shù)據(jù)視圖間映射的構(gòu)建方法有兩種：全局視圖法和局部視圖法。全局視圖法中的全局模式是在數(shù)據(jù)源數(shù)據(jù)視圖基礎(chǔ)上建立的，它由一系列元素組成，每個(gè)元素對應(yīng)數(shù)據(jù)源的一個(gè)查詢，表示相應(yīng)數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)和操作；局部視圖法先構(gòu)建全局模式，數(shù)據(jù)源的數(shù)據(jù)視圖則是在全局模式基礎(chǔ)上定義，由全局模式按一定的規(guī)則推理得到。

2.2.1 聯(lián)邦數(shù)據(jù)庫

聯(lián)邦數(shù)據(jù)庫是早期人們采用的一種模式集成方法。聯(lián)邦數(shù)據(jù)庫中數(shù)據(jù)源之間共享自己的一部分?jǐn)?shù)據(jù)模式，形成一個(gè)聯(lián)邦模式。聯(lián)邦數(shù)據(jù)庫系統(tǒng)按集成度可分為兩類：采用緊密耦合聯(lián)邦數(shù)據(jù)庫系統(tǒng)和采用松散耦合聯(lián)邦數(shù)據(jù)庫系統(tǒng)。緊密耦合聯(lián)邦數(shù)據(jù)庫系統(tǒng)使用統(tǒng)一的全局模式，將各數(shù)據(jù)源的數(shù)據(jù)模式映射到全局?jǐn)?shù)據(jù)模式上，解決了數(shù)據(jù)源間的異構(gòu)性。這種方法集成度較高，用戶參與少；缺點(diǎn)是構(gòu)建一個(gè)全局?jǐn)?shù)據(jù)模式的算法復(fù)雜，擴(kuò)展性差。松散耦合聯(lián)邦數(shù)據(jù)庫系統(tǒng)比較特殊，沒有全局模式，而是提供統(tǒng)一的查詢語言，將很多異構(gòu)性問題交給用戶自己去解決。松散耦合方法對數(shù)據(jù)的集成度不高，但其數(shù)據(jù)源的 自治性強(qiáng)、動態(tài)性能好。

2.2.2 中間件集成方法

中間件集成方法是另一種典型的模式集成方法，它使用全局?jǐn)?shù)據(jù)模式。與聯(lián)邦數(shù)據(jù)庫不同，中間件系統(tǒng)不僅能夠集成結(jié)構(gòu)化的數(shù)據(jù)源信息，還可以集成半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)源中的信息，如 Web信息。基于中間件的數(shù)據(jù)集成系統(tǒng)主要包括中間件和包裝器，其中每個(gè)數(shù)據(jù)源對應(yīng)一個(gè)包裝器，中間件通過包裝器和各個(gè)數(shù)據(jù)源交互。用戶在全局?jǐn)?shù)據(jù)模式的基礎(chǔ)上向中間件發(fā)出查詢請求。中間件處理用戶請求，將其轉(zhuǎn)換成各個(gè)數(shù)據(jù)源能夠處理的子查詢請求，并對此過程進(jìn)行優(yōu)化，以提高查詢處理的并發(fā)性，減少響應(yīng)時(shí)間。包裝器是對特定數(shù)據(jù)源進(jìn)行封裝，將其數(shù)據(jù)模型轉(zhuǎn)換為系統(tǒng)所采用的通用模型，并提供一致的訪問機(jī)制。中間件將各個(gè)子查詢請求發(fā)送給包裝器，由包裝器來和其封裝的數(shù)據(jù)源交互，執(zhí)行子查詢請求，并將結(jié)果返回給中間件。中間件注重于全局查詢的處理和優(yōu)化，相對于聯(lián)邦數(shù)據(jù)庫系統(tǒng)的優(yōu)勢在于：它能夠集成非數(shù)據(jù)庫形式的數(shù)據(jù)源，有很好的查詢性能，自治性強(qiáng)；中間件集成的缺點(diǎn)在于它通常是只讀的，而聯(lián)邦數(shù)據(jù)庫對讀寫都支持。

2.2.3 peer-to-peer 數(shù)據(jù)集成方法

peer-to-peer (P2P)[6]數(shù)據(jù)集成方法是在新興的P2P計(jì)算技術(shù)的基礎(chǔ)上，對原有的模式集成方法的擴(kuò)展。P2P是一種基于對等網(wǎng)絡(luò)的架構(gòu)，是計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)從傳統(tǒng)的集中式發(fā)展為松散耦合分布式的新模式。在P2P數(shù)據(jù)集成方法中，參與集成的各個(gè)數(shù)據(jù)源節(jié)點(diǎn)分別被視作一端，每個(gè)節(jié)點(diǎn)可以將自己的一部分本地?cái)?shù)據(jù)模式映射成為端共享模式，向其他節(jié)點(diǎn)共享自己的數(shù)據(jù)。純粹的P2P數(shù)據(jù)集成方法沒有全局?jǐn)?shù)據(jù)模式，各節(jié)點(diǎn)可以直接通過P2P映射使用其他節(jié)點(diǎn)共享的數(shù)據(jù)模式，從而形成各節(jié)點(diǎn)之間對等的數(shù)據(jù)共享與訪問機(jī)制。P2P數(shù)據(jù)集成方法已成為當(dāng)前數(shù)據(jù)集成研究的一個(gè)熱點(diǎn)。

3 異構(gòu)數(shù)據(jù)集成的新技術(shù)

雖然數(shù)據(jù)集成技術(shù)已經(jīng)取得了很多應(yīng)用成果。但由于應(yīng)用和需求的不斷拓展變化。數(shù)據(jù)集成迄今仍是困擾企事業(yè)單位信息系統(tǒng)建設(shè)、維護(hù)和發(fā)展的難題。還遠(yuǎn)未得到很好解決。已有的數(shù)據(jù)集成方案普遍存在難以適應(yīng)數(shù)據(jù)源的動態(tài)變化、難以完成動態(tài)集成以及傳輸成本高等缺陷。而且很多系統(tǒng)中的數(shù)據(jù)是從數(shù)據(jù)源向集成模式單向流動的，不能支持局部數(shù)據(jù)源之間的數(shù)據(jù)交換和共享。也不能在集成數(shù)據(jù)上進(jìn)行新型跨部門綜合業(yè)務(wù)的開發(fā)針對以往數(shù)據(jù)集成方案的不足，人們不斷探索，新的數(shù)據(jù)集成技術(shù)也不斷涌現(xiàn)。其中包括網(wǎng)格技術(shù)和本體集成技術(shù)。

3.1 網(wǎng)格技術(shù)

網(wǎng)格技術(shù)提出目的就是實(shí)現(xiàn)分布式環(huán)境下的資源共享和協(xié)同計(jì)算。網(wǎng)格(Grid)又稱為虛擬計(jì)算環(huán)境。是近年來興起的一種重要的網(wǎng)絡(luò)信息技術(shù)網(wǎng)格利用計(jì)算機(jī)網(wǎng)絡(luò)把地理上廣泛分布的計(jì)算資源、存儲資源、網(wǎng)絡(luò)資源、軟件資源、 信息資源、知識資源等連成—個(gè)邏輯整體，然后像一臺超級計(jì)算機(jī)一樣為用戶提供—體化的信息應(yīng)用服務(wù)。實(shí)現(xiàn)互聯(lián)網(wǎng)上所有資源的全面連通、全面共享。以消除信息孤島和資源孤島。

3.2 本體技術(shù)

數(shù)據(jù)的異構(gòu)性分為兩個(gè)方面：一是結(jié)構(gòu)性異構(gòu)，即不同數(shù)據(jù)源數(shù)據(jù)的結(jié)構(gòu)不同：二是語義性異構(gòu)，即不同數(shù)據(jù)源的數(shù)據(jù)項(xiàng)在內(nèi)容和含義上有所不同或有沖突。目前，XML已經(jīng)成為異構(gòu)系統(tǒng)間數(shù)據(jù)交換的公認(rèn)標(biāo)準(zhǔn)，所以，語義異構(gòu)成為數(shù)據(jù)集成技術(shù)的難點(diǎn)。已有的各數(shù)據(jù)集成方法也都面臨如何更好的解決語義異構(gòu)的問題。

本體是對某一領(lǐng)域中的概念及其之間關(guān)系的顯式描述。是語義網(wǎng)絡(luò)的—項(xiàng)關(guān)鍵技術(shù)。本體技術(shù)能夠明確表示數(shù)據(jù)的語義以及支持基于描述邏輯的自動推理，為語義異構(gòu)性問題的解決提供了新的思路，對異構(gòu)數(shù)據(jù)集成來說應(yīng)該有很大的意義。但本體技術(shù)也存在一定的問題：已有關(guān)于本體技術(shù)研究都沒有充分關(guān)注如何利用本體提高數(shù)據(jù)集成過程和系統(tǒng)維護(hù)的自動化程度、降低集成成本、簡化人工工作。基于語義進(jìn)行自動的集成尚處于探索階段，本體技術(shù)還沒有真正發(fā)揮應(yīng)有的作用。

因此，可以采取本體技術(shù)和中間件相結(jié)合的方法[5]：采用中間件架構(gòu)，支持虛擬視圖或視圖集合，且不存儲任何異構(gòu)數(shù)據(jù)庫中的實(shí)際數(shù)據(jù)。為了更好地解決語義異構(gòu)，在中間件中引入了一個(gè)本體庫。

整個(gè)系統(tǒng)架構(gòu)如圖2所示，包括如下3個(gè)層次：

1) 應(yīng)用層

應(yīng)用層為終端用戶提供訪問中間件層的查詢接口 ，用戶可以通過應(yīng)用層的瀏覽器調(diào)用中間層。系統(tǒng)提供統(tǒng)一的查詢檢索平臺，它能夠顯示用戶可以查詢的集成信息，而底層集成的數(shù)據(jù)源對用戶是透明的。

2) 中間件層

中間件層從更高層次上屏蔽了數(shù)據(jù)源的分布性和異構(gòu)性。用戶認(rèn)為所有的數(shù)據(jù)都是本地的，處于同一服務(wù)域中，而具體的查詢請求的處理、結(jié)果的返回都由中間層負(fù)責(zé)。中間件主要由中介器、包裝器和本體庫3個(gè)部分組成，其中，中介器又包括查詢生成器、查詢分解引擎、查詢執(zhí)行引擎和結(jié)果處理4個(gè)功能組件。

3) 數(shù)據(jù)源層

數(shù)據(jù)源層是由分布式異構(gòu)數(shù)據(jù)源組成，數(shù)據(jù)源可以是關(guān)系數(shù)據(jù)庫、Excel表格，也可以是半結(jié)構(gòu)化的XML文檔。每一個(gè)數(shù)據(jù)源都可以位于Web上不同的服務(wù)站點(diǎn)，采用本地的方式對數(shù)據(jù)進(jìn)行管理。

4 數(shù)據(jù)集成技術(shù)展望

鑒于異構(gòu)數(shù)據(jù)集成所固有的難點(diǎn)?？梢韵嘈?，異構(gòu)數(shù)據(jù)集成技術(shù)會隨著各個(gè)難題的解決而得到越來越廣泛的應(yīng)用。今后，數(shù)據(jù)集成的研究方向應(yīng)該包括：(1)基于網(wǎng)格、本體語義的數(shù)據(jù)集成方案的研究；(2)多種技術(shù)相結(jié)合的數(shù)據(jù)集成方案；(3)集成數(shù)據(jù)的完整性、一致性，實(shí)時(shí)性。

5 結(jié)束語

本文從對數(shù)據(jù)集成技術(shù)需求出發(fā)，說明了數(shù)據(jù)集成技術(shù)對當(dāng)前信息系統(tǒng)的重要性。對傳統(tǒng)的幾種數(shù)據(jù)集成技術(shù)進(jìn)行了概括，并對數(shù)據(jù)集成的兩種新技術(shù)進(jìn)行了研究，給出了數(shù)據(jù)集成技術(shù)發(fā)展的方向

參考文獻(xiàn)：

[1] Widom J.，\"Research Problems in Data WareHousing\"，In Proceedings ofthe 4th，Int'L Conference on Information and Knowledge Management(CIKM)，November 1995.

[2] 薛惠忠，莊曉青，董逸生.數(shù)據(jù)倉庫中的數(shù)據(jù)集成轉(zhuǎn)換[J].現(xiàn)代計(jì)算機(jī)，2003.12：78-82.

[3] Ullman J D. Information integration using logical views[c]//proceeding of ICDT97， Volume 1186 of LNCS， 1997:19-40

[4] Hammer J.，Garcia-Molina H.， Widom J.， Labio W.， Zhuge Y. \"The Stanford Data Warehousing Project\"，In IEEE Data Engineering Bulletin， 1995，18(2):41-48.

[5] 周剛，郭建勝.基于本體的異構(gòu)數(shù)據(jù)源集成系統(tǒng)分析與設(shè)計(jì)[J].北京：北京聯(lián)合大學(xué)學(xué)報(bào)，2007.10：45-48.

[6] 周傲英，凌波.Peer-to-peer系統(tǒng)及其應(yīng)用[J].計(jì)算機(jī)科學(xué)，2001，29(8)：200-202.

[7] 徐立臻，謝鴻強(qiáng).數(shù)據(jù)倉庫系統(tǒng)中源數(shù)據(jù)的提取與集成[J].小型微型計(jì)算機(jī)系統(tǒng)，2003，24(5):869-873.

[8] 都志輝，陳渝，劉鵬.網(wǎng)格計(jì)算[M].北京:清華大學(xué)出版社，2002.