物流信息系統中的數據集成技術

[摘要] 本文分析了當前物流信息系統數據管理的需求，提出了物流信息系統集成的體系結構，討論了物流信息系統中數據集成的關鍵技術。

[關鍵詞] 物流信息系統 數據集成 數據倉庫

一、引言

數據源的多源異構是物流信息化建設過程中經常遇到的一個現實問題，也是制約各種應用信息系統建設和數據共享程度，以及信息化建設投資重復或負擔重的一個重要因素。物流行業數據的多源異構特性主要表現在3方面:1.系統異構，即數據源所依賴的業務應用系統、數據庫管理系統乃至操作系統之間的不同構成了系統異構。2.模式異構，即數據源在存儲模式上的不同。3.來源異構，即企業內部數據源和外部數據源之間的異構。

在物流行業信息量不斷增加及信息源多樣性的情況下，對有價值信息的檢索日趨復雜。各相關企業不僅要訪問關系型數據庫等傳統應用數據源，還必須能夠訪問XML文檔、文本文件、掃描圖像、Web內容及專用存儲器等數據源。這就迫切地需要將諸如此類的面向物流的信息集成。

經典的信息集成觀點強調數據的集成性、完整性，一致性與訪問安全性。物流行業的信息集成也不例外，但它不僅要面對多源異構的數據源，而且在實時信息查詢方面的要求較高。對干面向物流的信息集成，IT行業有許多可選擇的技術與工具。但是，繁雜的技術可能也會對技術人員造成一些麻煩。如何在現有技術條件下，科學合理地制定適合物流行業的信息集成的體系結構與解決方案，是技術人員面臨的一個巨大挑戰。

二、物流信息系統數據集成的體系結構

面向物流信息集成的體系結構必須能夠無縫地對異構的關系數據等結構化數據與XML等非結構化數據提供統的訪問與管理。本文提出了下圖所示的基本的5層體系結構。

圖 物流信息系統數據集成的體系結構

1.數據源層：提供各類結構化（如關系表)、半結構化(如XML文檔)、與非結構化（如字節流、掃描文檔）的數據源，這些數據源來自各個物流企業與其他相關機構。

2.數據整合層：提供來自基本數據源層的不同數據格式數據的存儲、檢索與轉換。該層應能夠將數據存儲為結構化、半結構化與非結構化的格式，并能提供方便的檢索。該層更應能集成外部數據源，這些數據源同樣可能是各類結構化、半結構化與非結構化的數據。該層是本體系結構的核心部分。

3.集成服務層：是從內容管理系統和企業集成應用程序中抽取的，用來提供將數據訪問服務透明地嵌入企業應用程序和業務過程的基礎結構，涉及查詢處理、文本搜索和挖掘、版本控制和元數據管理、數字資產管理、轉換、復制和高速緩存技術。

4.應用程序接口層：對數據整合層和集成服務層提供豐富的服務和數據集，提供了基于標準的編程接口(如傳統的編程接口ODBC，JDBC和基于Web Services的接口)和查詢語言(如針對XML的查詢語言XQuery)，以接入數據整合層和集成服務層提供的一套豐富的業務和數據。

5.應用程序層：給物流各相關企業、相關機構與相關客戶提供各類應用服務。

該體系結構的主要部分應該是中間的3層，其實現應全面科學地考察以下目前可用的信息集成方面的關鍵技術。

三、物流信息系統數據集成的關鍵技術

1.數據庫與數據倉庫技術。DBMS能很好地處理與數據管理相關的數據存儲、檢索、轉換、可伸縮性、可靠性和可用性等方面的難題。DBMS也正在迅速適應近幾年物流應用程序引入的數據和訪問模式的多樣性。同時，由于各類物流企業與機構對DBMS過去進行了大量的投資，充分利用它們，在所有級別上直接利用增強的DBMS體系結構是信息集成的最佳選擇。

數據倉庫(Data Warehouse)技術，傳統上主要強調如何存儲與集成歷史數據，使之成為面向物流信息集成的必然選擇的主要技術之一。

2.聯邦技術。聯邦(Federation)是指用戶可以像對待一個數據源那樣對多個數據源進行查詢和處理，同時保持數據源各自的獨立性和完整性。利用聯邦數據庫技術可以解決物流行業分布式數據操作、異構數據復制、空間地理應用與分布式數據倉庫管理等一系列商務難題。聯邦技術能夠統一地訪問以任何技術存儲的任何數字信息，具有透明性、異構數據源支持、底層聯邦數據源自治、可擴展性、開放性和優化等功能，這使聯邦技術成為面向物流的信息集成中另一個重量級技術。

3.XML技術。XML是SGML的簡化子集。XML是一種元語言，允許用戶創建自己的標記語言，其自描述性使其非常適用于物流信息系統集成中不同應用間的數據交換，而且這種交換是不以預先規定一組數據結構定義為前提的。

4.Web Services技術。用Web Services可以方便地集成物流行業的異構系統，在不需要對原有系統進行修改、不影響原有系統功能的情況下，只要在原有系統的基礎加上一個SOAP接口，就可以將現有的、用不同技術實現的系統互聯起來，提供相互的數據交流和訪問操作。在面向物流的信息集成過程中，既有一些原有的Web Services可以通過集成平臺集成進來，也可以由集成平臺提供新的Web Services以供用戶使用。

5.網格技術。數據網格是在網格環境下通明訪問異構數據資源的新的體系結構。數據網格主要解決數據密集型計算應用中如何方便高效地使用分布式數據資源的間題。其研究內容主要集中在廣域、異構、分布環境下如何對數據進行管理，如何從地理分布的各種異構數據資源中獲取數據，并通過地域分布的協作和處理，如何從數據源中獲取有用信息。因此該技術對今后的物流信息集成非常有用。

四、結束語

物流，作為一個正在迅速成長的行業，其信息化的應用自然成了一個熱點。如何利用眾多IT行業的新技術為物流信息化服務，是非常具有挑戰性和實際意義的。本文結合目前的集成新技術，提出了利用數據倉庫與聯邦技術結合為核心的物流信息集成方法。今后相應的集成辦法也將隨著IT技術的發展，會與網格等新技術有更多的融合。

本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。