EC環境下高性能數據倉庫平臺的設計

摘要:隨著網絡技術的發展，電子商務作為一種全新的商務模式，已經深入到我們的工作、生活當中，因而構建支持電子商務的高性能數據倉庫平臺顯得非常重要。該文以此為出發點，討論了電子商務環境下數據倉庫平臺的設計和實現，包括需求分析，邏輯設計和物理設計等。

關鍵詞:電子商務;數據倉庫;粒度

中圖分類號:TP311文獻標識碼:A文章編號:1009-3044(2009)36-10554-02

The Design of Data Warehouse Platform for EC Environment

GE Fu-hong， ZHANG Li-ping， LI Wei-min

(College of Education Science and Technology， Shanxi Datong University， Datong 037009， China)

Abstract: With the development of internet technology， e-commerce has become a new model for business and popular with us. So designing data warehouse platform for EC environment is very important. In this paper， we discuss the design of data warehouse platform for e-commerce environment， including requirement analysis， logical design and physical design.

Key words: e-commerce; data warehouse; granulation

電子商務EC( Electronic Commerce)是一種通過網絡技術的應用，快速而有效地進行各種商業行為新技術，不僅指基于Internet 網上的交易，而且指所有利用Internet、Intranet和局域網來解決問題、降低成本、增加價值并創造新的商機的所有商務活動。

電子商務作為一種全新的商務模式已深入到人們的工作、生活當中。 電子商務將信息技術和網絡技術與企業的商務活動緊緊地融合在一起，互相滲透、互相促進、實現了企業效益的快速增長。

數據倉庫是在企業管理和決策中面向主題的、集成的、與時間相關的、不可修改的數據集合。數據倉庫的根本任務是把數據加以整理歸納，并及時提供給相應的管理決策人員，供他們做出改善其業務經營的決策，使信息發揮作用，支持決策。數據倉庫在電子商務中有著非常廣泛的用途，如:客戶追蹤、控制商品庫存、減少跳線率、一對一服務、決策信息服務等。

因此，構建一個基于電子商務的數據倉庫決策支持系統，可以極大地提高電子商務企業的商業智能，從而占有更大的市場，提高市場競爭力。本文著重對支持電子商務的高性能數據倉庫平臺的設計進行探討。

1 電子商務數據倉庫平臺的設計

1.1 數據倉庫的平臺的構成

數據倉庫平臺是由硬件和軟件兩部分組成的。硬件平臺是大量數據存儲和處理的基礎;軟件平臺則用一個高效的且優化的方式來組織和管理數據。一個高性能平臺是任何一種高性能數據倉庫環境的核心。就是這種平臺決定了數據倉庫環境的處理能力和I/O速度，可以支持的用戶數，以及可以存儲的數據量。一個高性能平臺是由大量組件構成并在一條鏈中將這些組件有機組織起來。由于數據倉庫環境必須能夠隨著用戶需求的增長而增長，要能夠適應用戶需求的變化，所以性能鏈中的每個組件必須能夠支持快速增長和快速變化這種特性，保證數據倉庫平臺的可持續發展。

1.2 數據倉庫的平臺開發模型

數據倉庫設計的主要目標是確定一個模型使之能對決策支持處理進行優化，這個模型對商務分析人員必須清楚易懂，而且能夠支持高速速查詢。數據倉庫中的數據必須精確、一致、干凈。多維模型恰好能夠滿足了這些要求，可以采用星型模型來實現數據倉庫系統，那么工作的重心集中在事實表和維表的建立上，而兩者的建立主要是基于收集各種可能的OLAP(聯機分析處理)分析。圖1顯示了構建數據倉庫多維模型的過程。

數據倉庫平臺的開發過程比較復雜，因為數據倉庫中的數據是面向主題，因此其開發過程是一個數據驅動的過程，包括軟硬件配置、體系結構的設計、技術的選擇、開發環境等。本文側重介紹數據倉庫體系結構的設計，但也需要考慮到硬件對整個數據倉庫平臺性能的影響，如各種服務器的選取、數據倉庫數據庫服務器、OLAP查詢服務器、Web服務器。整個平臺使用Java為前端開發工具，微軟SQL Server 2000 為目標數據庫。

1.3 電子商務數據倉庫平臺開發過程

1) 需求分析。在實現系統之前，第一步是需求分析，它是數據倉庫設計中非常重要的一部分，尤其是電子商務環境下，因為要捕獲許多電子商務特有的數據，例如:①各種網頁數據到Web數據庫的轉變;②元數據的處理;③支持數據庫級的用戶接口(如存儲設計等);④模型的變化(如新產品，已售商品等);⑤在上下文環境下捕獲click stream 數據。

2) 邏輯設計階段。這一階段主要完成數據倉庫邏輯模型和數據倉庫體系結構的設計。通過使用多個電子商務站點來尋求具體經驗，同時模擬了許多商業場景來得出各種各樣的OLAP查詢，然后在這些查詢的基礎上進行分類，得出所需要的主題域，既要確定事實表的粒度和必要的維，又要確定維的屬性。設計時采用星型多維模型，這種數據模型直觀且簡化了數據結構，有助于提高查詢的性能。數據倉庫中的每一個主題對應于一個星型模型結構，由事實表和若干維表組成，并按不同的粒度來存儲數據。在完成數據模型的構建之后，設計如圖2所示的數據倉庫體系結構。這是一個3 層體系結構: 最底層是數據倉庫服務器，這是一個關系數據庫系統，把數據集市和元數據庫也放在這一層;中間層為OLAP 服務器，它是一種特殊的服務器，可以直接實現多維數據和操作; 最頂層主要是應用服務器，主要是商業智能應用程序，包括查詢和報告工具，OLAP分析和數據挖掘，以及各種報表生成工具。

在上面所提出的體系結構中，整個數據倉庫平臺由以下幾個模塊組成:①數據抽取、轉換和加載模塊。其功能是從各種數據源抽取所需的數據，并通過清理和轉換變成統一的數據格式，加載到數據倉庫數據庫中。這里數據源的選取和數據質量是非常重要的，數據源主要包括ERP/CRM 數據、OLAP數據、歷史數據、外部數據(如人口統計數據和心理學數據)、click stream 數據等。②元數據管理模塊。元數據是數據倉庫中最重要的一部分，只要是支持和管理數據倉庫的任何所需信息，都要寫到元數據庫中，元數據管理是控制企業數據倉庫、Web 驅動的應用程序的關鍵部分。系統實現了基于Web的數據倉庫訪問，用戶可以通過Meta data Browser 來訪問和管理元數據。③數據訪問模塊。這個模塊主要完成數據前端展現和各種OLAP 查詢、分析、數據挖掘以及各種報表的生成。④數據倉庫管理和維護模塊。這個模塊主要完成對數據倉庫的日常維護和管理，涉及數據倉庫的更新、備份，ETL規則的更新，平臺性能的優化以及數據倉庫的安全性等。

3) 物理設計階段。完成數據模型的設計后，就進入物理階段設計，主要包括數據倉庫物理模型的實現和硬件平臺的配置。這里重點考慮存儲策略和索引技術，所有表的存放都要充分利用并行處理技術和多線程技術，這樣來提高數據倉庫性能。在數據倉庫環境下，主要使用位圖索引和聯合索引。為加快今后查詢的速度，同時還建立了很多匯總表和視圖。

2 電子商務數據倉庫平臺設計中的若干關鍵問題

2.1 數據源的選取

電子商務的數據倉庫數據來源很多，數據格式復雜，例如click stream 數據、IP 地址等。如何捕獲這些數據就成為數據倉庫設計中非常困難的一點，例如如何追蹤hyperlink 鏈接。在數據源的選取過程中，要確保數據倉庫中的數據是有效性和精確性。

2.2 物理數據庫及數據模型的設計

數據模型的建立在數據倉庫數據庫構建中很重要，為了提高數據倉庫的性能，可采用非結構化的數據庫，它通過最佳優化同一個物理塊中的數據存放位置、減少頻繁的表的連接。同時采用星型模型來保存數據，圖3是設計的銷售數據倉庫事實表的一個簡化的星型模型。

Item_Key

Item_Name

Brand

Type

Time_Key

Month

Quarter

Year

Time_Key

Item_Key

Location_Key

Location Key

City

Province

Country

2.3 數據的描述和存儲策略

使用XML來描述數據，可以很方便地在各種各樣的系統中對這些數據進行互操作，而不必擔心諸如平臺、操作系統、語言、或是數據存儲等各方面的不同，這樣系統有靈活的擴展性和可移植性。數據的存儲策略及其訪問是另一個需重點考慮的問題，為了對數據進行高效地訪問和更新，對數據存放位置在物理的塊、頁一級上進行特殊的控制，并利用I/O并行性對數據并行存儲和管理。

2.4 數據倉庫的Web 訪問

所設計的數據倉庫是基于電子商務的，為了使用戶更多地了解企業，同時企業獲得更大的利益和提高效率，系統允許通過瀏覽器對數據倉庫訪問。

2.5 可擴展性的硬件體系

建立了數據倉庫體系結構后，就需要用可擴展硬件來配置數據倉庫平臺，而且隨著數據倉庫的增長，要擴增硬件配置來滿足新的處理需求。

除此之外，設計時還應該考慮查詢的反應時間、報告的反應時間、數據抽取轉換和加載的時間、數據倉庫更新和刷新頻率及其對機器資源的消耗等。

3 結束語

企業通過構建一個基于數據倉庫的電子商務平臺，可以提高商業智能，也就提高了企業的競爭力。數據倉庫系統平臺的構建是一個動態的反饋和循環的過程，是不斷循環、螺旋式上升的，要根據用戶所返回的信息不斷地調整和完善，提高系統地效率和性能，這就要求數據倉庫結構必須能夠支持不斷的更新和可擴展性需求。

參考文獻:

[1] Inmon B.Data Warehouse Performance[M].New York:JohnWileySons Inc，1999(1):121-125.

[2] 陳文平，夏紅霞.事務數據向數據倉庫轉移的方法[J].武漢理工大學學報，2002，24:18-20.

[3] 郝春吉.統計行業數據倉庫構建及應用[J].微計算機信息，2006，5(3):21-24.

[4] 夏紅霞，趙楊，鐘珞.數據倉庫中的索引技術[J].微機發展，2000，6(10):31-32.

[5] 鐘珞，馬志軍.支持電子商務的數據倉庫平臺[J].武漢理工大學學報，2003，25:16-18.