[摘 要] 隨著零售行業的迅猛發展,競爭日益激烈,如何降低運營成本、最大限度滿足消者購物需求成為大多數企業面臨的考驗。通過對數據倉庫、OLAP及多維數據模型的論述,實現了基于零售系統決策支持的數據倉庫,使其能夠更充分地了解客戶需求,協助企業做出決策,以提高其自身競爭力。
[關鍵詞] 數據倉庫 OLAP 多維數據模型
隨著商品經濟和電子商務的飛速發展,銷售系統數據庫中存放了大量關于商品銷售情況的數據,這些數據為企業提供了更深入了解客戶需求信息和購物行為特征的參考信息,但傳統的應用環境不能完全地滿足這樣的需求,隨著數據庫及相關技術的發展,通過將數據倉庫、數據挖掘與聯機分析處理技術三者的結合,利用企業內部的海量數據,挖掘出有價值的知識和規則,則可以幫助和支持企業決策,提高企業的決策力和競爭力。
一、數據倉庫(DW)
數據倉庫用于支持決策,面向分析型數據處理,它不同于企業現有的操作性數據庫;數據庫是對多個異構的數據源有效集成,然后按主題重組,并包含歷史數據,而且存放在數據倉庫中的數據一般不再修改。數據倉庫具有以下幾個特點:
1.面向主題的
操作型數據庫的數據組織面向事務處理任務,各個業務系統之間各自分離,而數據倉庫中的數據是按照一定的主題域進行組織,如顧客、商品、供應商、銷售組織。數據倉庫關注決策者的數據建模與分析,而不是集中于組織結構的日常操作和事務處理。數據倉庫排除對于決策無用的數據,提供特定主題的簡明視圖。
2.集成的
數據倉庫中的數據來自多個外部應用系統或本系統中不同的使用部門,數據的組織結構會有所不同,因此需要對來自多個數據源的數據進行清理和集成,確保命名約定、編碼結構、屬性度量等的一致性,有力地克服了基于關系數據庫決策支持數據分散且不易集成的缺點,并支持聯機分析處理。
3.數據倉庫中的數據是不可更新的
數據倉庫中的數據主要提供企業決策分析之用,主要的操作是查詢,一般不執行修改,但在需要進行新的分析決策時,可能需要進行更新或刪除數據,這是由數據篡改庫管理員后臺實現,終端用戶不允許操作。
4.數據倉庫中的數據隨時間不斷變化
可以進行增加新數據、刪除舊數據、更新與時間有關的一些綜合數據。
數據倉庫不同于數據庫,兩者的應用層次不同,傳統數據庫用于事務管理,數據倉庫用于決策支持、決策分析,是建立決策支持系統(DSS)的基礎,數據庫為數據倉庫提供數據是數據倉庫的基礎。
二、聯機分析處理(OLAP)
如果要有效地利用DW中的信息資源,必須有強大的工具對信息進行分析和決策,OLAP就是一個得到廣泛應用的數據倉庫技術。它專門用于支持復雜的決策分析,是支持信息管理和業務人員決策活動的一種決策分析工具,它可以根據分析人員的要求,迅速、靈活地對大量數據進行復雜的查詢處理,并以直觀、容易理解的形式將結果提供給各種決策人員,使他們迅速、準確地掌握企業的運作情況,了解客戶和市場的需求。
OLAP是多維數據存儲,通常將三維立方體的數據進行切片來顯示三維的某一個方面。OLAP的多維分析突破了三維概念,采用旋轉、潛逃、切片、鉆取和三維可視化技術并在屏幕上展示多維視圖的結構,使用戶直觀地理解和分析數據以及進行決策支持。
OLAP有兩個特點,一是在線,表現在對用戶的請求快速響應和交互操作,由客戶機/服務器體系結構完成的;二是多維分析,這則是聯機分析處理的核心。
三、多維數據模型
數據倉庫的數據組織方式可以是關系數據存儲的也可以是多維數據立方體,最常用的是多維數據模型。數據倉庫和OLAP工具都基于該模型,該模型將數據看做數據立方體形式,由維和事實定義,提供多維視圖,并允許預計算和快速訪問匯總的數據。
通常多維數據模型圍繞中心主題組織數據,包括事實表的名稱、度量以及每個相關維表的關鍵字。當利用數據展現工具確定要觀察的維和度量值后,展現工具利用事實表與維度表的關聯字段找到各維表的相應值,把它們作為用戶分析數據的角度,再根據事實表中的度量值進行統計,最后得到用戶想要得到的數據。
在零售決策支持系統中,多維數據庫是建立在數據倉庫之上,是實現OLAP的數據引擎,確定多維數據庫的維數和維的內容是多維數據庫設計的關鍵。根據決策需求,可以設計如下:分類、品牌、供應商、時間、地區,實際是對數據倉庫主題域的局部細化,各維匯總層次的劃分可以根據零售決策需求靈活定義,形成多層系的匯總。
四、實例說明
以普通商場為例,研究幾個數據倉庫技術的主要環節。
1.需求分析
(1)銷售毛利分析:可以從商品分類或柜組的角度,對銷售額、成本、毛利、毛利率進行分析。
(2)商品銷售與毛利排行:將某分類或柜組的商品進行銷售或毛利指標排序。
(3)銷售趨勢分析:從商品分類或柜組的角度,分析在一個時間階段內,銷售額、毛利、毛利率的走向趨勢。
(4)供應商銷售分析:按照商品供應商的角度,對各供應商的銷售、毛利進行分析,并對供應商的指標以分類逐步深入鉆取,比較一個供應商的經營業績是由哪些分類的商品組成。也能比較同類或同柜組的商品有哪些供應商在供貨以及經營狀況。
2.設計方法
數據倉庫的建立是在原有數據庫的基礎上進行的,設計可以采用自底向上的應用驅動方法來實現:選擇來自不同事務系統的數據源通過整理和傳送,加載到數據倉庫數據庫,并不斷根據不同的應用,向混合數據載體中添加越來越多的數據源,最終達到覆蓋所有數據資源而完成數據倉庫數據庫構筑的目的。
3.數據倉庫的建立
(1)概念模型的設計。概念模型主要是對原有數據庫中數據進行分析,界定系統邊界和確定主要的主題域。數據倉庫是面向主題的,零售系統數據倉庫的主題可以從銷售主題、庫存主題和采購主題這三方面來考慮。
(2)邏輯模型的設計。邏輯建模是數據倉庫構筑中的重要環節,在本零售系統的中,包括粒度的選擇、關系模式定義和提煉表中數據。邏輯結構模型主要有星形模型和雪花模型。本例中,筆者認為應采用星形模式建模,這種模型交叉點少,通過使用一個包含主題的事實表和多個維度表來執行典型的決策支持系統查詢,同時它針對“維”做了大量的預處理,查詢速度非??臁J聦嵄砜煞譃樯唐愤M銷事實表,維度表為商品維度表、時間維度表、供應商維度表、地區維度表、品牌維度表和柜組維度表。
(3)物理模型設計。包括確定數據的存儲結構、確定索引策略(對大記錄數的表如商品銷售明細、分類銷售明細表等建立索引,以獲得最大的查詢功能)、確定數據存放位置和確定存儲分配。
4.數據倉庫的生成
數據倉庫中存有大量的歷史數據,以及當前細節數據、輕度綜合和高級綜合數據,以滿足決策者對不同時間和不同力度層次的要求。數據的來源可以是企業內部或外部,常常是由不同的數據系統、操作系統及應用生成,因此,生成數據倉庫時,最關鍵的是數據質量,使數據整齊一致。使用DTS工具進行數據轉換或數據導入/導出到數據倉庫中時,需要考慮數據提取、轉換、清理、加載和匯總這幾個過程。
5.基于數據倉庫的決策支持系統
基于數據倉庫的決策支持系統設計的具體的步驟是:存放于各柜組(店鋪)的數據通過DTS被抽取到ETL數據庫(SQL Server),數據在ETL數據庫中完成清洗和轉換,再通過DTS加載到倉庫數據庫(DB2),數據進入倉庫數據庫后按維度和事實存放,通過DTS調用把倉庫數據按主題裝載到多維數據庫(ESSBASE).TONGUO HPs Server發布編譯好的決策支持分析系統腳本,通過Web服務器,用戶就可以使用瀏覽器訪問決策支持系統并分析瀏覽數據了。
可以采用DB2數據庫作為倉庫數據庫,ESSBASE產品作為OLAP分析工具,微軟DTS工具作為ETL工具,開發模式選擇B/S模式。
五、結束語
數據倉庫的根本任務是把數據加以整理歸納,并及時提供給相應的管理決策人員,供他們做出改善其業務經營的決策,使信息發揮作用,支持決策。在零售系統或電子商務中,根據企業自身的發展需求建立數據倉庫,將數據倉庫、聯機分析處理和數據挖掘技術相結合,有助于發現客戶購買模式和趨勢、提供可靠的貨物進銷比率、控制庫存及降低商業成本等,對企業經濟效益的提高具有舉足輕重的作用。
參考文獻:
[1]牛 莉:中小企業數據倉庫的構建與應用[J].華南師范大學學報,2007,(02)
[2][美]W.H.Inmon,R.H.Terdeman,Joyce Norris-Montanari,Dan Meers 電子商務中的數據倉庫技術[M].北京:機械工業出版社,2004