企業數據倉庫建立與應用

摘要：企業級數據倉庫如今在各個行業都已經廣泛應用，國內各行業的大型企業已經開始重視分析性業務系統的戰略布局，并將企業級數據倉庫產品的選型列為重中之重。大型企業的數據倉庫系統需求基本上都具有大數據量、高性能、高可用性、可擴展性、靈活性、易于管理等特點。本文以大慶油田物資公司構建數據倉庫的案例為基礎，對籌建數據倉庫決策支持系統的優化解決方案進行了初步探討。

關鍵詞：數據倉庫、決策支持、聯機分析處理、數據挖掘

大慶油田物資公司，是油田唯一的專業化物資服務保障單位，主要負責油田生產建設所需的一、二級物資集中采購、倉儲、供應和物流服務。隨著數據庫技術的迅速發展以及ERP系統、中油合同系統、物采系統等各種業務系統的廣泛應用，物資公司積累的數據越來越多。激增的數據背后隱藏著許多重要的信息，管理層希望能夠對其進行更高層次的分析，以便更好的利用這些數據。目前的各種應用系統可以高效地實現數據的錄入、查詢、統計等功能，但無法發現數據之間存在的關系和規則，無法根據現有的數據預測未來的發展趨勢。正是因為缺乏挖掘數據背后隱藏知識的手段，從而導致了“數據太多，信息不足”的現象。因此，物資公司數據倉庫的建立與應用已經成為必然。

一、理解物資系統數據倉庫

在物資公司單個業務單元中，基于ERP系統、物采系統、中油合同等各種操作型系統的數據應用已經存在很多年了。管理人員經常會理直氣壯地問為什么現存的系統不夠用呢？要回答這個問題，需要闡明與數據倉庫相關的風險和收益。首先，考慮面臨的風險，很少有人理解操作型系統與決策支持系統的差別;很難將數據集成帶來的收益概念化和具體化;由于靜態報表已成為標準，用戶很難適應交互式的數據界面;很難在整個項目周期中都得到普遍的支持。接著，考慮潛在的收益，數據倉庫將會提供毫無疑義的數據集成，確保整個物資系統的數據真實性和一致性;聯機分析處理系統（OLAP）將通過一個生動并且易于使用的界面給高層管理者提供新奇的決策支持透視服務;運用數據分析預處理能使業務分析專家迅速發現問題并很快建立解決方案;對服務對象和供應商會有更深的了解，利于提高物資管理項目的效率;常規報表不再需要借助于IT部門的先進的技術服務;用戶能夠獲得元數據，即關于數據的來源及數據轉換方式的信息。

1、操作型系統與決策支持系統

雖然物資管理人員經常與操作型系統打交道，但對于在整個企業范圍內提供決策支持的了解還是經驗尚淺。一個錯誤的認識是，各種業務系統已經能夠提供企業范圍的決策支持。操作型系統的設計目的在于實現數據的快速存取，任務或小數據集的快速處理。規范的關系數據庫在進行數據的插入、更新和刪除操作時能確保數據的完整性，并能優化在多表間進行數據存儲的機制。用于決策支持的統計分析需要平滑的數據以及滿足查詢的最低粒度級。

決策制定者借助于一些軟件工具進行決策，這些軟件工具可以劃分為報表、數據挖掘、統計和數據瀏覽幾個類別。報表可以發展成為總結已被充分理解的業務進程和主題的工具。數據挖掘工具和數據瀏覽工具使分析人員能夠從海量的數據集中察覺業務趨勢和發現商機。數據挖掘工具如同一個巨大的鉆取機器，它將運用成千上萬的公式法則對數據進行匯總、建模和聚合。被稱為OLAP的數據瀏覽工具能為分析人員提供聚合的數據和高效的界面，使分析人員能夠快速地操縱數據視圖和聚合層次。當你真正地建立了一個包含真實的物資業務主題數據的OLAP數據立方體并獲得成功時，你會明白這種強大的數據處理工具意味著什么。從提出問題到解答問題的間隔時間由數天或數月縮減到幾秒鐘或幾分鐘，而且用戶能夠獲得數據倉庫各個方面的一切數據，用戶參與的熱情會大大提高，企業就會迅速發現更多的商機。

2、OLAP與物資管理

所有業務都可以按層次分類，惟獨物資不可以，因為各種各樣的業務相互交叉和重疊。要駕馭這種復雜的情況，我們需要將物資按主題分組，這樣對于每個供應商會有多種解決途徑。客戶可能需要查看關于整個物資業務信息的數據。OLAP工具建立并實施業務分層結構模型，然后將它們與交叉表格匯總相結合。數據瀏覽器使用戶可以對任意兩個類別進行行列組合，然后選擇一系列度量，在矩陣中匯總。而且，用戶能夠在層次之間進行上下鉆取，以獲得擴展或聚合的數據。這是一個強有力的信息展示器，它能令用戶憑借標準的、基于代碼的統計和查詢工具在所允許的小片時間內迅速解決一系列問題。

建立OLAP交叉表格數據結構有多種途徑，包括按關系數據表存儲，創建專用的多維數據結構，以及建立基于需求的虛擬交叉表格。商業軟件既有在客戶端處理的應用，又有在服務器端處理的應用，目前許多軟件還能提供網絡接口。擁有網絡接口的服務器端執行軟件要比多用戶客戶端執行的軟件廉價，而且能對服務器資源起到調節作用，獲得更高的執行效率。

二、建立數據倉庫需求

近年來，國內物資行業發展很快。物資企業在發展到一定規模時，企業內部的復雜性增加，客戶、供應商資源也在不斷擴大。企業要想在復雜的環境中獲得成功，管理者就必須能夠從宏觀上和微觀上控制極其復雜的商業結構。數據倉庫的建立，能使管理者獲得有關決策的信息，形成了完整的物資服務供應鏈，從整體上降低了運營成本，而且提高了工作效率。面對快速更新的物資行業的挑戰，數據倉庫為大型物資企業提供了一種具有戰略優勢的解決方案。

1、確定核心業務

進行數據倉庫可行性分析，首先要確立核心業務。需要主要業務負責人參與需求調查，主題是關于決策支持所需的高層信息。在此次調查過程中，調查小組將確立幾個關鍵性的領域，如業務實際利益、數據獲取、企業文化、領導等。主要問題通常包括：

列出3個你最需要作出的決策？

作出這些決策你需要哪些報表和工具？

獲取新系統信息的最關鍵的益處在哪里？

什么樣的信息、計算、聚合可能提高你制定決策的水平？

你運用業務系統進行信息分析的可能性有多大？

2、數據源分析

在對管理人員進行調研的同時，要開展數據源分析，包括定義數據目錄和數據清單。數據目錄用于確定哪些數據適合進入數據倉庫，應包括各個信息系統的詳細內容及結構信息。數據清單的主要目的是將當前數據源與預期信息需求進行對比。現存信息系統數據加載數據倉庫的主要問題有：

在多個應用中使用同一個主題的數據

一些應用包括空的數據結構

系統沒有集成，無法自動進行數據的更新、轉移和載入，產生數據碎片和數據不一致的現象

多種多樣的和不兼容的數據結構使相似的數據結合起來很困難，有時甚至不可能結合起來

3、選擇主題領域

基于如下因素，可以開發并優化一組潛在主題領域：

期望利潤——通過實施一個主題領域，在客戶滿意度、企業收益和運營效率方面，系統取得的定量的和定性的利潤

數據裂縫——實施一個主題領域所需數據與可支配數據之間的差異

復雜程度——為一個特定的主題創建一個有效的設計方案所需的努力

實施風險——當組織準備充分并具備運營能力，而且所需的系統界面齊全，時間安排得當，廣度和深度比例適當時，實施一個特定的主題領域會相對容易一些

通常，最好的主題領域具有最大的潛在利潤和最少的風險因素。對業務的深思熟慮會讓我們放棄一個顯而易見的決策。另外，你必須時刻牢記在心的還有，如果不存在業務對數據的強烈需求，那么數據就毫無價值。企業高層管理者們通常指定一個部門，這個部門將擔負起選擇第一個主題領域的任務。為了確定最佳的選擇，他們列出了潛在主題領域的主要維度的清單，按照期望利潤、數據裂縫、復雜程度和實施風險四個類別進行評分，最后計算總分。基于這個分數卡，再對各個主題領域進行分析和定級。通常選出得分最高的三個主題領域進行深層次的分析，從中確定主題領域。主題領域可以設定為采購人員行為報表，因為采購人員最終對物資質量負責，并對采購成本有巨大的影響作用，于是采購人員業務行為方式自然而然地成為了一個邏輯控制點。按照一致贊同的規則，再進一步論證將采購人員行為報表作為第一個主題領域的合理性。然而，這項決定可能沒有引起人們充滿激情的或持久的支持。可見，要想成功，對這個初始決策的支持必須來自于最高層管理者。

三、組建開發小組

給數據倉庫項目配備人員最重要的一個方面是為項目建立一個堅實的業務核心。有調查顯示，數據倉庫由IT部門運作比那些由商務引導的部門運作失敗的幾率要大的多。IT人員是必須參與的，但決不是項目的主要驅動力。應當清楚小組的真正靈魂在于那些既掌握數據倉庫技術，又透析物資管理進程的人。

四、結語

數據倉庫項目開發的一個最基本的目標是：建立一種機制來擴大項目支持者的隊伍，同時投資又不能大幅度增加。如果你已經將前期努力凝聚在一個選定的主題領域上，并期望它能成為在后續的生命周期中前進的穩固的基石，那么你的方向是正確的。然而，即使你進行了謹慎的規劃，采用了并行的時間表，而且有可以參考的文檔和方法，數據倉庫項目開發仍是一項極具挑戰性的任務。

如果你的數據倉庫不是由一個重大而且合理的需求驅動的，那么就不值得去投資。“建立它，你所需要的信息就會來”的途徑是一種缺乏解決方案的技術，它對70%的數據倉庫項目失敗負有直接的責任。數據倉庫是一種業務工具，它的真正價值只能由業務來決定。過去人們曾進行過許多將決策支持技術轉向用戶的嘗試，然而成功的情況很少，因為那些努力是基于傳送的數據能夠應用的這個假設之上的。雖然這個意圖是無可挑剔的，但它作出了兩個假定，假定一個給定的業務領域能從一個系統的角度充分地理解了自身的目標、需求和進程，進而定義出有用的規則方法;它還假定這個主題領域能像組織一樣接受信息、分析信息、交流信息和對信息采取行動。可以看出，數據倉庫要想成功，組織必須放開眼光，從一個文化的角度去斟酌機遇，去發展有創造性的解決方案，并隨時準備采取行動以推動所需的變革。

參考文獻

[1]中國物流與采購聯合會 ?中國物流平臺發展報告（2018-2019） ?中國財富出版社.

[2]W.H.Inmon著 王志海譯 ?數據倉庫 機械工業出版社

[3]Pang-NingTan等著 范明、范宏建等譯 ?數據挖掘導論 ?人民郵電出版社

作者簡介：姜濤，1976.11 ，男，漢，山東省萊州市 ，工學學士，大慶油田物資公司信息中心軟件室項目長、高級工程師，研究方向：軟件設計、開發