基于數據倉庫的商務智能經營系統設計與實現

摘 要： 信息技術已經使企業的經營環境發生了革命性的變化，各大企業開始尋找利用信息技術提高競爭力的方法，CRM，ERP，EIS等信息系統滿足了企業日常事務性工作的需要，但是給企業產生了海量的無法利用的歷史數據。商務智能系統通過對企業的經營和業務活動進行分析判斷，使分散在各個系統中的信息有機集成，并且結合恰當的分析模型和算法，利用現有的企業信息庫為企業的發展和市場競爭提供參考，提高企業的競爭力。詳細分析公司運用和實施商務智能系統的案例，重點介紹了公司基于商務智能生產經營分析系統的設計與構建過程，為大型國有投資企業的應用和部署提供了商務智能的借鑒實例。

關鍵詞： 商務智能； 數據倉庫； OLAP； 數據挖掘

中圖分類號： TN911?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2016）15?0140?05

Abstract： The information technology has made the business environment of the enterprise change drastically， so the major enterprises start to seek the method using information technology to improve the competitiveness. The information systems of CRM， ERP and EIS can meet the need of enterprise′s routine work， but bring in the massive and unavailable historical data to the enterprise. The enterprise′s management and business activities are analyzed and judged through the business intelligence system to integrate the information scattered in various systems organically. In combination with the proper analysis model and algorithm， the available enterprise information base can provide a reference for enterprise development and market competition， and improve the enterprise competitiveness. In this paper， the case of using and implementing the business intelligence system by the enterprise is analyzed in detail， the design and construction processes based on business intelligence production and management analysis system are introduced emphatically. The system provides the reference instance of business intelligence for the application and deployment of the large?scale state?owned investment enterprise.

Keywords： business intelligence； data warehouse； OLAP； data mining

0 引 言

隨著信息技術的高速發展，電腦和網絡成為企業辦公必不可少的一部分。信息技術已經使企業的經營環境發生了革命性的變化，各大企業已經開始尋找利用信息技術提高競爭力的方法。各種信息系統如客戶管理系統（CRM）、企業資源企劃（ERP）、主管信息系統（EIS）等開始活躍在各大企業[1]。這些系統在滿足企業日常事務性工作需要的同時，也給企業產生了海量的歷史數據并難以利用。目前，眾多公司開始著眼于如何利用歷史數據為公司的發展服務，提高公司的競爭力[2]。

1 系統需求分析

通過與報表上報系統的合作，報表上報系統負責同公司外部的公司進行業務交流，實現企業外部辦公信息化、自動化；商務智能系統則對報表上報系統中的數據進行抽取和分析，挖掘出企業高層決策者所需決策數據，系統架構如圖1所示。

戰略規劃部、投資部、財務部等公司各部門以及各項目公司通過網絡將報表數據填報到新建立的數據管理平臺[3]。然后數據經過處理后被上傳到數據倉庫中，經過挖掘分析變成可供決策的信息，展示到公司決策者面前。商務智能系統主要分為以下三個部分：

（1） 數據源，在現有的設計中，數據源是報表上報系統的數據庫。報表上報系統從公司的各個部門以及下級單位填報的報表中獲取經營數據，存儲到報表上報系統的數據庫中。

（2） 數據倉庫，報表上報系統數據庫中的數據經過ETL工具的抽取、清洗和轉換，加載到數據倉庫中。

（3） 應用服務層，該層負責與用戶進行交互，通過OLAP和數據挖掘工具，獲取相關的經營數據和決策信息，并通過圖形、報表、數據等方式為用戶提供決策支持服務。

從圖2可以看到，整個系統功能劃分為八個部分。綜合分析是對公司整體數據進行分析展示的模塊；接下來的BT/BOT在建項目分析、BOT運營項目分析、房地產項目分析、城市綜合開發項目分析、安全質量分析都是針對公司經營的某一個板塊進行分析；資料文件下載是一個文件共享模塊，用戶可以從該模塊下載公司經營資料或者相關的政策文件；系統管理模塊是為系統管理員設定的一個模塊，管理員可以利用系統管理模塊對系統進行維護、更新操作。

2 系統的設計

2.1 數據倉庫設計

2.1.1 概念模型

概念模型是從客觀世界到主觀認識的映射，是客觀世界到計算機世界的一個中間層次，通過概念模型將客觀世界的問題用適合計算機世界的語言和模型描述[4]，該階段的任務主要有界定系統邊界、確定主要的主題域。

（1） 界定系統邊界。公司進行決策時，不同類型的投資審查需要查看不同的數據，例如，進行地產投資審查時，需要對項目基本信息、項目周期計劃表、項目經營情況表進行分析。

系統邊界定位為公司所經營范圍內各項目公司的經營信息，包括項目公司基本信息、資產信息、經營計劃、經營情況、財務數據和安全生產信息等。

（2） 確定主要的主題域。界定了系統邊界后，根據業務類型的不同，將項目公司進行歸類，確定了四個主題：BT/BOT在建、BOT運營、房地產開發和城市綜合開發[5]。另外，根據用戶需求和冗余考慮，將財務數據和安全生產信息單獨存放，作為另外兩個主題域，即財務報表和安全質量。

2.1.2 邏輯模型

在邏輯模型設計階段，主要進行分析主題域、確定粒度、確定數據分割策略、維度建模、定義記錄系統五項工作。

分析主題域，經過研討分析，按照BT/BOT在建、BOT運營、房地產開發、城市綜合開發、財務報表、安全質量的順序進行需求分析、設計和開發。

確定粒度，在進行粒度設計時，主要考慮時間粒度和板塊粒度。時間粒度劃分為年、季度、月、周和日；板塊粒度劃分為板塊、分項目（例如運營項目劃分為公路項目和港口項目）、項目公司。

確定數據分割策略，大的數據分割策略選擇按板塊進行劃分，也就是按BT/BOT在建、BOT運營、房地產開發、城市綜合開發、財務報表、安全質量這六個大的板塊進行分割存儲。然后，在板塊劃分的基礎上，考慮到業務以及數據分析的需求，按照報表進行分割。

維度建模，在BT/BOT在建主題中維度表有時間表、單位表、四級指標表以及BT/BOT在建項目表；事實表較多，有在建項目基本情況表、全項目周期計劃表、經營計劃表（分為年度、季度和月度）以及經營情況表（分為年度、季度和月度）。

定義記錄系統，數據源只有報表上報系統，數據倉庫中的表名和字段名已經和報表上報系統數據庫中的表名和字段名對應，通過名稱可以定位。

2.1.3 物理模型

綜合考慮服務器的存取速度、購置成本、存儲空間利用率以及維護代價后，選擇使用目前比較常用的數據存儲結構RAID（Redundant Array of Inexpensive Disk，廉價冗余磁盤陣列），級別1。通過磁盤鏡像技術，將一個磁盤的數據鏡像到另外一個磁盤[6]，該存儲結構的優點是容錯能力高、讀取速度也比較快。

2.2 聯機分析處理

在目前設計的數據倉庫中，每個主題都存在四個維度表：時間、單位、指標和項目（房地產主題沒有項目維度表）。一般每一個單位對應一個項目，所以，項目維度被單位維度所取代。公司決策者最常使用的是經過匯總的一級指標值，但是二到四級指標也會偶爾用到，因此，在構建基本立方體時采用的維度是四級指標值、月度、項目公司，數據立方體如圖3所示。

2.3 數據挖掘設計

（1） 數據挖掘的對象和目標

通過數據倉庫的設計，確定了數據倉庫的主題及其關鍵屬性項，通過分析發現數據挖掘的對象有數據類型單一性、數據變化相對穩定性、數據關系復雜性等特點。

根據對公司決策者的調查發現，進行決策時主要將一級指標項作為參考決定是否繼續對該項目投資，投資多少。一般，根據自己的經驗，結合相關政策事件預測該項目的發展趨勢。如果能夠對重要指標項目進行趨勢預測分析，那么對于決策的幫助是巨大的[7]。所以，將數據挖掘的目標確定為對指標項進行趨勢預測分析。

（2） 數據挖掘方法的選擇

根據公司數據特點的分析結果，選擇預測性數據挖掘作為商務智能系統的挖掘方向，同時，選擇二次指數平滑法[8]。二次指數平滑法通過歷史數據的加權平均對未來時刻進行預測。它計算簡單、樣本要求量較少、結果較穩定，而且適應性較強，比較符合對數據挖掘算法的要求。

3 系統的實現

3.1 ETL工具

在系統中，ETL分為三個處理過程：準備過程（ZJ_WF_DW_LOAD_REPORT），處理和裝入過程（ZJ_ WF_DM_LOAD_REPORT），特殊處理過程（ZJ_WF_LAOD_FLOAT_REPORT）。

（1） 準備過程。在準備過程中，ETL工具從數據源中抽取數據，進行一定的處理（統一格式、消除重復行等）后存放到臨時表中，以便進行進一步的處理和轉換。

（2） 轉換過程。在轉換過程中，將臨時表中的數據分離，存入各個板塊的主題中，以供分析決策之用。轉換過程分為三步：基本數據導入、數據計算和數據轉換。

（3） 后續處理過程。對于浮動表中的數據，存儲格式與固定行的表有差別，因此，單獨弄一個過程處理浮動表。對于每一個浮動表都有相應的Query語句進行處理。

3.2 聯機分析處理

（1） 物化視圖的具體實現

系統對業務數據采用部分物化策略。經過對決策者的實際需求和思考習慣進行分析發現，客戶經常查看的維度有時間維的年、季度和月度；指標維的一級關鍵指標和部分二級指標；單位維（項目維）的板塊維度、分項目維度以及公司維度。因此，在這些維度上進行預計算減少系統的響應時間。CUBE計算將產生以下多維聚集表，如表1所示。

在時間維上進行年、季度聚集，在單位編碼上進行板塊、分項目聚集，在指標維上進行關鍵指標聚集（新簽合同額、完成投資額、利潤總額等）。

（2） 數據立方體的優化

① 利用底層聚集計算高層聚集。通過事實表計算可以得到底層聚集。高層聚集不再通過基本的事實表進行計算，而是基于依賴關系，利用已經存在的底層結果獲取高層指標聚集結果。

② 建立索引。在聚集計算過程中，在表上建立索引可以提高記錄的搜索能力，提升系統的響應速度。

③ 緩存結果。通過緩存分組結果，其他分組可以從緩存中進行計算，進而減少I/O次數。

（3） 數據立方體的計算

采用基于依賴關系的計算方法：CUBE計算利用了計算的相互依賴關系簡化CUBE計算，提高性能。整個CUBE計算過程中，主要產生了兩個多維數據集，即[V1]和[V2。][V1]主要是在指標維度的網點級上對其他維度進行聚集（根據指標進行匯總）；[V2]主要是在項目維度上對其他維度進行聚集（根據項目對指標進行聚集）。基于依賴關系的思想，利用[V1]的計算結果計算[V2。]

3.3 數據挖掘

3.3.1 數據預處理

（1） 數據清理。首先通過各個主題域和財務報表主題存在的勾稽關系，對各個主題域中的錯漏數據進行糾正；另外，在填寫報表過程中，對于沒填的項目，將其值設置為0。

（2） 數據集成。通過將多個數據源中的數據合并存儲，能夠有效地減少數據的冗余和不一致性。ETL工具承擔了數據集成的任務。

3.3.2 二次指數平滑算法

3.3.3 數據樣本

以系統中的實際數據作為樣本進行算法預測研究。選取BOT運營主題域下的營業總成本指標作為算法的數據樣本。BOT運營板塊分為公路項目和港口項目兩種，其中公路項目下有兩家下屬項目公司：FS公司和SX公司；港口項目下有兩家下屬項目公司：YY公司和CQ公司。

根據項目種類的不同，營業總成本的下屬匯總項存在區別。對于港口項目，營業總成本下屬二級指標項為營業成本、營業稅金及附加、營業費用、管理費用、財務費用和其他費用，共由115個四級指標項匯總獲得；對于公路項目，營業總成本下屬二級指標項為營業成本、營業稅金及附加、管理費用、財務費用和其他費用，共由111個四級指標項匯總獲得。

獲取的實驗數據為2014年FS公司的營業數據（公路項目）。對于每一個四級指標項，均選取第一個實驗值為初始值，根據式（1）～式（5），首先對所有四級指標利用二次平滑法進行預測，獲得所有的四級指標預測值后，經過求和運算獲得一級指標的預測值。

3.3.4 結果分析評估

由結果可以看出，二次指數平滑的預測結果誤差比較穩定，雖然數據結果有一些波動，但是整體情況還是令人滿意的。二次指數平滑預測法計算簡單，樣本要求少，適應性很強，可以降低對服務器性能的要求，基本滿足決策者對于指數趨勢走向的預測需求。

4 系統測試

4.1 測試設計

（1） 測試準備

文檔資料：《公司生產經營管理系統需求分析報告說明書》、《公司生產經營管理系統需求調研總結》、《公司系統概要設計說明書》等。

測試環境：IBMX5服務器一臺，Windows Server 2008 R2 SP2 64位系統，4*雙核CPU 3.0 GHz，16 GB內存，硬盤1 TB。

（2） 測試過程

功能測試。驗證系統功能是否正常：鏈接是否正常工作，是否有無法顯示的頁面，圖表是否顯示正常，文件能否成功下載等。

數據驗證。驗證系統數據是否正常：數據從獲取、存儲、計算到顯示是否顯示正確。

壓力測試。驗證系統在最壞情況下的表現：當所有用戶一起登錄時系統的運行情況等，因為該系統不會被發布到Internet，所以，這里進行的性能測試都是在局域網的環境下。

4.2 測試結果與分析

整個測試工作歷時2個月，共有4位測試人員參與。測試需求總數45個，設計測試用例102個，需求覆蓋率98%，測試用例已通過的覆蓋需求總比率為95%，缺陷情況如表2所示。

經過對整個系統的測試，除了在瀏覽器兼容性方面尚存在一些問題，整個系統不管是功能還是性能均已符合要求，能夠正常上線使用。

5 結 論

商務智能經過一段時間的發展，已經度過了從知到行，從概念到實踐的階段，商務智能已然成為企業信息化下一個發展點。本文通過對公司實施商務智能系統過程的分析，圍繞數據倉庫、聯機分析處理和數據挖掘這三個商務智能核心技術，對商務智能在投資企業的應用進行了探索，為其他類似企業應用商務智能系統提供參考。

參考文獻

[1] 夏國恩，金煒東，張葛祥.商務智能在中國的現狀和發展研究[J].科技進步與對策，2011（1）：173?176.

[2] 孫海俠.商務智能系統的構架及技術支持[J].情報雜志，2012，2（1）：22?25.

[3] 宋麗麗，王嶸冰.商務智能系統的數據體系結構研究[J].遼寧大學學報，2009，36（1）：55?59.

[4] 李靜.基于數據挖掘技術的電子商務CRM研究[J].現代電子技術，2015，38（11）：126?128.

[5] 王茁，顧潔.三位一體的商務智能（BI）：管理、技術與應用[M].北京：電子工業出版社，2004.

[6] 李萍，張道宏.論商務智能的應用與架構[J].西安：西安郵電學院學報，2005（4）：8?11.

[7] 章建功.基于Web服務商務智能應用研究[D].遼寧：遼寧工程技術大學，2007.

[8] 夏春梅.數據挖掘技術在銀行信貸風險管理中的應用[J].現代電子技術，2014，37（4）：78?81.