基于數據挖掘的商務智能系統的設計與實現

摘 要： 信息系統逐漸活躍在各大企業的管理系統中，幫助企業解決日常事務，但由于其相互獨立，集成度不夠高，給企業產生了海量的歷史數據旦無法充分利用。針對上述現象，通過對企業的經營和業務活動進行分析判斷，使分散在企業各個系統中的信息有機集成，并且結合恰當的分析模型和算法，利用現有的企業信息庫為企業的發展和市場競爭提供有效的企業參考，提高企業的競爭力；通過分析企業采取和最終實施商務智能的系統全過程，重點介紹企業基于報表系統的領導決策系統的構建過程，為其他企業提供了寶貴的借鑒案例。

關鍵詞： 數據挖掘； 報表系統； 商務智能； 數據倉庫； 聯機分析處理

中圖分類號： TN915.09?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2016）11?0152?04

Abstract： The information system is gradually active in the management system of various large enterprises， and helps the enterprises to solve the daily affairs. However the information system is mutually independent， and its integration is low， so the enterprises can′t make full use of the massive historical data. In view of the above phenomenon， the enterprise′s management and business activities are analyzed and judged to integrate the information dispersed in various systems of the enterprises. In combination with the appropriate analysis model and algorithm， the existing enterprise information database is used to provide the effective enterprise reference for enterprise development and market competition， and improve the enterprise competitiveness. The whole process to finally realize the enterprise， bussiness inteligence system is analyzed. The constructure process of enterprise′s leader decision?making system based on report system is introduced emphatically， which provides the valueble reference case for other enterprises.

Keywords： data mining； report system； business intelligence； data warehouse； OLAP

面對瞬息萬變的市場，有許多問題需要企業的生產經營者去調查、分析、研究[1]。為了應對激烈變化的市場環境，企業開始充分利用信息技術提高其競爭力，各種信息系統，如CRM，ERP，EIS開始在企業中得到廣泛的應用。雖然這些系統能夠滿足企業日常事務性工作的需要，但是各信息系統之間相互獨立，關聯性并不強，各系統對與企業多年經營積攢下來被束之高閣的海量數據的處理，以及及時、準確的商務分析力不從心，無法為企業的管理和決策給出指導性建議。

1 系統需求分析

1.1 現狀分析

研究企業已經通過使用Office Automatic System、用友NC財務核算系統以及U9報表填報系統等系統，基本上實現了辦公的自動化、信息化[2]。而研究企業是一個有著20多家項目公司的大型企業，項目公司分布廣泛，管理層級多，大部分核心業務數據仍停留在手工采集、匯總、分析的階段，同時多年來運營積累下來的歷史數據量較大，以各種形態散落各處，無集中管理，數據梳理較難，無法將數據變成信息或知識，無法對未來的經營預測、戰略決策提供支持。本系統利用數據統計管理平臺，以報表形式收集下屬項目公司的填報數據，實現總部與下屬公司之間的辦公自動化和信息化；BI系統通過對收集到的數據進行分析加工，最終利用BI分析工具加以展現。生產經營管理系統利用數據統計管理平臺收集填報報表數據，實現各業務部門報表數據收集統計業務，將數據加工后在領導決策分析平臺（BI分析工具）加以展現分析[3]。

1.2 數據統計管理平臺

數據統計管理平臺采用的是IUFO報表系統，實現各部門及下屬項目公司日常填報數據管理，將管理人員從大量的數據收集、整理工作中解放出來，有效地提高了工作效率[4]。

1.3 領導決策分析平臺

BI系統實現對收集到的數據進行有效的統計分析，對公司決策工作起到輔助決策作用[5]。整個系統的功能模塊劃分如圖1所示。

決策分析系統由8部分組成。首頁主要分析的內容是公司總體的新簽合同額、完成投資額、利潤總額的計劃執行情況，同時了解下屬項目區域分布情況，查看不同區域項目重點指標完成情況；綜合分析模塊是對公司總體情況進行計劃和分析的模塊；之后的板塊經營分析、財務分析、在建項目分析、運營項目分析、地產項目分析都是針對R企業某一特定經營項目的分析；系統管理模塊是專門為系統管理員單獨設定的一個模塊，管理員可利用這一模塊對整個系統進行維護和更新[6?7]。

2 系統詳細設計

2.1 報表服務設計

根據研究企業的業務需求，報表服務設計選擇的是固定式報表服務，應能支撐查詢分析所需的報表功能[8]。報表服務具有以下功能和要求：

（1） 應完全針對國內報表的需求設計和開發。做到美觀、直觀、簡單和實用。

（2） 除了支持常規BI報表的功能以外，還應有獨創的報表功能。

（3） 可視化操作，設計和預覽應在同一個頁面上進行，以拖拽的方式設計報表，做到真正意義上的“所見即所得”應用。

（4） 支持”業務視圖”。能夠保證從業務角度訪問、使用和分析數據，將數據庫和數據的復雜性隱藏在業務視圖之后。

（5） 支持報表模板功能，可以自定義模板，也可以將報表轉化成模板。

（6） 支持”自由鉆取”。自由鉆取是數據鉆取（Drilldown）功能的擴展。通過自由鉆取可以將數據、文檔、圖片、視頻等一切電子形式的內容相互關聯。

（7） 具有更強的交互功能。通過動態參數、提示篩選、上下文自動計算等功能，增強了報表的交互能力。

（8） 擁有豐富的圖表功能。常用的統計分析圖表被固化在報表中，可以隨時隨地生成直觀的圖表。

（9） 支持OLE，可與Microsoft Office等軟件相互嵌套。

（10） 具有豐富的格式和樣式設置。格式和樣式（包括報警）的設置參考了Excel的實現方式，從而滿足絕大多數用戶的使用習慣。

（11） 支持自定義函數。預定義報表除了包括數據庫的內建函數和擴展的函數之外，還支持用戶自定義函數功能。用戶可以根據需要創建自己的計算函數。

（12） 嚴格的數據安全控制。支持行級的數據訪問權限，并可以通過數據庫視圖和業務視圖兩條途徑實現數據訪問權限的設置。

2.2 數據倉庫設計

（1） 數據倉庫（高層模型）概念模型

概念模型設計要完成的工作有界定系統邊界、確定主要的主題域和內容。

界定系統邊界。研究企業是一家大型投資企業，所包含的業務分類也很多，決策分析時，對不同業務的審查需要不同的數據，例如，對運營項目審查時，就要對下列信息進行分析：項目年度經營計劃表、吞吐量情況表、項目基本情況表、采購分析表。所以把系統邊界定為研究企業所經營的范圍內的各分公司的經營信息：分公司基本信息、分公司經營計劃、分公司經營情況、分公司財務數據等[9]。

確定主要的主題域和內容。系統邊界界定之后，根據各分公司經營項目的不同，將其分為四個模塊：板塊經營分析、在建項目分析、運營項目分析、地產項目分析。按用戶要求，本文將財務數據和綜合分析單獨存放，作為額外兩個主題域：財務分析和綜合分析。

（2） 數據倉庫（中層模型）邏輯模型

中間層邏輯模型是對高層數據概念模型的細分，在高層數據模型中所標識的主題域都需要與一個邏輯模型相對應。通過中層邏輯模型的設計，可以向用戶提供一個比概念模型更詳細的設計結果。在這一步主要進行的設計有：豐富和分析主題域；粒度的確定；數據分割策略的確定；關系模式的定義；記錄系統的定義。

本文將整個時間粒度劃分為日、周、月、季度和年，其中月、季度和年是所有報表都有的粒度，而周和日粒度是某些報表特有的粒度。系統主要按照業務板塊進行討論與開發，所以，在數據分割這一塊也按照板塊來劃分數據存儲單元，即按照板塊分析、在建項目分析、運營項目分析、地產項目分析和財務報表分析劃分。之后，再根據不同板塊的業務需求，以各版塊的數據報表來劃分。

（3） 數據倉庫（底層模型）物理模型

在綜合考慮了研究企業服務器的存儲空間利用率、購置的成本、存取的速度以及維護的代價后，本文采用了目前比較通用的容錯結構廉價冗余磁盤陣列（Redundant Array of Inexpensive Disk，RAID5）。RAID5通過某種算法決定某組數據塊的校驗塊的存放位置，正是這樣的結構，保證當某個磁盤故障時不會丟失數據，而且其讀取速度較快，但是寫入速度由于校驗過程會受到輕微的影響。

2.3 數據的組織結構

根據之前數據倉庫的設計，可以根據事實表與維度表的外鍵關系設計出OLAP過程中的重要組成部分——數據立方體。由于所有的事實表都有四個維度表：時間維度表、指標維度表、項目維度表、單位維度表，由于決策一般用到一級指標，但是二到四級指標也都是最終分析轉換為一級指標的依據，這里使用四級指標，所以，立方體的維度為四級指標，月份和項目公司，如圖2所示。

3 系統開發與實現

3.1 數據倉庫

系統的數據準備過程是從IUFO數據報表系統后臺數據庫中抽取數據，進行一定的處理（將不同時期的數據進行統一定義、通過以單位等）存入中間表中。系統可以從各個數據庫表中抽取數據，經過特定的Query查詢語句，把相對應的數據存入到相對應的維度表中，在數據統計管理平臺后臺數據庫中，DW_Rport中存儲了各報表的關鍵信息，而DW_Rport_Item中存儲的是相應報表的具體數據項。需要把原始報表存入臨時表temp_report_ distinc中，之后進行初始化操作。然后，把數據格式、名稱、時間格式等進行標準化處理，為轉換階段做好準備并且刪除掉重復的數據。處理完數據之后，系統中的維度表已全部生成，數據也全部導入到臨時表temp_report_distinc中。

3.2 聯機分析處理

（1） Data Cube優化

由于本系統就單個項目公司來說，所要填報的報表就有上百張，況且研究企業的項目公司多達幾十家，所以總共的報表就有上千張，要在這么多報表中進行聯機分析，必須對既有的分析框架結構進行優化，以提高總體的分析效率，減少報表之間的重復查詢。

① 排序、分組和散列。將所有維度表進行排序、散列和分組，使維度表有順序的集成，以便于相關的元組數據重新排列和聚集。

② 把中間結果同時緩存和聚集。用之前計算的較低層次的結果計算較高層次的數據，而不是從最底層的數據開始計算，減少了輸入輸出次數，增加了效率。

③ 當存在多個維度時，從最小的維度開始聚集。比如說項目中報表的經營計劃表，分為月、季度、年三個類型，若要計算經營計劃表，那么最有效、最直接的方法就是從月度開始聚集。

（2） 部分物化視圖的實現

在進行部分物化之前，從系統的主要數據類型確定如何建立物化視圖，分析平臺的數據都是由數據統計管理平臺得來，而數據管理平臺的數據不外乎兩種，數值型數據和文字型數據，所以，選擇數據泛化的方向為面向屬性的泛化。

（3） 數據立方體的計算

采用多維數組作為基本數據結構，計算整個數據立方體，將數據分成三塊，按時間維度，項目維度和指標維度聚集，并把按各維度所分的塊再細化，時間維度塊又分成月、季度和年維度分別聚集；項目維度塊分成企業下的各項目公司分別聚集，并將這些小維度塊排序，使這些維度塊的被訪問次數降到最低，以減少內存的占用和輸入輸出開銷，最后將時間維度和項目維度聚集完的總聚集塊作為指標維度聚集的基礎，從而提高OLAP的分析速率。

3.3 數據挖掘

C4.5算法用信息增益率選擇屬性，在構造過程中進行枝剪，增強了對不完整數據處理的能力以及對連續屬性的離散化處理，基于這些優點，本文選擇C4.5作為數據挖掘的算法。C4.5用信息增益率函數作為屬性選擇的標準，定義如下：

C4.5算法產生的分類規則易于理解，而且準確率很高，誤差比較小，整體預測效果比較理想，它所要求的樣本數量比較龐大，可以避免因數量收取過少而產生的偏差，同時能夠充分利用數據倉庫龐大的數據資源，適應性比較強，基本滿足了決策者對屬性選擇的要求。

3.4 系統界面

（1） 數據統計管理平臺界面

將企業原有的數據填報平臺NC系統與IUFO數據統計平臺系統相對接，展示在一個界面上是本系統實現的一個特點，充分考慮到建設原則中的兼容性這一原則。

（2） 首頁

將之前設計好的表格改成折線圖，這樣的設計，使登陸者一目了然，迅速獲得企業經營狀態。

（3） 綜合分析模塊

綜合分析模塊把企業決策者重視的指標，即新簽合同額、完成投資額、利潤總額、歸屬母公司凈利潤，包括年度、季度和月度的指標顯示于圖上，以便于公司高層能夠先從整體上掌握整個企業的營業狀況。

（4） 運營項目分析

運營項目下又分為多個部分，包括完成投資額、建安工程費、交母公司現金總額、融資額和回收款，這些項目又分為年度、季度和月度，可以根據決策者的需要點擊標簽，切換時間維度的分析。

（5） 地產項目分析

地產項目分析模塊也分為多個部分，包括投資額、新開工面積、銷售面積、銷售額、回款額以及營業收入，這些項目也分為年度、季度和月度，可以根據決策者的需要點擊標簽，切換時間維度的分析。

4 結 論

通過對研究企業經營現狀的分析，在明確了企業實際業務需求的基礎上，集中圍繞著BI的核心技術（數據倉庫），聯機分析處理和數據挖掘進行設計，開發過程中對企業的業務邏輯進行了梳理，并且合理地設計了系統各功能模塊的劃分及其模塊的主要內容，并且根據企業高層領導的決策需求，設計了合理的數據集合，抽取以及展現的過程，最終實現了領導決策分析平臺和數據統計管理平臺。數據管理平臺的使用，使得數據來源集中化，數據格式規范化，同時，其精確的數值也為領導決策平臺提供新的可靠保障；領導決策平臺的使用實現了企業的無紙化辦公，更加能讓用戶不限時間地點的掌握企業的運營狀況，能夠對企業運營當中突發的事件作出快速的回應，從而大大地提高了工作的效率。

參考文獻

[1] 張美虎，陳網鳳.基于ERP的商務智能系統的設計[J].牡丹江教育學院學報，2008（6）：107?108.

[2] 程蕾，程鵬.知識管理與商務智能整合思考[J].情報科學，2012，30（7）：1084?1087.

[3] 張哲，戎立.商務智能技術及其應用[J].中國商界，2010（9）：318.

[4] 牟少霞.基于智能終端的移動電子商務商業模式研究[D].濟南：山東師范大學，2014.

[5] 夏國恩，金煒東，張葛祥.商務智能在中國的現狀和發展研究[J].科技進步與對策，2006（1）：173?177.

[6] 劉澤.我國企業應用商務智能的現狀、挑戰與對策研究[J].科技管理研究，2012（2）：34?37.

[7] 郭星明，何勇.商務智能本體云架構設計[J].電信科學，2011（11）：35?40.

[8] 譚有福，岑賢生，王詠梅，等.下一代商務智能的研究與設計[J].廣西輕工，2011（8）：122?123.

[9] 屠建平，楊雪.基于電子商務平臺的供應鏈融資模式績效評價研究[J].管理世界，2013（7）：182?183.

[10] 陳小燕.機器學習算法在數據挖掘中的應用[J].現代電子技術，2015，38（20）：11?14.