大數據時代下數據挖掘技術在企業中的應用

◆何瑞娟

（中國五礦集團公司信息中心 北京 100010）

大數據時代下數據挖掘技術在企業中的應用

◆何瑞娟

（中國五礦集團公司信息中心 北京 100010）

本文針對大數據時代背景下，數據挖掘技術在企業中的實際應用進行研究。通過中國五礦管理與決策平臺及全面風險管理系統的實踐，建立了可靈活配置的基于統計分析方法的風險計量模型，并對模型的計量結果進行回測檢驗，可依據檢驗結果對模型進行調整優化。實現了對企業各類風險的量化監控、自動預警，并對未來一段時間市場潛在的風險進行預測分析，以提高企業經營決策能力和風險前防范水平。此外，本文對大數據的分析模式及分析的關鍵領域進行了深入研究，并對未來大數據在企業中的應用進行了展望。

大數據；數據挖掘；數據倉庫；大數據應用

0 引言

本文針對大數據高速發展和經濟形勢嚴峻等背景，研究數據挖掘技術在企業中的實際應用。通過中國五礦的全面風險管理系統的實踐，建立基于統計分析方法的風險計量模型，來實現對企業各類風險的量化監控、自動預警，并對未來一段時間市場潛在的風險進行預測分析,以提高企業經營決策能力和風險防范水平。

“數據海量，知識匱乏”是大數據時代多數企業的通病。大數據時代下，數據是核心，“數字會說話”，但如何讓海量的數字會說話，并適時地說給合適的決策者，這是一個非常棘手的難題，同時也是諸多企業亟待解決的問題。

在經過多年的信息化建設后，企業往往積累了大量的業務數據，并且受阻于過量的冗余數據和口徑不一致的數據；而且它們變得越來越難于訪問、管理和用于決策支持；其數據量正以成倍的速度增長。基于數據倉庫的數據挖掘與分析迎合了這一需要，企業急需利用數據倉庫系統去整合ERP系統與其他業務系統中的異構數據，能夠在一個統一的平臺為公司各級管理層提供分析決策所需要的數據，實現數據展現靈活性，并提高數據分析利用能力。基于企業統一的數據倉庫，企業可逐步建立有行業特點的各類指標體系，以及相應的數據模型和分析方法，實現數據挖掘的規范化和流程化，實現各個層次的經營管理信息以及外部市場信息的有效集成。為各級管理者提供一個集中、統一的數據支撐平臺，并及時地、直觀地、形象地提供給相應的管理決策人員等信息使用者，支持企業的戰略、運營、財務等各方面管理能力的提升以及風險防范水平的提升。

1 數據挖掘技術在企業中的應用

1.1 管理與決策應用

中國五礦成功實施ERP系統后，積累了一定的業務數據基礎，但對于各級領導層、管理人員來說，則更需看到從業務數據中提取、分析出來的信息以便支持決策。通過對管理與決策系統的建立、優化和提升逐步實現企業各類數據的集成和共享，最終形成企業統一的數據整合平臺（即數據倉庫），并在此基礎上通過建立商業智能環境實現對信息的統計、檢索、查詢、分析與挖掘，從單一的數據查詢、統計向業務洞察和面向績效的管理方式進行轉變，提高企業整體的管理與決策水平。管理與決策系統的建設一方面是對集團公司數據的深化應用，另一方面促進了ERP系統建設成果的優化與完善，對系統數據質量與覆蓋范圍提出進一步要求，逐步幫助集團公司建立統一的數據收集、使用機制，提升集團整體數據管理水平。

管理與決策系統建設是一個長期的、漸進的、不斷優化與提升的過程，在管理與決策數據倉庫不斷發展演進的過程中逐步地擴展其對職能部門和業務板塊的支撐范圍和支持深度，實現應用能力的逐步釋放和不斷提升。目前包括集團領導管理駕駛艙、人力資源管理、可持續發展系統、投資管理系統、健康安全環保系統、全面風險管理系統等，進一步擴展了對職能的支撐范圍，提升了決策支持的能力。

以下介紹全面風險管理系統如何通過數據挖掘技術支持集團公司的風險監控以及提升風險管理能力。

1.2 系統實施的目標和主要內容

本項目以信用風險、市場風險、內部控制為重點，建設中國五礦全面風險管理信息系統，為今后風險管理打好基礎。全面風險管理信息系統幫助提升集團公司全面風險管理能力，包括對企業有重大影響的主要風險的管理能力，如信用風險、市場風險以及其他重大風險，以及建立內控管理能力，通過將集團公司現有業務運營風險控制的有效整合，形成集團公司全面風險管理戰略能力，包括建立集團公司關鍵風險管理指標（KRI）、風險組合管理、風險分析、報告、績效管理等。

集團公司全面風險管理信息系統包括全面風險統一展現，全面風險管理決策，重大風險管理，內控管理，風險管理引擎，風險數據管理，數據中心等模塊。

圖1 全面風險管理系統部署架構

1.3 系統收益

通過全面風險管理系統的實施，有效支撐了集團公司“集中、分層、分類”的風險管理原則，顯著助力集團公司有效防范經營風險。

（1）集中統一的風險管理系統

集中統一的信息檔案管理，集中的風險報告展現，集成的KRI指標展現為集中決策奠定了良好基礎；集中的信用額度管理和市場限額管理都將極大提升防范風險的能力。

（2）合理分層的管理決策平臺

滿足集團、業務中心、事業部不同層次的風險管理需求。統一管理、靈活配置的風險管理模型能滿足不同業務中心、事業部、商品的特性。

（3）有效分類的信息系統支持

系統建成后，將有效管理信用、市場、倉儲三類主要風險。系統良好的擴展性為未來深化管理及逐步納入各類其他風險奠定良好基礎。

1.4 小結

本章結合基于管理與決策平臺的全面風險管理系統的實施應用情況，來介紹數據挖掘等相關技術在中國五礦集團公司的具體應用。

全面風險管理系統分為信用風險、市場風險、倉儲風險三個子系統，是基于數據倉庫、數據挖掘技術建設的管理與決策類系統。通過建立基于統計分析方法的風險計量模型，并對模型計量結果進行回測檢驗，依據檢驗結果不斷調整優化模型，來實現對企業各類風險的量化監控、自動預警，并對未來一段時間市場及潛在的風險進行預測分析，顯著助力集團公司有效防范經營風險，提高企業經營決策能力和風險防范水平。

2 大數據應用展望

本章將對大數據的應用展望進行闡述，以期對金屬礦產行業企業未來大數據的應用提供思路。

大數據的出現，開啟了一次重大的時代轉型。在IT時代，以前技術（technology，T）才是大家關注的重點，是技術推動了數據的發展；如今數據的價值凸顯，信息（information，I）的重要性日益提高，今后將是數據推動技術的進步。大數據不僅改變了社會經濟生活，也影響了每個人的生活和思維方式，而對于企業來說，這種改變才剛剛開始。

中國五礦集團公司當前已經積累了大量歷史經營數據及外部數據，并建立了較為完善的數據倉庫體系，實現了若干數據挖掘技術的應用。在大數據時代，如何引入大數據技術來進一步提升數據挖掘和分析的能力，則是未來思考和探索的方向。筆者認為有以下幾方面值得去進行大數據實踐的嘗試。

2.1 市場價格走勢預測

金屬礦產行業企業受國際、國內經濟形勢影響較大，大宗商品價格走勢和宏觀經濟形式的變化都對公司經營產生重要的影響。利用大數據分析技術，收集和分析多維度的環境數據，探索建立相關計量模型，通過機器學習實現對金屬礦產品市場價格走勢的預測，使企業在面臨市場形勢復雜多變的情況下，依然可以保持戰略主動，就能為實現既定經營目標營造有利條件。

2.2 客戶供應商“畫像”分析

通過對客戶、供應商的歷史交易數據、信用評級信息、資產負債狀況，結合第三方征信報告，客戶、供應商行為分析等，對客戶、供應商進行“畫像”。可建立比傳統方法更加全面、準確的客戶供應商管理體系，及時發現客戶、供應商的新動向以及潛在可能發生的風險。

此外，借助大數據分析技術，運用主題爬蟲等技術爬取客戶、供應商在互聯網、社交網絡等更加全面的信息，可發現潛在有價值的客戶和供應商并反饋給相關業務人員，以便發掘新商機。

2.3 供應鏈優化

利用物聯網技術通過傳感器網絡獲取生產實時過程數據，使供應鏈流程虛擬化。通過對這些大數據集的整合、挖掘分析，有助于生產企業實現對供應鏈各環節的優化，包括需求預測、庫存優化、資源配置、設備管理、生產作業計劃、物料需求與采購計劃等，使企業能夠根據產能編制合理的生產計劃，保證生產過程的有序與勻速。借助大數據分析模擬、優化技術，建立相關分析模型，使生產企業在供應鏈各環節做到綜合平衡訂單、產能、調度、庫存和成本之間的關系，為復雜的生產和供應問題找到優化的解決方案。

2.4 物流優化

可建立高效的運輸與配送物流管理信息平臺，通過大數據分析合理的運輸管理、道路運力資源管理，構建全業務流程的可視化；利用自動識別技術實現訂單處理、跟蹤、結算，貨物的快速入庫、盤點、倉儲管理；利用GPS/LBS/GIS技術，實現貨物及資產的實時定位；使用無線智能終端，實時地收集、傳輸物流信息，由此制定、優化操作物流計劃，縮短物流周轉時間。

從大量分散的物流數據中，挖掘出反映物流規律的信息，并不斷優化物流流程。例如，可利用大數據分析實現優化配送線路。運用大數據來分析商品的特性和規格、客戶的不同需求等問題，從而用最快的速度對這些影響配送計劃的因素做出反映（比如選擇哪種運輸方案、哪種運輸線路等），制定最合理的配送線路。而且企業還可以通過配送過程中實時產生的數據，精確分析配送整個過程的信息，使物流的配送管理智能化。此外，在物流中心選址問題上，在充分考慮到企業自身的經營特點、商品特點和交通狀況等因素的基礎上，可以利用大數據中分類樹方法進行計量，使配送成本和固定成本等之和達到最小。

3 總結

隨著信息技術的高速發展，互聯網、智能設備、物聯網等技術快速進步，在企業中，每天積累的內部運營數據以及外部市場數據量級也逐步增大。大數據正成為計算機科學研究的熱點，而數據挖掘則是發掘大數據的價值的核心所在。盡管數據挖掘算法己經得到充分的發展，但其在企業中的實際應用還較少，如何利用數據挖掘技術為企業輔助決策、防范風險、降低成本、提高收益，已成為眾多企業所關注的重點。

[1]Jiawei Han，Micheline Kamber,Jian Pei著.范明，孟小峰譯.數據挖掘概念與技術.機械工業出版社，2015.

[2]Building the Data Warehouse W.H.Inmon著.機械工業出版社，2015.

[3](美)Lou Agosta著.瀟湘工作室譯.數據倉庫技術指南.

[4](美)Richard J.Roiger,(美)Michael W.Geatz著.翁敬農譯.數據挖掘教程.