淺談大數據挖掘的應用

翟天昊

摘 要：大數據挖掘已經成為了一個熱門話題，本文介紹了如何更好地收集和處理數據，如何改變大數據的形式來使其更好地應用于文獻檢索與分析.討論了數據數據存儲和存儲的優點和缺點.分析了存在的問題，并提出了進一步研究的基礎，對大數據的存儲也進行了分析。

關鍵詞：大數據；收集；作用

1 “大數據”的定義

大數據（big data），是指在一定時間范圍內沒有辦法用常規工具能夠進行捕捉、管理和加工的數據集合，這種巨大數量而且數據呈現多樣化的高速增長的信息資產需要一種新的處理模式才能具有更強的決策力、洞察力和流程優化的能力。[1]

維克托·邁爾.舍恩伯格和肯尼斯·庫克耶對于大數據有著不同的看法，在《大數據時代》一文中，他們發現大數據的定義是不能夠運用像抽樣調查這種捷徑方法，而采用對所有數據進行分析處理。大數據具有五個特點，它們分別是：數量多、傳播速度快、信息多樣化、真實性高和低價值密度。在這里舉個例子，有一家超市，將尿布和啤酒放在一起出售，這是從來沒有出現過的景象，但是這個措施卻使得啤酒和尿布的銷量提升了許多。這是一個真實的故事，而是發生在美國沃爾瑪連鎖店超市的真實案例，這被別的企業一直作為案例來進行研究。眾所周知，沃爾瑪作為世界上一流的連鎖超市，不是沒有原因的，它們有著世界上最大的數據研究倉庫，數據研究對沃爾瑪研究消費者的消費傾向有著很大的好處。沃爾瑪對于在其超市購物的消費者的消費原始數據進行集中，在集中原始數據后，對這些原始數據進行分析和挖掘，結果意外的發現，跟尿布一起購買最多的商品竟是啤酒！經過實地調查和分析，有關機構發現了這與美國人的行為方式有著很大的聯系。在美國，很多年輕父親為孩子進行采購尿布時，經常會有一部分的人會為自己或者家人采購啤酒。所以將尿布和啤酒銷量推高的原因是：美國人的太太催老公為孩子買尿布時，美國男人會為自己采購一定數量的啤酒。

按照一般人的思維，誰也不會將尿布銷量和啤酒的銷量聯系到一起，如果不是沃爾瑪超市通過數據分析技術對消費者的原始數據進行集中分析挖掘，沃爾瑪是不可能發現數據當中存在的秘密。[2]

2 大數據對工程項目管理的作用

21世紀是網絡時代，網絡和信息通訊都得到了快速的發展，信息數據也不甘落后，但這一現象讓各行各業都面臨著巨大的挑戰和珍貴的機遇，其中各種行業的競爭主要是在科技管理方面，這同樣是工程中的中心任務，由于依賴著信息技術，將信息與資源作為處理對象。它提供了一個網絡平臺，這個平臺可以收集、處理不同的資源。基于科學技術管理的這些特點，我國相關的工程項目管理表現出了三種趨勢，這三種趨勢分別是數據多元化、動態化、信息化管理。眾所周知，在傳統的產業當中，工程產業是規格最高、規模最大的產業，主要表現在參與主體多，產業覆蓋面廣。大數據的盛行，肯定會為工程項目管理帶來新的發展機遇和空間，還可以提高工程項目的效率和質量。由于項目本身的特點，工程管理可能會出現效率低下的這一現象，而大數據挖掘分析可以為工程管理的效率問題找出解決辦法。許多公司對工程項目管理進行評估時，經常會出現指標過多、評價成本較高等問題，而大數據挖掘為這些問題找到了新的解決辦法。將大數據挖掘技術帶入到工程項目管理中去，可以從數據庫當中找到與其項目管理最為相符的績效指標，這不單單為公司減小了相應的工作量，還提高了管理效率，何樂而不為呢？在大數據管理中，數據庫不僅僅可以將歷史數據進行收集、管理、歸納，還能對單一數據進行轉換和處理。這些相互關聯的統一數據集為項目中的每個數據用戶提供透明的信息平臺，以減少信息流中的虛假信息和通信障礙的風險。

3 數據存儲

在獲得有用的資源之后，有必要選擇合適的數據庫或其他存儲方式，以便于將來的資源分析。基于傳統關系數據庫的存儲特性，在獲取數據之前，沒有辦法很好的預測大數據的組成。現如今的數據庫還不能滿足大數據時代到來時對于數據庫數據存儲需求的要求。如今大數據處理技術面臨著許多難題，比如：如何其研究性價比極高的數據存儲軟件，如何降低數據誤差，這些問題都需要科研人員進行研究與解決。

4 智能電網

現如今，我國經濟發展迅速，我國的智能電網也不斷完善，它的數據資源也在飛速增加。在這新一代的信息科技產業技術中，以云計算為代表，已經在電力系統中發揮了重要作用。智能電網的主旨是使用相關的信息來提高對電能的合理管理，從根本上說，智能電網的定義就是通過大數據來對電力系統進行優化。智能電網需要不同時段的全面數據，這些數據存在于智能電網運行、檢修和管理等環節上，這些環節上會出現大量，不同結構和形態的數據，這些數據和大數據有著相同的特點，所以我們可以得出結論，大數據對于智能電網的發展有著很大的促進作用。

我們通過收集在智能電網數據信息平臺提供的信息和計算模型，利用大數據技術，充分調動先進的應用，解決檢測領域所存在的問題。大數據技術也被穩定計算和智能報警充分利用，為它們提供精確的數據分析，從而提高效率。

如今智能電網仍存在許多的問題，沒有得到解決，與此同時，安全性也有了更高的需要，因此下一個階段的主要任務就是加強電網數據基礎架構和信息安全的建設，但是我們所需要知道的是如何加強。這就要求我們獲取電網運行、維護和處理時所出現的數據，從這些數據中進行分析得出結論。隨著智能電網的不斷發展，與智能電網相關的大數據也將呈指數增長。

如今的電網信息基礎還不能滿足未來的需要，所以現在科研人員所需要做的就是對結構進行優化，滿足未來的需要，使其的平臺基礎能夠滿足未來的發展需求。

5 總結

隨著時代的發展，數據的量也迅速增長，我們應當正確的利用這些數據，使其發揮最大的價值，但總體來講，大數據時代才剛剛到來，迎面而來的不僅僅是無限的可能，也有艱難的挑戰，其魅力是無窮的，正是這樣，我們才會在時代發展的道路上奮勇而前行。

參考文獻：

[1]呂竹筠，張興旺，李晨暉，等.信息資源管理與云服務融合的內涵即共性技術體系研究[J].情報理論與實踐，2012，35（09）：26.32.

[2]《中國電子科學研究院學報》編輯部.大數據時代[J].中國電子科技研究院學報，2013（01）：41.43.