大數據綜述

陳強

摘要：當下我們已經進入了大數據時代，大數據與我們的日常生活息息相關。本文介紹了常見的大數據分析方法，大數據如何收集處理數據，以及大數據以直觀有價值的信息呈現的可視化，最后本文分析了大數據發展過程中的機遇與挑戰

關鍵詞：大數據、數據可視化、大數據分析算法

一、大數據的介紹

隨著社會的發展，如今我們已經進入了互聯網時代，[1]圖靈獎的獲得者杰姆·格雷（Jim Gray）提出了著名的摩爾定律即每十八個月全球新增的信息量時有史以來所有信息的總和，我們在進入互聯網時代的同時也進入了大數據時代。在傳統的生產方式下，數據的記錄是通過人工記錄下來的。人們進入信息時代后，數據的產生是自動化的。[2]大數據的產生伴隨著4V+1C地特征。（1）數據量大（Volume）：存儲數據的特別巨大，在大數據時代數據的數量級PB級是常態。（2）多樣（Variety）：大數據時代數據來源不同于傳統的數據收集，數據的來源多種多樣數據的格式也非常多，除了傳統地結構化數據之外，還有半結構化以及非結構化數據，此外，隨著人類活動的擴展和科學技術的發展，數據的格式將會更加多樣（3）快速（Velocity）：當下的數據增長速度非常快，并且越新的數據價值越大（4）價值密度低（Value）：大數據環境下收集的信息多種多樣，有實際價值的數據比例較低，需要對收集的數據進行處理，通過數據分析處理挖掘數據中的價值，因此，在大數據環境下需要一種成本可接受的條件下，在通過分析和發現，從大量的數據中提取數據價值。

二、大數據的分析方法

在當下流行的大數據應用中，關鍵的問題在于如何使用統一的數學模型去表示數據以便進行數據挖掘和分析任務，對于不同的表示格式，處理起來十分繁瑣，所以需要對大數據的可行性與實用性進行分析。

2.1統計分析

在大數據的時代，快速進步的大型數據倉庫與算法，數據挖掘的也越來越重要，對數據進行數據挖掘會使分析結果比傳統的抽樣統計更加可靠。在傳統的統計學領域也更新觀念，學習大數據時代下的統計學，創造出適合大數據環境下的統計方法。大數據時代的統計學特點對抽樣分析的方法提出了巨大挑戰，對抽樣分析得到的結果是否具有代表性是否具有可靠性提出質疑。

在如今的大數據時代下，傳統的統計分析應該轉換方法，統計方法應該與時俱進。當下的科學技術飛速發展，如何使用統計學原理對已經儲備的大量數據進行全樣本的分析，應該作為大數據時代統計分析的切入點。

使用大數據分析當下各個產業的經濟價值，已經開始涉及到社會的許多方面了。同時，大數據的快速發展也對包括統計學在內的諸多傳統領域發出了挑戰，傳統的醫學領域也要迎來大數據與人工智能的結合對疾病診斷預測的挑戰。

2.2數據挖掘

近些年來互聯網爆炸式發展，移動互聯網更是深入千家萬戶，在大數據的時代下，數據存儲PB級別是常態，摩爾定律顯示每年的數據以百分之七十的速度增長。如何從現有的數據中挖掘出數據的潛在價值是人們當下面對的一個巨大挑戰。

2.21數據挖掘的定義

[3]數據挖掘是對現有的數據庫已經收集的數據信息分析處理提取隱含的有價值信息，并在處理后將其轉換為其他系統方便使用的結構。其主要的特點是收集的數據庫數據進行抽取、處理、分析得到的結果最后再進行模型化處理，對得到的模型輔助商業決策。數據挖掘對各個鄰域都可以提取潛在對社會發展有意義的信息。

2.3數據可視化

在大數據時代到來之前在各個鄰域就已經有了相應的數據可視化過程，但是如果將傳統的數據可視化技術應用于大數據，在有效性與效率方面面臨巨大問題，如何將傳統的數據可視化技術與現在大數據環境結合是一個非常值得深入研究的方向。

2.3.1分布式并行可視化算法

在大數據時代之前，各個領域將可視化算法應用在較小規模地計算機集群中，其規模一般在幾百個計算節點，但是在大數據環境下實際需要的節點應該在數千個以上乃至上萬個計算節點，才能滿足大數據的規模

2.3.2可視化的分析算法

大數據的可視化首先要考慮的就是龐大的數據規模，其次高效的算法可以減少許多運算量從而減少大量計算時間。再得到結果后也需要將結果以新穎、有價值的方式傳遞給用戶。用戶的需求以及偏好各不相同需要將自動學習算法合理使用，這樣可視化并且滿足用戶需求的輸出具有高度的適應性。[4]可視化算法具有大量的控制參數搜索空間，可以減少探索以及數據分析的成本并且降低這個過程的難度。

三、大數據處理流程

3.1數據采集

傳統的數據收集不能滿足大數據環境下的數據量，大數據的收集需要借助傳感器或者專業的軟件采集和處理收集到的數據，從而把收集到的數據轉換為有價值的數據，再通過數據挖掘變為直觀的有價值的信息呈現到用戶眼前。

3.2數據分析與挖掘

大數據存儲的數量級巨大，處理大數據的系統需要強大的存儲、傳輸數據、處理數據的能力。傳統的硬件設施價格十分昂貴，云計算平臺將實體的計算機資源和計算資源虛擬化，用戶按需請求分配，大大降低了大數據處理的商業化成本。

四、大數據面臨的挑戰

現在我們已經進入了大數據時代，大數據經歷了預期膨脹階段、資本炒作階段現如今正在轉入理性發展和大數據落地應用的時期，社會也對大數據有了初步的理性認知。未來大數據還面臨以下諸多挑戰。各個企業政府部分之間收集各自的數據，相互之間數據不連通，導致企業內部數據孤島，大數據的價值不能充分利用；各個行業對本行業數據收集沒有統一規范，數據可用性低，數據質量低，數據處理分析十分復雜；數據安全意識低下，數據泄露風險高；用戶的個人隱私與大數據有沖突相關法律法規不完善.

參考文獻：

[1] 王萬森. 人工智能原理及其應用[ M] . 北京： 電子工業出版社， 2002.

[2] 陳良臣.大數據可視分析的若干關鍵技術研究[J].數字技術與應用，2015（11）：98.

[3] 楊杰，胡英，全勇. 結合數據融合和數據挖掘技術的信息智能處理平臺[ J] .高技術通信.2003.（1）

[4] 吉根林，帥克， 孔志揮. 數據挖掘技術及其應用 [ J] .南京師大 學報（自然科學版）.2000.（2）.

[5] Alexandros Labrinidis，H.V.Jagadish.Challenges and opportunities with big data[J].Proceedings of the VLDB Endowment，2012，5（12）：2032-2033.