淺談大數據技術及其發展趨勢

王龍 潘曉勇

摘 要：大數據是隨著計算機技術、互聯網技術、通信技術的發展而必須面對的一個普遍問題，是互聯網發展到現階段的一種表象或是特征。大數據已滲透到人們生活的各個領域中，我們正生活在一個海量數據的時代，憑借其廣泛的影響，大數據正在潛移默化地改變著我們的社會對于公共政策、信息科學和社會科學等領域均有著極其重要的應用價值。本文簡要介紹了大數據系統框架、技術發展并對其未來的發展趨勢進行了分析。

關鍵詞：大數據技術 發展趨勢 公共安全 商業價值

中圖分類號：TP391.73 文獻標識碼：A 文章編號：1672-3791（2018）01（b）-0040-02

大數據的出現可以以史無前例的低成本去獲取和利用數據，而隨著數據成倍的增長，大數據對我們生活的影響也會越深入，不可否認我們正處于一個海量數據的時代。Mckinsey的報告指出在未來10年內消費者的數據價值將由原來的1000億美元提升為7000億美元。隨著大數據的趨勢越來越明顯，政府、工業以及研究機構的很多研究人員均對大數據的研究表現出了強烈的興趣。此外，為更好地應對大數據發展過程中的很多難題和挑戰，政府專門為此制定了方案，Science等相關雜志也發表了相關論點。

1 大數據系統框架及技術發展研究

大數據到底有多大？大數據的大是相對于傳統的編程語言、編程思想、數據結構處理能力的大，但是相對于現在的數據增長來說，以前的技術和工具都是傳統的。當遭遇新技術浪潮的時候，現在的技術工具又會成為阻礙技術發展的最大問題。因此，大數據的大只是一個相對的大，在未來的發展過程中大數據將會遇到越來越多的問題。大數據不是一個新的問題，而是一個一直存在著的問題。

1.1 大數據處理

利用強大的支持平臺來判斷大數據的潛在價值稱為大數據處理。根據處理時間的長短，我們可以把大數據分析分為流處理和批處理兩種方式。流處理的理論和科技已經被研究了近10年，憑借其自身攜帶的龐大的數據，流處理可以快速分析數據導出結果，甚至其處理時間已經達到了秒、毫秒的水平。先對數據進行存儲在對數據進行分析是批處理中最常用的方式。MapReduce已被廣泛應用于生物信息學Web挖掘中，其核心思想是：首先處理已經被分成小塊的數據，然后按照其分布方式導出中間結果，從而接連導出最終結果。此外，由于該模型計算機資源接近數據源位置，因此可以很好地避免通信開銷。

1.2 數據存儲

為了滿足數據平臺的數據分析和特征提取，數據存儲必須滿足以下兩個條件：其一，存儲的基礎架構必須滿足永久可靠性；其二，數據存儲子系統必須能夠查詢和分析數據。獲取大數據的主要方式有爬蟲收集、政府數據、行業數據等。總結一下獲取的方式就是程序員自身的積累再加上各個渠道內的收集。

1.3 數據分析

作為價值鏈中最重要的階段，數據分析旨在提取數據價值以便幫助人們做出決策。以下為3種常用的數據分析的方式：其一，數據可視化。通過圖形有效的傳遞信息是數據可視化的根本目標，隨著數據量的增長，傳統的電子表格已不能滿足大數據時代的要求。由于它可以幫助軟件開發、算法設計等方面的研究，可視化大數據已成為一個越來越活躍的研究領域。其二，統計分析。在應用數學中，每件事物都存在其隨機性和不確定性，而統計分析對大數據集進行描述和推理的過程。其三，數據挖掘。目前，人工智能、機器學習等相關領域均已提出了各類數據挖掘算法。數據挖掘是大數據發現模式的過程，數據挖掘算法是數據挖掘的過程中的重要課題。對于IT工程師來說，每次新技術的發展所帶來的海量數據對他們來說除了機遇便是毀滅。因此，他們必須時刻保持著足夠的熱情和耐心才能在數據到來的時刻不被時代所淘汰，并能夠引領時代的發展。

2 大數據技術發展新趨勢

在數據持續增長的今天，開放共享成為了數據資源在數據大戰中持續保持優勢的關鍵。各類數據的共享使用不僅極大地方便了我們的日常生活更為各種產業的發展提供了機遇。但由于政府和企業之間沒有統一規范標準，就很容易降低數據的開放程度，引起商業壟斷的現象發生。而且現階段的數據安全數據質量方面都存在很大的問題，能夠熟練掌握大數據的專業人員也很少，大數據人才市場的匱乏直接影響了大數據未來的發展趨勢。筆者認為未來大數據的發展趨勢主要體現在以下幾個方面。

2.1 數據資源化

隨著大數據的發展，很多商業機構都對大數據表現出了相當濃厚的興趣，大數據成為當代企業搶奪的新焦點。《華爾街日報》中就曾指出大數據是想黃金、貨幣一樣的新的資產類別。谷歌、百度、騰訊等企業都通過利用大數據取得了事業上的成功，而金融電信等行業也在通過不斷地利用大數據來提升自身的競爭力。我們可以相信大數據將在不久的將來成為個人的資產，成為企業競爭的有力武器。數據資源也可以解決交通行業的出行問題，智能交通依靠大數據信息集成的優勢和組合效率，并跨越行政區域的限制，很好地配置公共交通信息資源，促進公共交通均衡性發展，對交通堵塞和交通污染排放進行隱形控制。

2.2 行業方案定制化

大數據技術開始和傳統的商業進行智能化的結合，在對企業的數據進行分析處理的基礎上，將會引入更多的非數據化結構數據到其中。企業可以利用這項功能實現完整的數據化平臺，并給各個商家定制適合他們的數據服務。由于商業智能化技術更利于企業找到新的商機，所以，必定會有廣泛的應用市場。我們相信大數據技術在未來將會更智能化地解決商業中所存在的問題，對傳統金融行業產生了巨大影響，大數據金融概念的提出及實施更能體現自身的實力和潛力。如京東商城等電子商務企業已經借助平臺積淀的數據資產而進軍金融領域，將信息流、物流和資金流深度融合，為平臺上的用戶提供訂單白條等創新服務，彌補了傳統供應鏈金融信息技術服務的缺失，并且這種定制化的商業解決方案必定會在金融行業創造出更高的價值。在教育領域大數據也引發著重要變革，美國教育部門所創造的“學習分析系統”正是基于大數據所研發，它以數據和模塊聯合的框架，向教育工作者提供學生關于學習更多、更好、更精確的信息。

2.3 生活便利化

大數據技術已經開始逐漸改變我們的日常生活，并逐漸普及到了各個方面，促進了城市的發展。大數據技術從傳統的、簡單的數據分析處理到現在的智能化技術，無一不為人類提供了便利。智能技術來對自己的身體質量進行檢測，比如：智能手環的出現，讓人們可以隨時了解自身的健康狀態。外出時可以通過大數據技術進行人工智能導航；在家可以使用智能家電等。在未來大數據技術將會通過對數據的分析為人類提供更多智能化的幫助。

3 結語

綜上所述，隨著近幾年科學技術的迅猛發展，許多領域產生了海量數據，我們正生活在一個海量數據的時代。憑借其廣泛的影響，大數據正在潛移默化地改變著我們的社會。在未來的發展過程中，大數據技術開始和傳統的商業進行智能化的結合，在對企業的數據進行分析處理的基礎上，將會引入更多的非數據化結構數據到其中。另外，越來越多商業機構都對大數據表現出了相當濃厚的興趣，大數據成為當代企業搶奪的新焦點。

參考文獻

[1] 李軍.大數據：從海量到精準[M].北京：清華大學出版社，2014.

[2] 裘敬忠.探討大數據技術發展趨勢及應用的初步經驗[J].納稅，2017（17）：201.

[3] 潘柱廷，程學旗，袁曉如.CCF大專委2016年大數據發展趨勢預測——解讀和行動建議[J].大數據，2016，2 （1）：105-113.

[4] 王珩，王海寧，劉暢.大數據技術在指揮信息系統中的應用與發展[J].指揮信息系統與技術，2015，6（2）：5-9.

[5] 王若倪，趙慧玲.大數據技術發展趨勢及燈塔大數據行業應用平臺[J].中興通訊技術，2016，22（3）：57-61.