大數據技術發展現狀及趨勢探究

編者按：目前，數據已經滲透到了每一個行業領域并成為重要的生產因素，數據規模也正以驚人的速度呈膨脹式的增長，大數據正成為這個時代最為顯著的標簽。雖然大數據這個概念已經為大多人所知，但大數據究竟是什么，很多人其實并不明白，甚至還存在許多誤區，文章基于對大數據現有技術體系的認知，對大數據技術的現狀及其未來發展趨勢進行探討。

數據已經悄無聲息地融入我們生活的每一個細節，即使人們無法直接觸摸感受到它，但它的能力不可小覷。自2013年成為大數據元年以來，大數據一詞越來越多地進入到了人們的視野當中，這個名詞已然成為當前日常生活中的一種時尚或者時髦。即便不從事科研工作或者在科技領域甚至在平日里接觸不到大數據概念的人們也對此較為熟悉，大數據已經切實地融入了我們的生活，但對于“大數據是什么？”這個問題，大多數人還是一知半解。

什么才是大數據？盡管大數據的概念一經提出便引發了社會各界的廣泛關注，但到目前為止，學術界對于大數據還沒有形成一個統一的定義，麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合。IBM公司提出了大數據的5V特點以將其與傳統數據區別，即：

1.Volume：數據量大，包括采集、存儲和計算的量都非常大。大數據的起始計量單位至少是PB（1024個TB）、E（1024個PB）或ZB（1024個EB）。

2.Variety：種類和來源多樣化。包括結構化、半結構化和非結構化數據，具體表現為網絡日志、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。

3.Value：數據價值密度相對較低，或者說是浪里淘沙卻又彌足珍貴。隨著互聯網以及物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低。

4.Velocity：數據增長速度快，處理速度也快，時效性要求高。

5.Veracity：數據的準確性和可信賴度，即數據的質量。

從字面意義入手，大數據也應該從“大”字開始理解。隨著互聯網浪潮席卷全球，全世界的數據量也呈井噴式上漲，2010年全球產生的數據量為1.2ZB，而十年后2020年這個數字已經增長到64ZB，約為64萬億GB，預計到2025年將增長到約1000ZB。出于保存海量的網絡信息并獲取其中潛藏的巨大價值的目的，催生了大數據技術。大數據技術就是通過分析采集得來的、大量的、不同類型的數據，使數據可視化并得到其中的潛在價值，讓人們直觀地感受到數據的力量、使用數據的力量。

我國大數據技術發展現狀分析

大數據技術主要涉及四個部分，數據采集技術、數據存儲技術、數據分析技術、數據可視化技術。

數據采集技術：大數據采集是指從終端設備、社交網絡、企業管理系統以及其他互聯網平臺、系統等獲取數據的過程。這些數據不但來源廣泛，且數據類型多樣、規模龐大、產生速度快，傳統的數據采集方法基本無法勝任。

數據存儲技術：大數據存儲目前主要通過建立輕型數據庫、大型分布式數據庫或者存儲集群平臺以滿足大數據讀寫的高速需求。

數據分析技術：大數據分析技術通過數據清洗從大量不同類型的數據中獲取真實有效的數據，經算法運算處理后獲得需要的結果。

數據可視化技術：使數據分析的復雜結果以圖表、詞云等對非計算機專業人士友好的形式輸出，方便其他專業人才運用。

近年來，大數據產業高速發展，在“十三五”時期，我國大數據產業規模年均增速超過25%，2020年達到約8000億元，產業價值不斷提升。并且“大數據”一詞在“十四五”規劃的征求意見稿中頻繁出現，“數據”一詞則更是出現了六十余次。可以看出，作為國民經濟和社會發展的重要風向標，“十四五”規劃對于大數據的發展也作出了重要部署。

目前，大數據技術已經在多個行業領域中有著不同運用，如：

1.電商領域：淘寶、京東等電商平臺利用大數據技術，對用戶信息進行分析，從而為用戶推送用戶感興趣的產品，從而刺激消費。

2.醫療領域：醫療行業通過臨床數據對比、實時統計分析、遠程病人數據分析、就診行為分析等，輔助醫生進行臨床決策，規范診療路徑，提高醫生的工作效率。

3.安防領域：安防行業可實現視頻圖像模糊查詢、快速檢索、精準定位，并能夠進一步挖掘海量視頻監控數據背后的價值信息，反饋內涵知識輔助決策判斷。

4.金融領域：用戶畫像的基礎上，銀行可以根據用戶的年齡、資產規模、理財偏好等，對用戶群進行精準定位，分析出潛在的金融服務需求。

5.教育領域：通過大數據進行學習分析，能夠為每位學生創設一個量身定做的個性化課程，為學生的多年學習提供一個富有挑戰性而不讓人厭倦的學習計劃。

6.交通領域：大數據技術可以預測未來交通情況，為改善交通狀況提供優化方案，有助于交通部門提高對道路交通的把控能力，防止和緩解交通擁堵，提供更加人性化的服務。

大數據技術發展趨勢預測

大數據的安全及隱私問題

隨著大數據的發展，數據的來源和應用領域越來越廣泛：在互聯網上隨意瀏覽網頁，就會留下一連串的瀏覽痕跡;2018年Facebook泄露8700萬用戶的隱私數據的事件引發各界廣泛關注，隱私數據泄露不僅會威脅到用戶自身的人身財產安全，更會威脅到國家安全。獲得大量用戶數據的劍橋公司便是通過分析這8700萬用戶的隱私數據分析用戶行為與思維，以向其精準投放內容，用戶在這種精準投放下很容易形成“信息繭房”，如果在內容中添加某些特定成分，很容易在潛移默化中改變一個人的思想，劍橋公司便是利用這種手段在某種程度上達到了操作美國大選的目的。

大數據時代數據的更新變化速度加快，而一般的數據隱私保護技術大都基于靜態數據保護，這就給隱私保護帶來了新的挑戰.在復雜變化的條件下如何實現數據隱私安全的保護，這將是未來大數據研究的重點方向之一。

大數據的存儲管理問題

截至2019年我國共有7.4萬個數據中心，2021年1月騰訊西部云計算數據中心二期工程竣工，整體建成后將具備20萬臺服務器的運算存儲能力，將會成為中國西部最大的單體數據中心。盡管目前通過建立大型分布式數據庫，數據存儲的問題得到了緩解，然而數據量以每年約50%的增速持續增長，即使全國范圍內有如此之多的數據中心，傳統的數據存儲方式也已經無法滿足現有需求。

大數據技術5V特征中的Value是價值密度低的體現，現有存儲技術存在大量數據冗余，大數據存儲技術的能耗極高并存在數據丟包的可能性，冗余數據的存儲意味著有效數據的丟失可能性增高，數據的價值密度進一步降低、數據存儲成本上漲，這就對數據清洗技術提出了更高的要求。在數據存儲中數據讀寫速度、數據格式轉化是必要的，也是非常關鍵和復雜的，在未來如何進一步提高數據存儲系統的效率將是亟待解決的大問題。

大數據融合應用實體經濟

近幾月來，金融、教育、互聯網、房地產等資本驅動行業均受到國家不同力度的打擊，而硬科技、新能源等更能創造社會價值的產業持續走高，“十四五”規劃中也提出要將大數據融合應用的重點從虛擬經濟轉變為實體經濟。

因為大數據的發展不僅改變了科學思維，也必然會引起企業以及政府、個人的思維方式的變革，在信息技術突飛猛進的今天，物聯網、嵌入式技術、傳感技術等的發展，為人類更全面地感知客觀存在的物理世界提供了基礎，大數據技術正是新型信息技術與傳統實業之間的紐帶，融合應用會是大數據技術的發展重點。隨著大數據技術在各種產業中的深入融合應用并帶動產業升級，我們的生活、生產方式也將會因為大數據技術而改變。

結語

大數據技術已經成為各行各業需求創新突破的首要選擇，每天都會產生的龐大數據，也使得大數據成為一種新型資產。目前，大數據技術已經改變了人們的思維方式、生活方式、生產方式。未來，大數據技術將會滲透進我們生活的方方面面。蒸汽機誕生開創了“蒸汽時代”，電力發明帶領人們走入電氣時代，互聯網信息技術的浪潮將人們推向“信息時代”。“大數據時代”會不會就是我們正在尋求的那個嶄新的時代呢？

參考文獻：

[1]陳曈，林捷.大數據是什么[J].電腦知識與技術，2017，13（13）：10-11.

[2]彭宇，龐景月，劉大同，等.大數據：內涵、技術體系與展望[J].電子測量與儀器學報，2015，29（04）：469-482.

[3]黃小華.大數據技術體系及發展趨勢探析[J].商業文化，2021（20）：48-49.

[4]劉智慧，張泉靈.大數據技術研究綜述[J].浙江大學學報（工學版），2014，48（06）：957-972.

作者簡介：江子楊（2002—），江西上饒人，本科，現就讀于江西師范大學，主要研究方向為數據科學與大數據技術。