淺談大數據技術及應用

趙麗 常娟 任霓洲

【摘? 要】從大數據概念、本質、特征方面講述大數據的基礎知識，對大數據關鍵技術進行了分析，總結了大數據在各個領域的應用價值和安全權問題。

【關鍵詞】大數據;大數據技術; 大數據應用

引言

人類社會邁入新世紀以來，在物聯網、云計算等信息技術和產業推動下，大數據已經全面滲透到了各行各業，“數據即資產”成為了共識，與“物質資產”和“人力資本”并列為三大社會生產要素，大數據技術及相關研究在全球范圍內給政治、經濟、社會、軍事領域帶來了深刻影響。理解大數據概念、認識大數據本質和特征、建立大數據思維，對于信息化建設和改革、重塑偉大征程有著重大現實意義。

1.大數據的概念

20世紀80年代美國阿爾文·托夫勒在其著名的預言書《第三次浪潮》中就提出了“大數據”的概念，資料顯示，最初，大數據是指那些不斷增長、類型復雜、短時間難以分析和處理的海量數據，其已經超出了一般電腦在處理數據時所能使用的內存量，普通的軟件工具難以捕捉、存儲、管理和分析，因此工程師們必須改進處理數據的工具，導致了新處理技術的誕生。目前，大數據主要是指對海量數據進行開發與利用的技術及相關政策標準，實現由“撥云散霧見數據”到“騰云駕霧用知識”的轉變。實際上，到目前為止，大數據并非一個確切的概念，人們對其也沒有一個標準的定義，不同研究機構和部門對大數據從不同角度進行了闡述，對大數據的本質和特點基本達成了共識，綜合起來不外這幾個方面：

從數據本身看，大數據的明顯特征是數據規模龐大，其體量遠遠超出了傳統數據庫系統的處理能力。從技術角度看，大數據是從海量的多類型數據中，快速獲得有價值信息的所有技術集成。從數據類別看，大數據主要指無法或者很難用傳統的關系數據模型去分析、處理的信息，用戶也很難用傳統的處理方法去直觀認識數據的隱藏內涵。從應用分析看，大數據是對特定海量數據進行處理、分析和挖掘，獲得有價值信息，并以多種形式呈現的行為。從思維認識看，大數據分析對象是全部數據而不是抽樣數據，分析內容追求高效率而不是絕對精確，分析過程體現相關性而不局限于因果關系，分析結果重在未來預測而不僅是過去總結。

2.大數據的本質

涂子沛在《大數據》一書中指出：“之所以要稱之為戰略，是因為‘大數據之‘大，并不僅僅在于其‘容量之大。當然，由于數據容量的爆炸，數據的收集、保存、維護以及共享等任務，都成為具有研究意義的現象和挑戰。但‘大數據之大，更多的意義在于：人類可以‘分析和使用的數據在大量增加，通過這些數據的交換、整合和分析，人類可以發現新的知識，創造新的價值。”也有專家一針見血地指出：大數據的核心，就是預測。

當前，比較普遍的觀點認為，大數據的本質既包含不斷增長的海量復雜數據，也涉及獲取、管理和應用這些海量數據全生命周期的各種關鍵技術和解決方案。海量數據存儲、數據挖掘、圖像視頻智能分析、信息感知、信息傳輸、信息安全等技術都與大數據密切相關。大數據不是指一般意義上的數據規模大。例如，銀行數據庫中的數據實時產生增長，數據量龐大，但不能稱之為大數據，因為其具有明確的格式，且盡在銀行的掌控之中。

3.大數據的特征

目前，對大數據的特征描述，比較一致的看法是可以用“4V”來表達，就是容量（Volume）、類型（Variety）、速度（Velocity）、價值（Value）。

容量大（Volume）。指數據體量巨大，Google的資料顯示，作為其“長尾效應”的頭部，2016年其首頁導航每天需要提供的數據超過2.5PB，如果這些數據全部打印出來，大約將有8千億張A4紙。

類型多（Variety）。指數據類型多樣，數據類型涵蓋結構化、半結構化和非結構化等各種形式的數據，其中既包括文本、文件、圖片、視音頻、地理位置信息等富媒體數據，遠遠超出傳統數據格式和分析工具能處理的范疇。

速度快（Velocity）。指數據增長率和處理速度快，有統計顯示，近十年以來，網頁、視頻類數據每年都以60%的速率增長，預計到2020年，全球將產生44ZB的數據;與此相對應，必然要求處理速度快，才能在及時發現有效信息。

價值高（Value）。指數據背后隱藏的價值高，大數據價值密度很低，但如果被有效挖掘，發現規律，預測趨勢，產生的價值卻很高，有時甚至無法用金錢衡量。在國家安全領域，數十小時的監控錄像，數據量達近百G，可用的數據也許只有幾秒，但這幾秒鐘的數據如果能夠及時發現，則會產生巨大的效應。

4.大數據技術的應用及安全問題

大數據時代已經到來，但大數據技術的運用卻是一把雙刃劍。

一方面，大數據開啟了一次重大的時代轉型，引發了一場生活、工作與思維的大變革，其在經濟、政治、文化等方面都產生了深遠的影響，它幫助人們開啟了循“數”管理的模式。例如，零售公司跟蹤客戶的購買情況，發現某個客戶購買了大量的真絲襯衣，這時數據挖掘系統就在此客戶和真絲襯衣之間創建關系。銷售部門就會直接發送真絲襯衣的行情，以及所有關于真絲襯衣的資料給該客戶。零售公司通過數據挖掘系統發現了以前未知的關于客戶的新信息，并且擴大了經營范圍。

而另一方面，大數據主宰一切，也讓我們的隱私暴露在“第三只眼”之下。它使得目前用以保護隱私的法律手段和核心技術失去了效果，甚至威脅到國家秘密的安全。電商監視著我們的購物習慣，搜索引擎、交友網站和微博消息，使得人們的行為習慣和情緒的細節化測量成為可能。據《華盛頓郵報》2010年的研究表明，美國國家安全局每天攔截并存儲的電子郵件、電話和其他通信記錄多達17億條。為了弄明白這些數據，美國建立了龐大的數據中心。

在大數據高度融入我們的生活和生產之中時，與其相伴而生的是人們對隱私被侵犯的擔憂與無奈，其安全問題是一個繞不開、必須談的話題。應對大數據的洶涌來襲，我們沒有萬無一失的方法，只能正確認識大數據的問題和缺陷，改變一系列的慣例來幫助社會應對這種沖擊，建立規范自身的新準則。一個層面是運用大數據技術，來解決大數據時代的安全問題，用數據驅動安全，這一理念將是未來網絡安全發展的方向;另一層面是大數據作為重要資產，用其本身的安全來驅動數據產業開花結果，良性發展。

參考文獻

[1]張雪超.數據致勝時代已經到來

[2]黃征.大數據技術在軍事中的應用淺析

[3]李儉.大數據ABC

[4]周德旺.大數據引發新一代信息技術變革浪潮

作者介紹：趙麗（1980.08-），女，漢族，甘肅慶陽人，工程師，研究方向為通信技術。

常娟（1989.09-），女，漢族，陜西米脂人，助理工程師，研究方向為通信技術。

任霓洲（1985.10-），女，漢族，陜西淳化人，工程師，研究方向為通信技術。

1.中國人民解放軍32269部隊? ? 甘肅蘭州? ? 730000

2.中國人民解放軍31682部隊? ? 甘肅蘭州? ? 730000