大數據技術及應用研究

史宏

摘要：針對廣大群眾對大數據只停留在字面意義上，不能對大數據有深刻的認識和理解的現象，該文主要向讀者介紹了大數據的概念、產生途徑、大數據處理方法以及大數據技術的應用領域等幾個方面，讓讀者真正領悟到大數據的內涵，從而改變之前的思維觀念，跟上時代的步伐，一起走進大數據時代。

關鍵詞：大數據時代;處理方法;思維觀念

中圖分類號：TP311 文獻標識碼：A

文章編號：1009-3044（2020）10-0262-02

隨著智能手機的普及，每位網民使用各種應用軟件參與互聯網的程度加深，用戶坐標位置、行為舉止、包括身體某個部位的一點點變化，都將成為可被挖掘和分析的數據，據此推理，日常社會每時每刻都會增加數據量。統計數據源于IDC研究機構，在2006年，全球所擁有的數據量約為180EB;該數字在2011年達到1.8ZB。通過該機構估測，到2020年，全球數據總量將會增長44倍，達到35.2ZB。其中容量單位由低到高為GB、TR、PB、EB、ZB，每一個單位相差21¹⁰Byte。如：1TB=2¹⁰GB，依次類推?？梢娙驍祿蟮皿@人。

1體驗大數據時代

大家都有一種體會，你曾在天貓手機客戶端瀏覽過某件商品，當你再次打開天貓客戶端時，你會發現曾經瀏覽過的商品會出現在你的面前，而且優惠力度比之前大得多，這樣就會激發你的購買欲望。這種現象就是商家平臺根據客戶瀏覽商品停留的時長、關注的品牌等數據的分析來鎖定潛在客戶，并向該客戶將商品進行精準推送，而且不同客戶的界面推送的商品各有不同，從而達到營銷效果，這就是大數據的簡單應用。

那么，什么是大數據呢？目前大數據沒有一個固定的定義。一般認為大數據（big data）或稱海量資料，指的是難以利用普通方法來挖掘、分析、處理和利用的數據，需要另辟蹊徑，通過非常規的處理方法，擁有數據挖掘和分析的能力進行處理。大數據是一種具有量大、多樣化和增長速度快的可用資產。

正是由于大數據是一種可用資產，我們需要采用合理的方法來處理這些數據，通過數據挖掘、分析，得到有效的數據，轉化為市場價值，如圖1所示。因此，數據挖掘技術是商業決策的好幫手。

2大數據的產生途徑

大數據產生途徑非常多，種類繁雜。智能手機、PC機、平板電腦、移動互聯網、云計算、物聯網、車聯網以及分布在全球各個角落的攝像頭和傳感器，都是數據來源或者承載的方式。所以通俗地講，大數據就是通過各種渠道收集到的大量數據，聚集起來可供需求者從中進行挖掘、分析的數據集合，例如智能手機所看到的視頻文件、聽到的音頻文件以及瀏覽過的界面信息;購物時留下的信息等。

大數據已經被稱為“未來社會的新石油”，可見它的重要性無以言表，而且還是清潔資源，可以被多次加工、挖掘出更大的社會價值。

3大數據處理方法

3.1數據挖掘法

收集大數據的方法主要采用數據挖掘，它是目前數據庫領域和人工智能研究的熱點問題。數據挖掘通俗上講是海量數據有用價值的發現，它是指將隱藏的、先前未知的有潛在價值信息從眾多數據中挖掘出來的一種曲折的過程。數據挖掘利用多種技術融合而成，主要基于機器學習、人工智能、模式識別、統計學、數據庫技術等，在眾多數據中去除干擾的數據項后進行分類分析、推理和歸納總結，從中獲取潛在的可用價值的數據，進而幫助領導決策層調整市場運作風險，精準制定策略，獲取更大的利益。其任務是將數據進行分類，然后通過數據分析對未來進行預判。分類法在圖像模式識別、醫療診斷等領域有著廣泛的應用。分類的方法有：機器學習法;統計法;神經網絡法;還有粗糙集法等。數據挖掘及分類基本識別流程如2圖所示。

3.2用戶畫像體系法

用戶畫像體系也是一個有效處理大數據的方法。該方法是企業利用大數據技術的基本方式，每個企業根據需求要對用戶進行畫像，用戶畫像的提出，根本上是源于企業對用戶認知的需求：產品設計經理，需要了解用戶的特征，來完善產品的功能;營銷精英們，需要篩選目標用戶，對產品進行精準投放。

什么是用戶畫像呢？簡單地說，將不同的用戶信息分別進行標簽化，生產者通過數據挖掘、處理分析消費者的消費觀念、日常生活起居習慣和社會交往關系等特征數據之后，完美地勾勒出一個用戶的立體全貌。企業通過用戶畫像獲取足夠的信息基礎，能夠快速找到精準用戶群體以及用戶需求等更為廣泛的反饋信息?！皹撕灮笔怯脩舢嬒竦墓ぷ鹘裹c，而一個標簽的選取通常是通過人為制定的標準提取出來的特征標識，比如性別、年齡、地域、生活習慣、消費行為等，然后將用戶的所有標簽綜合來看，最后經過數據分析，便可以勾勒出該用戶的立體“畫像”。如圖3所示。

此外，大數據處理的技術還有以下幾種：大數據存儲與管理技術、數據采集技術、數據預處理技術、大數據展現和應用技術。其中，大數據展現和應用技術包括大數據可視化技術、大數據應用技術、大數據檢索技術和大數據安全管理等。

4大數據技術應用領域

應用大數據技術的基礎是對大數據的收集、分析和處理，獲取大數據中多種有價值的數據信息，幫助領導決策層調整市場運作風險。應用大數據技術的領域非常廣泛，主要在以下幾個方面。

4.1大數據技術應用在商品零售領域

某商店售賣蒸包，通過數據分析，了解到在本店買完蒸包的顧客會常常再去另一家粥鋪里買熱粥或者牛奶，去的人還不在少數，那么這家店可以考慮與粥鋪合作，或者直接在本店里售賣熱粥或牛奶。該相關的例子很多，網絡上比較經典案例是“啤酒與尿布”的故事，大家可以上網查看。通過這些普通的案例，商家可以發揮大數據的商業價值，來幫助企業經營決策。

4.2大數據技術應用在政治領域

2012年美國大選，奧巴馬成功連任美國總統，其秘密是在籌備過程中，他的競選團隊運用大數據技術，一直在收集和分析選民數據，通過數據分析結果來制定下一步的競選策略。該事例成功運用大數據技術，開啟了大數據進人政界新時代。

4.3大數據技術應用在交通物流領域

交通物流大數據的來源是安裝在物流交通工具上的遠程通信傳感器，這些傳感器能夠傳回動態的物流信息，包括：行車速度、行駛方向、剎車狀況以及動力性能等方面的數據。如果將各種感應器、掃描器、傳感器等裝置與射頻識別（RFID）技術、全球定位系統聯合起來，實時采集各種數據信息，同時結合互聯網技術形成一個龐大的網絡，我們稱之為物聯網。它實現了物與人、物與物，物與互聯網的連接，方便識別、管理和處置。同時物聯網又是一個非常強大的數據來源，它所搭建的“萬物互聯”網絡會令數據量呈爆炸性的增長。這些數據的價值，就需要用到大數據技術對其進行挖掘和分析，從而整理出有價值的信息，幫助公司重新設計物流交通路線，將其再應用導航地圖等領域，不斷更新、優化交通物流線路的收貨和配送，給物流交通帶來極大的方便性。此外，大數據還在醫療和教育領域、能源領域、制造業領域、金融領域、文化傳媒領域有著極其廣泛的應用。

總之，大數據時代已經來臨，大數據的發展將進一步促進人工智能技術的更新換代，隨著大數據、物聯網、云計算與人工智能的深度融合，將會改變當今社會的方方面面，特別是改變人民生活、工作、出行的方式。當然，在這個信息爆炸的時代里，不僅充滿著機遇，同時也面臨著許多挑戰。我們要改變自己的思維觀念，跟上時代的步伐，大數據還有很多方面等待著我們去發現和探索。