大數據技術初探

楊雪

摘要：隨著科技發展和時代進步，大數據技術應運而生，不斷地在改變著人們的生活方式。大數據技術滲透到生活社會的各方面，深入挖掘這些數據，分析數據的規律和特點，不斷挖掘其中的價值和意義。本文將從大數據的概念、特點、應用領域等幾個方面對大數據技術進行分析探討，希望能理性認識大數據的利弊，充分利用大數據技術帶給我們的機遇，真正發揮大數據技術的優勢。

關鍵詞：大數據技術；應用領域；發展趨勢

一、前言

大數據技術不僅可以全面的掌握某一領域或行業的數據，還能進行實時存儲管理實現數據本身的分類展示，進而及時地獲取到更有價值和意義的數據。大數據技術主要是通過對數據的研究獲取到其獨特的規律和特點實現有意義的挖掘和分析，從而全面系統的獲取到數據的核心價值。

二、大數據技術的特點

（一）大數據的特點。大數據的數據類型不再僅僅是純粹結構化數據、數值型數據，還包括醫療數據、物聯網數據、電商數據和軌跡數據等等。而且目前隨著研究的深入，更多的是異構數據和不規則數據，數據維數高、數據量大、數據分散。數據分析之前需要數據的預處理操作，對數據進行提純和特征提取，而且數據處理速度較快，對靜態和動態數據處理的速度和效率要求較高。只有真實完整的數據才能使得后續大數據的分析、管理和預測等一系列活動有價值和意義。

（二）廣泛的開源軟件。隨著互聯網信息的共享，信息技術的快速發展，數據源越來越多，數據傳播更快速。社會生活的各個方面都在應用大數據技術，而且每個行業都朝著大數據智能化應用、科技化方向發展。由此，很多開源軟件被大家廣泛使用。像深度學習的框架，Hadoop， Mapreduce，Hbase，MongoDb數據庫和Flask等這些各具特色功能的軟件都在被廣泛使用，有的也在被不斷優化與創新，不斷提升使用效率和應用范圍。

（三）人工智能技術。大數據技術不斷引進人工智能技術，通過機器學習、深度學習、區塊鏈、數據挖掘、模式識別等人工智能技術處理使用大數據。從巨大的數據資源中獲取有價值的數據，并對其進行分析處理，實現數據更大價值化。尤其是在這個數據信息時代，人們每天都要接觸數據甚至產生數據，因此更智能的獲取數據、實時存儲數據顯得更加重要，還要更有效的管理和處理數據，甚至是數據的可視化展示等都與人們有重大的關系，實現人工智能技術的最大化價值和高速的效率。

三、大數據應用領域

大數據技術從出現發展到現在，被各行各業廣泛使用，從企業到政府，大數據都在產生巨大的價值。將廣泛的數據匯集到一起，經過數據預處理、智能分析、數據挖掘、深度學習技術等分析出數據的潛在規律，從而來分析預測未來的發展方向和趨勢，有助于人們深入認識行業的數據特點，發展趨勢以及領域的運行管理效率，從而取得更大的效益。

（一）智能商業。商業智能化是商業領域最感興趣的研究內容，也是大數據應用最廣泛的領域。商業數據量大，且數據源豐富，完全符合大數據的特點，如阿里巴巴集團的電商平臺，通過對平臺上的顧客進行用戶畫像分析，了解不同顧客的需求，從而對不同的顧客進行特定商品的推薦，吸引顧客對商品的購買興趣，在一定程度上加大了顧客的購買欲望，提升了店鋪的銷售量。

（二）智慧醫療。醫療行業是人們生活不可或缺的一部分，醫療行業信息巨大，數據種類多，隨著大數據在醫療行業的廣泛使用和不斷擴展，相信大數據技術能在醫療行業產生巨大的價值和意義。

有研究做過糖尿病的例子，我們可以統計糖尿病患者的數據、通過大數據技術挖掘出其中的特征，分析患病者的特點，一方面可以提醒人們要從哪些方面加強預防，另一方面可以預測哪些特征的人更容易患上該疾病。大數據的發展也提升了醫療設備的使用，使得人們對疾病的認識更深刻，從而能在以后給人們的生活創造更大的福利。

（三）智慧城市。智慧城市的理念隨著大數據技術的產生而得以發展和完善。人們利用大數據技術，實時獲取監控的視頻數據、人們的出行軌跡數據等，對城市的交通出行以及各個方面的數據能夠實時獲取并快速處理并可視化展示。將整個城市的行為融為一體，可以快速掌握當前城市的狀態，大數據技術對處理城市突發狀況，合理規劃和管理城市發揮著極大的作用。

四、大數據技術發展趨勢

（一）人工智能技術的結合。大數據分析的目的是合理利用并挖掘出大數據中的信息，是從大數據中獲取更深層次的含義與價值，而不是過去的對數據的簡單統計分析。要達到這一目標，需要提高計算機的智能計算能力，如今的機器學習和深度學習是大數據技術中分析數據的強有力工具，能在大數據中挖掘到數據的深層的含義。近年來由于計算機硬件性能的快速提升，且以云計算、大數據為代表的計算技術的快速發展，使得信息處理的速度和質量大為提高，能夠快速、并行地處理海量數據。

（二）基于大數據技術的多學科融合。大數據時代的社會進程中，許多行業和學科的研究內容從表面上無所關聯，但是從數據研究深層的視角來分析，其實是有所聯系和結合點的。未來大數據技術將與區塊鏈技術、物聯網技術、云計算等熱點技術領域相互交叉，相互融合學習研究，產生更多融合不同行業、不同領域的數據的綜合性應用。

（三）大數據安全管理。大數據及其相關重要資源涉及范圍廣，覆蓋面大，且針對的對象可能是行業的機密和國家主權問題，因此如何保護大數據資源的安全，以及如何保護用戶的隱私就成為一個社會熱點關注的問題。但大數據應用所產生的隱私問題安全保護條例以及管理辦法還沒有得到實質性的進展和突破。因此，未來大數據安全和隱私問題依然是學術界和行業的研究熱點。

（四）大數據技術人才培養。大數據技術發展迅速，互聯網行業應用需求的快速增長，但目前技術市場上的高精尖人才短缺嚴重。因此，有關單位應積極推進科學文化建設，推動學科的交叉學習，全面對數據分析技術人才進行培養。使得大數據學科體系建設和人才培養能與市場的需求同步前進，同時推動大數據技術迅速發展，推動行業更快的建設。

五、總結

如今人們已經習慣了將自己的生活通過網絡進行記錄和分享，智慧農業、智慧教育、智慧醫療、智慧環保、智慧城市的建設，也已經將當今社會融入到到“大數據”時代。大數據技術仍然在發展，并在潛移默化的改變著人們的生活節奏和整個社會的發展方向，我們要合理使用大數據技術平臺，造福于人類的生活。

參考文獻：

[1]張曉燕，劉超.基于云計算的大數據技術研究[J].電子世界， 2018（3）：63-64.

[2]謝思睿.大數據應用的綜述和展望[J].通訊世界， 2017（21）：3-4.

[3]陳曈.近年來大數據應用情況綜述[J].電腦與信息技術， 2017， 25（3）：63-65.

[4]呂登龍， 朱詩兵. 大數據及其體系架構與關鍵技術綜述[J]. 裝備學院學報， 2017， 28（1）：86-96.

[5]米保全.概述大數據系統及分析技術[J].通訊世界， 2017（24）：97-98.