新時期下大數(shù)據(jù)分析與應(yīng)用探析

張瑾 對外經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計學(xué)院

一、引言

大數(shù)據(jù)的概念由麥肯錫提出，大數(shù)據(jù)是一種規(guī)模大到在獲取、儲存、管理、分析方面大大超出傳統(tǒng)數(shù)據(jù)庫軟件功能范圍的數(shù)據(jù)集合，其具有大量、高速、多樣、低價值密度與真實性的特征。大數(shù)據(jù)時代的到來，為國內(nèi)各行業(yè)管理決策模式的改革指明了方向，也為企業(yè)管理模式的轉(zhuǎn)型提供了支持。當(dāng)前已經(jīng)進(jìn)入大數(shù)據(jù)時代，互聯(lián)網(wǎng)技術(shù)、云計算、數(shù)據(jù)庫等技術(shù)更新速度非常快，大數(shù)據(jù)為新型技術(shù)的發(fā)展提供了助力，提高了信息化平臺數(shù)據(jù)分析和加工處理的能力。大數(shù)據(jù)分析和應(yīng)用受到眾多學(xué)者的研究與分析，發(fā)掘出許多應(yīng)用廣泛的理論和方法，如深度學(xué)習(xí)、模式識別等技術(shù)。大數(shù)據(jù)在國家層面也有很廣泛的應(yīng)用。國家出臺了一些法律政策、經(jīng)濟(jì)政策和人力政策來支持大數(shù)據(jù)技術(shù)的發(fā)展與壯大。

大數(shù)據(jù)技術(shù)已經(jīng)深入到生產(chǎn)生活的各個方面。從企業(yè)來講，大數(shù)據(jù)技術(shù)可以和數(shù)據(jù)挖掘、人工智能等各種技術(shù)融合。以此來為新的生產(chǎn)方式政策提供指導(dǎo)，促進(jìn)生產(chǎn)力的進(jìn)一步發(fā)展。以“互聯(lián)網(wǎng)+制造業(yè)”的智能生產(chǎn)方式，大大優(yōu)化生產(chǎn)流程，縮短了生產(chǎn)時間，降低了產(chǎn)品生產(chǎn)所需要花費(fèi)的費(fèi)用。在居民生產(chǎn)領(lǐng)域，以信息技術(shù)為支撐的智慧城市的構(gòu)想，從城市構(gòu)建的各個方面，例如將城市公共產(chǎn)品的服務(wù)系統(tǒng)整合，形成資源的充分共享，不僅提高了居民生活的幸福感，也使環(huán)境資源的利用率得到了最大化。因此，深度挖掘大數(shù)據(jù)分析技術(shù)的發(fā)展與應(yīng)用有非常重要的現(xiàn)實意義。

二、大數(shù)據(jù)概述

有許多機(jī)構(gòu)對大數(shù)據(jù)的定義做過描述，除麥肯錫給出的大數(shù)據(jù)的定義以外，國外的國家標(biāo)準(zhǔn)和技術(shù)研究院對大數(shù)據(jù)也作出了定義：“大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度，或數(shù)據(jù)表示限制了使用傳統(tǒng)關(guān)系型方法進(jìn)行有效分析的能力，需使用重要水平縮放技術(shù)來實現(xiàn)高效處理數(shù)據(jù)。”大數(shù)據(jù)價值鏈可分為：數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)儲存以及數(shù)據(jù)分析。數(shù)據(jù)分析是核心步驟，將數(shù)據(jù)中的價值挖掘出來是數(shù)據(jù)分析的靈魂所在，根據(jù)數(shù)據(jù)分析得出的有價值的信息，將其整合成有效的方案，從而制定有效的建議決策。根據(jù)收集到的信息可進(jìn)行深度挖掘，發(fā)現(xiàn)數(shù)據(jù)間的聯(lián)系與潛在關(guān)系。

從大數(shù)據(jù)的定義看，大數(shù)據(jù)具有數(shù)據(jù)量多的特點。大數(shù)據(jù)的計量單位以PB、ZB 等更大的存儲單位來計量。社會上各種技術(shù)的更新，技術(shù)不僅在民眾中普及的非常快，專業(yè)人員的繼續(xù)開發(fā)與研究速度也非常快。而且居民生活中的種種痕跡都會被計算機(jī)記錄，由此產(chǎn)生的大量的數(shù)據(jù)就會非常龐大。同時大數(shù)據(jù)也非常的快。不僅是增長速度快，還有大數(shù)據(jù)處理的速度快。由于社會上各種活動軌跡都要被記錄下來，數(shù)據(jù)增長呈現(xiàn)指數(shù)式增長態(tài)勢，時間短，數(shù)據(jù)量大；數(shù)據(jù)量的急劇增加也就增加了對數(shù)據(jù)處理速度的要求，將實時產(chǎn)生的數(shù)據(jù)快速轉(zhuǎn)換為可以被處理的數(shù)據(jù)以及可以被使用的數(shù)據(jù)是對大數(shù)據(jù)技術(shù)提出的要求。

三、大數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)分析就是要從海量的數(shù)據(jù)提取出有價值的信息。社會信息化程度不斷加深，各個領(lǐng)域和行業(yè)對大數(shù)據(jù)分析愈發(fā)青睞。若是在數(shù)據(jù)量極大的數(shù)據(jù)中發(fā)掘出有用的數(shù)據(jù)，需要選取正確有效的數(shù)據(jù)分析方法。

可視化分析是最基本的大數(shù)據(jù)分析方法，由于可視化分析方法是以圖形的方式來展示數(shù)據(jù)中提取的信息，簡潔而直觀，可以同時展示大量、高精度、多角度的復(fù)雜圖形信息，方便使用者進(jìn)行觀察與分析，因而受到很多企業(yè)管理者的喜愛。同時，可視化分析技術(shù)操作簡單，能夠被較多的人所掌握。

數(shù)據(jù)挖掘是大數(shù)據(jù)分析的核心方法。數(shù)據(jù)挖掘就是從非常繁多的數(shù)據(jù)中提取出有用信息的技術(shù)方法，該項技術(shù)需要從貼合數(shù)據(jù)的特性與數(shù)據(jù)所代表的內(nèi)涵的角度來挖掘出數(shù)據(jù)信息的內(nèi)部價值。數(shù)據(jù)挖掘可以大大提高數(shù)據(jù)的價值性，使企業(yè)決策者能夠根據(jù)數(shù)據(jù)做出更加有效的決策。但由于數(shù)據(jù)挖掘技術(shù)可以有很多算法，掌握起來有一定的難度。

預(yù)測性分析在大數(shù)據(jù)分析技術(shù)中有著舉足輕重的地位。由于數(shù)據(jù)最終價值是要為未來的決策做出指引，這就需要數(shù)據(jù)有預(yù)測的能力。在商業(yè)領(lǐng)域，預(yù)測模型根據(jù)已經(jīng)產(chǎn)生的數(shù)據(jù)，來識別其中的數(shù)據(jù)規(guī)律，從而指導(dǎo)決策。

人工智能可以將人從繁重的大量的數(shù)據(jù)解放出來，可以綜合數(shù)據(jù)分析和數(shù)據(jù)挖掘的技術(shù)特點，充分發(fā)揮大數(shù)據(jù)的優(yōu)點。人工智能技術(shù)涉及的領(lǐng)域較多，可以實現(xiàn)文本數(shù)據(jù)、圖像數(shù)據(jù)、視頻數(shù)據(jù)處理，充分發(fā)揮數(shù)據(jù)潛在價值的挖掘，通過相關(guān)數(shù)據(jù)的展示，實現(xiàn)可視化的操作服務(wù)。人工智能也是當(dāng)前計算機(jī)重要技術(shù)之一，目前利用人工智能可以構(gòu)建大數(shù)據(jù)模型，同時動態(tài)的實現(xiàn)算法的更新和處理，保證算法能夠準(zhǔn)確的實現(xiàn)知識加工，提人工智能的應(yīng)用精準(zhǔn)程度。

大數(shù)據(jù)分析的方法技術(shù)還有很多，例如布隆過濾器、HASH 法、索引、TRIE 樹等。與傳統(tǒng)的數(shù)據(jù)分析方法相比，大數(shù)據(jù)分析方法不再是從有限的樣本空間中獲取信息，而是從整個數(shù)據(jù)量分析，可以通過高效的算法、模式，準(zhǔn)確的從大量的數(shù)據(jù)中獲取信息。

四、大數(shù)據(jù)分析需注意的方面

大數(shù)據(jù)分析要明確分析的目標(biāo)。大數(shù)據(jù)收集與分析工作事很煩瑣且過程不易逆，在進(jìn)行大數(shù)據(jù)分析前，如果對數(shù)據(jù)分析工作的目標(biāo)不清晰不明確，那么數(shù)據(jù)收集工作和分析工作就會有很大的概率做無用功。因此明確數(shù)據(jù)分析的目標(biāo)，從根本上把控工作的步驟及進(jìn)程，可以高效的完成數(shù)據(jù)分析的工作。

大數(shù)據(jù)分析要科學(xué)規(guī)劃分析流程。由于大數(shù)據(jù)分析工作是一套完整的流程，包括收集、整理、分析以及整理等步驟。大數(shù)據(jù)分析工作要保障整個流程在規(guī)定時間內(nèi)保質(zhì)保量的完成，就需要對每個步驟的完成時間進(jìn)行規(guī)定，根據(jù)流程中該項工作的重要性和工作量來對每個步驟就那些劃定時間，并嚴(yán)格要求每個步驟在桂東時間內(nèi)完成。這樣可以做到對整個流程的把控與統(tǒng)籌安排。

大數(shù)據(jù)分析工作的關(guān)鍵之處是數(shù)據(jù)分析后的結(jié)果。由于大數(shù)據(jù)分析過程中每個步驟都是很重要的，數(shù)據(jù)收集要保障得到的數(shù)據(jù)是完整有效的，數(shù)據(jù)整理要保障整理后的數(shù)據(jù)是可以用于數(shù)據(jù)分析的，是有價值的數(shù)據(jù)，數(shù)據(jù)分析則要求能夠保障分析結(jié)果是真實準(zhǔn)確的，結(jié)果整理是很重要的一步，這部分要最終形成分析報告，來對結(jié)果進(jìn)行說明解釋，從數(shù)據(jù)中發(fā)現(xiàn)的規(guī)律及決策方向。因此不能過分關(guān)注某一個步驟，由于流程的前后順序，要合理安排數(shù)據(jù)的收集和整理工作，把更多的精力放在數(shù)據(jù)分析和結(jié)果整理上，最終使得到的結(jié)果是對未來的決策有幫助的。

五、大數(shù)據(jù)分析技術(shù)的應(yīng)用領(lǐng)域

大數(shù)據(jù)能夠?qū)崿F(xiàn)多種數(shù)據(jù)源的融合、加工和處理，幫助用戶實現(xiàn)信息過濾、推薦，為決策提供支撐。大數(shù)據(jù)時代，若是能及時洞悉數(shù)據(jù)中包含的價值，將對商業(yè)模式產(chǎn)生深遠(yuǎn)的變革意義。

大數(shù)據(jù)分析技術(shù)可用于商業(yè)銀行。銀行業(yè)經(jīng)過幾十年的發(fā)展，在繁榮發(fā)展的同時，也需要進(jìn)行變革。例如依然存在銀行對客戶的行為分析能力不夠，服務(wù)水平和質(zhì)量不夠，產(chǎn)品創(chuàng)新不足，缺乏競爭力等問題。商業(yè)銀行可以利用大數(shù)據(jù)分析技術(shù)，研究客戶的金融行為，以提升服務(wù)質(zhì)量和服務(wù)水平以手段，以提高客戶的滿意度為目標(biāo)，提升銀行的科學(xué)管理水平。

大數(shù)據(jù)分析技術(shù)可用于農(nóng)業(yè)生產(chǎn)工作。農(nóng)業(yè)生產(chǎn)工作以往都是農(nóng)民根據(jù)經(jīng)驗來進(jìn)行農(nóng)業(yè)耕種。通過數(shù)據(jù)數(shù)據(jù)技術(shù)對氣象數(shù)據(jù)進(jìn)行預(yù)測，發(fā)現(xiàn)特定地域的氣候規(guī)律，進(jìn)而采取科學(xué)適宜的舉措，提高農(nóng)產(chǎn)品的產(chǎn)量收益。通過數(shù)據(jù)分析技術(shù)分析當(dāng)?shù)赝寥莱煞帧⒎柿系氖褂玫确矫妫茖W(xué)施種，選用最有利生長的農(nóng)戶品品種，選用適宜肥料。通過數(shù)據(jù)分析農(nóng)業(yè)病蟲害的防治時間，完善病蟲害治療框架。通過遙感技術(shù)、監(jiān)控技術(shù)采集生長信息，整體提高對于農(nóng)作物生長狀況的監(jiān)管力度，提高農(nóng)作物整體經(jīng)濟(jì)效益，促進(jìn)農(nóng)業(yè)生產(chǎn)行業(yè)的快速發(fā)展。

大數(shù)據(jù)分析技術(shù)可用于企業(yè)管理工作中。企業(yè)需要將經(jīng)驗決策轉(zhuǎn)換為數(shù)據(jù)決策，利用數(shù)據(jù)分析找到自身的核心競爭力。確定產(chǎn)品定位，挖掘潛在商業(yè)價值，規(guī)避風(fēng)險，對企業(yè)發(fā)展有更清晰定位。通過數(shù)據(jù)分析可以了解客戶消費(fèi)習(xí)慣、企業(yè)經(jīng)營狀況，收入情況以及與員工工作詳情。有利于企業(yè)大幅提升管理水平，提高營業(yè)效益。

大數(shù)據(jù)分析可以應(yīng)用的領(lǐng)域還有很多，例如保險公司、金融投資、精準(zhǔn)扶貧等等。面對大數(shù)據(jù)市場的急速發(fā)展，產(chǎn)生了大量的大數(shù)據(jù)人才渴求，亟須合理組織和安排大數(shù)據(jù)學(xué)習(xí)課程。整體規(guī)劃大數(shù)據(jù)教學(xué)體系，把握大數(shù)據(jù)課程的整體要求，形成從初級到高級的進(jìn)階。設(shè)計大數(shù)據(jù)算法、程序和架構(gòu)，強(qiáng)調(diào)實踐應(yīng)用的重要地位。構(gòu)建大數(shù)據(jù)人才培養(yǎng)教學(xué)體系架構(gòu)，培養(yǎng)能力與素質(zhì)齊備的大數(shù)據(jù)人才后備軍。