淺談大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)

蘇毅

【摘 要】大數(shù)據(jù)技術(shù)是互聯(lián)網(wǎng)技術(shù)發(fā)展的產(chǎn)物，是我國經(jīng)濟(jì)新常態(tài)階段發(fā)展的特征，隨著工業(yè)智能化發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)融入人們生活的各個(gè)領(lǐng)域，并且在工業(yè)結(jié)構(gòu)調(diào)整中發(fā)揮著越來越重要的作用，尤其是在推動(dòng)科技創(chuàng)新的背景下，實(shí)現(xiàn)企業(yè)制造與數(shù)字化生產(chǎn)管理的深度融合是大數(shù)據(jù)發(fā)展的主要趨勢(shì)。論文以對(duì)大數(shù)據(jù)技術(shù)的概述作為切入點(diǎn)，闡述大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)，并且提出促進(jìn)大數(shù)據(jù)技術(shù)發(fā)展的具體對(duì)策。

【關(guān)鍵詞】大數(shù)據(jù)技術(shù);發(fā)展趨勢(shì);創(chuàng)新;經(jīng)濟(jì)新常態(tài)

【Keywords】big data technology; development trend; innovation; new normal economy

【中圖分類號(hào)】TP311.13? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文獻(xiàn)標(biāo)志碼】A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文章編號(hào)】1673-1069（2018）12-0190-02

1 引言

經(jīng)濟(jì)新常態(tài)階段以大數(shù)據(jù)、智能化、人工智能和互聯(lián)網(wǎng)為代表的新一代信息技術(shù)正在深刻改變著我們的生產(chǎn)方式和生活方式。大數(shù)據(jù)技術(shù)已經(jīng)成為我國產(chǎn)業(yè)結(jié)構(gòu)調(diào)整、實(shí)現(xiàn)科技創(chuàng)新的重要技術(shù)支撐。因此，在競(jìng)爭(zhēng)日益激烈的市場(chǎng)環(huán)境下，如何利用大數(shù)據(jù)技術(shù)成為企業(yè)占據(jù)市場(chǎng)主動(dòng)性的關(guān)鍵因素。隨著大數(shù)據(jù)技術(shù)在社會(huì)各領(lǐng)域的廣泛應(yīng)用，大數(shù)據(jù)技術(shù)必將呈現(xiàn)出更快的發(fā)展趨勢(shì)。

2 大數(shù)據(jù)技術(shù)的概述

大數(shù)據(jù)技術(shù)是當(dāng)前的“熱詞”，如《華爾街日?qǐng)?bào)》將大數(shù)據(jù)時(shí)代、智能化生產(chǎn)以及無線網(wǎng)絡(luò)革命稱為引領(lǐng)未來繁榮發(fā)展的重大技術(shù)變革。目前，學(xué)術(shù)界對(duì)于大數(shù)據(jù)還沒有形成一個(gè)公認(rèn)的定義。從技術(shù)能力角度分析，大數(shù)據(jù)是指規(guī)模超過現(xiàn)有數(shù)據(jù)庫工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集合，并同時(shí)強(qiáng)調(diào)并不是超過某個(gè)特定數(shù)量級(jí)的數(shù)據(jù)集才是大數(shù)據(jù)。大數(shù)據(jù)技術(shù)具有以下四個(gè)特征：①非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模。大數(shù)據(jù)相對(duì)結(jié)構(gòu)化的數(shù)據(jù)要快10到50倍，而且其增長(zhǎng)速度非常快。②大數(shù)據(jù)的異構(gòu)和多樣性。大數(shù)據(jù)技術(shù)可以通過不同的形式存在，如文本、圖像以及視頻等，這些大數(shù)據(jù)數(shù)據(jù)沒有固定的模式。③大量的不相關(guān)信息。大數(shù)據(jù)實(shí)現(xiàn)了對(duì)未來趨勢(shì)的分析與預(yù)測(cè)，大數(shù)據(jù)信息之間沒有內(nèi)在的必然性。④實(shí)時(shí)分析。大數(shù)據(jù)技術(shù)最顯著的特點(diǎn)就是實(shí)現(xiàn)了對(duì)數(shù)據(jù)庫資源信息的實(shí)時(shí)搜集，而且屬于精準(zhǔn)化的分析處理。

結(jié)合大數(shù)據(jù)技術(shù)結(jié)構(gòu)原理，大數(shù)據(jù)處理就是在復(fù)雜的數(shù)據(jù)中提煉有價(jià)值的信息。具體的大數(shù)據(jù)處理流程為：第一，大數(shù)據(jù)采集技術(shù)。數(shù)據(jù)是大數(shù)據(jù)知識(shí)服務(wù)模型的根本，大數(shù)據(jù)采集是大數(shù)據(jù)處理的基礎(chǔ)，大數(shù)據(jù)采集主要是通過大數(shù)據(jù)智能感知層和基礎(chǔ)支撐層實(shí)現(xiàn)的。第二，大數(shù)據(jù)預(yù)處理技術(shù)。大數(shù)據(jù)預(yù)處理技術(shù)是對(duì)已經(jīng)接受的數(shù)據(jù)進(jìn)行辨析、抽取以及清洗的操作。具有的流程為：①抽取，由于大數(shù)據(jù)的結(jié)構(gòu)、類型不同，因此，在數(shù)據(jù)抽取的過程中需要將不同類型的數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)化為單一的構(gòu)型，以此達(dá)到可以快速處理數(shù)據(jù)的目的。②由于大數(shù)據(jù)信息量比較大，尤其是一些信息是我們不關(guān)注的，同時(shí)抽取的信息可能會(huì)出現(xiàn)錯(cuò)誤，因此，需要通過大數(shù)據(jù)預(yù)處理技術(shù)過濾掉不需要的信息，以此提煉出有效的數(shù)據(jù)。第三，大數(shù)據(jù)儲(chǔ)存及管理技術(shù)。大數(shù)據(jù)儲(chǔ)存技術(shù)就是將收集的數(shù)據(jù)信息通過存儲(chǔ)器存儲(chǔ)起來，并且進(jìn)行相應(yīng)的管理。大數(shù)據(jù)存儲(chǔ)與管理是大數(shù)據(jù)技術(shù)的關(guān)鍵環(huán)節(jié)，其重點(diǎn)需要解決的問題就是實(shí)現(xiàn)對(duì)大數(shù)據(jù)信息的有效管理。該環(huán)節(jié)的關(guān)鍵是解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。當(dāng)然在實(shí)踐中為了滿足對(duì)數(shù)據(jù)的分析與提取，數(shù)據(jù)存儲(chǔ)必須要滿足以下兩個(gè)條件：存儲(chǔ)基本框架必須要具有穩(wěn)定性，尤其是要在時(shí)間上具有穩(wěn)定性;存儲(chǔ)子系統(tǒng)必須要具有可以提供查詢和分析數(shù)據(jù)的功能。第四，數(shù)據(jù)分析。數(shù)據(jù)分析是大數(shù)據(jù)技術(shù)應(yīng)用的最為重要的階段與功能，數(shù)據(jù)分析的目的就是通過對(duì)海量信息的提取以便做出最科學(xué)的決策。結(jié)合大數(shù)據(jù)技術(shù)分析成果，大數(shù)據(jù)分析常用的方式為：①數(shù)據(jù)可視化。數(shù)據(jù)可視化就是通過有效的圖形傳遞信息，數(shù)據(jù)可視化在現(xiàn)代工業(yè)制造領(lǐng)域有著廣泛的應(yīng)用價(jià)值，如BIM體系就是充分利用大數(shù)據(jù)技術(shù)的可視化功能。②統(tǒng)計(jì)分析。統(tǒng)計(jì)分析則是利用大數(shù)據(jù)的自動(dòng)預(yù)測(cè)分析功能，按照一定的規(guī)律在海量的數(shù)據(jù)庫中自動(dòng)提取相應(yīng)的數(shù)據(jù)信息的過程。③數(shù)據(jù)挖掘。數(shù)據(jù)挖掘就是在海量的信息中提取出人們事前不知道的但是潛在有用的信息和知識(shí)的過程。

3 大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，尤其是國家將大數(shù)據(jù)技術(shù)發(fā)展作為基本戰(zhàn)略之一后，大數(shù)據(jù)技術(shù)在社會(huì)各領(lǐng)域內(nèi)的應(yīng)用不斷拓展，開放共享已經(jīng)成為大數(shù)據(jù)資源的關(guān)鍵優(yōu)勢(shì)。但是，由于大數(shù)據(jù)技術(shù)缺乏統(tǒng)一的規(guī)范標(biāo)準(zhǔn)，尤其當(dāng)前大數(shù)據(jù)的發(fā)展存在著數(shù)據(jù)框架落后的問題，如物聯(lián)網(wǎng)等新技術(shù)涌入，所帶來的大量數(shù)據(jù)無法納入當(dāng)下的數(shù)據(jù)框架中。由物聯(lián)網(wǎng)、車聯(lián)網(wǎng)各種各樣的物理信號(hào)所帶來數(shù)量級(jí)的有效數(shù)據(jù)，是需要面對(duì)的新數(shù)據(jù)局面[1]。因此，未來我國大數(shù)據(jù)技術(shù)發(fā)展呈現(xiàn)以下趨勢(shì)：①數(shù)據(jù)資源化。大數(shù)據(jù)已經(jīng)成為企業(yè)占據(jù)市場(chǎng)的關(guān)鍵因素，大數(shù)據(jù)在社會(huì)各領(lǐng)域內(nèi)將有更多的應(yīng)用平臺(tái)，如大數(shù)據(jù)技術(shù)不僅在人們?nèi)粘３鲂兄械玫綇V泛應(yīng)用，而且還在工業(yè)設(shè)計(jì)、生產(chǎn)中得到使用。因此，大數(shù)據(jù)技術(shù)必然會(huì)呈現(xiàn)出數(shù)據(jù)的資源化發(fā)展趨勢(shì)。②基于云的數(shù)據(jù)分析平臺(tái)將更趨完善。首先，云計(jì)算為大數(shù)據(jù)提供了可以彈性擴(kuò)展、相對(duì)便宜的存儲(chǔ)空間和計(jì)算資源，使得中小企業(yè)也可以像亞馬遜一樣通過云計(jì)算來完成大數(shù)據(jù)分析。其次，云計(jì)算IT資源龐大、分布較為廣泛，是異構(gòu)系統(tǒng)較多的企業(yè)及時(shí)準(zhǔn)確處理數(shù)據(jù)的有力方式，甚至是唯一的方式。當(dāng)然，大數(shù)據(jù)要走向云計(jì)算，還有賴于數(shù)據(jù)通信帶寬的提高和云資源池的建設(shè)，需要確保原始數(shù)據(jù)能遷移到云環(huán)境以及資源池可以隨需彈性擴(kuò)展。③大數(shù)據(jù)的安全性日益提升。隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，大數(shù)據(jù)技術(shù)的信息共享性雖然為人們帶來了巨大的便利，但是，其存在的安全性也制約著大數(shù)據(jù)技術(shù)的實(shí)際應(yīng)用。因此，大數(shù)據(jù)技術(shù)的安全性問題將成為我國大數(shù)據(jù)技術(shù)發(fā)展所必須要解決的問題之一。通過文件訪問控制來限制對(duì)數(shù)據(jù)的操作、基礎(chǔ)設(shè)備加密、匿名化保護(hù)技術(shù)和加密保護(hù)等技術(shù)正在最大程度的保護(hù)數(shù)據(jù)安全。④大數(shù)據(jù)分析與挖掘。在數(shù)據(jù)量迅速膨脹的同時(shí)，還要進(jìn)行數(shù)據(jù)的深度分析和挖掘，并且對(duì)自動(dòng)化分析要求越來越高，越來越多的大數(shù)據(jù)數(shù)據(jù)分析工具和產(chǎn)品應(yīng)運(yùn)而生，如用于大數(shù)據(jù)挖掘的R Hadoop版、基于MapReduce開發(fā)的數(shù)據(jù)挖掘算法等。

4 提高大數(shù)據(jù)技術(shù)發(fā)展的具體對(duì)策

大數(shù)據(jù)技術(shù)已經(jīng)成為人們生活生產(chǎn)所不可或缺的重要技術(shù)支撐。河北省“大智移云”發(fā)展領(lǐng)導(dǎo)小組辦公室出臺(tái)的《河北省大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新發(fā)展三年行動(dòng)計(jì)劃（2018-2020）》明確提出要大力發(fā)展大數(shù)據(jù)產(chǎn)業(yè)，培育發(fā)展數(shù)據(jù)經(jīng)濟(jì)新動(dòng)能，建設(shè)網(wǎng)絡(luò)強(qiáng)省。因此，結(jié)合相關(guān)工作實(shí)踐經(jīng)驗(yàn)，提高大數(shù)據(jù)技術(shù)發(fā)展需要做好以下工作。

4.1 加強(qiáng)大數(shù)據(jù)人才培養(yǎng)，提升大數(shù)據(jù)后備人才素質(zhì)

基于大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展，暴露出我國大數(shù)據(jù)人才不足問題，尤其是缺乏高素質(zhì)大數(shù)據(jù)技術(shù)應(yīng)用型人才，因此，一方面我國要加大對(duì)大數(shù)據(jù)技術(shù)人才的培訓(xùn)力度，鼓勵(lì)網(wǎng)絡(luò)科技企業(yè)加強(qiáng)人才培養(yǎng)，定期組織員工深入到優(yōu)秀的網(wǎng)絡(luò)企業(yè)學(xué)習(xí)深造。同時(shí)，國家要從戰(zhàn)略角度出發(fā)，鼓勵(lì)高校開設(shè)大數(shù)據(jù)技術(shù)專業(yè)教育，提高大數(shù)據(jù)專業(yè)人才培養(yǎng)速度，如高校要深入開展訂單式人才培養(yǎng)，通過與企業(yè)的校企合作，提高學(xué)生的實(shí)踐能力，為我國大數(shù)據(jù)技術(shù)發(fā)展培養(yǎng)優(yōu)秀的人才;另一方面要加強(qiáng)人才引進(jìn)力度，通過人才引進(jìn)提高人才整體素質(zhì)，如河北省實(shí)施“百人計(jì)劃”“巨人計(jì)劃”等引進(jìn)高端大數(shù)據(jù)人才，可以有效提升河北省人才儲(chǔ)備質(zhì)量。

4.2 健全市場(chǎng)培育機(jī)制，建立完善的大數(shù)據(jù)評(píng)估體系

健全市場(chǎng)培育機(jī)制一方面要通過政府的引導(dǎo)機(jī)制，如政府部門要加強(qiáng)對(duì)大數(shù)據(jù)技術(shù)產(chǎn)業(yè)的采購力度，鼓勵(lì)政府部門通過服務(wù)外包等模式依托專業(yè)企業(yè)開展政府大數(shù)據(jù)應(yīng)用，降低社會(huì)管理成本。另一方面，鼓勵(lì)社會(huì)資本投入大數(shù)據(jù)產(chǎn)業(yè)，重點(diǎn)對(duì)政務(wù)數(shù)據(jù)、公共服務(wù)領(lǐng)域數(shù)據(jù)開展采集整理和挖掘分析。大力推動(dòng)大數(shù)據(jù)應(yīng)用試點(diǎn)示范，加快大數(shù)據(jù)推廣應(yīng)用，培育大數(shù)據(jù)應(yīng)用市場(chǎng)。

4.3 提高大數(shù)據(jù)核心技術(shù)，提升大數(shù)據(jù)技術(shù)的安全性

提高大數(shù)據(jù)技術(shù)還必須要解決大數(shù)據(jù)技術(shù)的安全性問題，積極培育發(fā)展安全咨詢、測(cè)評(píng)認(rèn)證、風(fēng)險(xiǎn)評(píng)估等第三方服務(wù)機(jī)構(gòu)。加強(qiáng)關(guān)鍵信息基礎(chǔ)設(shè)施安全防護(hù)，建立完善金融、能源、交通、電信、統(tǒng)計(jì)、廣播電視、公共安全、公共事業(yè)等重要數(shù)據(jù)資源和信息系統(tǒng)的安全保密防護(hù)體系，加強(qiáng)對(duì)涉及國家利益、公共安全、商業(yè)秘密、個(gè)人隱私、軍工科研生產(chǎn)等信息的保護(hù)。

總之，基于大數(shù)據(jù)技術(shù)的不斷發(fā)展，加強(qiáng)大數(shù)據(jù)技術(shù)的創(chuàng)新與發(fā)展是促進(jìn)經(jīng)濟(jì)結(jié)構(gòu)轉(zhuǎn)型升級(jí)的必然舉措，因此，基于當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀，我國必須要進(jìn)一步加強(qiáng)人才培養(yǎng)力度，強(qiáng)化政策指導(dǎo)，建立規(guī)范的大數(shù)據(jù)產(chǎn)業(yè)體系，推動(dòng)大數(shù)據(jù)技術(shù)的可持續(xù)發(fā)展。

【參考文獻(xiàn)】

【1】田鐵剛.大數(shù)據(jù)的特點(diǎn)及未來發(fā)展趨勢(shì)研究[J].無線互聯(lián)科技，2018（05）：13.