大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題研究

董好偉

摘要：伴隨時代的進步，科技水平的不斷提升，目前計算機、移動通訊、互聯(lián)網(wǎng)有了大量應(yīng)用，走進了千家萬戶，深入到社會生產(chǎn)與生活的各個方面，成為民眾生活中不可缺少的重要組成之一，不斷改變著人們的生活方式，改善人們的工作條件，所以世界各個國家與地區(qū)都在致力于無線網(wǎng)絡(luò)的建設(shè)與智能移動終端的發(fā)展，近十幾年來，我國上網(wǎng)人數(shù)飛速增長，人們的各種行為表現(xiàn)出一些規(guī)律性，基于移動網(wǎng)絡(luò)與智能終端的大數(shù)據(jù)也應(yīng)運而生，并且隨著時間的推移，其作用越來越重要。大數(shù)據(jù)技術(shù)的應(yīng)用極大地推動了我國經(jīng)濟與社會的發(fā)展，所以對大數(shù)據(jù)應(yīng)用的技術(shù)及潛在問題展開研究，具有十分重要的現(xiàn)實意義。

關(guān)鍵詞：大數(shù)據(jù);技術(shù)體系;潛在問題

中圖分類號：TP311 ? ? ? ?文獻標(biāo)識碼：A

文章編號：1009-3044（2019）15-0043-02

當(dāng)大數(shù)據(jù)概念被提出之后，伴隨通訊與無線網(wǎng)絡(luò)技術(shù)的進步而得到飛速發(fā)展，大數(shù)據(jù)技術(shù)的應(yīng)用能夠幫助我們在人們看似沒有規(guī)律沒有秩序的各種活動與行為中，找出一定潛在規(guī)律，如果將其應(yīng)用于商業(yè)活動當(dāng)中，就能夠充分掌握消費者的習(xí)慣特點，進而進行產(chǎn)品的精準研發(fā)與投放;如果將其應(yīng)用于社會管理當(dāng)中，就能夠幫助國家與相關(guān)機關(guān)部門制定更加科學(xué)合理，且更有針對性的政策與方針，提升社會的穩(wěn)定性，構(gòu)建和諧社會。然而在其發(fā)展過程中也表現(xiàn)出一些不足之處，只有克服這些問題，才能推動大數(shù)據(jù)技術(shù)的持續(xù)發(fā)展，更好地服務(wù)于社會。

1 解析大數(shù)據(jù)應(yīng)用技術(shù)體系

目前隨著網(wǎng)絡(luò)與智能手機廣泛應(yīng)用，上網(wǎng)人數(shù)急劇增加，每天都會產(chǎn)生大量的數(shù)據(jù)，借助傳統(tǒng)的辦法與手段，在規(guī)定時間內(nèi)不能對其進行有效處理，并歸納成對國家與公司決策有幫助的一系列信息。但是借助于大數(shù)據(jù)技術(shù)，在較短時間內(nèi)就可以在龐大的數(shù)據(jù)中提煉出有用訊息。目前，對于大數(shù)據(jù)的界定就是通過多種形式、多種渠道收集大量訊息數(shù)據(jù)，能夠?qū)崿F(xiàn)搜集數(shù)據(jù)的動態(tài)化、實時化，較之傳統(tǒng)手段，其速度特別快。大數(shù)據(jù)給我們提供便利的同時，還會對我們的私人信息造成一定的泄漏風(fēng)險，這也是大數(shù)據(jù)的一大重要特點。

1.1 大數(shù)據(jù)技術(shù)的構(gòu)成

（1）云計算

對于大數(shù)據(jù)技術(shù)來說，其是不能單獨存在的，基于技術(shù)角度進行分析，大數(shù)據(jù)與云計算互為依托，如同事物的兩面，兩者緊密相連。云計算是建立在經(jīng)濟驅(qū)動基礎(chǔ)上的一種分布式模型，通常情況下，其把各種網(wǎng)絡(luò)資源進行虛擬化處理，構(gòu)建龐大數(shù)據(jù)中心，組建超級網(wǎng)絡(luò)計算機體系，進而形成一種平臺系統(tǒng)，將各種信息提供給使用者。

（2）硬件系統(tǒng)

根據(jù)大數(shù)據(jù)相關(guān)定義，大數(shù)據(jù)需要通過多種途徑，多種方法來獲取大量數(shù)據(jù)資源，而這些資源的獲取，則需要借助于互聯(lián)網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、分布世界各地的計算機以及集成于移動終端（如智能手機、平板電腦等）之內(nèi)的各種傳感器而構(gòu)成。通過這些傳感元器件，就能夠獲取到使用者的各種信息，然后借助于網(wǎng)絡(luò)進行數(shù)據(jù)傳輸。對于大數(shù)據(jù)來說，硬件系統(tǒng)是其運行重要載體。

（3）信息處理程序

大數(shù)據(jù)具有強大的處理能力，其處理能力主要通過各類信息處理程序來發(fā)揮作用。這需要用到計算機編程，其中最主要的編程模型為MapReduce模型，該模型采用的是并行運算方式，具有強大的運算能力，能夠同時處理超過1TB龐大數(shù)據(jù)量。該技術(shù)的作用機理是把大量的數(shù)據(jù)進行劃分，利用網(wǎng)絡(luò)分散到多個子處理體系當(dāng)中，充分利用網(wǎng)絡(luò)的云計算能力，最后再借助于網(wǎng)絡(luò)將信息匯總起來，從而得出相關(guān)結(jié)果。

由上可知，大數(shù)據(jù)技術(shù)通常是由云計算、硬件系統(tǒng)以及信息處理程序三部分構(gòu)成。由這三部分共同組成了一個龐大的數(shù)據(jù)信息處理系統(tǒng)，由其對各種信息進行搜集，并進行深度加工處理，不斷提煉，最終形成有用信息。

1.2 大數(shù)據(jù)獲取途徑

（1）傳感器

傳感器大量應(yīng)用于各種智能移動終端（如手機、平板等）以及汽車導(dǎo)航儀當(dāng)中，傳感器能夠?qū)崟r收集各類信息，例如人們的位置信息等。傳感器的普及，為應(yīng)用大數(shù)據(jù)提供了必要的數(shù)據(jù)來源保障。而且傳感器應(yīng)用相當(dāng)廣泛，被應(yīng)用于諸如醫(yī)療衛(wèi)生、商業(yè)以及軍事等各個領(lǐng)域當(dāng)中。

（2）掃碼

隨著條形碼與二維碼技術(shù)的發(fā)展與成熟，很多大中小型超市商場，乃至街頭小販、個人收付款等都會用到掃碼技術(shù)。當(dāng)使用人群達到一定程度之后，就能成為一種重要的大數(shù)據(jù)來源。通過掃碼可以迅速搜集客戶的購買信息，從而掌握其購買偏好，了解其消費習(xí)慣，制定合適的商業(yè)推廣計劃。

（3）web2.0

Web2.0對被稱作第二代互聯(lián)網(wǎng)，通過其構(gòu)建了一個平臺體系，其是由大量用戶共同參與而構(gòu)建的一種平臺，記錄了用戶的一系列網(wǎng)絡(luò)活動行為，用戶登錄時就創(chuàng)建一個身份標(biāo)識，用戶借助該標(biāo)識暢游于各種基于網(wǎng)絡(luò)的軟件當(dāng)中，可以在網(wǎng)絡(luò)上發(fā)布各種信息，感興趣者還會進行大量點擊，網(wǎng)絡(luò)上充斥著各種信息與話題，點擊率的高低反映了受眾的喜好程度，對其進行分析與研究，能夠為各種決策提供數(shù)據(jù)支持，方便人們的應(yīng)用。

2 大數(shù)據(jù)運用階段存有的問題與應(yīng)對策略

2.1 缺乏專業(yè)性人才

于大數(shù)據(jù)背景下所需要解決的首要問題分別是資金與人員，大數(shù)據(jù)方面人才的嚴重缺乏是現(xiàn)今大數(shù)據(jù)市場難以進一步發(fā)展的主要因素。盡管不同行業(yè)實際業(yè)務(wù)數(shù)據(jù)給后期的數(shù)據(jù)剖析奠定了一定基礎(chǔ)，然而科學(xué)家數(shù)量上的缺乏卻使大數(shù)據(jù)的可持續(xù)發(fā)展受到了很大限制。

大部分數(shù)據(jù)科學(xué)家均為綜合型人才，需掌握多個領(lǐng)域的知識，比如統(tǒng)計、計算機等，且能夠就不同的訊息數(shù)據(jù)實施預(yù)估價值剖析，因此，需要增強在大數(shù)據(jù)方面的人才培育。

為改進大數(shù)據(jù)人才培訓(xùn)機制，需要投入更多的精力與資金支持，加大相關(guān)人才的培養(yǎng)力度，增強專門培訓(xùn)機構(gòu)的培訓(xùn)能力，在高校設(shè)置相關(guān)專業(yè)，加大人才自主培訓(xùn)力度。另外，還可以引進相關(guān)高端人才，利用企業(yè)融智作用促進大數(shù)據(jù)技術(shù)的發(fā)展。

2.2 安全和隱私方面

在大數(shù)據(jù)的發(fā)展過程中還存在著很多安全與隱私方面的隱患，伴隨社會經(jīng)濟的快速發(fā)展，傳感器與攝像頭等監(jiān)控裝備數(shù)目呈現(xiàn)逐年遞增的態(tài)勢，對社會公眾來說，這些設(shè)施對其具體位置情況進行了記載與監(jiān)控，而經(jīng)過深入研究與剖析其大量訊息數(shù)據(jù)，便能充分掌握其在出行與消費等方面的規(guī)律，進而對社會公眾的生命與財產(chǎn)安全產(chǎn)生直接危害。

另外，伴隨云計算技術(shù)的進一步發(fā)展，云設(shè)備本身還會具備一定的經(jīng)濟特性，如此便可以為“僵尸網(wǎng)絡(luò)”創(chuàng)造很大的發(fā)展機會與空間，加大了密碼體系破譯的可能。且由于該項技術(shù)的發(fā)展，為人們帶來了更加便利的工作生活條件，與此同時，社會公眾對計算機的依賴性逐年提升，并會把很多個人訊息、工作訊息等儲存到網(wǎng)絡(luò)中，這無疑加大了訊息泄露的概率。

為克服大數(shù)據(jù)使用過程中的訊息安全問題，部分學(xué)者指出了一種K-匿名的方式，使自身和周圍多個用戶一起構(gòu)成特定范疇中擁有集成性的U1性，再進行位置服務(wù)申請，便能夠?qū)ψ陨淼臏蚀_定位進行模糊處理;當(dāng)然，仍有少數(shù)學(xué)者指出能夠利用周圍K-1用戶具體位置訊息的收集與歸納工作，再利用某個訊息發(fā)出位置服務(wù)申請，便能將具體坐標(biāo)進行有效隱藏。有學(xué)者運用集中信息流把控與差分隱私保護等方法，把相關(guān)數(shù)據(jù)融合到數(shù)據(jù)形成與運算的過程中，設(shè)定了保護隱私體系，利用該體系可以防止運算過程中把部分未經(jīng)授權(quán)的隱私訊息數(shù)據(jù)進行泄露，并為運算結(jié)果的自主解密提供支持，如此操作能夠防止定位訊息泄露等問題的產(chǎn)生。

目前蘋果公司相關(guān)產(chǎn)品上主要以其自主開發(fā)的電子剖析污染技術(shù)為基礎(chǔ)，對用戶使用產(chǎn)品過程中形成的不同行為訊息數(shù)據(jù)采取污染與混淆處置的方式，減輕了訊息泄露的概率。而此項加密方式和手法所采用的機理實際上是一旦加密手法難以確保個人訊息的安全性，便可利用更加冗雜的訊息來對有效訊息進行干擾，如此便可以加大訊息盜取的費用，從而直接減少訊息泄露的概率。

3 結(jié)語

處于新時代背景下，大數(shù)據(jù)的快速發(fā)展既要面對很多全新的機遇，也要克服很多未知的挑戰(zhàn)與難題，需要提前做好更加系統(tǒng)化的規(guī)劃。對于大數(shù)據(jù)訊息的處置非常重要，它可以帶給企業(yè)更加快速、精準的訊息，同時還為企業(yè)創(chuàng)造了更大的利益，使企業(yè)經(jīng)濟效益有所提升。另外，大數(shù)據(jù)的處置還會讓社會公眾的日常生活更為便捷，給民眾創(chuàng)造了更加優(yōu)良的生活條件。所以，全方位熟悉與掌握大數(shù)據(jù)的基礎(chǔ)定義，標(biāo)準化大數(shù)據(jù)的處置流程，增強大數(shù)據(jù)運用技術(shù)上存有問題的進一步分析，對后期落實相應(yīng)的應(yīng)對策略來說十分有利，同時還可提升大數(shù)據(jù)訊息的處置質(zhì)量，有效提升大數(shù)據(jù)應(yīng)用階段的工藝水準。目前，大數(shù)據(jù)處置流程當(dāng)中，云計算屬于一項最基本的技術(shù)，然而從安全隱私角度來講，該技術(shù)仍沒有提出更加有效的保護方式。所以，針對其有效性的分析十分必要，能夠使大數(shù)據(jù)本身的安全性能有所提升。

參考文獻：

[1] 陳健. 我國大數(shù)據(jù)技術(shù)發(fā)展的政策體系研究[D].云南師范大學(xué)，2017.

[2] 張超.淺析大數(shù)據(jù)應(yīng)用的技術(shù)體系和潛在問題[J].數(shù)字技術(shù)與應(yīng)用，2016（8）：234.

[3] 張莉.大數(shù)據(jù)應(yīng)用技術(shù)體系與潛在問題與挑戰(zhàn)略述[J].信息與電腦（理論版），2015（15）：66-67.

[4] 靳琦.大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題探討[J].電子技術(shù)與軟件工程，2015（9）：199.

【通聯(lián)編輯：代影】