新時(shí)期大數(shù)據(jù)現(xiàn)狀與對(duì)策研究

羅增榮

[摘 要]現(xiàn)階段大數(shù)據(jù)的發(fā)展呈現(xiàn)出不斷上升的趨勢(shì)，國(guó)內(nèi)外對(duì)于大數(shù)據(jù)的發(fā)展也日益重視。對(duì)于大數(shù)據(jù)領(lǐng)域而言，其關(guān)鍵在于對(duì)大數(shù)據(jù)實(shí)施科學(xué)有效的分析。研究發(fā)現(xiàn)，當(dāng)前大數(shù)據(jù)在發(fā)展的過(guò)程中還存在一些問(wèn)題亟待解決，對(duì)其發(fā)展也造成了不利的影響。基于此，主要探究了新時(shí)期大數(shù)據(jù)的發(fā)展現(xiàn)狀，找出其在發(fā)展過(guò)程中存在的問(wèn)題，進(jìn)而有針對(duì)性地提出了具體的解決對(duì)策。

[關(guān)鍵詞]大數(shù)據(jù)現(xiàn)狀;解決對(duì)策;探究

一、大數(shù)據(jù)面臨的問(wèn)題

（一）存儲(chǔ)問(wèn)題

大數(shù)據(jù)在發(fā)展的過(guò)程中最需要解決的就是數(shù)據(jù)的存儲(chǔ)問(wèn)題。從數(shù)據(jù)的量級(jí)角度出發(fā)，大數(shù)據(jù)時(shí)代下數(shù)據(jù)量已經(jīng)由原來(lái)的TB級(jí)實(shí)現(xiàn)了PB級(jí)和EB級(jí)的提升，這對(duì)于數(shù)據(jù)的存儲(chǔ)與分析工作而言有著很好的幫助作用。在對(duì)數(shù)據(jù)進(jìn)行分析時(shí)需要頻繁存取與調(diào)度數(shù)據(jù)，從而使得數(shù)據(jù)的存儲(chǔ)呈現(xiàn)動(dòng)態(tài)化特征。從數(shù)據(jù)存儲(chǔ)機(jī)構(gòu)的角度出發(fā)，在數(shù)據(jù)發(fā)展的背景下，無(wú)法再借助簡(jiǎn)單傳統(tǒng)的機(jī)構(gòu)化數(shù)據(jù)庫(kù)實(shí)現(xiàn)對(duì)大數(shù)量數(shù)據(jù)的存儲(chǔ)，因此現(xiàn)階段人們主要研究的內(nèi)容是與大數(shù)據(jù)特征相吻合的存儲(chǔ)方式。另外，需要認(rèn)識(shí)到大數(shù)據(jù)如果處在動(dòng)態(tài)更新的狀況下，應(yīng)該設(shè)法實(shí)現(xiàn)數(shù)據(jù)儲(chǔ)存以及交換的一致性。在分析大數(shù)據(jù)的過(guò)程中，數(shù)據(jù)庫(kù)領(lǐng)域需要實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的可擴(kuò)展性、向下兼容性和高度容錯(cuò)性等。由此可見(jiàn)，大數(shù)據(jù)分析的核心問(wèn)題主要是數(shù)據(jù)的存儲(chǔ)問(wèn)題。

（二）可用性較弱的問(wèn)題

實(shí)際上，數(shù)據(jù)所呈現(xiàn)的方式是雜亂無(wú)序的，這給大數(shù)據(jù)的分析增加了很大的難度，因此在開(kāi)展大數(shù)據(jù)分析時(shí)需要將數(shù)據(jù)質(zhì)量因素考慮在內(nèi)。數(shù)據(jù)質(zhì)量本身有著十分廣泛的概念，在本文中主要探究的是數(shù)據(jù)是否具備可用性特征。數(shù)據(jù)的可用性主要由一致性、時(shí)效性、準(zhǔn)確性、實(shí)體性和完整性五部分共同組成。但是在處理之前，存儲(chǔ)和分析大數(shù)據(jù)的首要步驟主要是對(duì)數(shù)據(jù)可用性的度量。在對(duì)數(shù)據(jù)進(jìn)行采集時(shí)可以使用高效處理過(guò)濾數(shù)據(jù)的方法，為大數(shù)據(jù)源質(zhì)量的提升打下堅(jiān)實(shí)的基礎(chǔ)。從大數(shù)據(jù)的完整性角度出發(fā)，要想實(shí)現(xiàn)對(duì)數(shù)據(jù)正確的描述與評(píng)價(jià)，需要對(duì)數(shù)據(jù)描述的框架加以完善，進(jìn)而為數(shù)據(jù)采集過(guò)程中的描述行為提供指導(dǎo)性幫助。從數(shù)據(jù)的時(shí)效性與一致性出發(fā)，需要重視數(shù)據(jù)的客觀性與實(shí)踐價(jià)值，必須做到客觀事實(shí)與數(shù)據(jù)描述之間的一致。但是在對(duì)大數(shù)據(jù)進(jìn)行分析與研究時(shí)，經(jīng)常遇到的重難點(diǎn)問(wèn)題還是關(guān)于數(shù)據(jù)源的自動(dòng)檢測(cè)與修復(fù)工作。

二、解決大數(shù)據(jù)面臨問(wèn)題的措施

（一）合理部署云存儲(chǔ)技術(shù)

云存儲(chǔ)主要指的是以互聯(lián)網(wǎng)為基礎(chǔ)向用戶提供的存儲(chǔ)服務(wù)，這種存儲(chǔ)的形式其容量、數(shù)據(jù)的可用性以及各種復(fù)雜的基層技術(shù)環(huán)節(jié)不需要用戶過(guò)多考慮。只需要付費(fèi)就可以從云存儲(chǔ)供應(yīng)商那里獲取足夠大的存儲(chǔ)空間以及相應(yīng)的存儲(chǔ)服務(wù)。在云計(jì)算環(huán)境下分布式的存儲(chǔ)最基礎(chǔ)的組成部分就是數(shù)據(jù)中心，可以從多種角度出發(fā)對(duì)數(shù)據(jù)存儲(chǔ)中心進(jìn)行劃分。從系統(tǒng)建設(shè)的角度出發(fā)，云存儲(chǔ)中心架構(gòu)的形態(tài)主要有三種：優(yōu)化的傳統(tǒng)數(shù)據(jù)中心、以云計(jì)算為主的數(shù)據(jù)中心以及二者共存。在提供存儲(chǔ)服務(wù)的過(guò)程中，存儲(chǔ)用戶和云計(jì)算用戶是主要的兩種云存儲(chǔ)用戶，這是根據(jù)用戶服務(wù)內(nèi)容的不同劃分的。云存儲(chǔ)服務(wù)的關(guān)鍵主要是以云計(jì)算理論構(gòu)建的數(shù)據(jù)中心，如下圖所示，調(diào)度分割并行編程模型下，存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的目標(biāo)是通過(guò)并行數(shù)據(jù)庫(kù)和分布式系統(tǒng)來(lái)完成的，而云服務(wù)接口價(jià)格計(jì)算資源服務(wù)提供給云用戶的基礎(chǔ)主要是云服務(wù)等級(jí)協(xié)議。

（二）提升數(shù)據(jù)的可用性

大數(shù)據(jù)所分析的主要對(duì)象就是數(shù)量巨大且復(fù)雜的數(shù)據(jù)。由于數(shù)據(jù)產(chǎn)生的方式不同，因此也會(huì)使用到不同形式的信息系統(tǒng)。在對(duì)大數(shù)據(jù)項(xiàng)目進(jìn)行分析時(shí)，需要搜集相關(guān)的數(shù)據(jù)，進(jìn)而為分析奠定基礎(chǔ)。分析的過(guò)程比較簡(jiǎn)單，重點(diǎn)在于對(duì)于數(shù)據(jù)的預(yù)分析。當(dāng)前，大數(shù)據(jù)的主要來(lái)源還是以Web數(shù)據(jù)、傳感網(wǎng)數(shù)據(jù)、業(yè)務(wù)系統(tǒng)數(shù)據(jù)和科學(xué)實(shí)驗(yàn)數(shù)據(jù)為主，不同的數(shù)據(jù)源會(huì)導(dǎo)致有效預(yù)處理不同的信息系統(tǒng)和信息結(jié)構(gòu)數(shù)據(jù)發(fā)生變化，這是根據(jù)不同類(lèi)型的數(shù)據(jù)或相同類(lèi)型的數(shù)據(jù)進(jìn)行的。當(dāng)前獲取和整合高質(zhì)量大數(shù)據(jù)的理論和技術(shù)等五個(gè)挑戰(zhàn)性的研究問(wèn)題已被提出來(lái)，而其將數(shù)據(jù)處理可用性領(lǐng)域的問(wèn)題從各個(gè)方面進(jìn)行了分析，如基礎(chǔ)理論和工程技術(shù)等，同時(shí)探索了大數(shù)據(jù)可用性的理論和技術(shù)。另外，只有為數(shù)據(jù)的質(zhì)量提供保障，才能更好地進(jìn)行大數(shù)據(jù)分析，所以對(duì)大數(shù)據(jù)時(shí)代數(shù)據(jù)質(zhì)量的保障從流程和管理等方面進(jìn)行了研究。

隨著云計(jì)算領(lǐng)域軟件開(kāi)發(fā)的速度不斷加快，社會(huì)上對(duì)于大數(shù)據(jù)分析越來(lái)越重視，并且逐漸產(chǎn)生了以分析數(shù)據(jù)為主的服務(wù)。但是大數(shù)據(jù)在分析與發(fā)展的過(guò)程中還存在很多問(wèn)題，比如說(shuō)可用性較低、存儲(chǔ)問(wèn)題等對(duì)于大數(shù)據(jù)的分析與使用造成了極為不利的影響等等，這就需要我們?cè)诮虒W(xué)中采取有效的措施實(shí)現(xiàn)大數(shù)據(jù)的健康快速發(fā)展。

參考文獻(xiàn)：

官思發(fā)，孟璽，李宗潔，等.大數(shù)據(jù)分析研究現(xiàn)狀、問(wèn)題與對(duì)策[J].情報(bào)雜志，2015，34（5）：98-104.

[作者單位]

韶關(guān)市技師學(xué)院

（編輯：薄躍華）