基于大數(shù)據(jù)的計算機信息處理技術(shù)

袁鉞

摘 要 信息技術(shù)的快速發(fā)展，使得現(xiàn)代社會信息化進(jìn)程不斷加快，與此同時，數(shù)據(jù)的爆炸式增長也給計算機信息處理技術(shù)的發(fā)展帶來了一定的挑戰(zhàn)。傳統(tǒng)的計算機信息處理技術(shù)越來越難以滿足人們的需求，因此，為了更加高效的處理海量數(shù)據(jù)信息，對計算機信息處理技術(shù)進(jìn)行改革勢在必行。本文從大數(shù)據(jù)和計算機處理技術(shù)的基本理論概述出發(fā)，對當(dāng)前的計算機信息處理技術(shù)提出幾點建議。

【關(guān)鍵詞】大數(shù)據(jù) 存儲技術(shù) 安全性

在信息化時代的大背景下，利用計算機進(jìn)行數(shù)據(jù)的處理和傳播已經(jīng)愈加普遍，數(shù)據(jù)的爆炸式增長帶來的大數(shù)據(jù)環(huán)境也對計算機數(shù)據(jù)的處理技術(shù)提出了更高的要求。在這樣的環(huán)境要求下，計算機作為一種信息處理的平臺，其所提供的信息產(chǎn)生、信息搜集、信息存儲等信息處理方式也應(yīng)為信息時代社會經(jīng)濟的快速發(fā)展而作出變革。

1 大數(shù)據(jù)的基本概述和特點

1.1 大數(shù)據(jù)基本概述

大數(shù)據(jù)，又稱為巨量資料，“大數(shù)據(jù)”這個概念從其最早被麥肯錫公司提出以來，其含義已經(jīng)隨著信息化時代的不斷發(fā)展而不斷演化。如今大數(shù)據(jù)主要是指無法在一定時間內(nèi)使用常規(guī)工具進(jìn)行數(shù)據(jù)的存儲、處理等操作的數(shù)據(jù)集合。

隨著大數(shù)據(jù)的概念越來越多的被人們所提及，大數(shù)據(jù)的應(yīng)用越來越廣。在電子商務(wù)，物流配送等領(lǐng)域，大數(shù)據(jù)的應(yīng)用不斷深入，利用大數(shù)據(jù)進(jìn)行協(xié)助發(fā)展的領(lǐng)域也在不斷擴大。“大數(shù)據(jù)將會對人類未來社會的各領(lǐng)域產(chǎn)生巨大的影響”的觀念正在不斷深入人心，在可見的未來，大數(shù)據(jù)及其相關(guān)技術(shù)將幫助人類在信息時代革命的路上邁出堅實的一步。

1.2 大數(shù)據(jù)的基本特點

根據(jù)IBM提出的大數(shù)據(jù)的5V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。筆者將大數(shù)據(jù)的特點歸納為三點，

（1）數(shù)據(jù)體量巨大。隨著人們生活水平的日益提升，生活中大量數(shù)據(jù)不斷產(chǎn)生，以往這些數(shù)據(jù)因為信息傳播載體的限制并沒有被有效記錄，現(xiàn)如今這些數(shù)據(jù)可以被不斷記錄下來，數(shù)據(jù)的量級也逐漸提高；

（2）數(shù)據(jù)類型繁多，人們的工作、學(xué)習(xí)、生活方式越來越信息化，數(shù)據(jù)從結(jié)構(gòu)化和半結(jié)構(gòu)化的原始數(shù)據(jù)的基礎(chǔ)上又發(fā)展出了許多其他數(shù)據(jù)存儲結(jié)構(gòu)；

（3）數(shù)據(jù)產(chǎn)生速度快，以中國股票市場為例，股票市場中上千只股票每3秒更新一次股票價格相關(guān)數(shù)據(jù)，而在高頻交易中股票的更新速度必須要低于計算機的計算速度來為交易進(jìn)行決策；

1.3 計算機信息處理技術(shù)的基本情況

計算機信息處理技術(shù)的目的是為了將數(shù)據(jù)進(jìn)行統(tǒng)一管理，主要是將數(shù)據(jù)的采集、存儲、傳輸和處理等各種技術(shù)相結(jié)合，并運用計算機作為平臺進(jìn)行處理。

而在大數(shù)據(jù)時代下傳統(tǒng)的計算機信息處理技術(shù)越發(fā)顯得不合時宜，由于對計算機信息處理技術(shù)的要求越來越高，特別是對大數(shù)據(jù)處理這一方面的要求呈指數(shù)式的提升，計算機信息處理技術(shù)在向海量化、實時化方向上發(fā)展的需求也越來越迫切。

2 大數(shù)據(jù)時代下計算機信息處理技術(shù)的基本情況

2.1 數(shù)據(jù)采集

在大數(shù)據(jù)時代下，在進(jìn)行信息數(shù)據(jù)處理前，必須保證數(shù)據(jù)采集的準(zhǔn)確性、合理性才能進(jìn)行有效的數(shù)據(jù)處理。通常，數(shù)據(jù)的采集一般采用系統(tǒng)日志采集法（如Hadoop的Chukwa，F(xiàn)acebook的Scribe）、網(wǎng)絡(luò)數(shù)據(jù)采集法（編寫網(wǎng)絡(luò)爬蟲等）來獲取非結(jié)構(gòu)化數(shù)據(jù)、調(diào)用專業(yè)數(shù)據(jù)接口以獲得相應(yīng)的專業(yè)數(shù)據(jù)。

2.2 數(shù)據(jù)存儲與處理

由于處理大數(shù)據(jù)對數(shù)據(jù)處理的實時性要求很高加，因此在處理數(shù)據(jù)的過程中需要非常高的數(shù)據(jù)讀寫速度，對于一些實時性要求較高的數(shù)據(jù)或者中間結(jié)果一般存儲于熟讀較快的內(nèi)存或者硬盤中，對于海量數(shù)據(jù)的存儲也催生除了許多新型的數(shù)據(jù)存儲方案，如mangoDB這種NoSQL的數(shù)據(jù)庫在大數(shù)據(jù)處理中就表現(xiàn)良好。在數(shù)據(jù)的處理方面，為了更快的處理海量數(shù)據(jù)，一般的大數(shù)據(jù)處理框架都采用Map/Reduce這種計算模型。

2.3 數(shù)據(jù)的安全性

數(shù)據(jù)的安全一方面是數(shù)據(jù)本身的安全性。即數(shù)據(jù)的加密，加密體系的選用，數(shù)據(jù)存儲方式都將影響到數(shù)據(jù)本身的安全性。另一方面是數(shù)據(jù)傳輸過程中的安全性，在數(shù)據(jù)的傳輸過程中應(yīng)有一套合理的傳輸方式。除此之外，在大數(shù)據(jù)時代的背景下，獲得的數(shù)據(jù)本身就是需要我們注意的，因為處理的數(shù)據(jù)本身是一些個人的隱私信息或一些機密信息，對于這些信息的保密處理，也是需要仔細(xì)斟酌的。

3 大數(shù)據(jù)時代下計算機信息處理技術(shù)應(yīng)當(dāng)注意的問題

3.1 應(yīng)當(dāng)選用合理的框架與計算工具

與傳統(tǒng)的計算機信息處理對象不同的是，大數(shù)據(jù)時代的信息有著體量巨大、種類繁多、處理速度要求高等特點，對于這種數(shù)據(jù)，使用個人PC機進(jìn)行處理顯然不再合適，甚至使用高性能服務(wù)器都難以承受處理所帶來的巨大壓力，在這種情況下，使用基于分布式架構(gòu)進(jìn)行設(shè)計的工具對大數(shù)據(jù)進(jìn)行處理就成了主流方式。就當(dāng)前計算機信息處理技術(shù)水平而言，在短時間內(nèi)對巨和量信息進(jìn)行處理的框架較為成熟的有Apache基金會所開發(fā)的分布式系統(tǒng)架構(gòu)hadoop，UC Berkeley AMP lab （加州大學(xué)伯克利分校的AMP實驗室）所開源的類Hadoop MapReduce的通用并行框架spark，這些基于Map、Reduce操作的框架都有不錯的效果。

3.2 相關(guān)的網(wǎng)絡(luò)硬件設(shè)備需要不斷提高更新

軟件框架的需求促進(jìn)著硬件的水平的提升。計算機信息處理技術(shù)的發(fā)展離不開與之相匹配的硬件設(shè)備，網(wǎng)絡(luò)運營商應(yīng)當(dāng)根據(jù)網(wǎng)絡(luò)處理技術(shù)的發(fā)展不斷革新硬件設(shè)施，提高硬件設(shè)備的性能，為更好的發(fā)揮計算機處理技術(shù)在大數(shù)據(jù)時代的應(yīng)用奠定基礎(chǔ)。

3.3 數(shù)據(jù)信息的安全性能需要提升

對于數(shù)據(jù)本身和數(shù)據(jù)傳輸過程中存在的加密問題應(yīng)該給予足夠的重視，在未來大數(shù)據(jù)的發(fā)展下，對數(shù)據(jù)保密的要求只會越來越高。

4 結(jié)語

綜上所述，計算機信息處理技術(shù)只有不斷完善提高，增強信息處理的安全性，完善信息處理的軟件功能，才能更好的順應(yīng)大數(shù)據(jù)時代的要求。

參考文獻(xiàn)

[1]趙春雷，喬治·納漢.“大數(shù)據(jù)”時代的計算機信息處理技術(shù)[J].世界科學(xué)，2012（02）：30-31.

[2]馮瀟婧.“大數(shù)據(jù)”時代背景下計算機信息處理技術(shù)的分析[J].計算機光盤軟件與應(yīng)用，2014（05）：105+107.

[3]吳恩生，王桂梅.大數(shù)據(jù)時代計算機信息處理技術(shù)分析[J].江蘇科技信息，2015（12）：63-65.

作者單位

中南財經(jīng)政法大學(xué)信息與安全工程學(xué)院 湖北省武漢市 430073