基于大數據的計算機信息處理技術研究

楊柳

(上海航天設備制造總廠有限公司,上海 200245)

1 大數據與計算機信息處理技術概述

1.1 大數據概述

大數據,也可稱之為巨量數據集合,指的是無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合對于當今互聯網的普及,信息就意味著數據,因此,大數據這一名詞的出現是社會發(fā)展的必然,大數據時代也是人類社會發(fā)展的必經階段。

信息容量大、獲取速度快、種類多樣化等是大數據的典型特征。目前大數據也存在著數據信息真實性不高、信息泄露等問題有待進一步解決。

1.2 計算機信息處理技術概述

當今社會也被譽為信息時代,對于繁雜多變的各種信息進行處理自然也是十分重要的,從發(fā)展歷程來看,人類對信息的處理經過了三個主要的階段,即人工處理技術階段、機械處理技術階段和目前主流的計算機處理技術階段等。

計算機信息處理技術是在互聯網普及和計算機大規(guī)模應用的當今社會最快捷、迅速、高效的信息處理技術。該技術利用計算機硬件、信息處理軟件、各種傳感器等設備搭載互聯網的傳輸,從而實現多種數據信息的采集、傳輸、分析與處理。對復雜信息的快速、高效處理是計算機信息處理技術的核心。

2 大數據與計算機信息處理技術的關系

大數據的興起不僅促進了科學技術的發(fā)展,也極大地推動了產業(yè)信息化和現代化的進程。

由于大數據的容量大、多樣性等特點,使得傳統的計算機硬件設備和信息處理軟件已經無法滿足對大數據的處理要求,需要對原有的信息處理技術重新進行審視和改進,既而激發(fā)了數據庫匹配與傳統信息檢索的思維革命。大數據時代,掌握更優(yōu)質、先進的計算機信息處理技術也就意味著牢牢地占據著市場的主導地位,同時也表明未來市場上關于計算機信息處理技術的競爭也將愈加激烈。

3 大數據下的計算機信息處理技術分析

大數據下的計算機信息處理技術主要有基于內容數據挖掘技術、分布式數據存儲技術、數據檢索技術、分類和聚類分析技術、神經網絡與遺傳算法技術等,下面將介紹其中的幾種處理技術以供參考。

3.1 基于內容數據挖掘技術

數據挖掘技術是對數據庫當中知識的發(fā)現,是數據處理的第一步,也是相當重要的一項工作內容。基于內容數據挖掘技術是最常用的數據挖掘技術之一,主要是網絡信息搜索技術。網絡信息搜索技術通常采用的算法是排序學習算法,該算法的提出主要根據當前社會媒體信息量,媒體關注數據特點作為短文本特性,而此項算法也就是基于該特性所提出的。

3.2 分布式數據存儲技術

分布式數據存儲技術最早由Google公司提出,之后在搜狐、IBM等企業(yè)中得到了進一步的發(fā)展和應用。計算機信息處理技術的分布式數據儲存主要采用的是列存儲技術。與行存儲相對,列存儲以列作為基本單位進行數據存儲,這種數據存儲方式具有更快的壓縮數據和循環(huán)等優(yōu)勢,因而得以廣泛采用。但是在具體的應用時中,還需要數據的布局及數據的分布存儲做更進一步的優(yōu)化,使得計算機具有更加強大的數據的存儲和處理能力。

3.3 數據檢索技術

數據檢索是數據應用的主要方式之一,檢索技術的好壞直接影響數據庫的使用性能。目前世界上最主流的數據檢索技術是Google公司研發(fā)出品的Big Table技術。現階段對于數據檢索技術的研究主要集中在兩個方面,及聚簇索引和互補式聚簇索引。前者是同時根據索引順序存儲所有數據的結構,后者則是通過多副本為索引列創(chuàng)建互為補充的索引表。

4 大數據下的計算機信息處理技術發(fā)展展望

面對當前越來越多的數據處理需求,當前的信息處理技術仍有一定的發(fā)展進步空間,筆者認為計算機信息處理技術將來的發(fā)展可以朝如下2方向進行,即云計算發(fā)展方向、計算機及其網絡的有機結合。

(1)云計算方向發(fā)展。云計算是基于互聯網的相關服務的增加、使用和交付模式,能夠快速、高效地處理超大規(guī)模的數據內容,是當前的主流技術。目前計算機網絡的整體架構基本上以各類硬件為前提,仍然受到一定的限制,云計算則是一個可取的技術路線。

(2)計算機及其網絡的有機結合。隨著信息量的越來越大,未來的計算機信息處理不能只靠單一的硬件或軟件系統來完成,需要通過網絡來實現相互的連接和傳輸。依靠現在高度發(fā)達互聯網技術,計算機信息處理技術才能夠滿足當前大數據下的信息處理需求。

5 結語

大數據時代不僅豐富了人們的生活,也極大地推動了產業(yè)信息化和現代化的進程,促進了科學技術的發(fā)展。但是面對大量繁雜的數據信息,以往傳統的計算機信息處理技術受到硬件設備和信息處理軟件等的限制,已經難以適應目前需要大批量和快速處理數據的需求,需要對原有的信息處理技術重新進行審視和改進。針對此問題,目前的主要處理技術有基于內容數據挖掘技術、分布式數據存儲技術、數據檢索技術、分類和聚類分析技術、神經網絡與遺傳算法技術等;未來在大數據背景下的計算機信息處理技術還需依托于云計算和計算機及其網絡的有機結合等的技術的支持。

[1]楊競華,基于大數據分析的計算機信息處理技術研究[J].電腦知識與技術,2017,(30).

[2]成靜靜,喻朝新.基于云計算的大數據統一分析平臺研究與設計[J].廣東通信技術,2011,10(8).

[3]張允壯,劉戟鋒.大數據時代信息安全的機遇與挑戰(zhàn):以公開信息情報為例[J].國防科技,2013,02.

[4]趙春雷.“大數據”時代的計算機信息處理技術[J].世界科學,2012.

[5]馮瀟婧.“大數據”時代背景下計算機信息處理技術的分析[J].計算機光盤軟件與應用,2014,(5):105-105,107.

[6]嚴滿華,基于大數據下的計算機信息處理技術研究[J].科學與信息化,2017(18):2.