“大數據”時代背景下計算機信息處理技術分析

方海諾哈爾濱華德學院電子與信息工程學院

“大數據”時代背景下計算機信息處理技術分析

方海諾
哈爾濱華德學院電子與信息工程學院

摘要：網絡的發展加速了數據交流，信息爆炸迎來大數據存儲時代的到來，互聯網已成為當下人們生活的重要組成部分。互聯網的大環境下，需要處理海量信息，給信息處理技術提出了更高的要求。本文從“大數據”時代的相關知識描述入手，詳細敘述了“大數據”時代背景下的計算機處理技術，為促進“大數據”時代的信息處理效率提供理論參考。

關鍵詞：大數據；計算機；信息處理；技術分析

網絡時代的全覆蓋，讓世界變得更小，各領域的交流豐富了網絡數據的內容，給人們生活送去了方便，提升了人們的工作效率。當然，信息量的激增也給網絡造成了巨大的壓力，如何處理龐大的數據信息成為計算機信息處理研究人員面臨的重要課題，因此，增加對“大數據”背景下的計算機處理技術的研究有重要意義。

一、“大數據”時代相關概述

1、“大數據”的定義及特點

“大數據”顧名思義，就是是網絡信息數據比較龐大，借助現有的信息處理技術很難實現短期的存儲和高效傳輸。數據信息總量還不具備統一的規定，通常來講信息總量達到10TB便可稱作大數據了。大數據具有數據量大，占用存儲空間多，增長速度快等特點。從數量級的角度講，已從TB轉為ZB；從速度上講，大數據信息的實時性更強，速度要求更快，信息處理快速性要求也比較明顯。另外復查性也比較突出，主要是指重復處理的數據量比較大，需要有效的并發處理機制，信息處理技術要求較高；處理數據的種類比較多，處理信息的類型千差萬別，主要有文字、圖片信息、視頻信息和網頁格局信息等；數據格式方面也存在明顯的多樣性，由于信息處理語言不通，面向對象的程度不一，計算機處理手段也不同，信息處理技術的要求更高。

云計算是對互聯網服務的增加，使用和模式的改變，提供虛擬化的資源，是一種比喻的說法，新興互聯網技術的產生為大數據時代提供了全新的平臺，是計算機應用行業的革命性變革，給廣大計算機用戶，企業單位和個體私營企業之間交流帶來了便利，大數據的重要核心就是數據，普通的消費者和一般的網民對大數據時代的到來略顯遲鈍，也沒有清晰的概念，給一些跨國企業和計算機應用型技術人才在企業的經營管理和個人的發展上都帶來了機遇與挑戰。

2、“大數據”時代的機遇

隨著經濟的高速發展，對各行各業都產生了巨大的沖擊和影響，計算機行業首當其沖，經濟的發展刺激計算機行業不斷出現新產品和新技術，網絡的普及范圍逐年增高，也直接導致了在各個行業產生龐大的數據，如果不產生新的理念和算法，對如此龐大的數據的分析和整理，會消耗大量的人力物力，云計算技術的出現，達到每秒計算10萬億次以上，各個不同級別的用戶可根據個人的需求，直接接入數據中心，根據個人的要求進行直接運算。例如在企業的日常辦公中，大數據管理可以提升企業管理的精細化程度，提高個人和本部門的工作效率，在一定程度上減少了企業的龐大的材料的開支，提升了企業的核心競爭力；在高等院校，任課教師可更具不同的學生的需求、天賦、興趣愛好等方面進行因材施教，集中優勢資源進行個性化教育，揚長避短；在商業方面，用于大數據就等于擁有了資源，可快速鎖定用戶的需求，并根據客戶喜歡瀏覽的商品，經過分析計算出此顧客的愛好，以便能快速制定適合該客服的服務方案，加速產品的營銷，快遞提高產品銷量，提高了利用率。現在世界各個國家都將未來大數據的研發提升到國家的戰略高度。

3、“大數據”時代帶給我們的挑戰

任何事物都具有兩面性，大數據給我們便捷生活體驗的同時，對企事業管理、教育資源的整合等方面都產生了重要的影響，也給整個社會的發展帶來了全新的挑戰，可以說是機遇與挑戰并存。

1）首先龐大的數據給網絡傳輸、存儲空間、技術和網絡資源的消耗都帶來了全新的挑戰，過去的寬帶從最開始電話上網，到2M、4M、到現在的12M光纖上網，是龐大的數據催生了行業的設備的改善，這是對硬件設施的要求；在軟件方面數據壓縮、存儲都需要根據形勢的發展提出應對措施，以應對大數據時代的到來。

2）大的數據時代的到來，上網客戶更看重的是數據的安全性問題，這對個人和企業都非常重要，數據流量加大，網絡游戲，在線聊天和互聯網購物等活動日趨頻繁，這給一些黑客和投機分子有機可乘，使用大數據信息處理技術很方便和容易對企業和網絡購物的消費者進行數據分析，非常容易獲得個人資料、銀行賬號和企業商業機密，因此，亟需加強網絡安全的法律法規實施，以應對日新月異的互聯網技術的出現，個人也需要及時對個人計算機或者企業辦公用計算機進行及時的維護，修復漏洞，設置安全防火墻，盡量做到不瀏覽不完全的網頁或者網站，對一些個人發布的信息，要時刻保持一顆警惕的心，不貪便宜就不會吃大虧。

3）隨著大數據時代的到來，對個人電腦和企業電腦的硬件設施提出了新的要求，以便能方便和快捷的處理海量的數據信息，同時，網絡傳輸速度也在逐漸加快，2G、3G、4G、5G時代的到來，提高了網絡的帶寬，以便能應對龐大的數據流量。

4)如何選取對自己有用的數據是我們面對大數據時代到來的首要挑戰，必須要掌握從海量信息中篩選有用的信息，此項工作不僅信息量大，難度系數高，而且對電子計算機信息處理技術的要求也更高，因此，必須提升相應的硬件水平。

二、“大數據”背景下的計算機數據處理技術分析

1、數據獲取、加工和傳輸

打開電腦，輸入一定的關鍵詞就能搜索到自己感興趣的信息，但是此類信息的發布之前，都需要對其進行各種方式的處理，此項處理工作非常復雜，工作量巨大，必須要計算機使用信息處理技術才能完成，要對大數據的信息處理。首先要做的就是信息獲取，也就是要運用合理的手段收集數據信息，可以設置實時監控機制，并對具體需求做出信息存儲，對垃圾信息要進行清楚處理，以保障處理軟件所處理的數據是有效的，也是提升軟件處理效率的重要點。其次是信息處理工作，也就是要結合客戶需求，對數據信息進行加工，如可以按學科分類，功能分類和性質分類等，一方便用戶查閱和處理。最后是信息傳輸，信息傳輸是網絡技術應用的重要優勢，是指需要將信息進行加工處理，根據實際需求，將信息送達請求客戶的信息平臺上，實現信息的有效傳送。

2、信息儲存技術

“大數據”時代，數據信息存儲數量增速較快，信息實時更新速度也出現了空前的加快，提升信息存儲有利于控制“大數據”的安全，提升網絡信息處理效率。信息存儲主要是通過獲取技術獲得海量信息，再將信息按一定分類原則進行分類處理，再將數據以一定的結構存儲到數據庫中，當用戶請求獲得信息時，再經過檢索技術將信息調取出來，合理的信息處理技術可以確保信息調用效率。信息大爆炸讓海量數據的存儲得以實現，信息安全、完整性和穩定性更好，信息存儲技術已成為大數據時代急需解決的問題，因此，要加大信息存儲技術的研究。

3、信息安全技術

隨著大量數據信息的出現，信息之間的關聯性非常強，如果某一個信息出現了問題，與之有關聯的數據信息也會跟著出現問題。這種數據信息的管理不是單純建立在單一的數據信息上，而是對計算機信息系統進行統一安全管理。這種管理可以很好地提高計算機信息處理技術，有很大的發展機會。要加強信息安全體系建設，對安全管理人員加強技術培訓，使管理人員在技術上和管理能力上都能適應現代網絡信息管理體系，能夠使新的安全管理體系發揮最大的功能。

為了適應“大數據”時代的信息安全特點，必須加快信息安全技術的發展，可以考慮從以下三個方面入手：（1）構建計算機信息安全體系。加大培養計算機信息安全人才是構建計算機信息安全體系的必要條件；（2）加快研發“大數據”信息安全技術產品。傳統的信息安全軟件等技術產品已經不能滿足“大數據”時代的數據安全特點，因此必須加快研發可靠的數據安全技術產品；（3）提高對重點數據的檢測程度。由于“大數據”的信息量非常大，對每個數據進行檢測明顯不現實，因此需要重點加強對重要數據的檢測。

4、大數據背景下計算機信息處理關鍵技術分析

1）DEEP WEB數據感知與獲取技術

它是利用網絡深層空間技術對網絡中的信息進行抽取、分析和集成。主要利用信息數據的動態變化、信息的規模、數據的分布式處理與訪問技術，對網絡數據進行處理和分析，實現對數據的高質量集成、抽取和整合。

2）分布式處理技術

分布式數據處理主要是由谷歌公司提出的GFS技術來實現數據的分布式存儲和處理。它利用存儲列的概念，以列為單位對數據進行存儲，具有數據壓縮快，循環利用效率高，采用行列混合是存儲結構，能夠快速加載海量數據和縮短數據查詢的時間，同時也能夠高效的利用磁盤空間。

3）數據高效索引

該技術是谷歌公司提出的BIGTABLE技術，目前主要集中在聚簇索引和互補式聚簇索引技術的研究。聚簇索引技術是按照索引順序技術對相應的技術進行處理，互補式聚簇索引主要采用多副本索引技術創建相互補充的數據建立數據索引表，進而實現對數據的優化查詢。

4）基于內容信息的數據挖掘技術

基于內容的數據挖掘技術主要是依據網絡搜索技術和信息實體的關聯技術對數據進行分析挖掘。例如網絡信息搜索的熱點排序學習算法主要針對媒體的信息量和信息數據的關注特點、短文本特征實現對數據的搜索等，目前常見的學習算法有逐點，逐對和逐列等幾種算法。

5）分類和聚類分析技術

分類分析技術首先是對信息的數據點進行歸類分析，然后通過綜合之后形成新的數據點之后，對數據點進行明確的假設和客觀結構預測，然后預測未來信息的發展。聚類分析技術主要是在沒有明確數據點的前提下，將數據集合分為若干個對象組，通過對對象組的數據進行分析，實現對數據的綜合查詢。

6）關聯規則學習和機器學習技術

關聯規則學習技術就是在復雜的數據處理過程中，通過排序、對比等方法尋找到數據之間的關聯規則，是指在數據處理的過程中，找到數據之間的關聯規則，進而能夠實現對重復數據的篩選。而機器學習主要研究計算機模擬人類學習的智能技術，對現有的信息知識體系進行重新組織，它是人工智能的核心技術，在數據處理時，關聯規則和機器技術主要運用在數據挖掘技術中。

7）數據分析技術

數據分析技術在數據處理中應用比較廣泛，它主要包括情感分析技術、網絡分析技術、空間分析技術、數據時域序列分析技術以及數據回歸分析技術，該技術在大數據處理中具有十分重要作用，其中，情感分析技術采用對自然語言進行編碼分析的技術，網絡分析技術就是基于網絡的特征對數據的特征進行分析。

8）可視化技術

可視化技術主要功能是在對大數據進行分析和處理之后，能夠通過圖片、動畫、圖表等方式表示出來，便于人們進行溝通、交流與理解。例如Clustergram是可視化技術，它采用聚類分析技術，對數據進行處理，然后顯小數據集的個別成員是如何經過數據處理后分配到大的信息集群中。

三、信息處理技術的發展方向

計算機硬件設施的客觀性，制約了計算機網絡的快速發展，因此需要借助云計算網絡來提升數據的存儲效率和運算速度，這也是未來“大數據”時代處理技術發展的新方向。計算機網絡發展已開始走向分叉路口，硬件和網絡的分體已在某種程度上刺激了網絡的新發展，云計算向云計算機網絡發展態勢明顯。區域性“大數據”的網絡與計算機構成大型網絡系統，彼此依賴性增強，計算機處理技術也由單一個體研究轉向系統性研究，通過“大數據”網絡可以實現多元合作性研究開發和專項個性開發。

“大數據”時代背景下的計算機處理技術發展速度也許會更快，應用性更強，但也會存在信息安全問題，信息共享與信息安全本身就是一個矛盾體，要如何調配好兩者的關系，發揮各自的優勢是未來大數據網絡需要注意和不斷探索的問題。計算機網絡對當代人的生產生活產生著巨大的影響，相關計算機信息處理技術的研究和探索需要整個社會的共同努力，只有更加先進的技術，才能使計算機網絡更好地社會服務，才能切實推動社會的進步。

四、結語

大數據信息處理需求量越來越大，信息處理內容豐富程度更強，最大限度的挖掘信息處理技術的能力，是提升大數據時代信息處理效率的關鍵。我國網絡服務群體比較龐大，網絡服務人群比較寬泛、網絡產品樣式繁多和交互性信息交流頻率較快等現狀，要求計算機處理技術必須與之相匹配。大數據的數據處理優化方法的采用，有效的提升了信息處理效率，另外，信息安全技術的采用必然會讓大數據時代背景下的計算機信息處理技術更上一層樓。

參考文獻：

[1]馮騫.大數據時代的信息處理技術[J].信息通信,2013.

[2]何文娜.大數據時代基于物聯網和云計算的地質信息化研究[D].吉林大學.2013.

[3]張允壯,劉戟鋒.大數據時代信息安全的機遇與挑戰：以公開信息情報為例[J].國防科技，2013.