基于大數據的信息系統關鍵技術研究

張海浪

摘要：隨著我國科技的發展，高科技的應用越來越廣泛，尤其是大數據的應用，已逐漸的擴大到商業、金融以及建筑等各個領域中。大數據視角下的信息管理主要是收集、整理、匯總以及分析一些數據，并且隨著我國經濟的發展，對數據信息的使用有了更高的要求，也就對信息系統的關鍵技術有了更高的要求。因此本文就對大數據背景下的，信息系統的關鍵技術進行研究，以此來滿足我國現階段社會工作的需求。

關鍵詞：大數據；信息系統；關鍵技術

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2018）01-0067-01

隨著我國網絡技術的發展，其已逐漸的深入到我們的日常生活和工作中，成為了必不可少的一部分。目前各種信息的匯集，都已經讓數據共享到每一個行業中，標志著大數據時代的到來。在這樣的背景下，一定要重視大數據信息系統的關鍵技術，以此來推動大數據時代下各個行業的發展，促進我國社會的發展。

1 大數據的相關概述

1.1 大數據的概念

大數據主要是指海量的數據系統，利用計算機將其收集、整理以及分析。在互聯網行業中，其主要是指信息數據的流通，將其應用到人們日常生活的領域中，就是需要對其進行收集、整理以及分析等，從能做出最正確的判斷和決策。

1.2 大數據的特征

大數據視角下，數據具有價值密度低、速度快、時效高、以及類型多的特點。首先，在大數據視角下，信息的收集速度和處理速度不斷的加快，因此相關人員必須要有極強的信息收集能力和信息處理能力。其次在大數據視角下，信息共享的會更加的方便，因此相關人員必須要重視團隊的合作，及時的掌握最新的相關技術，如云端儲存、云端共享等。同時大數據視角下，還要重視數據的挖掘、分析，因此大數據下，各種信息都能得到很高的融合，使得信息管理的范圍就會特別的廣，因此各種信息必須要做到專業[1]。

1.3 大數據的技術

（1）數據采集技術。大數據信息的數據采集技術，主要是從不同的數據庫信息接收信息，如產品客戶端、網絡站點、以及傳感器等。在采集過程中，常常會遇到高并發數的問題，因此為了提升其分析效率，需要導入分布式數據庫，其可以滿足不同數據的采集需求和傳輸的需求。（2）數據存儲技術。大數據下的數據存儲模塊中主要是應用Pastgre SQL，這種技術以人機互動為目標，滿足了使用者的所有存儲需求。也有的企業會使用SQL Server來進行數據的存儲，但是其屬于存儲的格式，可以用來更改、刪除數據庫信息，不能統計和分析信息。（3）基礎架構技術。目前數據存儲過程中，數據重復率將近90%，因此為了刪除這些重復的數據，出現了基礎架構技術，也就是分布式重復數據刪除技術。其由客戶端、元數據服務器以及數據服務器，其中客戶端，主要是用來對外信息的交互，并在交互過程中對信息進行預處理，如提取指紋、劃分數據塊等。而元數據服務器主要是用來維護管理元數據的存儲和集群，用來均衡負載。而數據服務器主要是用來引擎數據、存儲數據以及管理數據。（4）數據處理技術。數據處理技術主要是處理信息，讓其產生商業技術。其起源于hadoop數據處理架構，采用的是分布式文件系統HDFS，其可以處理千兆以內的數據，主要是通過服務器來分布數據和處理數據，但是這種處理技術比較低效，而且編程也比較復雜。因此又產生了Skytree結合機器學習算法，其可以對信息進行高級的分析，目前已廣泛的應用在預測分析、市場細分以及異常識別等領域。同時還有Spark，一種基于Mapreduxe算法的分布式計算方式，其可以對數據進行高效的運算，也可以更好的用來挖掘信息。

2 基于大數據的信息系統關鍵技術分析

2.1 分布式文件管理技術

大數據的基礎就是存儲數據和管理數據，目前基于大數據的信息系統關鍵技術的分布式文件管理技術已廣泛的應用在各大企業中。如Google提出的GFS文件管理技術，采用了價格比較低廉的服務器，又設置了一個具有高拓展性的文件管理系統，以此來將信息存儲到不同的服務器中，在通過共享、連接等方式來對數據進行管理[2]。

2.2 分布式數據處理技術

大數據下采用分布式數據處理技術，可以為用戶提供跨越時間、空間的服務，用戶可以隨時來對信息進行檢索和分析，該技術分為批處理技術和流處理技術。其中批處理技術是先將處理的數據存儲起來，然后在按著一定的方式將其進行分割，并交給多個服務器來進行處理，其淡化了數據之間的關聯關系，提高了數據的集群性。而流處理技術，主要是實時的進入處理系統來對數據進行處理，并將處理結果反饋回去，有效的提高數據處理的時效性。

2.3 分布式數據庫技術

分布式數據庫技術也是大數據下信息系統中常用的一種技術，其主要是用來管理數據庫。大數據下數據庫不但容量大，而且數據類型也比較大，因此在處理過程中難免會有一些差錯，在加上大數據的價值密度比較低，因此必須要做好數據庫的管理。分布式數據庫技術主要是采用了模型來對數據信息進行管理，其將所管理的信息看成一串字符，但是不直接對字符進行解釋，有效的簡化了數據庫系統[3]。

3 結語

綜上所述，大數據信息系統下，其關鍵技術可以有效的做好數據的挖掘、分析、以及處理，從而為相應的人提供數據上的參考。未來隨著我國信息技術的發展，相信大數據下信息系統的關鍵技術，還會不斷的優化，以此來為每一位用戶提供針對性的服務。

參考文獻

[1]禹祿君.基于大數據的信息系統關鍵技術研究[J].湖南郵電職業技術學院學報，2015，（3）：40-42.

[2]方世敏.基于大數據的信息系統關鍵技術研究[J].無線互聯科技，2013，（10）：117.

[3]朱攀.基于大數據的信息系統關鍵技術研究[J].電子技術與軟件工程，2014，（4）：216-216.