基于大數據的信息系統關鍵技術

柏永榕

摘 要 隨著經濟發展和社會進步，數據和信息數量龐大和種類多樣的特點日趨明顯，傳統數據分析技術很難適應現階段發展趨勢，呈現出諸多弊端。因此，利用大數據信息系統關鍵技術，推動相關產業持續發展成為社會關注的焦點。本文基于上述背景對大數據技術進行了簡要概述，并探討了大數據的信息系統關鍵技術，以期能順應時代發展趨勢，提升數據處理能力。

【關鍵詞】大數據 信息系統 關鍵技術

近年來，信息技術發展迅速，對以移動互聯網技術和云計算機技術為主的現代數字信息系統的發展起到重要的推動作用，并使得信息獲取量及途徑呈現幾何增長態勢，同時降低了數據獲取與存儲的成本，極大提高了數據處理的有效性，為社會各行各業發展奠定了堅實的技術基礎。基于此，如何實現從復雜的數據中提煉有效信息，進而推動相關產業發展成為社會關注的重點，相關部門必須采取有效措施，保證當前信息系統的高校運行。

1 大數據技術概述

1.1 數據采集

在數據采集中，一般運用多個數據庫，以此接收來自客戶端或者傳感器等途徑的數據，在具體采集中會面臨并發量較高的挑戰，為了便于后續分析工作的有效開展，在采集中需要將數據導入分布式存儲集或者數據庫中，并在導入過程中進行相應的預處理。比如在互聯網企業中，多數企業均創建了諸如包含Ⅱadoop的cloudera的系統日志數據采集工具，采取分布式結構，以此滿足高并發量的日志數據采集需求，并實現有效的數據傳輸。

1.2 數據存儲

在數據存取方面，互聯網企業多采用PostgreSQL，其在設計中主要滿足OLTP交易型需求，進而具備人機會話功能。也有很多企業使用傳統的關系型數據庫，其中以Oracle較為常見，在頻繁的數據修改、增加和刪除操作中具有明顯優勢，但是在數據統計分析查詢方面效率較低。針對這一問題，很多公司選擇Teradata，主要利用MPP架構，在銷售過程中以軟硬一體機的形式呈現給客戶。

1.3 基礎架構

在對大數據技術運用中，很多企業指出在歸檔和備份過程中數據冗余度高達92%，必須采取有效措施高效刪除存儲系統中的重復數據，其中分布式重復數據刪除系統發揮了重要的作用，其主要由元數據服務器、客戶端和數據服務器組成，元數據服務器主要實現元數據的維護和儲存，而客戶端則在提供文件操作接口的同時，實現數據的預處理，數據服務器主要啟動去重引擎，并對有效數據進行儲存和管理。

1.4 數據挖掘

數據挖掘必須以現有數據為基礎，通過各類算法進行計算，進而起到預測效果，以此達到客戶高級別的數據分析要求。在大數據分析理論中，數據挖掘算法處于核心地位，但是由于挖掘算法復雜性較為明顯，且計算過程中涉及巨大的計算量，導致數據挖掘技術面臨研究挑戰，在具體應用中必須保證不同的算法對應特定的數據類型及格式，進而達到深入計算的效果。

1.5 結果呈現

在大數據技術應用中，注重處理結果的直觀化和可視化，通過數據的分析與處理，能夠清楚地了解海量數據的維度和指標，進而按照具體標準呈現復雜數據隱藏的關系。并且隨著技術的創新與發展，在數據輸出過程中出現了多屏聯動、主從屏和自動翻屏等功能，保證了輸出的清晰度，并在輸出中支持觸控交互操作，幫助客戶更好地了解數據的走勢與規律。

2 基于大數據的信息系統關鍵技術探討

2.1 分布式文件管理

在大數據技術應用中，數據的存儲和管理發揮著基礎性作用，現階段基于大數據信息系統而設計研發的分布式文件管理技術具有明顯的實用性，廣泛應用于各大互聯網企業之中，以Google創設的GFS管理技術為例，其具有成本低廉的優勢，已成為使用量較大的服務器，為客戶建立了高效的文件管理系統，并且具備較高的拓展性能。在這一系統中，很多數據存儲于不同的服務器之中，呈現分塊式的狀態，客戶可利用追加更新和關聯連接的方式開展數據管理工作。

2.2 分布式數據處理

在大數據信息系統中，實現了對各類數據的封裝操作，基于此用戶可享受隨時、隨需且標準化的檢索與分析服務。例如在分布式數據處理系統中，主要采用流處理技術和批處理技術，其中前者將大數據視作不間斷的流，對進入系統的數據流進行實時處理，并及時返回結果，進而提升了數據處理的及時性；而后者的核心則在于劃分數據的方式、分配數據的方式和處理數據的技術，該技術先存儲需要處理的數據，再根據特定的分割方法，將數據分割為多個數據塊，接下來將各個數據塊分給不同的處理器進行并行處理，進而降低了數據的關聯關系，使得數據具有極高的集群性和可調度性。

2.3 分布式數據庫

通常情況下，傳統數據庫以關系型為主，考慮到大數據具有體量巨大，種類繁多的特點，傳統類型的數據庫在數據處理時存在諸多弊端，并且大數據還具有價值密度低的特質，對數據庫本身提出了更高要求。因此在大數據處理中，必須建立新型的數據庫模式，其中分布式數據庫系統具有明顯的優勢，該系統模型簡便，在數據管理中將數據視作字符串，并且在字符串解釋過程中采取間接手段，從而保證了數據的半結構化特征，簡化了整個數據庫的運行程序，提高了數據處理效率。

3 結束語

綜上所述，大數據技術具有巨大的潛在價值，合理有效地開展大數據分析與處理工作，能夠幫助客戶了解數據背后的隱藏信息，進而制定精準且可行的決策，推動社會各領域的信息化發展。

參考文獻

[1]禹祿君.基于大數據的信息系統關鍵技術研究[J].湖南郵電職業技術學院學報，2015（03）：40-42.

[2]王本勝，殷階，朱旭，等.指揮信息系統大數據技術發展趨勢[J].指揮信息系統與技術，2014，5（03）：12-16.

[3]盧川英.大數據環境下的信息系統安全保障技術[J].價值工程，2016，35（04）：188-190.

作者單位

中國電子科技集團公司第二十八研究所 江蘇省南京市 210000