計算機分布式存儲算法設計

文/喻永生

1　引言

為了簡化用戶端的使用，我們可以通過分布式緩存系統來提供對此分布式存儲系統的訪問接口以及本地數據緩沖以降低網絡壓力。建設計算機分布式存儲系統應該與國家相關部門的規定、要求相契合。通過與上級應急指揮調度的響應，立足實戰應用，使指揮效能提升、指揮手段完善，在輔助指揮環節當中最大限度地發揮系統功能功效。計算機分布式存儲系統應該將現階段所具備的系統資源最大限度的整合，使得網絡與通信設備最大限度利用起來，將信息數據予以有效共享，樹立實用與經濟理念，預防出現重復建設。

2　分布式存儲算法分析

分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。分布式存儲中心是基于計算機網絡數據共享的基礎上，利用大數據搭建通信數據中心以實現數據資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為業務系統和信息服務提供深入、全面的數據基礎，并提供相應數據接口。數據中心的主要功能有數據交換與共享、數據存儲，數據處理三大部分。實現對采集到的各種信息進行分類和存儲等功能，能夠按照數據來源、數據類別、數據時間等多種維度進行管理，且具備統計分析、監控、報表制作等功能。在數據的存儲上要求能夠存儲和管理結構化數據，也能夠存儲和管理非結構化數據。能夠應對大數據量、多數據類型的情況。

3　計算機分布式存儲體系的構建

3.1　數據管理

在大數據環境下，數據規模和復雜度的增加往往非常迅速，對系統的擴展性能要求較高。實現存儲系統的高可擴展性首先要解決兩個方面的重要問題，包含元數據的分配和數據的透明遷移。因此數據中心配備包括支撐以上功能的硬件基礎設施、大型外部設備、數據庫管理商用軟件、數據處理專業商用軟件、數據管理應用軟件、數據服務應用軟件、數據交換系統，以及相應的專業人員。 數據中心硬件配置一般包括：服務器（業務應用服務器、數據庫服務器、交換服務器）；存儲系統（SAN光纖交換機、磁盤陣列、NAS文件存貯）；交換機（核心交換機、服務器群子網交換機、部門接入子網交換機）；大型外設；全冗余的硬件設備及鏈路。 數據中心軟件配置包括：網管軟件；應用服務器軟件；數據庫管理系統；GIS軟件；數據備份軟件；目錄服務及元數據發布軟件；LDAP服務器；安全管理軟件；消息中間件；云虛擬機管理軟件等。整個數據中心網絡可以建立在云計算平臺之上，所有的應用系統服務器均由虛擬化服務器提供，這樣的好處在于可以按需配置服務器資源，保障服務器資源的充分利用和靈活調度。

3.2　通信監控

現代計算機分布式存儲系統應當可以實現以下功能，探測功能主要指的是系統可以對發生異常信號的地區能夠準確快速的進行探測，主要有又可以分為危險行為的探測和目標識別探測，它們所應用的區域是不一樣的，危險行為探測主要是進行危險報警，而目標識別主要是用于安檢。響應主要是指通信系統對檢測到的信號能夠有所反應，主要包括報警信號以及系統的自動記錄與控制等。通信系統的管理功能主要實現日常操作的智能化管理，能夠對于一些程序流程，進行自動化的施行。通信系統的信息存儲主要包括探測信息、管理信息以及系統日志的存儲三大方面。

3.3　數據存儲

數據中心由兩臺高性能計算機作為數據庫載體，配以大容量的磁盤陣列和磁帶機，系統通過光纖存儲交換機相連，采用雙鏈路備份的方式，保證數據庫的可用性與可靠性。系統涉及到整合其他業務系統的數據，其他寫數據有結構化數據和非結構化數據，數據庫可能有Oracle或者SQLServer等結構化數據庫，也有NoSQL類型的數據庫，或者分布式數據庫，同時考慮到與政務大數據平臺相結合，因此，本方案設計系統把采集過來的數據存儲在由Hadoop搭建的分布式存儲系統上，通過HBase進行結構化數據存儲，通過逐步建立分布式數據分析模型，不斷的豐富系統提供的服務。

3.4　數據共享

MapReduce是由Google提供的建立在HDFS之上的一個并行計算框架；我們需要通過MapReduce框架設計對共享數據的檢索與分析，為各種業務系統提供數據。HBase是一個類似于Google BigTable的分布式NoSQL列數據庫；Hive是由Facebook貢獻的一個數據倉庫工具提供類SQL查詢方法，使得上層數據應用程序可以通過關系型數據庫訪問的方式查詢分布式文件系統中的數據；Zookeeper是由Facebook提供的一個分布式鎖設施，在整個平臺中起到協調各種操作的作用。Pig是一個大數據分析平臺，為用戶提供多種接口，在系統中主要通過其方便的腳本編程接口為上層數據應用程序提供服務。

4　總結

計算機分布式存儲系統在設計過程當中必須確保擁有相應的前瞻性，借助成熟、先進設計理念，在保證性價比高的前提下，選取可靠成熟的技術方法與中高端設備，使開發出來的計算機分布式存儲系統科技含量在整個計算機分布式存儲系統行業中處于先進位置，處于合理性價比條件處于國內領先地位。