數據庫大數據分布式存儲技術研究

洪成斌

（銅陵職業技術學院 安徽 銅陵 244061）

0.引言

數據庫是存儲數據的主要載體，也是管理數據的主要工具。 在大數據時代，數據量快速增長，傳統數據庫和集中式存儲技術已經不能適應現代信息數據處理的需要，數據處理效率較低，數據處理速度較慢，大數據分布式存儲技術應運而生，解決了大數據處理中的種種問題，滿足了大數據處理的特殊需求。由于分布式存儲技術的多種優點，使得其受到眾多企業的歡迎， 已經成為了主要的大數據存儲技術，推動了大數據技術的發展。

1.分布式存儲技術簡述

1.1 分布式存儲技術概念

分布式存儲技術是一種新型的數據處理技術，主要是將數據分布存儲，同時在分布存儲的數據之間構建聯系，從而構建一個虛擬的存儲設備。 這種技術將數據分布存儲到網絡之中，并將網絡中分散的數據連為一個整體，有效的節約了存儲空間。 分布式存儲技術最早應用于氣候研究和物理研究，由于研究人員的地理位置分布的不同，所以數據存儲也呈現出分布式特征。 隨著互聯網技術的發展，分布式存儲技術的應用范圍也越來越廣，提升了網絡存儲資源的利用率，滿足了人們存儲數據的需求，同時為人們提供了數據共享通道，方便了人們之間的數據交換。

1.2 分布式存儲技術與集中式存儲技術的區別

分布式存儲技術是相對于集中式存儲技術來說的數據存儲技術，兩者主要有三個不同之處：第一個不同之處是數據存儲量。 集中式存儲技術將信息數據存儲在一個數據庫中，數據存儲量相當有限，只能存儲T 級別以下的數據，不能滿足高級別數據存儲的需求。 分布式存儲技術將數據存儲在零散的網絡空間中，可以存儲海量數據，能夠滿足多種級別的數據存儲需求。 第二個不同之處是防御性。 集中式存儲技術的防御性低，這是因為信息數據全部集中存儲在服務器中，而服務器一旦遭受黑客攻擊或是感染網絡病毒， 全部的數據就會丟失、損壞。分布式存儲技術的防御性高，這是因為數據分布存儲在網絡之中，部分數據受損不會影響其他數據的使用，有效保證了信息安全。 第三個是并發性能。 集中式存儲技術的并發性能低，不能同時讀寫信息數據，在查詢大量數據時速度非常慢。分布式存儲技術的并發性能好，能夠同時對海量數據進行讀寫操作。

1.3 分布式存儲系統

分布式存儲系統是應用分布式存儲技術的數據存儲系統，主要是將數據存儲在多臺設備當中，而且多臺設備互相并不干擾，每臺設備都能獨立工作。 相對于傳統的存儲系統來說，分布式存儲系統的可靠性更高，安全性更好，擴展性更強，能夠滿足大數據時代人們存儲管理數據的需求。 分布式存儲系統當中主要應用了兩種技術:第一種技術是彈性擴展技術。可擴展性是存儲系統的首要特性。在大數據時代，一個存儲系統的性能主要取決于系統的可擴展性。分布式存儲系統的可擴展性非常好，這主要得益于彈性擴展技術。 第二種技術是元數據管理技術。元數據即描述數據的數據，隨著信息數據量的不斷增長，元數據量也在不斷增加。 元數據管理是存儲系統首先要完成的工作，因此存儲系統必須要有良好的元數據管理能力。分布式存儲系統具有一流的元數據管理能力，并且不需要專門的元數據服務器，減輕了企業的成本開支。

2.數據庫大數據分布式存儲技術

2.1 低成本分布式存儲技術

在大數據時代，信息數據飛速增長，致使存儲成本不斷提高。低成本分布式存儲技術的出現解決了存儲成本過高的問題，有效的節約了存儲成本。 在多種低成本分布式存儲技術中，節約效果最好的當屬基于對象的分布式存儲技術， 這種存儲技術主要通過使用Web 協議實現數據傳輸通道與數據控制通道的分離，提升了數據傳輸的效率。 基于對象的分布式存儲系統為用戶提供兩個ID，一個為存儲對象ID，一個為存儲空間ID，兩個ID 互相對應，實現了數據的定向存儲，同時系統的存儲空間處于平級，互不干擾，不會發生連帶故障現象，有效防止了數據的丟失。 除此之外，基于對象的分布式存儲系統還壓縮了硬件存儲成本，主要通過網絡來實現數據的存儲和管理，可靠性非常高，能夠保障用戶的信息安全。 最為經典的低成本分布式存儲系統為Swift，這個系統主要有兩部分組成，一部分是數據訪問，一部分是數據管理，能夠多節點查詢信息，節省了查詢時間。

2.2 極限數據分布式存儲技術

在大數據時代，極限數據出現的次數越來越頻繁，需要數據庫存儲系統有非常良好的極限數據處理能力。極限數據分布式存儲技術滿足了極限數據處理需求，能夠同時處理多樣的、大量的數據，主要應用于各類購物網站和購票網站的存儲系統之中。在現有的極限數據分布式存儲系統中，最為主要的有三種：Hadoop、NoSQL、NewSQL，這三種處理系統的核心原理是一致的， 都是通過零散的存儲空間來存儲數據，以此實現存儲資源的優化配置。 NewSQL 存儲系統相對于其他兩種存儲系統來說，兼容性更好，能夠滿足用戶的多種存儲需求，數據處理速度更塊，是傳統數據的十倍，為用戶提供了優質的信息存儲管理服務。 除此之外，GemFire 系統也是一種非常受歡迎的極限數據分布式存儲系統，已經應用到我國的12306 鐵路訂票網站之中。

3.大數據分布式存儲技術面臨的難題和解決措施

3.1 大數據管理人才缺乏問題和解決措施

大數據管理人才是大數據的主要管理者，直接影響著大數據的管理和使用。目前，我國普遍缺乏大數據管理人才，許多大數據管理人員對大數據分布式存儲技術了解不足，認識不深，不能主動的應用大數據分布式存儲技術，大數據管理效率較低，讓信息數據失去了使用價值。為了解決這個問題，我國就要重視大數據分布式存儲技術的應用，引導我國高校開設大數據相關專業，增強學生大數據分布式存儲技術的使用能力。 企業要做好員工招聘和培訓工作，不僅要通過多種考核挑選能力最優的應聘者，還要通過多種培訓提升員工的技術水平和綜合素質，最終促進企業的發展。大數據管理人員要端正工作態度，主動學習大數據分布式存儲技術，提升數據管理效率，提升自身工作水平，深度挖掘信息數據，發揮出大數據的作用。

3.2 大數據分布式存儲系統的安全性問題和解決措施

在大數據時代，信息數據的重要性逐漸凸顯，但是網絡威脅也隨之出現。黑客攻擊、病毒感染都威脅著用戶的數據安全，而現有的大數據分布式存儲系統還不能完全抵擋病毒、黑客，也就無法全面保障用戶的信息數據，因此，信息數據安全問題是使用大數據的各行各業首先要解決的問題，也是必須要解決的問題。為了解決這個問題，大數據存儲系統的開發者就要加強研究力度，增強系統的防御能力，同時提升系統的內部自檢能力，以此來應付外部黑客的攻擊和內部病毒的感染。 大數據存儲系統的使用者要做好兩方面工作：一方面要提升信息保護意識，要自覺主動的保護信息數據，要為系統設置密碼，為使用者劃分等級，以此來確保信息的安全性。另一方面要制定系統使用守則，以此來規范使用者的行為，確保使用者能夠正確使用系統，防止信息數據外泄。

3.3 大數據分布式存儲系統的適用性問題和解決措施

大數據分布式存儲系統的適用性是系統使用價值的具體體現，適用性越高，使用價值越高。 但是我國目前的大數據分布式存儲系統都還存在一些問題，也就是說系統還有可以提升的空間。 為了提升大數據分布式存儲系統的適用性，系統的開發者首先要了解用戶需求和市場需求，通過分析得出用戶和市場實際需要的系統類型和功能，然后制定出完整的系統設計計劃。 在設計系統時，要不斷的增加系統的功能，提升系統的數據處理能力，提升系統的數據處理效率，提升用戶喜愛度。 在系統銷售之后，還要對系統定期維護，確保系統能夠正常運行，保證系統中的信息不被竊取，同時要根據用戶的需求優化系統，提升用戶的忠誠度。

4.結語

數據庫大數據分布式存儲技術是一種新型的大數據存儲技術，主要通過零散的網絡空間分布存儲數據，有效的節約了存儲成本，提升了數據管理效率。大數據分布式存儲系統是以大數據分布式存儲技術為基礎的存儲系統，能夠滿足用戶的多樣化需求，加快了信息數據的處理速度，提升了數據管理人員的工作水平，具有非常高的應用價值。大數據分布式存儲技術和存儲系統應當受到人們的歡迎和使用，這樣才能帶動大數據的發展，才能讓大數據的價值得以顯現。