云計算在網絡數據庫中的應用與設計

摘? 要：隨著互聯網、云計算、數據庫等技術的快速發展，網絡數據庫保存的內容越來越豐富，包括視頻、圖片、文檔等多種類型，訪問用戶也是數以億計，因此基于云計算構建網絡數據庫，利用先進的虛擬化技術、MapReduce技術，自動化地完成計算任務，分配大數據存儲空間資源，實現數據分布存儲、通信和容錯處理，不僅可以大幅度提高數據庫的存儲容量，還可以改進網絡數據庫的并發性和提高利用率，具有重要的作用。

關鍵詞：云計算;網絡數據庫;虛擬化;MapReduce

中圖分類號：TP393.0? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）05-0082-03

Application and Design of Cloud Computing in Network Database

ZHENG Tongliang

（Foshan Hospital of TCM，Foshan? 528000，China）

Abstract：With the rapid development of internet，cloud computing，database and other technologies，the content of network database is more and more rich，including video，pictures，documents and other types，and hundreds of millions of users are also visited. Therefore，building network database based on cloud computing，using advanced virtualization technology，MapReduce technology，automatically complete the calculation task，and allocate big data storage space resources，distributed data storage，communication and fault-tolerant processing，not only can greatly improve the storage capacity of the database，but also can improve the concurrency and utilization of the network database，which plays an important role.

Keywords：cloud computing;network database;virtualization;MapReduce

0? 引? 言

網絡數據庫是一個集成光纖陣列技術、數據倉庫技術等信息的存儲工具，可以保存視頻、圖像和文檔等各類型數據，為網絡用戶提供強大的訪問接入功能[1]。網絡數據庫承載的數據多、訪問頻次高，因此傳統的部署技術無法滿足實際需求，因此根據本院云計算在網絡數據庫中的應用，本文提出與云計算技術進行集成，實現數據的優先級訪問，按照不同的訪問頻次、主題類型進行分類保存，提高網絡數據庫的利用率和高速率。

1? 云計算技術及應用現狀分析

云計算是一種先進的分布式計算技術，其可以將數以萬計的終端和服務器集成在一起，實現數據業務的處理。云計算可以為用戶提供三個關鍵層次的服務，分別是基礎設施即服務（IaaS）、平臺即服務（PaaS）和軟件即服務（SaaS）。云計算實現存儲器、CPU、網絡帶寬的服務和共享，實現基礎設施即服務，這樣就可以提高云計算的并發性，實現數以億計的用戶并發訪問平臺[2]。平臺即服務可以為軟件開發人員提供應用程序實現和服務處理的平臺，為程序員提供軟件開發、軟件測試、軟件部署的環境，能夠按照需求分配環境空間。軟件即服務則可以為供應商、內容商、通信運營商提供軟件應用程序托管功能，允許用戶連接到應用程序，實現互聯網的訪問操作。云計算經過多年的發展和普及，已經誕生了許多的云服務，比如騰訊云、百度云、阿里云等，部署數以億計的數據內容。

2? 基于云計算的網絡數據庫設計

本文在網絡數據庫中引入了云計算技術，可以充分利用云計算的虛擬化、MapReduce等技術，提高網絡數據庫的存儲效率和并發性[3]。基于云計算的網絡數據庫可以為用戶提供各類型的資源，還可以實現數據存儲、傳輸和共享功能，同時還可以根據數據訪問頻次設置優先級，提高對數據的訪問效率，如圖1所示。

基于云計算的網絡數據庫設計包括五個關鍵步驟，分別是設置平臺操作系統、搭建Hadoop集群、數據整合和預處理、數據存儲、數據挖掘和分析。

2.1? 設置平臺操作系統

常用的操作系統包括RedHat、CentOS和Debian，這些都可以作為底層平臺操作工具，具有較強的可擴展性，能夠支持數據處理。數據存儲平臺操作系統還具有虛擬化功能，從而可以擴展系統的物理存儲空間、共享CPU、提高通信帶寬的利用率。本文選擇RedHat作為操作系統，其可以實現大數據的操作和處理，如圖2所示。

2.2? 搭建Hadoop集群

Hadoop是一個軟件平臺，可以運行視頻、文本、圖像等處理軟件，最核心的技術為MapReduce，能夠將大量的計算機組成一個集群，實現海量數據分布式計算。Hadoop包括很多組成元素，最底層的組成元素是Hadoop Distributed File System（HDFS），HDFS可以基于分布式技術操作Hadoop集群平臺中的所有存儲節點文件，HDFS的上一層就是一個MapReduce引擎，這個引擎包括兩個組成部分，分別是JobTrackers和TaskTrackers，利用Hadoop可以實現數據處理和操作，進一步滿足分布式數據操作要求，安裝和部署如圖3所示。

2.3? 數據整合和預處理

數據存儲平臺保存的資源非常多，比如文件日志、關系數據、對象數據等，有結構性數據，也有非結構性數據，因此在把數據整合在一起時需要進行預處理，以便能夠利用企業服務總線進行通信傳輸，提高數據的一致性和可靠性。本文選擇使用HiveSQL作為數據整合軟件，該軟件能夠實現大規模的信息加工，進一步加強對數據資源的管控，服務配置如圖4所示。

2.4? 數據存儲

數據存儲可利用HBase和Kudu等存儲管理工具，建立一個生態存儲圈，不斷地提高大數據平臺的存儲和管理水平，還可以降低訪問延遲，提高數據分析能力。數據存儲引入數據倉庫，數據倉庫不僅可以實現普通數據的處理功能，還具有數據智能分析、優先級存儲等功能，一旦某一個數據對象訪問頻次上升，就可以為這些數據賦予較高的優先級，將其轉移到高速緩存中，提高用戶的訪問效率。

2.5? 數據挖掘和分析

數據存儲的資源非常多，這些資源通常是無序的、雜亂的，雖然符合一定的組織原則，但是人們利用數據仍非常復雜，因此引入數據挖掘和分析功能，可以提高數據利用的時效，縮短數據處理時間，如圖6所示。

網絡數據庫建設的關鍵技術包括很多，比如虛擬化技術和MapReduce技術。虛擬化技術包括軟件虛擬化和硬件虛擬化[4]。網絡數據庫引入的虛擬化技術多屬于硬件虛擬化技術，能夠引入輪轉方法、分片方法和多任務操作處理方法進行操作，實現對存儲空間、CPU、通信帶寬的利用，進一步提高計算機硬件設備的共享服務能力。虛擬化可以共享和擴展物理存儲空間，確保多用戶共享CPU或通信帶寬資源，基于按需服務機制實現大數據平臺操作。MapReduce是一個為網絡數據庫提供并行處理的計算模型，更適用于集群平臺高性能計算，允許數以億計的節點進行分布式集群，可以實現分布式操作服務。MapReduce能夠提供一個簡單、便捷的程序設計方法，更有利于程序員進行編程和處理。MapReduce能夠處理海量的半結構化數據，利用并行的結構解決特定的、復雜的數據處理問題，比如在一個關系數據庫中，可以使用SQL語言執行數據插入、查詢、修改和刪除操作，還可以使用傳統的C++語言、Java語言等解決這個問題，實現數據庫操作語言與傳統程序語言的有效結合，實現一個功能更加強大的數據處理功能。MapReduce為用戶提供的編程環境也非常完善，主要包括MapReduce Platform、JDT和PDE。JDT可以支持Java語言開發，PDE可以支持組件或插件開發，MapReduce Platform則可以為移動應用軟件開發提供一個擴展的IDE，提供一個通用的軟件開發平臺，MapReduce Platform可以顯示大數據并發集群運行時態，提高集成軟件開發工具的基礎。

3? 結? 論

通過實驗證明，網絡數據庫可以實現視頻、圖像和文檔的有序組織，為用戶提供一個易于檢索、高并發的接口，實現信息的共享加工和處理服務，保證大數據平臺的處理速度和自動化水平，提高效率。

參考文獻：

[1] 范麗麗.云計算中數據庫的相關問題研究與實現 [J].電腦知識與技術，2015，11（7）：7-8.

[2] 唐箭.云計算數據庫研究及其在遠程教學中的應用 [J].赤峰學院學報（自然科學版），2019，25（9）：238-239.

[3] 王娜娜，王冬梅，王喬平.云計算中數據庫的關鍵問題研究與實現 [J].中國新通信，2013，15（2）：58.

[4] 張洋.云計算中異構數據庫方案的研究與設計 [J].電腦編程技巧與維護，2017（12）：63-65.

作者簡介：鄭通亮（1974.11-），男，漢族，廣東肇慶人，數據庫工程師，研究方向：系統和數據庫管理。