大數據環境下基于MySQL的數據庫架構設計與實現

江西應用工程職業學院 江國文

引言

隨著互聯網技術的快速發展，人們頻繁的訪問數據庫，向后臺發送數據處理請求。因此需要操作系統擁有較快的處理速度，來滿足人們的訪問需求。與此同時，隨著大規模系統的出現，MySQL技術也有了較快的發展，充分發揮出運行速度快、使用成本低的優勢，有效提高了數據處理的質量與效率。而且使用基于MySQL的數據庫架構，既可以按需使用數據資源，還可以提高數據安全性。因此，本文討論如何在大數據環境下，設計與實現基于MySQL的數據庫架構，就顯得極為重要。

一、大數據環境下MySQL的數據庫架構概述

大數據是指無法在可承受的時間范圍內用常規軟件進行捕捉、管理和處理的數據集合。現階段，大數據的定義已經不再單純局限于數據的規模大小，它代表著傳統的計算機技術已經難以有效處理龐大的數據信息，同時也代表著大數據處理的新技術和新方法，將會帶來更大的發展。通常來說，大數據具有四個特征。一是數據體量巨大。二是數據種類多樣，主要可以分為結構化數據和非結構化數據兩種。三是指價值密度較低，這與數據總量的大小互為反比。四是指處理數據的速度較快，這是大數據最為突出的優勢。隨著互聯網技術的飛速發展，大數據技術也在各個領域中得到了廣泛應用，其基本內涵逐漸呈現多元化特點，需要從理論、技術與實踐三個角度深入解析。就理論角度而言，大數據理論是大數據技術發展的必然需求，其也是相關領域應用的基礎。大數據的理論基礎可以理解為相關行業對大數據技術的定性描述，進而探討大數據對行業的作用。就大數據技術角度而言，大數據技術是大數據發展的重要基石。大數據技術在發展過程中，結合互聯網、云計算、信息存儲、分布式與感知技術，通過對大量的數據進行采集、分類與存儲，最終規整形成統一的大數據技術。就大數據實踐角度而言，大數據實踐是大數據相關技術的最終體現，也是大數據技術的根本價值，各行各業利用大數據技術進行相關實踐，共同描繪了大數據技術宏偉藍圖。

MySQL概念與特點：

在大數據背景下，MySQL作為一個關系型數據庫，廣泛應用于WEB方面。且隨著信息技術的迅猛發展，MySQL逐漸成為關系型數據庫應用最廣泛的軟件之一。在實際應用過程中，該軟件會使用不同的表格來存儲數據，有助于分類整理數據。同時，MySQL軟件還采用了雙授權政策，分為社區版和商業版倆種。最大的優點是開放源碼，除此之外，還有運行速度快、使用成本低等優點。就其特性而言，首先，使用C和C++進行編寫，還進行了多種測試，確保可以進行源代碼的移植。其次，既可以當做一個單獨的程序，在客戶端服務器中使用，也可以作為一個庫，植入到其他的軟件中進行使用。此外，還支持大型的數據庫，可以及時處理上千萬條記錄，提高數據的處理速度與處理效率。

二、MySQL的數據庫架構設計與實現

（一）MySQL關系型數據庫設計

1.相關功能確定

MySQL關系型數據庫設計時，其創建功能與刪除功能主要包括于DBEntityTask中。在創建過程中主要采用多線程設計原則，每當設計一個MySQL關系型數據庫時，就需要多線程處理。具體設計如下：

2.數據表設計

MySQL關系型數據庫的創建過程主要包括db_entity_list、server_pool_list與ser_connection三張表。具體過程中，server_pool_list主要負責記錄大量數據、內存等參數信息；iops主要負責數據的查詢，表db_entity_list與表srv_connection想關聯，通過一系列算法操作。表server_pool_list中的vip字段是用來訪問實例的IP地址，訪問完之后將信息記錄在表db_entity_list中的VIP字段里。

3. MySQL關系型數據庫實現過程

在MySQL關系型數據庫創建過程中，相應的云服務平臺會對相關信息參數進行檢驗，校驗通過后，會對輸入的信息編碼，并傳給C++端進行處理。當C++端接收到相關信息編碼后，會依據系統規則，將相應指令錄入db_entity_list中。相關人員則通過查詢srv_connection表，可以獲得相應的參數。再次通過服務器調試，便可獲得server_po_lis在MySQL關系型數據庫中的地址。Python端收到消息后，將消息解碼，對所連接的存儲創建lvm，用于安裝數據實例；其次，在實例創建過程中，端口會隨機生成MySQL數據庫訪問密碼；最后，如果MySQL關系型數據庫創建失敗，則會將相關信息反饋于服務器中。服務器根據反饋信息，進行相應的處理，便直接完成MySQL關系型數據庫的更新。

（二）MySQL關系型數據庫實例操作

1.功能設計

MySQL關系型數據庫還包括升級數據庫資料、修改對應參數與刷新信息狀態等實例。基于實例是可用狀態，用戶才可對數據庫中的實例進行操作，具體操作步驟如下：

2.數據表設計

對實例可進行升級實例、刷新實例、更改參數的操作，其中參數修改操作涉及數據庫表 db_ entity_list、表db_para_list與all_parameter_list數據表。若用于有修改相應參數的需求時，首先需要在上述數據庫表中對相應的參數進行查詢；其次，再獲取表db_entity_list中記錄的實例ID，并根據獲取到的ID在表db_para_list中查找db-id字段，在表db_para_list中，記錄了每個參數的默認值和可修改范圍。

3.具體實現

當用戶要對某一個參數進行修改時，前臺會將信息以編碼形式傳遞給C++端，C++端收到消息后將信息解碼，根據數據信息去數據庫中查詢；如果查詢結果顯示是第一次修改數據，系統就會將修改后的信息插入表db_para_list中，反之，系統將直接修改數據表中的信息。有些MySQL數據庫參數需要將實例運行停止后才可以變動；因而需要在all_parameter_list數據庫表中進行相應參數查詢，并確定是否進行實例查詢，如果不需要，則sql語句可以對參數直接修改，反之，就需要先關閉實例，再對實例中的配置文件進修改，修改結束后自動重啟相應的實例。最終，系統如果檢測到相關實例完成重啟后，變將相應的信息反饋到C++端，便會將數據庫狀態設置為可用狀態。

（三）數據庫實例備份的設計與實現

1.功能設計

實例備份分為立即備份和定時備份。DBEntityTask 類中包含的方法可對實例數據進行備份、刪除以及創建刪除臨時實例數據等操作。實現實例的備份和恢復的方法如下：

2.數據表設計

關于MySQL數據庫關于實力備份和恢復的表有backup_info_list和backup_stra_list,其中表backup_ stra_ list用于備份策略的設置，表backup_ info_ list用于記錄備份文件的信息，無論是手動備份還是自動備份，所有的備份信息都記錄在表backup info_ list中。

3.具體實現

MySQL數據庫實現備份有用戶手動備份和系統定時備份。定時器觸發定時備份設置，備份信息就會存儲到數據庫表backup_stra_list中，當出現備份時間時，定時器自動響應并發出請求。同時，前端的服務器應及時查看數據備份情況，如果不處于備份狀態，則無法進行備份操作；反之，把信息以編碼的形式發送到C++端，C++端收到信息后進行解碼，并將相應的數據信息錄入backup_info_list數據表中。用戶可在WEB頁面查詢到所有備份記錄。

三、結束語

如今微博、網游等終端廣泛應用，頻繁向后臺發送數據處理請求，傳統單機數據庫系統正面臨著前所未有的PB級數據量的存儲和計算難題。而MySQL數據庫，是以GPL開源協議為基礎，進而開發出來的開源數據庫軟件，同時，MySQL數據庫自身性能及穩定性卓越，帶給使用者很大的信心。因此，要實現大數據的快速發展，就要有數據庫技術的全力支持。結構化、非結構化、面向關系型、面向對象等眾多數據庫概念，只有與現代化技術相互融合，才有可能促進雙方共同發展，進而實現多源異構的海量數據存儲以及信息資源的高效利用。

[1]劉艷.大數據環境下基NoSQL數據庫的存儲技術研究[J].信息通信,2016(9):108-109.

[2]劉陽娜.大數據下的MySQL數據庫的效率優化[J].信息通信,2017(12):111-112.

[3]劉江霞.一種基于Hadoop的大數據倉庫技術研究[J].電腦編程技巧與維護,2017(16):65-67.

[4]王小霞.基于Hibernate框架的科研管理信息系統的設計與實現[J].信息技術與網絡安全,2017,36(23):104-106.

[5]趙永霞,李文杰.SQL Server中的數據導入MYSQL[J].通訊世界,2016(8):212-212.