訓練數據中心物理資源整合技術研究

李德偉，劉 鵬

(1.海軍參謀部 軍事訓練中心，北京 100841；2.海軍工程大學，湖北 武漢 430000)

0 引言

目前,部隊軍事訓練任務日益增多，且具有跨業務平臺、多通信體制、高度共享關聯和功能協同應用等特點，訓練業務中產生的訓練數據指數級增長，對訓練數據中心的數據處理能力提出了更高要求。而數據中心物理資源根據各數據處理業務需求，進行獨占式分配使用，數據中心資源維護復雜；各數據處理業務本身對硬件資源的整體利用率較低，資源利用率低；運算量較大的數據處理業務對硬件性能要求高，單一設備無法滿足使用要求等問題，已成為阻礙數據中心正常運維及可持續發展的重要原因，只有對數據中心物理資源進行更加高效的資源整合，才能最大程度發揮數據中心的作用，為訓練業務開展提供有利保障。

目前如何高效整合數據中心的物理資源一直是相關領域的研究熱點。文獻[1-3]提出了在大數據時代下建設數據中心需重點注意的相關事項，如建設方案選擇、數據安全等；文獻[4-6]介紹了分布式平臺建設及分布式服務架構業務應用等；文獻[7-9]介紹了物理資源整合必要的關鍵技術，如多服務器及分布式進程間的協同服務、遠程調度服務等；文獻[10-11]介紹了云平臺涉及到的負載均衡及任務調度技術；文獻[12-13]介紹了分布式文件系統及存儲集群相關技術。借鑒目前的分布式構架并結合大數據時代的云概念，本文提出的物理資源整合通過對系統計算服務器、存儲服務器和網絡交換設備等硬件基礎設備整合服務，將底層基礎資源打散，分割成基本資源邏輯單元，再整合形成網絡、計算和存儲資源池，對外提供可度量的、系統隔離的、安全可靠的和快速可擴展的持續資源服務。

1 系統資源整合

系統資源整合負責管理數據中心集群的物理資源，屏蔽底層基礎設施差異，將底層基礎資源打散、分割成基本邏輯單元，形成網絡、計算和存儲資源池，為各業務系統提供容器云服務、云數據庫服務、裸金屬云服務、開放式存儲服務和虛擬網絡服務等具有統一標準服務接口、可度量、系統隔離、安全可靠和快速可擴展的持續資源池服務，主要包括服務器資源整合、存儲設備資源整合和網絡設備資源整合。

服務器資源整合主要由容器云資源整合、數據庫云資源整合和裸金屬云資源整合組成。通過將多臺多種操作系統的國產化自主可控服務器與非國產化服務器有機結合，依托存儲系統及網絡系統資源，容器云資源整合構建具備混合架構的容器云平臺，提供統一開放的虛擬化支撐能力，構建兼容麒麟、Windows、Linux等多種操作系統的容器云服務；數據庫云資源整合對各業務系統數據庫服務器進行整合，構建具備一主多備、一寫多讀和設備故障自動快速容災的數據庫云平臺，為各業務系統提供統一的數據庫訪問服務；裸金屬云資源整合為各業務系統搭建的分布式計算集群提供統一運維管理，保障各類硬件資源的實時監控及故障自動告警。

存儲設備資源整合負責管理數據總線的陣列存儲設備、分布式對象存儲設備、NAS文件存儲設備及離線存儲設備的物理資源，形成在線、近線和離線存儲層，為業務系統提供海量、高速、安全、高可用、可定制、可擴展和具備多種存儲體制滿足各類業務系統需求的存儲資源，隱藏下層存儲設備故障恢復和數據冗余等細節。

網絡設備資源整合根據各業務系統間不同的業務特點、應用架構和安全等，按應用集群劃分為接入區、運維管理區、服務器區和存儲區。各區之間通過規范化的安全控制連接到互聯交換機上，分區內采用標準化、模塊化等方法進行設計。采用分區架構，在不增加物理設備和連線的前提下，實現業務快速部署，增加了業務系統部署的靈活性；更好地支持了雙活結構中的各層次的東西向流量、外聯專線在多個中心之間的備份及業務系統的跨區域靈活訪問。系統資源整合示意如圖 1所示。

圖1 系統資源整合Fig.1 System resource integration

2 容器云服務

容器云平臺軟件是以輕量化容器技術為核心的信息服務平臺，采用Docker(開源的應用容器引擎)和Kubernetes(開源的容器編排引擎)技術，實現對全自主可控計算機集群網絡、存儲和計算資源的統一調度管理，支持基于Kubernetes調度架構的多種調度策略、負載均衡策略，提供容器云管理的可視化交互界面及一鍵部署、云桌面等運維手段，支持以容器形式提供計算服務，能夠掛載存儲與網絡，具備快速啟動、彈性伸縮等能力，為業務系統提供安全可靠的運行支撐環境，保障各業務系統的不間斷運行。

3 云數據庫服務

云數據庫采用分布式集群架構，構建主備數據庫機房，主備機房均采用一主多備數據庫集群，支持一個主節點和多個備份節點，主節點及備份節點同時工作，滿足業務系統高并發數據訪問需求；支持基于共享存儲的一寫多讀架構體系，數據一次寫入主節點，所有備份節點即時生效，主備延遲控制在秒級以內；提供并行查詢引擎服務，通過并行計算提升復雜大SQL查詢性能，適用于大表關聯查詢、無索引列的點查詢和多字段分組查詢等場景；采用存儲和計算分離的體系架構，提供數據存儲能力彈性伸縮、多計算節點共享數據、分鐘級配置升級、秒級數據恢復、全局一致性和數據容災備份服務，通過白名單、專有網絡和數據多節點存儲等技術對數據庫數據訪問、存儲和管理等各環節提供安全保障。

云數據庫服務節點通過遠程數據存取服務對數據進行訪問，其中主機房云數據庫節點由一個主數據庫節點和多個只讀(備)數據庫節點組成，數據庫正常運行時，主備數據庫可進行數據庫讀訪問分離，在數據庫節點發生異常時，數據訪問服務自動切換，且對上層應用服務基本無感知；備機房云數據庫節點亦由一個主數據庫節點和多個只讀(備)數據庫節點組成，主數據庫將數據實時同步到主機房主數據庫數據，并將同步的數據實時向備數據庫同步。當主機房數據庫發生故障時，可通過備機房數據庫為業務系統臨時提供數據庫服務，提高主機房數據庫異地災備能力。云數據庫服務體系如圖2所示。

圖2 云數據庫服務體系Fig.2 Cloud Database Service Architecture Diagram

4 裸金屬云服務

裸金屬云為各業務系統提供物理服務器的管理服務，支持根據應用服務配置需求，自定義安裝操作系統，并提供物理服務器主機的全生命周期管理，實時監控物理服務器主機的健康狀態，保障核心業務系統的高效穩定運行，進行各業務系統物理服務器的統一運維管控。

裸金屬云管理節點通過服務器基板管理控制器(BMC)與各物理服務器進行網絡連接，通過智能平臺管理接口(IPMI)進行物理服務器的健康狀態監控及帶外管理，如遠程控制服務器開關機，進行故障日志記錄批量部署等；通過部署預啟動執行環節服務(PXE Server)、動態主機配置協議服務(DHCP Server)、簡單文件傳輸協議服務(TFTP Server)等服務，進行物理服務器的批量部署；通過云特性，進行物理服務器主機的鏡像備份與恢復操作。裸金屬云的整體架構如圖3所示。

圖3 裸金屬云系統架構Fig.3 Bare metal cloud system architecture diagram

5 開放存儲服務

開放存儲服務為上層系統提供海量、安全、低成本、高可靠的多體制存儲服務，支持多用戶海量并發數據訪問，提供豐富的圖片處理服務和強大靈活的安全機制。開放存儲服務支持數據雙活、多副本和定期備份等多種數據高可用體制，提供副本自動復制和自我修復功能；支持在線動態平滑擴容；支持與平臺無關的基于HTTP/HTTPS協議的RESTful API接口和多語言軟件開發套件。開放存儲服務主要為各業務系統提供陣列存儲服務、分布式對象存儲服務、NAS文件存儲服務和藍光存儲服務。

陣列存儲向各業務系統提供高I/O的塊存儲訪問服務，滿足各業務系統實時處理、高速運行及鏡像文件存儲和遷移等要求；通過部署對稱雙活存儲架構，滿足各業務系統的數據高可用需求，實現數據雙活；通過負載均衡機制，對數據訪問流量進行合理分發，提升存儲系統吞吐能力及響應速度。通過存儲數據熱度智能分析功能，自動進行業務系統存儲數據調用冷熱數據分層加速。

分布式對象存儲向各業務系統提供多重數據存儲服務，滿足各業務系統大數據計算業務下持續增長的性能和容量需求及不同應用、不同數據存儲格式與服務協議的需求，可有效地管理共享資源；通過配額管理功能，將存儲資源按需分配，提高存儲利用率；存儲系統通過負載均衡機制，在實現網絡負載均衡的同時，將所有數據讀寫壓力平均分配到服務器所有硬盤中，實現所有硬盤的壓力均衡，將存儲服務器以及網絡的整體性能發揮出來。

NAS文件存儲向業務系統提供共享文件或大容量非結構化數據文件存儲，滿足全局文件共享功能，為業務系統提供文件統一視圖，實現全局共享訪問，方便運維管理的同時，提供數據按需分發分享機制。由于各個業務系統存在私密文件，文件存儲在滿足統一存儲池需求的同時，提供豐富的權限管理功能，解決用戶數據隔離的存儲需求。

藍光存儲向業務系統及各級存儲系統提供數據歸檔、長效數據保存以及數據容災恢復的功能。通過豐富的存儲接口，依托廉價的存儲介質以及離線管理功能，對分散的孤島數據進行匯集歸檔；基于藍光介質高達50年壽命的材質特性，實現完整的數據生命周期管理；通過原生的一次寫多次讀(WORM)刻寫技術，配合靈活的數據備份策略，保存關鍵數據的所有歷史版本及操作記錄，為業務系統提供最后的數據安全保障。

6 虛擬網絡服務

虛擬網絡服務通過軟件定義網絡的方式實現虛擬交換機、虛擬路由器和虛擬防火墻等網絡功能，為接入的系統提供完全隔離的網絡環境并通過隧道技術保證系統與虛擬專用網絡的對應關系。每個虛擬網絡由網關、路由器和交換機組成，虛擬網絡之間邏輯上完全隔離，可根據業務需求定義虛擬網絡，可自定義IP網段、配置路由表和網關。交換機和網關組成數據通路的關鍵路徑，控制器下發轉發表到網關和交換機，組成配置通路關鍵路徑。在虛擬網絡中，可使用容器云主機、關系型數據庫和負載均衡等服務，支持將虛擬網絡連接到其他專有網絡，形成一個按需定制的網絡環境，實現服務平滑遷移和按需擴展，為上層系統提供安全、易用和可擴展的虛擬網絡服務。

7 結束語

本文提出了基于云技術的物理資源整合，通過對訓練數據中心的服務器、存儲和網絡等物理資源進行整合，為各業務系統提供統一的、高可用的和具備負載均衡等特性的容器云服務、云數據庫服務、裸金屬云服務、開放存儲服務和虛擬網絡服務等服務，在滿足各業務系統使用需求的前提下，提高了訓練數據中心的物理資源利用率，降低了物理資源故障的維護時間，并提高了系統運維人員的工作效率，為訓練任務的正常開展提供了有力的保障。