高可用安全存儲集群技術研究

王亮 劉清雪 魯曉帆 郭邦圣

（吉林建筑科技學院 吉林省長春市 130114）

國外高可用集群源于1908年，E．C．Mo1ina 發表“中繼”曲線概念等級實現信道全利用度，后期演變為服務器全利用度與高可用整合，現已非常成熟，我國1989年才開始引進模擬集群系統，目前絕大多數各類單位均未使用，這類需求與技術只被國內互聯網大公司追崇。網絡安全強國趨勢，大數據與人工智能發展趨勢，必然導致高可用及安全存儲集群普及和應用。

1 前期基礎、目的及必要性

1.1 負責人基礎與背景

項目負責人曾任長春大學旅游學院教育技術與網絡信息中心主任助理，華為高級網絡工程師，全國計算機最高級四級網絡工程師，負責整個中心常務工作，任職期間完成了整個校園網的規劃設計與運營，整個校園監控系統與服務器陣列存儲規劃設計實現（267 監控點），完成校圖書館主控核心機房雙機熱備集群構建(具體包括：網絡存儲系統IP-SAN 浪潮AS500M 的RAID 安裝、構建、IPSAN映射、中間件ROSE 的安裝、部署，卷資源、別名資源、會話資源的創建部署，Oracle 數據庫的部署與安裝、帶入帶出、閃回等關鍵技術）具備扎實的IP-SAN 網絡存儲技術，雙機熱備集群技術，網絡工程專業技術。2015年6月主要參加人完成吉圖琿高速鐵路敦化、蛟河、虎門嶺三地高速鐵路網絡中心核心設備（存儲陣列、路由交換、監控系統）規劃設計、安裝、測試具體工作等。

1.2 團隊成員研究基礎與背景

項目成員劉清雪與魯曉帆、劉鑫三位副教授具有扎實的網絡集群構建經驗，對高可用中間件ROSEHA 具有扎實的授課經驗和使用經驗，完成校圖書館主控核心機房的關鍵業務構建與實現，校BIM 中心的高可用服務器規劃設計與構建、校電供采暖超低能耗研究中心的服務器陣列、本地與網絡存儲映射、數據共享規劃與部署。

其他三名成員在網絡存儲與集群上均有扎實的理論基礎，均參與過各類企事業單位及校級網絡信息中心和各個分支機構部門的關于本課題研究方向的信息化建設工作。

1.3 項目目的及必要性

目的：在大數據、人工智能領域開展深入研究，實現高校服務器采用HA（High Available）高可用及高可用安全存儲集群構建。

必要性：一旦發生服務器陣列故障，則面臨多個單點服務故障或校園多樣服務大數據（教務系統數據、網站系統數據、監控系統數據、學科平臺科研建設數據等等）損毀及停頓。因此，要實現業務數據的高可靠性，必然要保證存儲高可用性，針對這類情況，提出高可用安全存儲集群構建應用研究。

2 研究的主要內容

2.1 環境需求

本課題主要針對當前高等學校網絡存儲服務器高可用的建設與規劃，以RoseHA 系統為核心，重點研究基于Rose 的集群拓撲架構，構建高可用安全的存儲集群服務。

2.2 具體內容

基于ORACLE11G 數據庫的部署與安裝，Rose 集成ORACLE服務，啟動GUI 工具，創建集群，高可用保護，雙機熱切換，仲裁資源，卷資源，IP 資源，進程資源,NT 服務資源的設計與創建，管理資源中的帶入帶出、切換卷資源、修改資源、測試資源中的應用程序訪問、手動切換、關機切換、斷線切換、kill 進程切換等。通過高可用安全存儲集群的構建實現各類高校及中小企業的高可用集群與安全存儲業務連續性的保障，各類高校與中小企業對高可用集群與安全存儲這類信息化建設較薄弱，原因在于意識不夠和構建及維護成本相對較高，沒有把高可用及安全存儲列入日常計劃當中，當數據出現破壞或者丟失，當關鍵業務沒有備用措施出現中斷，沒有產生連續性，則損失巨大。如果采用高可用安全存儲集群，對學校與企業的損失則近乎為0。

3 擬解決的技術難點與關鍵技術

3.1 擬解決技術難點

高可用HA 實現，高可用對應的資源組設計，高可用環境下的心跳鏈路故障熱切換加速度，磁盤陣列級別與IP-SAN 吻合性，高可用存儲策略，安全存儲設計，綜合應用構建的科學性、穩定性、最優性、兼容性等。

3.2 關鍵技術（安裝與部署ROSE-HA）

HA 高可用（主從復制、主備復制、互聯式、中介式、雙機切換、模擬式、主主復制、）,HA 集群技術（一主多從或一主多備、數據分散集群），反向同步技術，網絡存儲服務器技術，磁盤陣列技術，大型數據庫ORACLE 技術。

高可用配置構建：

路由交換技術（MSTP 多生成樹、ospf 動態路由、VRRP 虛擬鏈路冗余路由）,OSN-CDP 連續數據保護技術，OSN-REP 網絡備份技術，遠程容災安全技術，TVM 透明數據遷移技術等。

4 擬采取研究方法、技術路線

4.1 研究方法

通過學校現有的高級網絡存儲IP-SAN,利用RoseHA 高可用中間件集群系統，結合當前高等學校及企業實際，構建高可用安全存儲集群。

4.2 技術路線

安裝部署RoseHA，硬件和系統環境準備，應用服務部署，數據安全性要求。RoseHA 配置oracle 服務，啟動GUI 創建集群，高可用配置構建。

部署Oracle 數據庫，主服務器部署聯機共享，部署后刪除主實例之后部署備用服務器，將Oracle 相關服務的啟動類型更改為手動。

集群環境中部署應用的流程。管理資源組帶入，帶出，切換資源組，修改資源組，刪除資源組。測試資源：應用客戶端訪問、手動切換、關機測試、拔線測試、進程測試。

5 技術指標

（1）滿足高校與中小企業應用環境下需要實現以下技術要點：

（2）獨立于應用程序和主機，不影響應用程序運行情況下，透明實現存儲集群

（3）構建存儲高可用HA 框架，獨立于存儲系統，為業務實現差異化

（4）異構存儲管理技術，充分發揮現有結構

（5）單點故障全自動切換、恢復，MTBF>=99.99%,保障關鍵業務連續性

（6）基于IP-SAN 存儲，提高靈活存儲及存儲利用率

（7）標準HA 模式、集群HA 模式、HA 多路徑I/0 模式

（8）自動遷移資源，降低宕機。

6 實施方案

首先完成高可用安全存儲集群整體規劃與設計，其次實現安全存儲IP-SAN 設計與集成由，RoseHA 集群規劃與設計，高可用集群測試，最后實現高可用安全存儲集群構建。

7 項目成果及應用轉化前景預測分析

7.1 項目成果

（1）高可用安全存儲集群的實現；

（2）高可用安全存儲集群構建應用實現；

（3）大學校園與中小企業高可用安全存儲集群實現；

（4）高可用安全存儲集群系統集成；

（5）高可用安全存儲集群單元與分布式測試；

7.2 應用轉化前景預測分析

（1）通過RoseHA 實現大型校園網與中小企業通用的高可用安全存儲集群構建；

（2）通過高可用安全存儲集群實現高校教務系統數據安全性與教務服務業務連續性；

（3）通過高可用安全存儲集群實現校網絡中心各類數據服務業務連續性；

（4）通過高可用安全存儲集群實現高校圖書管理系統數據安全性與圖書借閱服務業務連續性；

（5）中小企業通過高可用安全存儲集群實現用戶與企業自身數據安全性與企業業務連續性；

（6）為民辦高校提供高可用服務器關鍵技術和安全存儲集群支持；

（7）促進中小企業加強高可用服務構建意識，普及和推廣構建高可用安全存儲，增強數據與網絡安全意識。

8 結語

高可用安全存儲集群的構建是一個龐大的系統資源構建過程，構建過程中存在著對服務器硬件的參數配置，如服務器處理器、ECC 內存、主板、網卡、RAID 模式等若干關鍵要點，重點要求能夠通過網絡存儲硬件與網絡存儲系統實現兼容與穩定，另外還要對大型數據庫熟練掌握如ORACLE 中的主從實例創建、卷資源與實例的對稱關系，自動閃回技術的實現，數據庫增刪改查、索引構建、關鍵字復合關鍵字的定義集群及關聯。軟件系統對硬件控制中的獨立磁盤冗余陣列設計與規劃，raid6,5,0+1 等方案的詳細設計，通過操作系統控制與主板控制要加以區分，在構建高可用存儲過程中，要將操作系統權限與資源分配放在首位，當遇到不可逆操作后，會通過系統設定將其恢復，數據庫備份冗余需要創建主實例后再備份實例數據庫中加載，否則會導致集群構建之后，資源無法啟動，實例無法運行，關鍵服務無法啟動等情況。心跳線路的設計要規范合理，能用千兆盡量用千兆以上線路，非光纖交換機建議使用六類線路實現，避免宕機發生。總體設計上要注重存儲系統的安裝與部署，它是整個集群構建的基本環境，要優化系統結構，關閉或禁用非主要服務，多路IP 規劃科學合理，虛擬IP 設計要避免整個IP 網絡集群架構的沖突。在模擬試驗過程中，通過心跳切換的延遲來自于交換、存儲、操作系統、網絡架構、搭建過程與順序結構等綜合因素有關，因此深入挖掘提高加速度的高可用安全存儲迫在眉睫。