張亮 喻鑫 高攀宇



摘要:為使信息化技術更好服務于水文事業,建立了“水文信息化7層功能模型”。介紹了通過融合多臺物理服務器,運用虛擬機監視軟件,建立服務器虛擬化集群的技術原理,研究了服務器虛擬化技術提高資源利用率、提升穩定性、簡化部署和管理的技術特點。結合實例,闡述了服務器虛擬化技術在業務辦公、水情報汛、軟件研發中的多項應用。該項技術的應用有利于進一步促進“智慧水文”建設,并可為水文行業的科學發展提供支撐。
關鍵詞:服務器虛擬化集群;7層功能模型;水文虛擬化應用;水文信息化;智慧水文
中圖法分類號:P33-39 文獻標志碼:A DOI:10.15974/j.cnki.sIsdkb.2020.07.013
1概述
水文信息化是水文行業走向現代化的工具,也是水文現代化的基礎和重要標志,對新形勢下水文行業的發展有著重要意義。水文信息化從業者結合多年工作經驗,通過多年的研究和實踐,建立了“水文信息化7層功能模型”,分別為硬件下3層的物理層、網絡層、虛擬層,軟件中間層的數據層、軟件層,以及頂部的應用層和管理層(見圖1)。模型的最大優點是運用模塊化理念,明確區分硬件、軟件、服務和管理,并融入精細化管理理念,使模型中的不同功能模塊分擔不同職責"。
在該模型中,虛擬層是承上啟下的關鍵層,即采用服務器虛擬化集群技術,實現水文行業現有服務器資源整合與利用,從而構建一個功能相對強大、性能相對穩定的數據存儲與處理中心,可為水文業務提供應用支撐平臺。以長江水利委員會水文局長江上游水文水資源勘測局(以下簡稱“上游局”)為例,上游局從2012年開始嘗試使用該項技術,從最開始的幾臺PC機組建測試環境,到現在十幾臺服務器、交換機、存儲的聯合運行。目前,虛擬化集群承載了上游局95%以上的應用,涉及面從單一的水情報汛工作擴展到各部門的綜合應用服務,甚至還延伸到了合作單位與下屬水文機構的各項服務應用。
2虛擬化技術原理
在計算機中,CPU以非連續的線性方式工作,各個計算元件通過排隊占用CPU的計算資源,而這種微觀下的線性工作在宏觀現實中表現出并行的工作狀態,通過計算元件并行到軟件應用并行,再到系統并行,產生虛擬化(Virtualization)技術。虛擬化是一種資源管理技術,是將計算機的各種實體資源,如服務器、網絡及存儲等予以抽象、轉換后呈現出來,打破實體結構間不可切割的障礙,使用戶可以采用比原本組態更好的方式來應用這些資源。一般所指的虛擬化資源包括計算能力、數據存儲以及網絡路由,而虛擬化技術則是用來創建這些虛擬硬件的技術[2]。
2.1服務器虛擬化集群
服務器虛擬化是將服務器物理資源抽象成邏輯資源,可將IT環境改造成為更加強大、更具彈性、更富有活力的架構。通過把多個操作系統整合到一臺高性能服務器,上,最大化利用硬件平臺的所有資源,用更少投入實現更多應用,還可簡化IT架構,降低資源管理難度,避免IT架構的非必要擴張。
服務器虛擬化集群是指通過服務器虛擬化技術,將服務器物理資源抽象成邏輯資源,使多個邏輯資源相互關聯,不再受限于物理。上的界限,讓CPU、內存、磁盤、/0等硬件變成可動態管理的“資源池”,從而提高資源的綜合利用率,簡化系統管理,實現服務器整合,讓IT對業務的變化更具適應性。目前,現代水文行業的發展呈現多樣化,水文信,息化應滿足各方面的需求,因此服務器虛擬化集群可選擇“多虛多”的方式,即采用虛擬化軟件,將多臺物理服務器虛擬成一個邏輯服務器集群,再按需將其劃分為多個虛擬環境,即多個業務在多臺虛擬服務器上運行,見圖2。虛擬化架構通過存儲區域(SAN)網絡讓前端的服務器與后端的存儲建立穩定的高速連接,存儲提供虛擬系統的硬盤,SAN網絡承擔數據傳輸通道,服務器提供CPU、內存和各種接口,共同虛擬出多套邏輯意義的服務器操作系統,使用者僅需通過專用軟件正常操作即可。
2.2優勢
較傳統服務器技術而言,服務器虛擬化集群技術已相對成熟,優勢明顯。
(1)充分挖掘資源,降低成本。虛擬化技術通過建立資源池,從而高效利用每一種資源,并針對每種不同的使用環境來合理劃分所需資源,充分提高資源利用率。整個集群的全部硬件設備共同承載對外的軟件服務,使用者只需關注整體的供給能力,性能不足時有針對性地購買相應資源即可。例如上游局運用服務器虛擬化集群技術,使其內存、CPU與硬盤的資源利用率達70%以上,充分利用了硬件資源,整體節約90%的經費支出。
(2)實現了虛擬機的在線遷移(onlinemigration)技術,又稱為實時遷移(livemigration)技術。在保證虛擬機上服務正常運行的同時,虛擬機在不同物理主機之間進行遷移,為保證遷移過程中虛擬機服務可用,遷移過程停機時間非常短。遷移初期,服務在源主機運行,當遷移進行到一定階段,目的主機已具備了運行系統的必須資源,經過短暫切換,源主機將控制權轉移到目的主機,繼續在目的主機上運行。對服務本身而言,由于切換時間短,用戶感覺不到服務中斷,因而遷移過程對用戶是透明的。在線遷移適用于對服務可用性要求很高的場景,有效避免了因單臺物理服務器故障導致業務中斷運行的情況發生。
(3)簡化服務器的部署、管理和維護工作,降低管理難度。虛擬化集群減少了必須進行管理的物理資源數量,隱藏物理資源的部分復雜性,通過實現自動化、獲得更好的信息和實現中央管理來簡化公共管理任務,實現負載管理自動化。在日常管理方面,虛擬化中心管理平臺還可以將硬件故障進行集中顯示和定向推送,是更高效和精準的硬件管理式。虛擬機操作系統支持多人同時登錄平臺對其進行維護,便于在該平臺被多人同時登錄維護,以前在現場才能完成的軟硬件巡視任務,現在在一套虛擬化中心管理平臺中便可輕松完成。最大限度優化了執行任務過程,提升了信息化管理制度的質量。
3劣勢
虛擬化仍存在一些實施和管理上的缺點:①前期建立集群、后期管理主機、配置共享存儲的技術難度較大,使用單位需要組織團隊協同操作,在不斷運用中總結經驗才能發揮其功效,并伴隨一定試錯成本;②虛擬化集群的更新升級存在不利因素,當需要升級到更新版本的產品和硬件組件時可能存在困難,在集群環境中,需要同時協調多個虛擬主機服務器升級,這是具有技術挑戰性的任務之一;③虛擬化不能解決所有問題,那些數據中心里不可或缺的資源必須部署在物理服務器上,進而合理的規避風險,為對外提供更穩定、高效的數據資源服務。例如,上游局核心數據資源則采用物理雙機實時熱備模式進行架構并對外提供服務。
2.4信息安全提升
在網絡安全方面,在一臺物理設備上運行多個虛擬操作系統是虛擬化技術的主要應用之一,這些虛擬操作系統之間、與主機操作系統之間相互隔離,盡管在同一臺物理設備。上運行共享外設和網絡,但是它們之間不能直接通信。虛擬化技術的隔離效果可以有效應對黑客攻擊和應用程序的不穩定性,降低主機系統崩潰以及重要信息泄露的風險。利用虛擬系統掩護主機操作系統,為主機資源提供保護。
在數據安全方面,利用虛擬化模板技術、快照技術進行系統備份和系統恢復,可有效減小恢復代價,縮短恢復周期。建立虛擬機映像文件對整個虛擬環境進行備份,實質是備份幾個映像文件,只需要恢復文件時加載映像文件,幾分鐘之內即可完成。而且,在不同物理設備和操作系統下進行數據恢復,可大大降低傳統備份方式對軟硬件的要求和恢復周期。傳統的人工備份技術需要兩個以上的物理設備同時運行才能保障業務的連續性,虛擬化技術的應用只需在同一臺物理設備上建立虛擬節點或虛擬拷貝,便可提供熱備份服務,在主節點沒有業務需要處理時可以建立多個虛擬備份節點,動態提供備份服務。
3水文虛擬化應用
隨著近幾年水文行業各項業務對信息化依賴程度的逐步提高,信息化設備的需求也快速增加。如應用原始單機服務器,將產生大量的設備采購費用,水文經濟支出也將帶來沉重負擔;單機的離散型管理給水文信息化從業者帶來巨大的維護工作量;當單機出現故障時會造成業務暫停和重要水文數據丟失的風險。按照“水文信息化7層功能模型”的定義,虛擬層是硬件層的最上層,直接銜接軟件層中的數據層,為數據資源提供運行平臺。在傳統的服務器單機模式下,不僅要考慮數據層軟件安全,還要考慮硬件設備故障帶來數據丟失的風險,虛擬層可為數據層提供完備的硬件支撐,免去了硬件設備故障的擔憂,數據層則只需關注軟件層面的數據安全即可。
以上游局為例,2014年上游局便開始籌劃構建一套完整的服務器虛擬化集群來應對今后的需求。經過幾年的摸索與實踐,上游局的服務器虛擬化集群已初具規模,由12臺物理服務器、1臺專業存儲設備和多臺千兆口交換機(包括SAN交換機)共同組建。該集群包含接近1TB內存空間,18TB硬盤空間,共運行包括實驗環境在內的180套虛擬化操作系統,為上游局機關全體部門提供工作業務應用服務、測試研發的系統支撐,保證了上游局全部信息化相關業務的正常開展。在虛擬化集群中心端的控制下,當單臺設備出現故障或性能下降時,應用系統可自動遷移至性能優良的環境中運行,不影響業務的正常開展。網絡管理員可在統一管理平臺中對多臺虛擬操作系統進行集中管理,隨時調整系統資源。當網絡管理員需要檢修硬件時,也可通過遷移清空該設備的對外服務,做到安全維護。如果集群中內存、硬盤或者CPU用量不足時可合理添加相應耗材。整體滿足安全性、可維護性及經濟性需求,避免了資源浪費。
3.1部門服務應用
水文行業建立的服務器虛擬化集群不僅可用于水文相關應用服務,還可為其他部門提供一體化的系統級應用。各部門不必單建機房采購物理服務器和維護操作系統,減少了各業務部門工作量,降低了技術難度,僅需核算應用需求,提出CPU、內存和硬盤的預估使用量,經行政部門審批后,將需求形成報告提交給網絡管理員。管理員根據需求在虛擬化集群資源池中分配相應資源給業務部門。網絡管理員統籌運維整體網絡安全、數據安全訪問控制和接口服務等工作,因此可更好地對外提供一體化信息服務,將全面兼顧應用的安全性、可靠性和穩定性,如外網映射需求、串口設備連接需求、網絡安全防護隔離需求和數據庫備份需求等。業務部門可將工作重點放在業務應用研究與實踐上。這樣明確的精細化分工與管理可有效加強水文行業各部門的合作,從而提高整體工作效率。
經過近年來的發展,上游局服務器虛擬化集群已完全替代了各部門單獨的物理服務器,網絡管理人員每天對虛擬化集群環境運維管理,確保軟硬件正常運行和業務正常開展。目前,虛擬化集群已對外提供服務項目,除水情報汛與水文預報服務之外,還包括財務軟件的服務支持、河道地形資料及數據庫管理、檔案系統與門戶網站的運維管理、水環境監測數據管理、新設備新儀器應用技術支持以及部分特殊的如虛擬化桌面和虛擬化軟件等應用。因此,水文信息化從業者可采用虛擬化技術結合精細化管理,制定規范流程,加強前期溝通、中期檢查和后期總結,形成統一的信息化戰略部署。
3.2水情分中心報汛應用
水情分中心在水文行業中承擔重要的水情報汛任務,水情報汛流程包含原始數據接收、中間過程處理和成果數據發送。為保證水情報汛時效,各水情分中心工作人員應采用多種防護措施,包括數據處理流程中各項軟、硬件的主備功能、多信道冗余等,使水情報汛過程涉及多套專用軟件。如果全部采用傳統軟、硬件主備方案將會耗費大量的服務器資源,增加水情報汛人員的維護工作量。此外,當出現故障需要主備切換時,操作流程繁瑣,不利于快速恢復報汛工作,報汛時效更不能得到保證。理論。上采用服務器虛擬化集群技術可解決上述問題,但多數水情分中心報汛人員為非計算機專業人員,如采用技術含量較高的方案應對水情報汛工作將難以推廣。因此,推薦采用單機服務器虛擬化技術,即“一虛多”方案進行部署。
每個水情分中心最多只需2臺高性能服務器即可完成全部軟硬件的主備工作。在一臺物理服務器上安裝虛擬化平臺,虛擬多套操作系統,分別承載不同的水情報汛軟件,包括原始數據接收軟件、中間數據處理軟件、成果數據發送軟件、水情值班軟件、數據庫軟件、網絡管理軟件及臨時測試軟件等,在另一臺物理服務器上建立一套完全相同的虛擬化應用,并作為備機使用,兩臺物理服務器采用心跳線連接通信,主服務器上所有虛擬化系統的操作全部利用心跳信道鏡像同步,使備用服務器上的虛擬化環境與主服務器實時同步,包括數據庫文件資料和配置信息等,全部備用系統始終為熱機狀態。一旦主服務器出現故障,操作人員只需通過現場網線拔插操作和簡單的IP地址配置,即可完成主備切換。以圖3中的核心數據庫為例,當主服務器上的核心數據庫所在虛擬化系統出現故障時,只需拔掉主服務器上對應的網線,插上備服務器對應的網線,再在備用核心數據庫虛擬化系統中進行數據庫鏡像同步,停用操作就可正常使用,過程簡單方便。虛擬化還可根據需求定制操作系統,以便水情分中心網絡管理員切換實驗和新舊操作系統,并釋放舊系統資源。