大型醫院雙活數據中心的建設與應用

李滿堂

（徐州醫科大學附屬醫院信息處，江蘇 徐州 221000）

0 引言

隨著醫院規模的逐漸擴大，業務系統的不斷增多，單一的數據中心已無法滿足大型醫院信息化發展的需要。在全社會大數據、云計算的發展背景下，醫療數據的重要性不言而喻，雙活數據中心的建設為醫院信息化的發展提供了高可靠、高冗余、高效率的支撐[1]。徐州醫科大學附屬醫院作為淮海經濟區最大的醫療機構，擁有信息系統一百多個、電腦終端三千多臺、網絡節點一千余個。這么龐大的體量，催生了極具特色的“兩地三中心”的雙活數據中心建設體系，極大地提高了醫院的運行效率，提升了醫院的地區影響力。

1 數據中心“兩地三中心”建設的整體架構

為滿足信息化發展規模的需要，徐州醫科大學附屬醫院共建設了三個機房，包括本部兩個和東院區一個。三個不同的地理位置，為做“兩地三中心”的雙活提供了便利的外在條件。兩地主要指本部和東部院區，三中心包括本部兩個地位相等的12號樓機房和4號樓機房，第三個中心則是東院的備份機房。其中12號樓和4號樓機房做到了完全雙活，無論哪個機房出現類似于交換機宕機、服務器故障、存儲損壞甚至火災或者停電，另一個機房都可以接替其承擔的任務，保障不斷網、服務不間斷、數據不丟失。東院機房通過裸纖連接本部機房，主要功能是備份HIS、EMR、PACS、LIS、平臺等重要系統的數據庫文件，保證極端環境下，重要數據不丟失。

2 核心網絡雙活的實現過程及性能測試

2.1 場景介紹

核心網絡區域共包含10臺核心交換機，其中4臺Cisco9508作為園區核心使用，12號樓和4號樓機房各放置兩臺。因該型號設備不支持堆疊，所以做冗余網關，優先級各不相同；4臺Cisco9504作為數據中心核心使用，同樣12號樓和4號樓各放兩臺，做冗余網關；2臺Cisco7010放置在東院區，作為東院區核心使用，同時承擔東院區備份機房網絡傳輸任務。因東院區核心交換機通過裸纖和本部互聯，網絡結構較為簡單，本節不做重點討論。

2.2 實現過程

如圖1所示，ABCD 4臺園區交換機呈口字型組網，B設備為Active，D設備為Standby，各設備之間雙鏈路聚合鏈接，提升帶寬，滿足高業務量的需要。EFGH 4臺數據中心交換機維持和園區二層環網相同拓撲，組成另一張大二層HSRP環網，角色相同。為了盡可能縮小2套環網之間的Layer2范圍，在2套環網之間通過Layer3（紅色連線）的方式進行路由互通，采用靜態路由的方式。Layer3互聯鏈路IP地址使用/32位精細地址劃分，運維工程師合理記錄并部署規劃靜態路由條目，避免流量繞行，其中9504去往Active設備的路由優先級最高，去往非Active設備路由優先級次優。

圖1 核心網絡拓撲

2.3 雙活測試

本小節著重分析解決了兩種故障情況。

第一種：如圖2所示，模擬Active 9508設備故障、9504與Active 9508之間鏈路故障。此時，9504去往Active 9508的流量會根據路由狀態切換至9508’，由于HSRP的GW地址為虛擬地址，9508二層環網內會產生GW的ARP查詢，通過二層網絡自動轉發至Standby設備，實現流量的自動路徑切換。

圖2 模擬故障場景一

第二種：如圖3所示，Active 9508和9508’設備同時發生故障。由于數據中心9504設備與本地機房的所有9508網絡鏈接中斷，因此數據中心去往園區網的流量將會受到影響，將在9504設備上啟用事先放置好的跨機房的容災Layer 3link，路由優先級設置為最低，保障極端場景下的業務可靠。

圖3 模擬故障場景二

3 VSAN存儲雙活的實現過程及性能測試

3.1 場景介紹

如圖4所示，VSAN存儲分別部署在3個機房，即12號樓（DC1）、4號樓（DC2）和2號樓的仲裁機房（DC3）。一共有17臺服務器組成，包括DC1和DC2中各有8臺HPE 380 G10服務器，配置為：CPU Intel 5218R，RAM 512 GB，千兆網口4個，萬兆光口4個，磁盤包括內置2×480 GB BOSS啟動盤，2×800 GB （寫入密集型）SSD盤，6×3.84 TB（混合型）SSD盤。DC3中包括1臺HPE 380 G9服務器，配置為：CPU E5-2620 v3，RAM 32 GB，千兆網口4個，磁盤包括內置4×600 GB 15 K SAS盤。

圖4 VSAN架構

3.2 實現過程

DC1和DC2之間通過40 Gbps以上，RTT<5 ms的二層組播打開；DC3和DC1，DC3和DC2之間通過1 000 Mbps，RTT<200 ms的二層組播打開；均配置為不同vlan的私有網段。VSAN中一共16個vSphere Host使用了16個IP地址用于VSAN數據網絡通信，VMotion中一共16個vSphere Host使用了16個IP地址用于VMotion數據網絡通信，建立vCenter平臺管理所有的超融合節點。服務器虛擬化采用vSphere Hypervisor (ESXi) 7.0U1c VMware-VMvisor-Installer-7.0U1c-17325551、vCenter Server 7.0U1d、VMware-VCSAall-7.0.1-17491101；存儲虛擬化采用Virtual SAN 7 Update 1、VMware-VMvisor-Installer-7.0U1c-17325551(include vsan) 、Virtual SAN Witness Appliance 7.0U1c、VMware-VirtualSAN-Witness-7.0U1c-17325551。最終可以實現兩個主機房的任意硬盤、節點損壞不會造成數據和服務丟失，并且切換時間極短，不影響正常業務的使用。

3.3 雙活測試

本小節著重從磁盤故障、主機故障、存儲網絡腦裂故障、業務網絡腦裂故障4個方面進行雙活測試，詳見表1—4。

表1 磁盤故障雙活測試

4 備份與容災

4.1 本部數據中心的備份存儲

在12號樓機房內，一臺Data Domain DD作為備份存儲，存儲所有應用的備份數據，可以模擬成磁帶，提供非常高效的重復數據消除功能，配合備份軟件Veeam使用（Veeam通過單個基于映像的備份，可提供廣泛的功能，實現小于15分鐘的恢復點目標，提供簡化的內置災難恢復功能，可實施自動恢復驗證任務，始終確保每個文件、應用程序或虛擬服務器都可快速恢復）[2]。后期通過DD可設置自動復制功能，一旦備份數據寫入本地DD設備中，系統會自動實時將消重后的備份數據傳輸到遠端的DD設備中，達到備份數據容災的目的。

4.2 東院區備份機房的建設

東院區擁有一臺四節存儲設備，用來存儲本部重要信息系統的數據庫文件。因為醫院數據庫大多為oracle數據庫，所以選用DSG備份軟件，可支持ORACLE數據庫在非歸檔日志模式下在線熱備份。它具有智能完全備份技術，采用獨創壓縮版本文件系統，使日常備份任務變得非常簡單，通過增量數據備份就能獲得完整的備份版本，能夠大幅度減少備份性能受帶寬資源限制，降低磁盤存儲容量75%以上，且可讀取，無需對備份數據進行恢復即可從備份系統上抽取數據，并且這種數據抽取無需數據庫系統支持，也不需要特殊的主機環境支持。當極端情況下，本部兩個數據中心全部崩潰，也能保證醫院重要數據不丟失[3]。

表2 主機故障雙活測試

表3 存儲網絡腦裂故障雙活測試

表4 業務網絡腦裂故障雙活測試

5 結語

雙活數據中心的建設合理地分配了計算、存儲和網絡等虛擬化資源，最大程度地提高服務器設備的利用率，使醫院的IT基礎架構成為一個動態、靈活、具有彈性的IT基礎架構。它解決了系統及網絡單點故障問題和性能瓶頸等問題，提高了醫院數據中心的健壯性，在滿足業務系統可用性的同時保證醫院系統運行安全和數據安全[4]。

雙活數據中心的建成帶動了醫院業務的發展，提高診療效率、提升醫療服務水平。同時，以業務發展進一步推動信息化建設，實現醫院各項業務與信息化的良性循環，搭建了一個能夠支撐醫院未來三到五年業務發展的信息系統平臺，進一步提升了醫院的區域影響力，為淮海經濟區乃至全國人民提供更好的健康服務。