集團化醫(yī)院多數(shù)據(jù)中心的建設(shè)思考

◆章俊 曹磊 涂志煒

集團化醫(yī)院多數(shù)據(jù)中心的建設(shè)思考

◆章俊 曹磊 涂志煒

（南昌大學第一附屬醫(yī)院信息處 江西 330000）

隨著大型醫(yī)院集團化發(fā)展，多活數(shù)據(jù)中心成為多院區(qū)協(xié)同醫(yī)療的基石。本文思考建立跨院區(qū)雙冗余的傳輸架構(gòu)，采用SDN控制器弱控組網(wǎng)方案，通過VxLAN技術(shù)打通跨院區(qū)大二層網(wǎng)絡(luò)，利用MP-BGP EVPN完成控制面的自動學習，實現(xiàn)虛擬服務動態(tài)漂移，確保醫(yī)療業(yè)務的連續(xù)性。SDN控制器負責服務策略下發(fā)，安全資源靈活分配等。此外，本文思考建立一套針對醫(yī)院業(yè)務，可跨院區(qū)管理的監(jiān)控平臺，提升數(shù)據(jù)中心運維效率。

數(shù)據(jù)中心；VxLAN；弱控制；監(jiān)控平臺

為了使集團化醫(yī)院各院區(qū)統(tǒng)一管理，多院區(qū)實現(xiàn)協(xié)同抗擊疫情，就必須建設(shè)一套跨院區(qū)的多活數(shù)據(jù)中心。多活數(shù)據(jù)中心可以使臨床產(chǎn)生的每一條數(shù)據(jù)實時同步到各院區(qū)的數(shù)據(jù)庫，保證信息的完整性、統(tǒng)一性。

近年來，隨著虛擬化技術(shù)的發(fā)展與完善，醫(yī)院將各信息系統(tǒng)部署在虛擬服務器上。為實現(xiàn)數(shù)據(jù)中心跨院區(qū)負載均衡與容災，虛擬機須能跨院區(qū)漂移。本文思考以SDN（Software Defined Network，SDN）控制器弱控制組網(wǎng)方案為核心，裸光纖為傳輸載體，采用雙冗余傳輸架構(gòu)實現(xiàn)多院區(qū)數(shù)據(jù)同步互通。通過虛擬擴展局域網(wǎng)（Virtual eXtensible Local Area Network，VxLAN）可實現(xiàn)虛擬機在不改變MAC和IP的情況下跨院區(qū)自動漂移，充分利用空閑資源進行負載分擔，保證業(yè)務連續(xù)性。弱控制組網(wǎng)方案不僅避免了因SDN控制器的不穩(wěn)定造成的網(wǎng)絡(luò)故障，還可以通過MP-BGP（MPLS-Based BGP）EVPN（Ethernet Virtual Private Network，EVPN）實現(xiàn)地址自動學習，隧道自動建立。同時，醫(yī)院建立一套安全資源池，由SDN控制器根據(jù)業(yè)務需要靈活分配安全資源。此外，為了提升跨院區(qū)的網(wǎng)絡(luò)協(xié)同運維，本文探索建立一套不僅包含網(wǎng)絡(luò)服務告警還可以針對醫(yī)院業(yè)務挖掘潛在問題的統(tǒng)一運維監(jiān)控平臺。

1 多數(shù)據(jù)中心傳輸架構(gòu)

為實現(xiàn)多院區(qū)異地之間的互聯(lián)互通，可租用運營商的傳輸資源，采用裸光纖的方式進行數(shù)據(jù)傳輸。一般而言，醫(yī)院的外網(wǎng)與內(nèi)網(wǎng)區(qū)域在邊界上都必須嚴格的隔離。即便是跨院區(qū)互通時，也僅僅外網(wǎng)之間、內(nèi)網(wǎng)之間分別互通。然而，如果內(nèi)外網(wǎng)分別由兩根裸光纖互聯(lián)，這勢必將增加傳輸成本。為此，可在每個院區(qū)配置一臺波分復用設(shè)備，將內(nèi)、外網(wǎng)的數(shù)據(jù)信號通過不同波長的光載波復用在一根物理光纖上傳輸。由此，既節(jié)省了傳輸資源開銷，又保證了內(nèi)外網(wǎng)絡(luò)的隔離。

為加強數(shù)據(jù)中心的健壯性，建議多個數(shù)據(jù)中心采用雙冗余傳輸架構(gòu)，如圖1所示。所謂雙冗余，其一、采用環(huán)形互聯(lián)；其二、租用兩根不同運營商的裸光纖線路。采用環(huán)形傳輸可增加網(wǎng)絡(luò)的健壯性。當任意兩個數(shù)據(jù)中心之間的傳輸線路意外中斷、閃斷或者吊死等現(xiàn)象，可采取應急措施，由另外半邊環(huán)的傳輸轉(zhuǎn)發(fā)可達。此外，醫(yī)院租用兩個不同運營商的裸光纖進行數(shù)據(jù)傳輸，當某一運營商的傳輸設(shè)備發(fā)生災難級故障時，可切換由另一運營商的傳輸線路承載。避免因第三方故障導致院區(qū)間通信中斷。

圖1 多數(shù)據(jù)中心傳輸架構(gòu)

跨院區(qū)的傳輸線路在使用前，應該進行充分的壓力測試。在兩個院區(qū)的數(shù)據(jù)中心分別模擬一定數(shù)量的患者進行跨院區(qū)掛號、就診，打印影像圖文報告等，測試裸光纖的最大并發(fā)數(shù)、傳輸時延和速度。此外，還需考慮到，當虛擬機（Virtual Machine，VM）突發(fā)性發(fā)生大規(guī)模跨院區(qū)漂移時將產(chǎn)生巨大的東西向流量，此時的裸光纖是否能承受瞬間的高流量。

2 基于SDN弱控制組網(wǎng)的多數(shù)據(jù)中心

為了滿足集團化醫(yī)院的發(fā)展需要，實現(xiàn)跨院區(qū)的數(shù)據(jù)中心網(wǎng)絡(luò)和超融合服務器融為一體，在IP可達的范圍內(nèi)廣播二層以太網(wǎng)幀（MAC）信息，首先考慮將VxLAN技術(shù)引入數(shù)據(jù)中心建設(shè)。其高擴展性可在傳統(tǒng)數(shù)據(jù)中心上進行小范圍的改造后實現(xiàn)互聯(lián)。其最關(guān)鍵的一步是將傳統(tǒng)的二層MAC疊加在UDP數(shù)據(jù)包頭部。該數(shù)據(jù)格式可用以實現(xiàn)多數(shù)據(jù)中心的大二層互通，虛擬機在不用改變原有MAC地址與IP地址的情況下跨數(shù)據(jù)中心進行任意漂移，保證醫(yī)院業(yè)務的連續(xù)性。引入SDN控制器實現(xiàn)軟件配置下發(fā)，不僅可以簡化網(wǎng)絡(luò)配置工作，還能按需分配安全資源。筆者建議醫(yī)院數(shù)據(jù)中心采用SDN控制器弱控制組網(wǎng)，SDN控制器不執(zhí)行流表下發(fā)等控制動作，避免因SDN的bug或者故障導致全院數(shù)據(jù)中心網(wǎng)絡(luò)癱瘓。

圖2 跨院區(qū)的兩個數(shù)據(jù)中心組網(wǎng)

以兩個院區(qū)為例，基于VxLAN的跨院區(qū)數(shù)據(jù)中心可規(guī)劃為如圖2所示，每個院區(qū)都為脊葉架構(gòu)（Spine-Leaf）。超融合服務器上聯(lián)的接入層交換機可看作Leaf，核心交換機作為Spine。

（1）虛擬交換機（Virtual Switch，vSwitch），由超融合服務器節(jié)點上經(jīng)配置虛擬產(chǎn)生，VM通過vSwitch實現(xiàn)在傳統(tǒng)的VLAN下交互。

（2）在Leaf交換機上配置虛擬隧道終點（VXLAN Tunnel End Point，VTEP），將二層的數(shù)據(jù)包封裝并將VLAN ID映射為VxLAN標識號（VXLAN Network Identifier，VNI）。因此，二層ARP請求便可在IP可達的網(wǎng)絡(luò)中廣播VM的MAC地址。

（3）核心交換機上配置MP-BGP EVPN和路由反射器（Route Reflector，RR）。EVPN作為VxLAN的控制平面承擔跨數(shù)據(jù)中心的路由發(fā)布，RR負責將接收到的EVPN路由發(fā)布到其他節(jié)點。

（4）SDN控制器不承擔嚴格意義上的VxLAN控制平面，僅用于服務策略等下發(fā)。因為就目前現(xiàn)狀而言，SDN控制器的穩(wěn)定性遠不如已經(jīng)發(fā)展多年的傳統(tǒng)網(wǎng)絡(luò)設(shè)備，處于頂層的SDN一旦癱瘓，將影響全局。

圖3 整體協(xié)議架構(gòu)

如圖3所示，通過底層至頂層的整體協(xié)議架構(gòu)，VM的MAC地址可由大二層廣播至醫(yī)院所有的數(shù)據(jù)中心節(jié)點。當某一物理機節(jié)點負荷較高或者因故障無法承載業(yè)務時，VM自動漂移至其他空閑節(jié)點，而VM上業(yè)務的使用者無任何感知，增加了醫(yī)院各個數(shù)據(jù)中心的冗余性和可靠性。此外，SDN控制器的引入使得業(yè)務部署更加靈活便捷。由于醫(yī)院涉及的業(yè)務系統(tǒng)特別多，而網(wǎng)絡(luò)運維的人又特別少，每增加一個業(yè)務需要逐臺配置網(wǎng)絡(luò)設(shè)備。而業(yè)務系統(tǒng)對應的VLAN、IP等又常常缺乏統(tǒng)一的規(guī)劃，導致網(wǎng)絡(luò)經(jīng)常被錯誤配置。SDN能統(tǒng)一管理配置網(wǎng)絡(luò)，簡化配置過程。不僅如此，SDN控制器還可以按照業(yè)務需求，根據(jù)IP網(wǎng)段從資源池中分配相應的安全資源，如圖2所示，確保安全防護緊跟業(yè)務，無論VM飄到那個物理節(jié)點，虛擬安全資源都能為其提供防護。

3 統(tǒng)一運維監(jiān)控平臺

由于醫(yī)院網(wǎng)絡(luò)規(guī)模不斷擴大，設(shè)備數(shù)量增多，網(wǎng)絡(luò)協(xié)議的多樣化，跨區(qū)域協(xié)作難度大，這給醫(yī)院網(wǎng)絡(luò)運維人員的日常工作帶來了巨大挑戰(zhàn)。為了有效提升醫(yī)院網(wǎng)絡(luò)運維監(jiān)控工作，極大程度地幫助運維人員發(fā)現(xiàn)問題，定位問題，解決問題和問題溯源，需要建設(shè)一套跨多個數(shù)據(jù)中心的統(tǒng)一運維監(jiān)控平臺，方便運維人員在一個院區(qū)監(jiān)控整個醫(yī)院的網(wǎng)絡(luò)運行情況。此外，在傳統(tǒng)的數(shù)據(jù)中心的模式下，數(shù)據(jù)流量主要是由終端通過接入、匯聚、核心至服務器進行數(shù)據(jù)交互的南北方向。而集團化醫(yī)院的多數(shù)據(jù)中心，不僅有南北流量，還將產(chǎn)生虛擬機之間、數(shù)據(jù)中心之間的東西向流量。因此，多數(shù)據(jù)中心的管理平臺還需要重點關(guān)注東西向的帶寬利用率，并發(fā)數(shù)等。

統(tǒng)一的網(wǎng)管監(jiān)控平臺的建設(shè)規(guī)劃不僅要實現(xiàn)傳統(tǒng)的網(wǎng)絡(luò)監(jiān)控，還需要針對臨床醫(yī)療的業(yè)務特點，統(tǒng)計、分析臨床使用的業(yè)務波動，深挖網(wǎng)絡(luò)與服務的潛在問題。監(jiān)控平臺主要涵蓋動環(huán)監(jiān)控、網(wǎng)絡(luò)與服務、網(wǎng)絡(luò)性能、虛擬機性能和業(yè)務監(jiān)控等五大內(nèi)容，如圖4所示。

圖4 統(tǒng)一運維監(jiān)控平臺的指標體系

網(wǎng)絡(luò)性能需要制定相應指標的閾值。例如，當帶寬利用率超過80%時，可能發(fā)生數(shù)據(jù)包擁塞的情況，存在丟包重傳的隱患；當跨院區(qū)傳輸時延大于5毫秒時，將會影響數(shù)據(jù)中心間的同步，需考慮切換備用線路。

虛擬機性能不僅僅需要觀察CPU利用率，內(nèi)存利用率，更需要關(guān)注IOPS（Input/Output Operations Per Second，IOPS），讀寫延遲，吞吐量等。服務器節(jié)點的讀寫速度將直接影響到醫(yī)生查詢報告，護士刷系統(tǒng)領(lǐng)藥單等查詢響應時長，關(guān)系到臨床對信息系統(tǒng)使用的滿意度。對于IOPS量較大的虛擬機可遷移至全閃存節(jié)點提高讀寫效率；對于吞吐量較高的虛擬機可增加CPU、帶寬等資源。

由于在醫(yī)院運行過程中，常常出現(xiàn)收費處支付異常情況，醫(yī)院信息系統(tǒng)（Hospital Information System， HIS）調(diào)用第三方接口失敗等情況。為此，筆者認為醫(yī)院今后的監(jiān)控平臺不僅要關(guān)注網(wǎng)絡(luò)、服務器等基礎(chǔ)設(shè)備，更需要關(guān)注上層業(yè)務應用情況。通過讀取系統(tǒng)日志，統(tǒng)計醫(yī)保、銀聯(lián)支付失敗或“單邊賬”的錯誤值（error code）或原因值（cause code）；統(tǒng)計HIS與影像系統(tǒng)（Picture Archiving and Communication Systems，PACS）等接口調(diào)用時系統(tǒng)響應異常的原因等。通過平臺搜集、統(tǒng)計和分析醫(yī)院業(yè)務使用層面的異常情況，幫助運維人員挖掘網(wǎng)絡(luò)和服務的潛在問題。

4 結(jié)語

本文思考通過環(huán)形的雙冗余傳輸架構(gòu)構(gòu)建多區(qū)域數(shù)據(jù)中心，增加通信穩(wěn)定性。采用VxLAN技術(shù)實現(xiàn)跨院區(qū)的大二層網(wǎng)絡(luò)互通，保證醫(yī)療業(yè)務的連續(xù)性。建設(shè)統(tǒng)一的運維監(jiān)控平臺，提升多數(shù)據(jù)中心的運維效率。

集團化醫(yī)院下，多院區(qū)數(shù)據(jù)中心將融為一張整體的網(wǎng)絡(luò)。在方便醫(yī)院統(tǒng)一運營和管理的同時，也給醫(yī)院的網(wǎng)絡(luò)安全埋下了潛在的隱患。一旦單個院區(qū)遭受安全威脅，勢必將影響整個醫(yī)院下多個院區(qū)的網(wǎng)絡(luò)安全態(tài)勢。此外，動態(tài)的業(yè)務均衡也使得醫(yī)院安全防護邊界日漸模糊。在多數(shù)據(jù)中心建設(shè)過程中，如何同步地部署安全防護，安全策略將成為另一大難題。

[1]張屆新，吳志明.基于VxLAN組網(wǎng)的云數(shù)據(jù)中心互聯(lián)方案[J].電信科學，2016.

[2]曾珊，陳剛，齊法制.高性能云數(shù)據(jù)中心彈性網(wǎng)絡(luò)研究[J].計算機工程與應用，2018.

[3]黃偉，趙峰，陳剛, 等.基于VxLAN的醫(yī)院多網(wǎng)融合架構(gòu)研究與應用[J].醫(yī)學信息學雜志，2019.

[4]李民，曹陽，郭益鋒.基于EVPN技術(shù)的醫(yī)院網(wǎng)絡(luò)設(shè)計與改造[J].中國數(shù)字醫(yī)學，2018.