HIS數據庫跨版本跨平臺遷移

李想，蘇玉成，楊艷華，蔣昆

空軍軍醫大學西京醫院 數字化中心，陜西 西安 710032

引言

我院HIS系統于1998年開始建設，在2009年針對內存和監聽器的bug已經歷過一次Oralce版本升級和服務器硬件升級。目前服務器采用集群模式，由2009年采購的兩臺IBM P570小型機組成，Oracle版本為10.2.0.3，設備上線以來，系統運行穩定。HIS災備系統為1臺P570服務器，采用Oracle DataGuard實現容災。由于醫院業務快速增長（2017年醫院門急診量387.25萬人次，住院收容量14.03萬人次，HIS數據庫容量約700 G，高峰數據庫連接數約1200，并發數約180），以及設備使用時間過長已進入老化階段等原因，HIS業務實際運行中存在以下問題：① HIS業務系統單點無法承擔全院業務；② 一旦雙節點完全宕機，系統恢復存在風險，嚴重威脅醫院業務運轉；③ HIS環境上未實現數據讀寫分離，存有數據查詢作業，對數據庫性能有一定影響；④ 數據庫版本存在bug，導致醫院業務多次受到影響；⑤ HIS數據庫目前已運行9年，數據庫存在很多高水位的表段；⑥ 災備系統無法實時查詢數據，其數據的準確性無法得倒驗證，實際啟用存在一定風險?？紤]到以上問題，為保障醫院核心業務的穩定運行，需要對HIS系統進行改造升級[1-3]。

1 改造方向

HIS系統是我院醫療信息化系統中的核心系統，承擔著院內最為重要的任務，因此升級改造工作必須將安全、穩定作為前提。升級改造工作包括數據庫服務器更換和數據庫版本升級、數據容災系統的建設，遷移前服務器拓撲，見圖1。

圖1 遷移前服務器拓撲

本次升級改造采購了4臺服務器、4臺SAN交換機，新HIS系統數據庫生產服務器由兩臺高性能X86服務器構成，替代原有的P570小型機。配置8顆16核處理器E7-8860 v3，內存配置512 G。配置兩塊冗余的FC光纖HBA卡連接兩臺SAN交換機。為public接口配置兩個萬兆網絡光口，在操作系統中完成網卡綁定，分別連接到核心交換機實現服務網絡冗余；為心跳傳輸配置兩個萬兆網絡光口，利用Oracle 11g數據庫的HAIP技術，將心跳流量分發到這兩個網絡接口上：一是實現負載均衡，消除心跳流量大對系統性能的壓力；二是實現心跳網絡冗余。Oracle 10則無法提供HAIP功能，只能采用網卡綁定技術，遷移后網絡架構，見圖2[4-6]。

圖2 遷移后網絡架構

數據庫方面在論證時醫院充分考慮了升級至Oracle 11g和Oracle 12c所可能帶來的收益與風險，對于HIS系統來說，以最大限度減少數據庫層面出現的bug，同時滿足實際需求且運行穩定的版本為最主要的目標，另外，通過Oracle DataGuard讀寫分離功能，將部分查詢業務遷移到備庫運行，減輕主庫的負載壓力，Oracle DataGuard讀寫分離在Oracle 11g才支持，因此確定本次數據庫升級的目標為11g[7-8]。

生產數據庫從P570遷移到X86服務器后，在容災端部署容災系統，采用和生產系統同樣的平臺/架構，通過Oracle Active DataGuard完成容災建設，實現主備系統數據同步，保障數據安全和系統持續可用性。

2 數據遷移方案

為了盡量縮短業務停頓時間，新建X86平臺數據庫系統采用同生產系統完全一樣的網絡地址配置，將X86服務器的網卡獨立連接到一個單獨VLAN中。在P570和X86服務器上單獨配置一個接口和相應的臨時地址，用網絡直連線連通用作數據同步傳輸。這樣，在服務器切換的時候，只需要更改網絡連接就可以了，無需更改Oracle的配置，縮短切換時間。

2.1 數據遷移完成方式分析

2.1.1 采用容災軟件完成

在遷移前完成容災軟件的部署安裝，開始數據同步。待數據同步完成后即可以展開數據比對、業務功能模塊測試等工作。GoldenGate作為我們的首選遷移工具，遷移完成后使用Oracle GoldenGate Veridata進行全庫數據比對。

由于Power平臺現有環境版本與Linux平臺環境版本差異較大，所以在GoldenGate測試當中會出現一些不兼容的問題。經多次調整后，Power平臺Oracle GoldenGate版本為ogg 11.1.1.1.0，Java版本為 Java 1.6；Linux平臺Oracle GoldenGate版本為ogg 12.2.1.1.0，Linux操作系統版本為rhel 6.8，Java版本為Java 1.8。

2.1.2 采用EXPDP/IMPDP完成

利用EXPDP工具在晚間導出數據，減少對業務系統的影響。利用IMPDP工具將導出數據恢復到X86系統，檢查導出日志，查找是否有可能導致數據不一致的報錯信息。完成導入后，進行業務功能模塊測試等工作。

方案1停機時間短，但軟件存在不可控的因素易發生錯誤，方案2安全可靠但停機時間長。為保證遷移成功，兩個方案同時并行，容災系統等遷移成功后再行搭建。

2.2 回退方案

遷移失敗不涉及回退，如果遷移失敗，則將原HIS（AIX）系統恢復使用。遷移后出現問題解決方案包括：① 可解決的問題，通過修改程序或者調整數據庫配置；② 臨時不可解決的問題，針對臨時不可正常使用的應用啟用老庫，在問題解決后，把涉及到的相關數據導入新庫；③ 遇到大范圍無法解決的問題，將數據庫導入回老庫。

3 數據庫遷移過程

考慮國慶假期來院患者較少，為使遷移后能盡快通過正常工作日檢驗潛在問題，且為可能出現的遷移失敗留出二次嘗試時間。在10月6號晚23點正式進行切換時，啟用急診臨時服務器，保障急診患者收費系統正常運行。在遷移過程中，為了保障切換順利完成，兩套遷移方案同步進行，互不影響，最大限度保障遷移過程穩定進行：

GoldenGate容災軟件從10月4日上午9點開始進行第一次數據導入，在11點完成數據導入，此后開啟GoldenGate軟件的數據同步功能，由Power平臺向X86進行數據傳輸，從而保障在切換之時（10月6日）兩個數據庫只需比對數據一致性，一致后無需再進行其它工作。GoldenGate軟件的配置參數，見圖3～5。

數據泵EXPDP在10月6日業務停止后，由Power平臺導出數據，但由于GoldenGate的Veridata數據比對順利完成，在完成數據導出后，未在X86平臺執行數據導入操作。

3.1 切換前檢查和數據比對、數據庫備份

新老系統運行檢查。在兩套X86平臺上進行硬件信息檢查，同時在Power平臺上手工完成數據庫配置備份、參數文件、listener.ora備份及檢查。調整crontab中的備份時間，避免干擾切換。

圖3 GoldenGate關鍵參數1

圖4 GoldenGate關鍵參數2

圖5 GoldenGate關鍵參數3

3.2 HIS數據庫數據同步檢查

給全院終端發送消息，要求關閉HIS相關應用系統，后臺關閉數據庫監聽，更改監聽器的端口為1525，避免未知客戶端連接到數據庫，產生新增數據。重啟HIS數據庫，檢查監聽狀態，執行ps -ef|grep local|wc -l，檢查是否有持續增加的連接，確保系統不會產生新數據。

針對GoldenGate同步的數據庫進行數據比對。查詢關鍵表記錄數和表數據，進行手工比對條數及記錄內容，比對過程使用的是Beyond Compare軟件，該軟件極大的提高了工作效率。數據比對一致后，比對數據庫其他對象，完成新數據庫失效對象編譯，序列重建。

3.3 HIS數據庫切換

數據庫比對完成后，進行應用測試，將應用連接臨時指向新的Linux RAC服務器（數據比對用臨時地址）進行應用可用性驗證，應用驗證通過后，拔出P570服務器的接口網線，切斷網絡連接。關閉Linux服務器的數據庫監聽，修改Linux RAC服務器的public接口VLAN，檢查public地址和VIP地址狀態。啟動Linux RAC服務器的監聽器，檢查監聽。數據庫運行狀態檢查。

3.4 新系統上線

各項檢查完成，確認無誤后，通知全院終端系統升級完畢，正式啟用。新系統上線后，在服務器端持續監控數據庫狀態、服務器指標。

4 遷移過程中問題處理

整個遷移從2017年10月6日晚23:00開始，在2017年10月7日凌晨1點40分完成數據導入，開始進行老庫網絡隔離，在1點50分開始進行系統試運行。

試運行一開始就發現服務器上線初期網絡無法ping通，排查之后發現在網關上只配置了一臺服務器的地址，及時在網關上添加另一臺服務器的配置后，業務即可正常開展。

在財務軟件確認正常使用之后，急診系統上線后發現開具檢查單時系統報錯，經跟蹤發現急診系統由于調用Oracle 10g內部wmsys.wm_concat函數，在系統升級到Oracle 11g后，由于不再支持此函數導致急診系統不可用，之前測試時已經發現，但系統一直沒有更新。該系統在進行緊急升級后，問題解決。

針對審計對象不明的問題，審計范圍可在原有的基礎上進一步擴大，即對黨委領導也展開必要的審核，這樣就可以做到全面管理，提高離任審計的準確性，加強單位內部的凝聚力。評價體系需往全面性的方向改進，審計人員充分結合定性評價與定量評價的方法，保證審核報告結論的客觀性，且結果精準涵蓋問題的根本。

第二天醫院業務部門反映系統會出現不定期卡頓10-30s的現象。經過排查系統日志/var/log/messages發現是有磁盤鏈路丟失現象，檢查設備網絡鏈路后發現是服務器端1口HBA卡模塊接觸不良問題，最終通過更換HBA卡模塊解決問題[9-11]。

5 亮點與收獲

通過本次HIS系統遷移，成功實現了如下效果：

（1）服務器的性能與安全性升級，提升服務器整體性能約10倍，單臺服務器測試穩定并發數可達500，極限連接數可到800，即可撐起醫院全部業務。在硬件架構上，多處采用冗余設計，從主備業務，到心跳冗余，到網卡冗余，大大提升了HIS硬件服務整體的穩定性和可靠性。

（2）數據庫的升級，通過Oracle 10g升級至Oracle 11g在提升數據庫穩定性減少bug的同時，依托Oracle 11g的功能實現數據庫讀寫分離，讓standby database分擔業務數據庫的負載壓力，更高效地利用現有資源，使HIS數據庫的高可用性得到增強。同時，通過遷移本身有效地解決了數據庫高水位問題，有效利用空間，有效地減小業務數據庫的負載壓力，可以有效地減小業務環境的故障點。另外，數據庫的升級還帶來了自動存儲管理（Automatic Storage Management，ASM）、 自 動 內 存 優 化（Auto Memory Tuning，AMT）、自動診斷知識庫（Automatic Diagnostic Repository，ADR）等等一系列新特性，大大簡化了管理人員的維護工作量[12-14]。

（3）數據庫從P570遷移到X86服務器，Oracle GoldenGate 遷移比用傳統EXPDP/IMPDP方式更高效，數據比對遷移完成后使用Oracle GoldenGate VeriData進行全庫比對，但比對耗時比較大，尤其是像1億多條數據的大表。本次遷移經過多次調整VeriData參數和表級篩選，提前比對，實現我們較理想的結果。

6 結語

目前新系統在醫院已經平穩運行近6個月，未出現故障。通過本次遷移，確認了軍衛HIS數據庫在X86平臺及Oracle 11g環境下可以正常運行，同時驗證了Oracle GoldenGate軟件在數據庫遷移方面的可行性、利用Oracle RAC to RAC DataGuard軟件實現災備環境建設以及數據庫讀寫分離的可行性。

[參考文獻]

[1] 李超峰,馬嘉潛,肖華鋒,等.HIS系統數據庫跨平臺遷移實踐[J].中國數字醫學,2016,11(8):86-88.

[2] 馬嘉潛,李超鋒,鄧曉焱,等.醫院信息系統升級方案與實現[J].醫學信息學雜志,2016,37(9):25-28.

[3] 田凱元.淺析我院HIS系統升級的必要性及方案制定[J].醫療裝備,2014,27(9):18-20.

[4] 王志勇,魏民,項耀鈞.“軍衛一號”HIS雙活架構設計[J].中國數字醫學,2016,11(2):85-86.

[5] 劉浩.淺論HIS系統升級中的數據遷移[J].中國衛生信息管理雜志,2007,4(3):15-17.

[6] 田凱元.淺析我院HIS系統升級的必要性及方案制定[J].醫療裝備,2014,27(9):18-20.

[7] 劉亞威,錢誠,翁盛鑫.HIS平臺升級改造及數據保護方案設計[J].醫療衛生裝備,2013,34(11):49-51.

[8] 葉瑞綿,王曉華,丁慧瑩.Oracle數據庫跨版本的升級實現[J].中國數字醫學,2016,11(5):87-88.

[9] 亢軍賢,都繼軍,余艷紅,等.療養信息系統從Oracle8i到Oracle11g升級過程的研究和實踐[J].電腦知識與技術,2017,13(1):1-2.

[10] 唐紅,蘇麗娟.“軍衛一號”數據庫升級設計與應用研究[J].醫療衛生裝備,2015,36(10):65-67.

[11] 成雄,趙雪雷,葉曉景,等.Oracle 11g實時應用集群下的高可用彈性架構數據庫升級[J].醫療衛生裝備,2015,36(5):57-59.

[12] 張帆,李響,張紅君.軍衛一號Oracle8i到Oracle11g在異構環境下的升級過程[J].醫學信息學雜志,2014,35(1):26-28.

[13] 曹銳,楊愛華,藺寧.Oracel 10g RAC下“軍衛一號”數據庫升級和Oracle DataGuard部署[J].中國數字醫學,2013,8(9):91-93.[14] 段然,王毅琳,嚴波,等.從“軍衛一號”的軟件架構分析看HIS系統升級方向[J].中國數字醫學,2011,6(4):61-63.