用電信息采集系統(tǒng)跨平臺數(shù)據(jù)遷移問題分析及處理

李　翀,高玲玲,陶　鵬, 唐如意,孫文磊,趙　佩

(國網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊　050021；2.國網(wǎng)河北省電力公司，石家莊　050021)

?

用電信息采集系統(tǒng)跨平臺數(shù)據(jù)遷移問題分析及處理

李翀1,高玲玲1,陶鵬1, 唐如意2,孫文磊1,趙佩1

(國網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊050021；2.國網(wǎng)河北省電力公司，石家莊050021)

摘要：介紹用電信息采集系統(tǒng)升級改造中面臨跨平臺數(shù)據(jù)遷移的現(xiàn)狀，針對該次數(shù)據(jù)遷移是基于跨操作系統(tǒng)平臺與不同版本數(shù)據(jù)庫的異構(gòu)數(shù)據(jù)遷移問題，進(jìn)行原因分析，從數(shù)據(jù)遷移架構(gòu)、數(shù)據(jù)遷移前期準(zhǔn)備、數(shù)據(jù)遷移步驟等方面提出2次存儲數(shù)據(jù)遷移的解決方案，并說明處理效果。

關(guān)鍵詞：用電信息采集系統(tǒng)；跨平臺；數(shù)據(jù)遷移

在國網(wǎng)河北省電力公司實(shí)施的用電信息采集系統(tǒng)主站升級改造過程中，遇到了數(shù)據(jù)遷移跨操作系統(tǒng)平臺的瓶頸問題。這種數(shù)據(jù)遷移涉及到異構(gòu)存儲，保證業(yè)務(wù)連續(xù)性是存儲數(shù)據(jù)遷移的核心要求，保證業(yè)務(wù)數(shù)據(jù)的可靠性是數(shù)據(jù)遷移成敗的關(guān)鍵。以下提出采用VPLEX引擎，實(shí)現(xiàn)異構(gòu)存儲之前的數(shù)據(jù)同步，實(shí)現(xiàn)數(shù)據(jù)不丟失，進(jìn)行業(yè)務(wù)基本無中斷的在線數(shù)據(jù)遷移[1]。

1存在的問題

用電信息采集系統(tǒng)改造的目的之一就是在數(shù)據(jù)遷移完成后，將現(xiàn)有的用電信息采集系統(tǒng)改造成生產(chǎn)庫(IBM數(shù)據(jù)庫服務(wù)器)、查詢庫(SUN數(shù)據(jù)庫服務(wù)器)雙庫運(yùn)行，生產(chǎn)庫連接的存儲由現(xiàn)有的IBM DS8100更換成HP P9500，并實(shí)現(xiàn)數(shù)據(jù)的遷移。查詢庫連接的存儲為HP P9500，也要實(shí)現(xiàn)數(shù)據(jù)的遷入。生產(chǎn)庫實(shí)現(xiàn)實(shí)時類數(shù)據(jù)的寫入，查詢庫實(shí)現(xiàn)統(tǒng)計類數(shù)據(jù)的讀取。目前生產(chǎn)庫服務(wù)器、存儲及其連接的交換機(jī)與查詢庫服務(wù)器、存儲及交換機(jī)的構(gòu)架示意如圖1所示。

圖1　生產(chǎn)庫、查詢庫服務(wù)器、存儲及其

a. 原生產(chǎn)庫數(shù)據(jù)庫環(huán)境。生產(chǎn)庫數(shù)據(jù)庫服務(wù)器(IBM P570)，連接原生產(chǎn)庫數(shù)據(jù)庫存儲設(shè)備(IBM DS8100)，安裝oracle 版本為10.2.0.5.0，數(shù)據(jù)存儲方式為裸設(shè)備。

b. 查詢庫數(shù)據(jù)庫環(huán)境。查詢庫數(shù)據(jù)庫服務(wù)器(T5-8),連接查詢庫存儲設(shè)備(HP P9500)，安裝oracle版本為10.2.0.5.0，數(shù)據(jù)存儲方式為ASM。

c. 新生產(chǎn)庫數(shù)據(jù)庫環(huán)境。生產(chǎn)庫數(shù)據(jù)庫服務(wù)器(IBM P570)，連接新生產(chǎn)庫數(shù)據(jù)庫存儲設(shè)備(HP P9500)，安裝oracle 版本為10.2.0.5.0，數(shù)據(jù)存儲方式為裸設(shè)備。通過結(jié)構(gòu)可以看出，數(shù)據(jù)遷移過程中查詢庫SUN小型機(jī)與生產(chǎn)庫IBM數(shù)據(jù)庫服務(wù)器屬不同的操作系統(tǒng)平臺，另外數(shù)據(jù)的存儲方式不一致，生產(chǎn)庫的存儲方式為裸設(shè)備，查詢庫為ASM方式。實(shí)際機(jī)房的空間限制，所有設(shè)備存儲不能同時上架;由于服務(wù)器屬不同的操作系統(tǒng)平臺，數(shù)據(jù)庫備份系統(tǒng)備份的數(shù)據(jù)，無法跨平臺恢復(fù)到SUN小型機(jī)搭建的查詢庫數(shù)據(jù)庫上；數(shù)據(jù)的存儲方式不一致，存在數(shù)據(jù)不識別問題；由于機(jī)房空間不足，使兩套HP P9500存儲設(shè)備不能同時上架，存在數(shù)據(jù)遷移的時間和空間上的不連續(xù)性；新購查詢庫的HP P9500和IBM DS8100分屬不同的SAN網(wǎng)絡(luò)中，將影響二者之間的傳輸。因此該次數(shù)據(jù)遷移是基于跨操作系統(tǒng)平臺與不同版本數(shù)據(jù)庫的異構(gòu)數(shù)據(jù)遷移，安全風(fēng)險大，技術(shù)含量高，業(yè)務(wù)水平要求高。

2原因分析

存儲數(shù)據(jù)遷移項(xiàng)目與系統(tǒng)實(shí)施項(xiàng)目通常并行執(zhí)行，技術(shù)含量高，業(yè)務(wù)水平要求高，變化速度快。在傳統(tǒng)存儲遷移的過程中，業(yè)務(wù)下線時間超過計劃和預(yù)期的情況經(jīng)常發(fā)生；存儲遷移過程中，面臨技術(shù)升級或是架構(gòu)更新所帶來的兼容性風(fēng)險；在架構(gòu)升級之后，性能不升反降、數(shù)據(jù)受損、數(shù)據(jù)丟失等，也時刻的困擾著實(shí)施存儲遷移行為的客戶。若對存儲遷移的重要性的估計不夠，往往不足以處理復(fù)雜多變的存儲更換問題。主要遷移方式有存儲底層遷移方式：進(jìn)行存儲底層的數(shù)據(jù)復(fù)制，要求存儲同一品牌同一型號；虛擬化層遷移方式：采用VPLEX引擎，實(shí)現(xiàn)異構(gòu)存儲之前的數(shù)據(jù)同步，進(jìn)行業(yè)務(wù)基本無中斷的在線數(shù)據(jù)遷移；數(shù)據(jù)庫層遷移方式：采用oracle的數(shù)據(jù)泵實(shí)現(xiàn)[2,3]。

有許多不同的工具可用來簡化存儲系統(tǒng)之間的數(shù)據(jù)遷移。有些是基于主機(jī)的，如Oracle RMAN備份、 EMC Open Replicator 或 PPME Copy，或者是內(nèi)置于主機(jī)邏輯卷管理器中的功能。盡管這些工具適用于某些情形，但是它們要使用主機(jī)資源，并要求服務(wù)器和應(yīng)用程序管理員參與。其他工具是基于陣列的，如 SAN CopyTM和 Open Migrator。EMC VPLEX 提供了第3個選項(xiàng)，那就是基于SAN網(wǎng)絡(luò)，數(shù)據(jù)就可以在陣列之間無中斷地移動，而不需要主機(jī)或存儲系統(tǒng)的直接參與。最為關(guān)鍵的一點(diǎn)是業(yè)務(wù)的停機(jī)時間往往是小時、甚至是天計數(shù)的。

用電信息采集存儲數(shù)據(jù)遷移涉及到異構(gòu)平臺和存儲方式，本次遷移采用虛擬化層的遷移方式，存儲數(shù)據(jù)遷移基于EMC公司的VPLEX硬件，依賴VPLEX硬件強(qiáng)大穩(wěn)定的引擎功能，縮短停機(jī)時間降低主機(jī)負(fù)荷，確保數(shù)據(jù)遷移后的完整性和準(zhǔn)確性。該方式也解決了機(jī)房空間存在限制，設(shè)備存儲不能同時上架的問題。

3數(shù)據(jù)遷移解決方案

3.1第一次存儲數(shù)據(jù)遷移

3.1.1數(shù)據(jù)遷移架構(gòu)

如圖2所示，機(jī)房內(nèi)部署一套EMC私有云控制器VPLEX，數(shù)據(jù)庫應(yīng)用通過FC SAN方式訪問私有云控制器VPLEX，在私有云控制器VPLEX的幫助下，2個存儲的數(shù)據(jù)可以互為鏡像，生產(chǎn)庫IBM DS8100和查詢庫HP P9500鏡像后的虛擬化存儲空間通過私有云控制器VPLEX提供給數(shù)據(jù)庫主機(jī)使用，數(shù)據(jù)庫主備存儲是Active/Active模式，可容忍任一存儲的故障；虛擬化部分，ESXServer可以部署成高可用性群集HA方式，在災(zāi)難發(fā)生造成某一個存儲不可用的時候，另外一個存儲仍然可以提供服務(wù)，應(yīng)用沒有中斷。EMC利用存儲陣列VNX5500作為底層存儲，該存儲與舊有的生產(chǎn)庫IBM DS8100與查詢庫HP P9500互為鏡像，為數(shù)據(jù)提供最高級別的保護(hù)。

圖2　第一次存儲數(shù)據(jù)遷移架構(gòu)示意

為了基于VPLEX硬件的數(shù)據(jù)遷移方案的實(shí)施，2臺brocade交換機(jī)與VPLEX設(shè)備、查詢庫HP P9500進(jìn)行物理連接和邏輯配置，形成如下架構(gòu)：

a. 在查詢庫HP P9500上面確認(rèn)提供生產(chǎn)庫可用的空間，并且劃分相應(yīng)的卷；

b. 將生產(chǎn)庫IBM DS8100的數(shù)據(jù)在線遷移至查詢庫 HP P9500；

c. 搬出IBM DS8100。

3.1.2數(shù)據(jù)遷移前期準(zhǔn)備

a. 需完成SAN交換機(jī)劃zoning，保證私有云控制器VPLEX后端端口與生產(chǎn)庫IBM DS8100和查詢庫HP P9500存儲之間的數(shù)據(jù)傳輸，保證私有云控制器VPLEX前端端口與IBM小機(jī)之間數(shù)據(jù)傳輸。

b. 完成查詢庫HP P9500存儲數(shù)據(jù)LUN的劃分，保證與生產(chǎn)庫IBM DS8100的劃分一致。

c. 完成查詢庫HP P9500劃分4個80 G的空間給私有云控制器VPLEX，作為私有云控制器VPLEX的META卷。

d. 完成私有云控制器VPLEX獲取查詢庫HP P9500存儲分過來的4個80 G的空間。

e. 如果條件允許，對服務(wù)器、軟件及相關(guān)設(shè)備進(jìn)行重啟，確保遷移環(huán)境正常。

3.1.3數(shù)據(jù)遷移步驟

數(shù)據(jù)遷移前期準(zhǔn)備工作完成后，開始進(jìn)行數(shù)據(jù)遷移。主要由臨時存儲空間劃分、私有云控制器VPLEX配置及多路徑軟件安裝，數(shù)據(jù)遷移組成。

a. 臨時存儲空間劃分。在IBM小機(jī)上，關(guān)閉ORACEL RAC數(shù)據(jù)庫、關(guān)閉HACMP、確認(rèn)VG狀態(tài)已變成關(guān)閉OFF。在生產(chǎn)庫IBM DS8100上，將原來直接劃分給2臺小機(jī)的邏輯單元號LUN全部剔除，將剔除的邏輯單元號LUN重新劃分給私有云控制器VPLEX。

b. 私有云控制器VPLEX配置及多路徑軟件安裝。在私有云控制器VPLEX上，私有云控制器VPLEX識別生產(chǎn)庫IBMDS8100分配過來的邏輯單元號LUN，對邏輯單元號LUN進(jìn)行CLAIM識別。將所有LUN的模式配置成1：1 MAPPING，然后重新分配給IBM小機(jī)。在IBM小機(jī)上，安裝EMC多路徑軟件，使用CFMGR命令重新掃描磁盤信息，確認(rèn)IBM小機(jī)磁盤識別正常(查看磁盤屬性，如果不是并行模式，則修改為并行模式)，查看IBM小機(jī)的PVID和VG信息都正確。啟動HACMP，查看ORACEL RAC設(shè)備的權(quán)限和屬性都正確，啟動ORAClE RAC。

c. 數(shù)據(jù)遷移。將生產(chǎn)庫IBM DS8100存儲數(shù)據(jù)遷移至查詢庫HP P9500存儲。通過采用“添加鏡像卷”的方式將查詢庫HP P9500存儲的LUN和IBM DS8100的卷做鏡像，如果數(shù)據(jù)遷移工作對系統(tǒng)壓力影響較大，需要在夜間系統(tǒng)業(yè)務(wù)不繁忙的時候進(jìn)行數(shù)據(jù)遷移。

d. 數(shù)據(jù)驗(yàn)證。數(shù)據(jù)從生產(chǎn)庫IBM DS8100存儲設(shè)備遷移至查詢庫HP P9500存儲設(shè)備后，需要對遷移數(shù)據(jù)進(jìn)行驗(yàn)證，確保數(shù)據(jù)的完整性、可用性。

e. 系統(tǒng)試運(yùn)行。存儲數(shù)據(jù)遷移完成后，需要系統(tǒng)試運(yùn)行一段時間，確保系統(tǒng)運(yùn)行穩(wěn)定，確保生產(chǎn)庫IBM DS8100存儲從私有云控制器VPLEX剔除后，不會影響系統(tǒng)正常運(yùn)行。

f. 存儲設(shè)備更換。系統(tǒng)試運(yùn)行穩(wěn)定后，解除生產(chǎn)庫IBM DS8100和查詢庫HP P9500存儲直接的鏡像關(guān)系，并將生產(chǎn)庫IBM DS8100存儲的LUN全部從私有云控制器VPLEX中剔除。將生產(chǎn)庫IMB DS8100從機(jī)房移出，將新存儲生產(chǎn)庫的查詢庫HP P9500移進(jìn)機(jī)房上架。

3.2第二次存儲數(shù)據(jù)遷移

同理，第二次存儲數(shù)據(jù)的遷移方法與第一次類似，只是操作對像不同而已。第二次存儲數(shù)據(jù)遷移架構(gòu)如圖3所示。

圖3　第二次存儲數(shù)據(jù)遷移架構(gòu)示意

說明：

a. 搬入HP H9500在原來的IBM DS8100的位置上；

b. 在新購的生產(chǎn)庫HP P9500上劃分相應(yīng)的卷；

c. 將生產(chǎn)庫的數(shù)據(jù)從查詢庫HP P9500在線遷移回新上線的生產(chǎn)庫HP P9500。

4結(jié)論

a. 停機(jī)時間短。異構(gòu)存儲數(shù)據(jù)遷移中，基于VPLEX硬件，依賴VPLEX硬件強(qiáng)大穩(wěn)定的引擎功能，縮短了停機(jī)時間，降低了主機(jī)負(fù)荷，確保了數(shù)據(jù)遷移后的完整性和準(zhǔn)確性，刷新了信息系統(tǒng)業(yè)內(nèi)存儲設(shè)備遷移項(xiàng)目中跨平臺數(shù)據(jù)遷移的記錄。

b. 采用離線存儲和在線存儲相結(jié)合技術(shù)，確保了業(yè)務(wù)數(shù)據(jù)一致性，可用性，可靠性，高質(zhì)量性，保證了系統(tǒng)使用數(shù)據(jù)的流暢性。

c. 整個數(shù)據(jù)遷移過程具備完善的風(fēng)險控制，保證了數(shù)據(jù)遷移成功實(shí)施。

d. 采用虛擬化層的遷移方式，有助于提升應(yīng)用軟件的實(shí)用性，基礎(chǔ)架構(gòu)的靈活性，降低硬件成本，減少能量消耗并且能輕松進(jìn)行測試。

參考文獻(xiàn)：

[1]杜賓，王明文.跨平臺數(shù)據(jù)遷移的研究和實(shí)現(xiàn)[J].計算機(jī)與現(xiàn)代化，2001(6):5-10.

[2]王海亮.精通Oracle 10g備份與恢復(fù)[M].北京：中國水利水電出版社，2005.

[3]劉義華. Oracle 數(shù)據(jù)庫數(shù)據(jù)跨平臺備份與恢復(fù)的實(shí)現(xiàn)[J].信息科學(xué)，2009(5):71-74.

本文責(zé)任編輯：羅曉曉

Analysis and Treatment of Cross Platform Data Migration Problemin Electric Information Acquisition System

Li Chong1,Gao Lingling1,Tao Peng1,Tang Ruyi2,Sun Wenlei1,Zhao Pei1

(1.State Grid Hebei Electric Power Research Institute,Shijiazhuang 050021;2. State Grid Hebei Electric Power Corporation,Shijiazhuang 050021)

Abstract:This paper introduces the electric energy data acquire system upgrade transformation in the face of cross platform data migration status,for the data transfer is based on cross operating system platform and the different versions of the database heterogeneous data migration problem,analyzes the reasons,put forward two times stored in data migration solution from the data transfer architecture,data migration preparation,the data migration procedures and so on,and illustrates the treatment effect.

Key words:electric information acquisition system;cross platform;data migration;analysis and treatment

收稿日期：2016-02-29

作者簡介：李翀(1983-)，男，高級工程師，主要從事計量、采集相關(guān)業(yè)務(wù)的質(zhì)檢與研究工作。

中圖分類號：TP274.2

文獻(xiàn)標(biāo)志碼：B

文章編號：1001-9898(2016)03-0011-03