基于多源數據的分布式實時數據庫遷移技術

王瑾, 劉洋, 曾堅永,鄧大為, 仲衛

(1.國電南瑞科技股份有限公司,南京 211106； 2.廣東電網有限責任公司 電力調度控制中心，廣州 510600)

基于多源數據的分布式實時數據庫遷移技術

王瑾1, 劉洋2, 曾堅永2,鄧大為2, 仲衛1

(1.國電南瑞科技股份有限公司,南京 211106； 2.廣東電網有限責任公司 電力調度控制中心，廣州 510600)

隨著調度自動化系統的發展，各級調度橫向集成、縱向貫通的力度不斷加大，上下級模型、數據按需共享的需求不斷涌現。而傳統模型拼接的模型，信息共享方式操作繁瑣，且對于過期模型的清理涉及商用庫的操作，存在影響運行系統模型的風險。提出了基于多源數據的分布式實時數據庫遷移技術，高效便捷，可有效規避上述風險。分析了目前電網調度自動化系統實時數據庫遷移方式的優缺點，介紹了相關的關鍵技術，該技術在廣東中調OCS中成功應用，提高了模型維護效率，保障了模型安全，提升了調度系統一體化運行水平，為省、地級智能電網建設提供了有力的技術支持。

實時數據庫；多源數據；數據映射；數據遷移

0 引言

電力系統規模的發展對調度系統提出了更高的需求[1]，國家電網公司提出的“大運行”體系[2-3]，南方電網公司提出的OS2標準化體系[4]，使得各級調度橫向集成、縱向貫通的力度不斷加大，上下級模型、數據按需共享的需求不斷涌現，實時數據庫作為自動化系統的底層核心模塊[5-6]，承擔了大部分實時處理工作，實時數據庫系統對橫向集成、縱向貫通的支撐能力,很大程度上決定了智能調度系統之間的數據共享和交互能力。

傳統上通過模型拼接等手段，借助商用關系數據庫和時間序列數據庫的支持[7-8]，來實現多級調度系統之間模型、信息共享的需求[9]，這種方式一方面存在著信息共享流程復雜、操作繁瑣的不足，另一方面，對過期模型的清理涉及商用庫的操作，存在影響運行系統模型的風險。本文提出了一種基于多源數據的分布式實時數據庫遷移技術，能夠有效地解決上述問題，提升上下級調度信息共享與交互能力。

在現有技術方面，文獻[10]研究了一種基于公共信息模型/可擴展標志語言(CIM/XML)文件的電網模型互操作方法；文獻[11]介紹了一種基于變電站配置描述(SCD)文件的變電站系統建模方法；文獻[12]介紹了一種SCD文件向公共信息模型/E語言(CIM/E)文件的轉換方法，這些方法或者必須依托于商用數據庫進行模型信息轉換、共享，或者處理的數據來源較為單一，本文所述基于多源數據的分布式實時數據庫遷移技術，主要體現在可以脫離商用庫和多源數據處理支持上，因此，上述技術與本文介紹的技術存在明顯差別。

本文在分析現有電網調度自動化系統實時數據庫系統功能和數據遷移方式的基礎上，梳理各級調度自動化系統目前各種實時數據來源，研究了基于多源數據的分布式實時數據庫遷移相關技術，并給出實現方案，展望了應用前景。

1 共享數據來源

實時數據庫主要用來存儲2類數據：一是電力系統設備模型，二是電力系統運行時產生的實時數據。目前，電網調度自動化系統主要有以下幾種數據來源。

(1)CIM/XML文件。國際電工委員會(IEC)頒布的IEC 61970 CIM[13]提供了電力系統設備模型相關的若干個包與類，并且可以描述類之間的關系。在智能電網調度技術支持系統CIM/E規范形成之前，調度系統之間通常使用XML格式文件作為CIM的載體，通過CIM/XML文件來實現調度系統之間的模型交換和數據遷移。

(2)CIM/E文件。電網通用模型描述規范CIM/E語言規范是在IEC 61970-301電力系統CIM的基礎上，針對CIM以XML方式進行描述時的效率缺陷所發展起來的一種新型高效的電力系統數據標記語言。 CIM/E語言與CIM/XML均一致地遵循CIM基礎對象類，以XML語言描述的電力系統模型與以CIM/E語言描述的電力系統模型支持系統可以相互轉換。目前,智能電網調度技術之間使用CIM/E文件進行模型數據交換和數據遷移。

(3)SCD文件。SCD文件[14-15]是符合變電站智能電子設備配置語言SCL (substation configure la-nguage)規范的文件，是變電站監控系統之間數據交換的標準語言，SCD文件和CIM/E文件可以通過多種方式實現轉換。目前，來自于智能變電站系統的數據通常使用SCD文件通過模型拼接的方式遷移到上級調度系統。

2 原有的二次遷移方法

目前，實時數據遷移方式通常是一個以商用庫為中間存儲載體的二次遷移方式。以調度自動化系統為例，在智能電網調度技術支持系統中，電網設備模型的來源是CIM/E文件，首先通過模型拼接或模型導入，將模型數據遷移到商用關系型數據庫中，再利用實時數據下裝，通過模式定制和數據定制，將模型數據遷移到實時數據庫中。從源頭CIM/E文件到最終使用者，實時數據庫經過一個二次遷移的過程，如圖1所示。

圖1 CIM/E到實時數據庫的二次遷移

該方法是調度自動化系統和變電站自動化系統常用的實時數據遷移方法。優點是可同時處理系統內部和外部的模型數據來源，以關系數據庫作為數據來源與實時數據庫的中間存儲載體，可以利用商用關系庫成熟的建模、約束等機制。缺點是信息共享方式操作繁瑣，且對于過期模型的清理涉及商用庫的操作，存在影響運行系統模型的風險，擴展度低，遷移效率低，在線遷移時可能會給系統運行帶來影響。

3 多源實時數據遷移的需求

目前，電網調度自動化系統存在著不同的電網設備模型來源文件，有離線來源和在線來源，其中離線來源主要是上述提到的CIM/XML文件、CIM/E文件、SCD文件等。多源實時數據遷移需要提供基于離線來源的遷移方式，提供從CIM/XML文件、CIM/E文件、SCD文件遷移到實時數據庫的技術手段。目前,各級調度系統都已具有調度技術支持系統并已投入使用，這些系統中已經保存有目前的電網設備模型及參數，即在線來源，在線來源通常是商用數據庫。多源實時數據遷移需要提供基于在線來源的遷移方式，提供從商用庫遷移到實時數據庫的技術手段。在線來源還有一個重要的來源，即實時數據庫本身。基于實時數據庫的數據遷移既有從商用庫遷移到實時數據庫的優點，又可彌補從商用庫遷移效率低、在線遷移穩定性低的缺點。因此，多源實時數據遷移需要提供基于從實時數據庫遷移到實時數據庫的遷移手段。

隨著調度自動化系統的發展，同一領域不同級別系統之間、不同領域系統之間的數據交互越來越多，實時數據遷移需要提供跨領域的、分布式的數據遷移手段，提供對多態、多應用的支持手段，實現面向分布式來源的全景實時數據遷移方法，為多級系統之間的數據交互提供技術和數據支撐。

4 多源分布式實時數據遷移關鍵技術

4.1基于中間文件的實時數據遷移方法

針對現有實時數據遷移方法數據依賴于商用庫，操作繁瑣、來源單一、擴展度低，并有可能給在線系統帶來運行影響的情況，需要設計一種可滿足不同級別調度自動化系統、不同數據來源的分布式實時數據遷移方法。其特征在于，可選擇關系數據庫、實時數據庫、數據文件等不同的模型數據來源，從這些來源中獲取生成實時數據庫需要的結構信息、模型數據與實時數據，將這些信息首先生成與數據源無關的中間文件，再由中間文件遷移到實時數據庫，完成多源數據實時庫的數據遷移。基于中間文件的實時數據遷移方法如圖2所示。

圖2 基于中間文件的實時數據遷移方法

由于采用了多源模式，相比使用商用庫的生成途徑更加高效；可提供對結構、數據完整性和一致性的校驗，確保了實時數據庫遷移的安全性；中間文件形式與格式與數據源文件無關，支持對多數據源的擴展。另一方面，首先生成的中間文件數據不在實時系統之內，不參與實時計算，對新增加的模型數據可以選擇先校驗再遷移到實時數據庫的方法，保證數據的正確性和有效性。

4.2多源屬性映射技術

屬性是實時庫表模式重要的組成部分，不同的數據來源包含不同的數據屬性，這些數據屬性一部分是獨立的，一部分是重合的。對于獨立的部分，在模式生成時只需創建對應屬性即可，而重合的部分主要是指同一實際屬性在不同數據來源中可能存在差異，但本質是相同的屬性。多源屬性映射技術需要建立一種不同數據來源文件中屬性的映射關系，建立多對一的映射，在實時數據模式生成中合并相同的屬性，去除冗余。

在實現上，本文選擇CIM/E文件作為基準，目前CIM/E已成為國際標準，以CIM/E文件作為基礎加以擴展，成為映射基準文件。具體實現方式是將其他類型的數據或文件通過屬性映射的方式形成CIM/E文件，再通過CIM/E文件遷移到實時數據庫中。

4.3在線遷移安全技術

實時數據遷移的數據接收端是系統的實時數據庫，在目前電網各個領域運行的自動化系統中，多數應用直接依賴于實時庫運行。傳統的基于商用庫的數據遷移在系統離線情況下具有較高的安全性和可靠性，但在系統在線運行情況下，這種遷移方式有可能給正在運行的系統帶來影響，主要表現在：(1)模式遷移需要重新創建實時庫表實體，造成一段時間內實時庫不可用；(2)由于商用庫讀寫效率較低，部分頻繁變動的實時數據在商用數據庫中并不存儲實際值，在數據遷移后某段時間內造成實時數據的不正確性；(3)從商用庫遷移數據效率較低，在遷移過程完成之前，實時庫數據的完整性、一致性、正確性受到影響。

因此，需要研究安全的在線遷移技術，消除目前基于商用庫的數據遷移給在線系統帶來的影響。在實現上，多源數據遷移依賴于數據源文件產生的中間文件和實時數據庫自身，在在線遷移過程中不考慮模式的改變，在數據遷移過程中將中間文件中的靜態信息和實時數據庫自身的動態信息通過對比和整合，遷移后的數據具有數據完整性和一致性，在數據處理上采用數據修改的方式取代原有的清空插入方式，保障在線遷移過程中實時數據庫的安全性和可用性。

4.4實時數據庫模式遷移技術

目前，基于商用數據庫的實時庫遷移方法采用在商用庫構建表結構再連同結構和數據一起遷移到實時數據庫的方法，優點是利用了商用庫中成熟的模式創建功能。基于多源的實時數據遷移方法同樣需要考慮創建實時庫模式的功能，做法是在中間文件中存放各個模型表結構相關信息，如表基本屬性、表中域的基本屬性、實時庫索引基本屬性和相關約束信息等，在通過中間文件遷移到實時數據庫的過程中創建實時庫表結構，同時創建各類型索引，索引通常獨立于數據實體[16]。實時數據庫模式生成過程如圖3所示。

圖3 實時數據庫模式生成

4.5多態實時數據遷移技術

實時數據庫需要支持多態模式，不同態下的實時數據庫互相獨立，分別滿足實時運行類、事故反演類、測試類、未來規劃類應用的需求。不同態下的實時數據庫通常情況下在初始化生成時具有相同的電網模型數據，測試驗證、未來規劃等應用會針對需求增加或刪除對應態下的模型數據，由于各個態下實時數據庫互相獨立，這部分新增或刪除的模型不會對實時態下各個應用造成影響。多態實時數據遷移如圖4所示。

圖4 多態實時數據遷移

4.6分布式實時數據遷移技術

在電網調度自動化系統中，分布式實時數據遷移有兩層含義：一是同一領域內，不同系統的實時數據遷移，如上下級調度支持系統的實時數據遷移；二是不同領域間，一體化系統的實時數據遷移，如調度/變電一體化系統中調度向變電站的實時數據遷移或變電站向調度的實時數據遷移。分布式實時數據遷移可選在線遷移與離線遷移，以調度/變電一體化系統為例，在調度與變電站一體化系統中，調度中心主站系統的機器性能和網絡環境都比較好，通常采用較為穩定的方式，即從關系數據庫提取所需信息生成實時庫，這時無論響應時間還是對系統性能的影響都不會太大。但在變電站系統中，受現場條件的制約，系統規模較小，硬件配置和網絡帶寬可能不會很高，從關系數據庫生成時需要耗費相當時間在數據檢索及網絡傳輸上，此時可選擇從實時數據庫或模型文件提取，能大大縮短響應時間，降低實時數據庫數據遷移時的系統負載。

以廣東電網電力調度控制中心新一代調度自動化系統(OCS)(以下簡稱廣東中調OCS)為例，現場采用CIM/XML和目前商用數據庫中存儲的模型數據為數據多源，通過數據抽取、融合和映射生成中間CIM/E文件，然后再分別遷移至不同應用和節點的實時數據庫中。分布式多源實時數據遷移流程實例如圖5所示。

圖5 分布式多源實時數據遷移流程實例

5 應用情況

目前，隨著智能電網調度技術支持系統和調度/變電一體化系統的開發和應用，本文提到的多源分布式實時數據庫遷移技術的技術和功能已在廣東中調OCS系統等系統中實現并投入使用。

廣東中調OCS原本使用基于商用數據庫的實時數據遷移方式，由于模型龐大，每次遷移時間較長，而且原有基于商用數據庫的實時數據遷移會重新創建實時數據庫，必須應用離線操作。結合廣東中調的實際情況，采用CIM/XML文件和實時數據庫作為數據源，實現了本文介紹的分布式實時數據遷移，可以在線遷移實時數據，并且遷移效率有了很大的提高，效率對比見表1。

表1 數據遷移效率測試 s

注：索引數據78 065條，模型數據165 407條，量測數據983 099條。

經現場測試，使用本文提出的多源數據遷移方法在效率上比使用商用庫遷移高3.7～9.0倍。

現場測試情況表明，隨著“大運行”體系的進一步發展，省地一體化、地縣一體化等系統的使用將會越來越廣泛，多源實時數據庫遷移技術作為一體化運行系統的支撐手段，具有廣泛的應用前景。

6 結束語

本文分析了目前電網調控支持系統實時數據庫只有單一數據來源、單一遷移手段的現狀，分析了目前系統實時數據遷移方式的優缺點，提出了一種適應智能電網發展、滿足調度系統發展需求的，多級調度自動化系統間數據交互的實時庫遷移手段，討論了實時庫生成、多態實時數據遷移、分布式實時數據遷移等關鍵技術的具體實現，并結合目前省地一體化、地縣一體化、調度/變電一體化系統的開發給出了應用示例。本文提出的基于多源數據的分布式實時數據庫遷移技術，有效規避了現有模型拼接系統對系統運行可能帶來的風險，并可針對調度、變電系統不同模型文件提供一體化的實時數據遷移手段，可以有效提升電網調度自動化系統對一體化運行的駕馭能力。

[1]辛耀中.新世紀電網調度自動化技術發展趨勢[J].電網技術, 2001, 25(12): 1-10.

[2]艾琳，王超，陳為化.三華特高壓同步聯網及其對調度方式的影響[J].能源技術經濟，2011,23(5):38-41.

[3]榮莉，徐迪，李偉云.大運行體系下智能電網調度支持系統的改革及應用[J].中國電業(技術版)，2012(11):46-49.

[4]汪際峰.一體化電網運行智能系統的概念及特征[J].電力系統自動化,2011, 35(24):1-6.

[5]陸杏全．能量管理系統的實時數據庫技術[J]．電力系統自動化，2003，27(6)：1-4．

[6]張慎明，卜凡強，姚建國，等．遵循IEC 61970標準的實時數據庫管理系統[J]．電力系統自動化，2002，26(24)：26-30．

[7]戴則梅，葛云鵬，張珂珩，等.電網廣域監測系統的數據庫集成方案[J]．江蘇電機工程，2013,32(1):1-4.

[8]彭暉，趙家慶，王昌頻，等.大型地區電網調度控制系統海量歷史數據處理技術[J].江蘇電機工程，2014，33(5)：11- 14.

[9]趙家慶,季侃,孫大雁，等.電網調度省地一體化試點工程關鍵技術方案[J].電力系統自動化,2012,36(23):120-125.

[10]劉崇茹，孫宏斌，張伯明，等. 基于CIM XML電網模型的互操作研究[J].電力系統自動化，2003，27(14)：45-48，74．

[11]章堅民，朱炳銓，趙舫，等．基于IEC 61850的變電站子站系統建模與實現[J]．電力系統自動化，2004，28(21)：43-48．

[12]張海東，張鴻，宋鑫，等.SCD模型到CIM/E模型的轉換方法[J].電力系統自動化,2012,36(15):91-95.

[13]SAXTON T L．CIM XML interoperability test1 final report[R]．Xtensible So-lutions Inc, 2001.

[14]Communication networks and systems in substations：part 6 configuration description language for communication in electrical substations related to IEDs：IEC 61850-6—2004[S].

[15]黃浩聲，許小兵，卜強生.基于IEC 61850標準的定值模型應用與測試[J]．江蘇電機工程，2011,30(1):44-47.

[16]王瑾，彭暉，侯勇.基于共享內存的能量管理系統實時庫非主鍵HASH索引[J].電力系統自動化，2011，35(13)：72-76．

(本文責編：白銀雷)

2017-04-07；

：2017-05-22

TM 76

：A

：1674-1951(2017)06-0010-04

王瑾(1980—)，男，遼寧大連人，高級工程師，工學碩士，從事電網調度自動化技術相關工作(E-mail:wangjin@sgepri. sgcc.com.cn)。

劉洋(1982—)，女，廣東廣州人，高級工程師，工學碩士，從事電網調度自動化運行及技術研究工作(E-mail:judy_liuy@126. com)。

曾堅永(1979—)，男，廣東清遠人，高級工程師，工學碩士，從事電網調度自動化系統運行及管理工作(E-mail:keenwin@126. com)。

鄧大為(1975—)，男，廣東惠州人，高級工程師，工學碩士，從事電網調度自動化系統運行及管理工作(E-mail:davidzone @163.com)。

仲衛(1988—)，男，江蘇南通人，助理工程師，從事電網調度自動化技術相關工作(E-mail:zhongwei2@sgepri. sgcc.com.cn)。