大型地區(qū)電網(wǎng)調(diào)度控制系統(tǒng)海量歷史數(shù)據(jù)處理技術(shù)

彭 暉，趙家慶，王昌頻，丁德鑫，丁宏恩

(1.國電南瑞科技股份有限公司,江蘇 南京 210061；2.蘇州供電公司，江蘇 蘇州 215004)

隨著電網(wǎng)規(guī)模不斷擴展，同時以資源集中管理、統(tǒng)一調(diào)控、優(yōu)化配置、合理布局為核心的運行管理[1，2]體系建設(shè)不斷推進，省地間電網(wǎng)調(diào)度扁平化管理[3-6]、地縣間調(diào)控一體化[7，8]運行的需求愈發(fā)增強，地區(qū)電網(wǎng)調(diào)度控制系統(tǒng)監(jiān)控的范圍急劇擴大，監(jiān)控測點快速增加，傳統(tǒng)以商用數(shù)據(jù)庫為基礎(chǔ)的歷史數(shù)據(jù)管理技術(shù)因占用磁盤空間大，歷史數(shù)據(jù)采樣密度低（分鐘級），越來越不適應(yīng)大型地區(qū)智能電網(wǎng)調(diào)度運行、管理的需求，并成為各類應(yīng)用進一步拓展的數(shù)據(jù)瓶頸。這就需要電網(wǎng)調(diào)度控制系統(tǒng)[9，10]（以下簡稱調(diào)度系統(tǒng)）采用新的歷史數(shù)據(jù)處理技術(shù)[11]。

時間序列數(shù)據(jù)庫（簡稱時序庫）擁有超大規(guī)模數(shù)據(jù)處理能力和高比例壓縮能力，支持秒級、毫秒級歷史數(shù)據(jù)存儲，可實現(xiàn)海量歷史數(shù)據(jù)[11，12]高效的壓縮存儲、查詢檢索和統(tǒng)計分析。結(jié)合商用數(shù)據(jù)庫和文件系統(tǒng)，將時序庫應(yīng)用于大型地區(qū)調(diào)度系統(tǒng)，既可實現(xiàn)海量歷史采樣數(shù)據(jù)細粒度（秒級）的存取管理，又可節(jié)省磁盤空間，還可有效服務(wù)于各類應(yīng)用。但是時序庫表達復(fù)雜關(guān)系的能力較弱，對非關(guān)鍵字搜索的效率不高，所以對于占用空間相對較少的告警歷史信息保存于商用庫中。歷史圖、模CASE 這類非結(jié)構(gòu)化數(shù)據(jù)，文件管理的效率較時序庫和商用數(shù)據(jù)庫效率更高。

國內(nèi)已有中小型地區(qū)調(diào)度系統(tǒng)使用時序庫的先例[13]，它的實現(xiàn)方式能較好地管理5 萬及以下測點規(guī)模地調(diào)的歷史數(shù)據(jù)，但是其體系架構(gòu)無法滿足蘇州等大型地區(qū)電網(wǎng)調(diào)度系統(tǒng)（蘇州76 萬測點）各類應(yīng)用的需要，不能以插件的方式靈活支持多種類型的時序庫；在性能上無法滿足大型地區(qū)調(diào)度以不低于百萬級測點為目標的歷史數(shù)據(jù)容量和性能需求；在可靠性上，未考慮冗余備份機制；在使用上，未能將應(yīng)用和各類歷史數(shù)據(jù)有機關(guān)聯(lián)，使用不便。國內(nèi)還有學(xué)者研究了利用第三方插件在電廠監(jiān)控信息系統(tǒng)中使用時序庫的方法[14]、時序庫在廣域監(jiān)測系統(tǒng)（WAMS）中的使用[15]、南方電網(wǎng)時間序列庫備份方式[16]，但均未涉及到歷史數(shù)據(jù)內(nèi)部管理技術(shù)和適宜于地區(qū)電網(wǎng)調(diào)度系統(tǒng)的應(yīng)用。

為了適應(yīng)地區(qū)電網(wǎng)的快速發(fā)展和管理模式的轉(zhuǎn)變，結(jié)合以蘇州為代表的大型地區(qū)調(diào)度系統(tǒng)歷史數(shù)據(jù)管理和應(yīng)用需求，文中提出了以時序庫為核心，結(jié)合商用數(shù)據(jù)庫和文件的歷史數(shù)據(jù)管理技術(shù)，以解決大型地區(qū)調(diào)度系統(tǒng)歷史數(shù)據(jù)管理面臨的容量、效率、可靠性方面的問題，并對依賴歷史數(shù)據(jù)的各類應(yīng)用提供有效的支撐。

1 以時序庫為核心的歷史數(shù)據(jù)管理架構(gòu)

以時序庫為核心的歷史數(shù)據(jù)管理體系采用面向服務(wù)的體系架構(gòu)（如圖1 所示），應(yīng)用程序通過數(shù)據(jù)服務(wù)層的隔離和數(shù)據(jù)訪問層的封裝來實現(xiàn)各類應(yīng)用對時序數(shù)據(jù)的訪問。這種設(shè)計考慮了對主流時序庫[16-18]的支持，規(guī)范了應(yīng)用程序訪問時序庫的方式，便于對時序庫訪問進行統(tǒng)一的管理和控制，易于工程安裝維護并節(jié)省購買時序庫客戶端的費用。

最下層的數(shù)據(jù)層是各種時序庫及其訪問接口，不同的時序庫訪問方式存在明顯的差異。

數(shù)據(jù)層之上為數(shù)據(jù)服務(wù)層，它首先要封裝時序庫統(tǒng)一訪問接口，以屏蔽數(shù)據(jù)層各種類型時序庫訪問方式的差異；其次，由于調(diào)度系統(tǒng)和時序庫表征量測的方式不同，需要實現(xiàn)調(diào)度系統(tǒng)關(guān)鍵字/時序庫標簽的轉(zhuǎn)換機制來完成采樣點在調(diào)度系統(tǒng)和時序庫之間的映射。文中所述歷史數(shù)據(jù)管理架構(gòu)下，提供了數(shù)據(jù)冗余備份機制和為提升容量采用的集群機制，而這2 套機制都依賴時序庫監(jiān)視服務(wù)。在數(shù)據(jù)服務(wù)層的上部是標簽定義服務(wù)、采樣定義服務(wù)、時序庫提交服務(wù)和時序庫查詢服務(wù)。

數(shù)據(jù)訪問層包括定義采樣點的工具、標簽定義功能和提供給數(shù)據(jù)客戶端訪問數(shù)據(jù)服務(wù)端的各類接口。

圖1 以時序庫為核心的歷史數(shù)據(jù)管理架構(gòu)

最上層是應(yīng)用層，通過底層封裝，應(yīng)用不關(guān)心時序庫的類型、部署情況，通過數(shù)據(jù)訪問層接口方便地存取歷史序列數(shù)據(jù)和獲取歷史斷面數(shù)據(jù)。

商用庫數(shù)據(jù)和集中文件數(shù)據(jù)的訪問也采用了同時序庫類似的4 層結(jié)構(gòu)。

2 大型地調(diào)使用時序庫存儲關(guān)鍵技術(shù)

2.1 時序庫訪問插件技術(shù)

傳統(tǒng)歷史數(shù)據(jù)管理架構(gòu)下，支持新的時序庫存在復(fù)雜的設(shè)計、開發(fā)、維護工作；已投運系統(tǒng)更換時序庫也非常困難。通過時序庫訪問插件技術(shù)可較好解決上述問題。該技術(shù)包含2個關(guān)鍵點：

（1）時序庫統(tǒng)一訪問接口。如圖1 所示，在數(shù)據(jù)服務(wù)層設(shè)計了時序庫統(tǒng)一訪問接口，該接口通過工廠模式以動態(tài)庫插件方式對上層服務(wù)提供一致的訪問方式，屏蔽下層時序庫的差異。每個插件動態(tài)庫匹配一種時序庫。

（2）統(tǒng)一的關(guān)鍵字/ 標簽映射技術(shù)。調(diào)度系統(tǒng)用關(guān)鍵字表征數(shù)據(jù)點，時序庫通過標簽號來表征，針對不同時序庫特點，需要一種統(tǒng)一的關(guān)鍵字/ 標簽映射技術(shù)（如圖2 所示）。

圖2 標簽定義過程

一些時序庫的標簽號是調(diào)度系統(tǒng)可以直接生成的（如eDNA、Highsoon），對于這種時序庫，直接由調(diào)度系統(tǒng)按照一定的策略生成不重復(fù)的標簽號，生成后直接通知時序庫的標簽定義過程，標簽定義過程在時序庫中記錄這個已定義的標簽號。

而另外一些時序庫的標簽號是時序庫內(nèi)部生成的，譬如主備2個PI時序庫，對應(yīng)同一個采樣點的標簽號可能不一樣。這就需要先借助數(shù)據(jù)服務(wù)端的標簽定義服務(wù)產(chǎn)生一個唯一且主備庫一致的標簽名作為橋梁，實現(xiàn)關(guān)鍵字到標簽名的映射，標簽定義服務(wù)將標簽名告訴時序庫的標簽定義過程，時序庫根據(jù)標簽名產(chǎn)生內(nèi)部的采樣定義點和標簽號。

客戶端可以通過數(shù)據(jù)服務(wù)端的標簽定義服務(wù)向時序庫的標簽定義過程根據(jù)標簽名取得時序庫內(nèi)的標簽號。關(guān)鍵字/標簽映射也在插件動態(tài)庫中。

2.2 時序庫集群技術(shù)

大型地區(qū)電網(wǎng)調(diào)度控制系統(tǒng)需要海量測點/ 計算點采樣處理的能力，而單臺時序庫服務(wù)器的處理能力是有限的，這就需要通過時序庫集群的方式解決海量數(shù)據(jù)采樣的問題。

如圖3 所示，海量采樣數(shù)據(jù)可以分為多個采樣數(shù)據(jù)集，每個數(shù)據(jù)集的采樣數(shù)據(jù)存入對應(yīng)的時序庫，多個時序庫無交集地覆蓋所有采樣點，通過時序庫集群形成一個邏輯可擴展的時序庫池，滿足任意數(shù)據(jù)規(guī)模調(diào)度系統(tǒng)的歷史數(shù)據(jù)存儲需要。

圖3 時序庫集群

系統(tǒng)可以自動也可手動定義每一個采樣點關(guān)聯(lián)到哪一個時序庫。但是對于應(yīng)用程序，完全感知不到系統(tǒng)使用的是一個時序庫，還是多個時序庫集群。

2.3 數(shù)據(jù)提交兩級緩存技術(shù)

文獻[10]中時序庫歷史數(shù)據(jù)管理采用了基于文件緩存方式，這種方式簡單可靠，適合于中小型地區(qū)調(diào)度系統(tǒng)。但對于大型地區(qū)調(diào)度系統(tǒng)，這種方式帶來的大文件I/O 不僅會影響時序庫采樣的性能，還會對調(diào)度系統(tǒng)其他模塊帶來影響。文中的數(shù)據(jù)提交服務(wù)使用了共享內(nèi)存隊列與文件緩存相結(jié)合的兩級緩存機制來解決時序庫高效提交的問題，同時還可保證異常情況下歷史數(shù)據(jù)保存的可靠性。

如圖4 所示，時序庫提交服務(wù)包含內(nèi)存隊列緩存和文件緩存兩種緩存，圍繞這兩種緩存有3個線程。當外部請求提交的時候，請求處理線程將請求以結(jié)構(gòu)化的方式存入內(nèi)存隊列緩存。正常情況下，時序庫提交線程會及時提交內(nèi)存隊列緩存中的請求，并清空內(nèi)存已提交緩存隊列，不會有信息寫入文件緩存。但是當出現(xiàn)異常情況時（譬如時序庫故障），已用內(nèi)存隊列緩存長度超過閾值后，內(nèi)存轉(zhuǎn)儲線程將把內(nèi)存隊列緩存的信息寫入文件緩存；當異常情況處理后，時序庫提交線程將優(yōu)先提交文件緩存的采樣數(shù)據(jù)，然后提交內(nèi)存隊列緩存的數(shù)據(jù)。

圖4 時序數(shù)據(jù)提交服務(wù)中的兩級緩存

2.4 時序庫集群動態(tài)冗余互備技術(shù)

如圖5 所示，在橫向上，時序庫以2個集群的形式出現(xiàn)；在縱向上，2個時序庫集群的對應(yīng)單庫存放內(nèi)容完全一致，互為備用。

圖5 時序庫集群的冗余備份

這種集群的冗余互備是動態(tài)的，譬如上面集群的時序庫1 故障，下面集群的時序庫2 故障，系統(tǒng)會將下面的時序庫1 和上面的時序庫2、時序庫3、……、時序庫n 組成一個新的可用時序庫集群（圖5的黑實線框），從而保證了時序庫集群最大程度的可用性。

時序庫提交服務(wù)同時向2個時序庫集群提交采樣數(shù)據(jù)，當集群中某個時序庫節(jié)點故障時，時序庫提交服務(wù)利用3.3 節(jié)所述數(shù)據(jù)請求兩級隊列緩存技術(shù)緩存歷史數(shù)據(jù)，待故障時序庫恢復(fù)后，再補充提交。

時序庫動態(tài)形成可用時序庫集群，應(yīng)用感知不到時序庫集群的單點故障及交叉故障。

3 基于多維歷史數(shù)據(jù)的應(yīng)用

3.1 事件驅(qū)動的多維歷史反演

文獻[10]的反演功能只能手動設(shè)定反演時間，在最近畫面、最新模型基礎(chǔ)上結(jié)合時序采樣數(shù)據(jù)反演事故前后的狀態(tài)，不能結(jié)合事故當時的圖、模，不能聯(lián)動歷史告警，使用上有較多不便和諸多限制。

如圖6 所示，文中所述事件驅(qū)動歷史反演功能中，反演總控臺作為核心驅(qū)動部分，它從商用數(shù)據(jù)庫獲取各類歷史事件，用戶可以選擇任意一個事件（不局限于事故），反演總控臺自動根據(jù)事件所附帶的時間信息，根據(jù)用戶選擇獲取CASE 中保存的歷史模型、歷史圖形，并提取對應(yīng)時間段時序歷史數(shù)據(jù)和歷史告警信息，在反演總控臺的指令下協(xié)調(diào)同步滾動顯示。

圖6 事件驅(qū)動多維歷史反演原理

事件驅(qū)動的多維歷史反演可以反演事件前后任意時長的整個事件經(jīng)過，它優(yōu)于傳統(tǒng)基于報文回放方式的事故反演。傳統(tǒng)事故反演事故前后的反演間隔是固定的，不能任意延長，且反演內(nèi)容僅僅限于事故，而事件驅(qū)動多維歷史反演不限定事件啟動和終止時間，且可拓展到事故以外的其他事件。

3.2 基于精準時間斷面的應(yīng)用分析

依托時序庫的精確歷史數(shù)據(jù)保存，系統(tǒng)可以截取任意時刻的斷面數(shù)據(jù)用于分析計算，突破原有分鐘級CASE 斷面局限，并可聯(lián)動CASE 保存的歷史模型、歷史圖形（如圖7 所示）。

圖7 基于時序庫精準斷面的應(yīng)用分析

文中所述系統(tǒng)已實現(xiàn)基于時序庫的任意時刻數(shù)據(jù)斷面提取，在提取數(shù)據(jù)斷面基礎(chǔ)上可進行狀態(tài)估計及后續(xù)的潮流分析、故障分析等應(yīng)用功能。

正是因為有了這種靈活的數(shù)據(jù)斷面獲取能力，應(yīng)用分析的數(shù)據(jù)來源真實可信。系統(tǒng)方便地獲取關(guān)鍵時刻及其前后的斷面數(shù)據(jù)，對各類分析及仿真應(yīng)用的數(shù)據(jù)準備有很大的幫助。

3.3 基于時序數(shù)據(jù)的報表

基于時序數(shù)據(jù)庫的報表相對于基于商用數(shù)據(jù)庫的報表最大的好處在于統(tǒng)計數(shù)據(jù)的準確性，這種準確性是靠時序庫的高密度歷史數(shù)據(jù)采樣保證的，這就克服了關(guān)系數(shù)據(jù)庫中統(tǒng)計時間間隔過長的缺點。譬如，每年的極值潮流統(tǒng)計，統(tǒng)計所轄電網(wǎng)最大負荷和出現(xiàn)的時間，通過時序庫就可以得到精確的結(jié)果，而傳統(tǒng)的基于商用庫的歷史管理很難精確捕捉到這一類關(guān)鍵數(shù)據(jù)和關(guān)鍵時刻。

報表中的統(tǒng)計內(nèi)容可以包括最大值、最小值、平均值、負荷率、最大值時間和最小值時間等。

4 現(xiàn)場應(yīng)用

早期的歷史數(shù)據(jù)處理技術(shù)無法滿足蘇州歷史數(shù)據(jù)規(guī)模、歷史數(shù)據(jù)提交效率和可靠性的要求，研發(fā)團隊針對這些問題研發(fā)了時序庫集群、數(shù)據(jù)提交兩級緩存、時序庫集群動態(tài)冗余互備技術(shù)，解決了系統(tǒng)投運初期的性能瓶頸和可靠性問題。

結(jié)合用戶專家提出的生產(chǎn)實際需求，研發(fā)團隊研發(fā)和部署了事件驅(qū)動多維歷史反演、基于精準斷面的應(yīng)用分析、基于時序數(shù)據(jù)報表的功能。這些都成為日常運行、維護的有效分析工具。

時序庫廠家就庫在多個存儲的部署、參數(shù)調(diào)優(yōu)等方面工作開展了工作，并取得明顯效果。

以時序庫為核心，商用數(shù)據(jù)庫、文件系統(tǒng)輔助支撐的歷史數(shù)據(jù)管理技術(shù)已在全國最大地調(diào)蘇州調(diào)度系統(tǒng)得到應(yīng)用。該技術(shù)的使用很好地解決了蘇州調(diào)度系統(tǒng)歷史數(shù)據(jù)容量、效率、可靠性方面的問題，實現(xiàn)了歷史數(shù)據(jù)采樣密度從分鐘級到秒級的跨越。新的歷史數(shù)據(jù)管理機制還有力地促進了蘇州地區(qū)電網(wǎng)調(diào)度各類應(yīng)用的深化和拓展。

5 結(jié)束語

大型地區(qū)電網(wǎng)調(diào)度控制系統(tǒng)歷史數(shù)據(jù)處理技術(shù)解決了集約化、扁平化運行管理體系下，省地協(xié)作、地縣一體化運行帶來的海量歷史數(shù)據(jù)管理問題，為各類應(yīng)用深化拓展提供精準的歷史序列數(shù)據(jù)、歷史斷面數(shù)據(jù)，便于深入觀察和分析電網(wǎng)細分階段特性。該技術(shù)能有效促進地區(qū)電網(wǎng)調(diào)度自動化水平的提升，為地區(qū)智能電網(wǎng)建設(shè)提供了有力的技術(shù)支撐。

[1]余立軍.從企業(yè)價值鏈看電網(wǎng)企業(yè)“三集五大”集約化管理[J].能源經(jīng)濟技術(shù)，2011，23(5)：57-61.

[2]宋曉輝，盛萬興，史常凱，等.模式化電網(wǎng)規(guī)劃設(shè)計方法[J].電網(wǎng)技術(shù)，2011，35(7)：123-128.

[3]趙家慶，季 侃，孫大雁，等.電網(wǎng)調(diào)度省地一體化試點工程關(guān)鍵技術(shù)方案[J].電力系統(tǒng)自動化，2012，36(23)：120-125.

[4]王 彬，郭慶來，孫宏斌，等.雙向互動的省地協(xié)調(diào)電壓控制[J].電力系統(tǒng)自動化，2010，34(12)：53-57.

[5]孫大雁，丁 杰，彭 林，等.面向多級調(diào)度管理的云搜索體系架構(gòu)研究[J].江蘇電機工程，2013，32(6)：5-7.

[6]蔣 宇，張 勇，胡鶴軒.500 kV 主網(wǎng)電壓集中控制模式下的調(diào)壓方法[J].江蘇電機工程，2012，31(3)：17-19.

[7]彭 暉，任 遠，宋 鑫，等.基于雙核架構(gòu)的分布式地縣配一體化技術(shù)支持系統(tǒng)設(shè)計[J].電力系統(tǒng)自動化，2013，37(12)：100-103.

[8]繆建國，李云鵬，徐春雷，等.地縣一體化調(diào)度自動化系統(tǒng)在南通電網(wǎng)的應(yīng)用[J].江蘇電機工程，2011，30(5)：57-63.

[9]國家電力調(diào)度通信中心.智能電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)建設(shè)框架[R].2009.

[10]劉振亞.智能電網(wǎng)知識讀本[M].北京：中國電力出版社，2010，128.

[11]姚建國，嚴 勝，楊勝春，等.中國特色智能調(diào)度的實踐與展望[J].電力系統(tǒng)自動化，2009，33(17)：16-20.

[12]汪際峰，沈國榮.大電網(wǎng)調(diào)度智能化的若干關(guān)鍵技術(shù)問題[J].電力系統(tǒng)自動化，2012，36(1)：10-16.

[13]黃軍高，王首頂，凌 強，等.時間序列數(shù)據(jù)庫在地區(qū)電網(wǎng)調(diào)控一體化系統(tǒng)中的應(yīng)用[J].電力系統(tǒng)自動化，2011，35(23)：107-111.

[14]陳 兵，李俊娥，聶劍平，等.電廠實時監(jiān)控信息系統(tǒng)的設(shè)計與應(yīng)用[J].電力系統(tǒng)自動化，2003，27(8)：81-83.

[15]戴則梅，葛云鵬，張珂珩，等.電網(wǎng)廣域監(jiān)測系統(tǒng)的數(shù)據(jù)庫集成方案[J].江蘇電機工程，2013，32(1)：1-4.

[16]余 靜，麥紹輝，劉立東.電力系統(tǒng)EMS 數(shù)據(jù)備份方案[J].電力系統(tǒng)自動化，2009，33(17)：101-104.

[17]淡海英.關(guān)于eDNA 實時數(shù)據(jù)庫架構(gòu)的一點理解[J].陜西國防工業(yè)職業(yè)技術(shù)學(xué)院學(xué)報，2012，22(4)：10-12.

[18]王 偉，楊 勇，應(yīng)芳義.基于海迅數(shù)據(jù)庫的應(yīng)用開發(fā)方法的研究[J].電力信息化，2013，11(2)：11-14.