基于分布式實時數據庫的電能量計費系統

李永鋒

（西安航空職業技術學院 陜西 西安 710089）

目前，數據庫的應用無處不在，自1970年IBM公司的E.F.Codd提出了關系數據庫理論之后，數據庫的理論技術飛速發展，各種各樣的數據庫技術分支應運而生，比如面向對象技術，分布式技術，數據倉庫和數據挖掘理論，實時技術等，其中實時技術與數據庫技術的結合產生了實時數據庫系統。其在電力行業中有良好的應用前景，隨著逐步實現批發競爭的電力市場，對于現代化的電力自動化系統的需求越來越迫切。電力自動化系統的功能包括系統故障的報警及檢測、系統現狀的圖形表示、負荷預測及遠程控制等[1]，它既要保存短暫數據也要保存大量歷史數據，因此需要實時數據庫和傳統數據庫的同時支持。

1 實時數據庫系統（RTDBS）技術

1.1 實時數據庫系統RTDBS

RTDBS與傳統數據庫系統在概念、原理、結構上有很大的差別，其所采用的優先級指派算法、事務提交協議、并發控制協議等與后者也大相徑庭，產生這些不同的根本原因在于RTDBS所具有的數據及事務的時間限制。下面說明RTDBS中的幾個基本概念：

截止期（Deadline），截止期是指事務所希望或者說能承受的最晚提交時間。按照事務在錯過截止期后提交造成的后果可將事務分為兩類[2]：1）硬截止事務，事務超截止期提交將導致惡果（價值為負），這類事務在錯過截止期后應立即夭折（Abort）；2）軟截止事務，事務超截止期提交還有一定價值，典型地到某一時間點，價值降到零，此后保持為零，不會降到負值。有些分類方法中還有一類，固截止事務，事務超截止期提交價值為零，它實質上是軟截止事務的一種特例，無須單獨考慮。在實際應用中，大多數事務可歸結為硬截止事務，比如電話交換，當用戶掛機后仍然繼續進行查詢和連接無疑是浪費資源，價值為負，文中所討論的事務除非特別指明都是指硬截止事務。

RTDBS性能的衡量尺度[3]最常用的有以下幾個：

1）事務超截止期的比率（%Miss），這是衡量RTDBS性能的最重要的尺度，它在硬截止事務中可以用公式（1）來表示，在軟截止事務中可以用公式（2）來表示，硬截止事務中超截止期事務將被ABORT，所以不存在超截止期提交的事務（Tardy Transactions）；

2）超截止期事務平均超時，限于軟截止事務，也就是超截止期提交的事務超過截止期的時間的平均值；

3）事務重啟的比率，指因為并發控制或別的原因而被重啟的事務在所有事務中所占的比例。

1.2 RTDBS 的現狀

在傳統數據庫系統中，事務處理需要訪問存儲在輔存（通常是硬盤）上的數據文件，因此，事務的響應時間受限于硬盤的訪問延遲，一次I/O的訪問延遲一般在幾十毫秒至幾百毫秒左右，這對于傳統應用是比較快的，而對于實時應用來說卻不夠，雖然傳統數據庫也做了各種各樣的優化措施，比如提供內存緩沖區等措施，但當訪問不在緩沖區的數據時，訪問磁盤的時間也許就會使得這個事務超過它所允許的時限。因此必須有效地設計RTDBS以適應實時應用嚴格的時間要求。有兩種途徑可以達到目的[4]：第一，完全拋開傳統數據庫系統的已有結構，提出新的體系結構，采用新的數據庫技術；第二，在傳統數據庫系統的現有體系下，重新設計數據庫的系統結構，提高其性能，從而滿足實時應用的需要。從目前看來，第一種途徑還有待研究，在較短的時間內還很難做到，而第二種途徑顯得更加實際一些，它的代價也較第一種要小得多，而重新設計系統結構也有兩種方法[5]：

1）修改數據庫系統，滿足實時應用本身的需求，可以采取以下一些措施：①提供新的數據模型以組織實時數據；②為實時應用提供有效的支持事務時間限制的接口，提供基于新的數據模型的嵌入式數據庫語言；③將數據庫系統建立在實時操作系統上，傳統數據庫往往建立在通用的龐大操作系統上，并沒有注意數據庫管理系統的要求，可以將RTDBS的數據管理運行部件建立在可裁剪的高效實時操作系統上，使系統更加緊湊、簡潔、可靠，開銷更小，性能更優越；④引入實時語義約束到數據庫中，建立有效的實時事務并發控制機制，提高系統的實時處理性能，滿足實時事務調度。

2）利用硬件技術發展成果，使用大量廉價的內存，來替換成為速度瓶頸的磁盤。因為數據庫操作的速度大多受限于I/O的訪問延遲，將數據庫的大部分或者整個放入內存，減少甚至消除磁盤I/O的訪問延遲，這是提高數據庫性能一個很自然的想法。然而大容量內存的使用，也使得數據庫系統設計者必須重新考慮數據庫系統的數據組織、訪問方法、查詢處理的算法等等。

2 分布式實時數據庫系統（DRTDBS）技術

分布式實時數據庫系統（DRTDBS）是由若干相互自主的單節點數據庫系統松散耦合成的一個總的數據庫系統，其中數據以數據片段/復制的形式分布于各個節點上；事務具有訪問共享數據的能力，它既可以訪問本地節點的數據也可以訪問存儲于遠程節點上的數據。DRTDBS有兩種事務[6]：1）僅訪問和更新一個節點中數據的事務稱為局部事務；2）需訪問和更新N個節點中數據的事務稱為全局事務，局部事務的處理相對全局事務來說要簡單的多，它可以看作N=1情況下的全局事務。分布式實時數據庫研究的核心論題是全局事務處理，事務的調度必須同時滿足截止期、局部一致性和全局一致性的要求。為達到上述目的，執行事務的各節點必須交換信息，進行同步操作，而所有這些引發的時間延遲對于事務的響應時間來說是一個不小的開銷，這對于滿足分布式實時事務的截止期很不利。可見，在分布式實時數據庫中解決截止期和數據一致性這一對矛盾比在集中式實時數據庫中要困難得多，文中將分別簡單介紹DRTDBS的CPU及I/O調度算法、事務提交協議、并發控制協議。

2.1 CPU調度算法

在DRTDBS的每個節點上，事務進入就緒狀態后，首先要為事務指定優先級，根據事務的優先級操作系統會進行調度，分配CPU時間片。常用的優先級指派策略有：先來先服務（FCFS）、截止期最早優先（EDF）、最小空余時間優先（LSF）、價值最高優先（HVF）、價值比最大優先（GVDF）等。

2.2 I/O調度算法

當實時數據庫不采用內存數據庫的實現方法時，磁盤I/O的調度將是提高系統性能的一個突破口，CPU的速度每年都在成倍提高，而磁盤的平均訪問時間大約每十年才能縮減一半，因此，合適的I/O調度策略對于提高系統性能有很大作用，常用的I/O調度的策略[7]有：先來先服務（FCFS）、基于優先級服務 （Priority Serve）、電梯調度 （Elevator）、最短尋道（Shortest Seek）、優先級電梯調度（Priority Elevator）等。

2.3 事務提交協議

傳統的分布式數據庫系統為了保證事務原子性而首先實現了事務提交協議[8]，在過去的幾十年中，數據庫研究者們提出了大量的提交協議，其中包括經典的Two Phase Commit（2PC），它的變種協議Presumed Commit（PC）、Presumed Abort（PA），Three Phase Commit（3PC）等，這些協議通常都需要在各個階段在參與全局事務的節點之間交換大量信息，同時記錄日志文件，日志往往因為故障恢復的原因而需要立即同步寫入磁盤，而這些同步信息的交換以及日志的記錄極大地增加了事務的執行時間，事務執行時間的增加在傳統的分布式數據庫也許可以接受，而這對于DRTDBS來說，這將意味著更多的事務將不能在其截止期內完成，因此DRTDBS中提交協議的選擇是一個非常重要的設計問題。

2.4 并發控制協議

DRTDBS中多個節點的多個事務同時執行，需要有一種機制來控制DRTDB的更新順序以保證數據庫的串行性和正確性。有兩種基本的途徑進行并發控制，悲觀的并發控制和樂觀的并發控制。在悲觀的并發控制中，我們首先驗證事務不會破壞串行性原則才允許事務進行讀寫；而在樂觀的并發控制中，我們首先執行事務中的讀操作，然后驗證事務是否破壞了串行性，如果沒有則進行寫操作。兩者的區別如圖1所示。

圖1 悲觀與樂觀并發控制Fig.1 Pessimistic and optimistic concurrency control

悲觀的并發控制一般通過鎖的機制來實現，文中討論的鎖允許共享鎖和排它鎖兩種類型，共享鎖也稱讀鎖，它允許多個并發的讀者；排它鎖也稱寫鎖，它同一時間只允許一個寫者。我們稱共享鎖之間是兼容的，也就是不沖突的，而排它鎖與共享鎖、排它鎖之間都是不兼容的。常見的并發控制協議有：分布式兩階段封鎖、分布式時間戳排序、分布式時間戳排序、多版本機制等。

3 在電能量計費系統中的應用

電能量計費系統TMR是準實時的系統，雖然對于實時性的要求與調度管理系統SCADA相比要低，但電力企業對于TMR的需求已不僅僅停留在電量的采集和考核上，隨著電力系統實施“廠網分開”，電力企業作為一個獨立的經濟實體，必然需要追求經濟效益，而在電力傳輸中的降低線損是電力企業降低成本的主要途徑之一，因此電力企業希望電能量計費系統能夠進行線損的分析計算，對降低損耗提供一定的決策支持。線損計算一般分為兩種，統計線損和實時線損，實時線損要求在電能量數據的基礎上結合SCADA采集的數據進行實時的線損計算，這種需求對于電能量計費系統的實時性能有很高的要求，引入實時數據庫的支持是提高系統實時性能和響應速度的重要手段。

下面介紹分布式實時數據庫在電能量計費系統TMR中的應用。TMR系統中DRTDBS建立在跨操作系統平臺的ACE（Adaptive Communication Environment）環境基礎之上，服務器可采用Windows 2000 Advanced Server/MS SQL Server 2000 Enterprise環境，ALPHA Tru64UNIX/Oracle 9i環境，或者Sun Solaris 9/Oracle 9i，客戶端可采用PC工作站/Windows 2000 （Server或Professional）或Sun工作站/Solaris9，在Windows平臺采用Visual C++6編譯實現，UNIX平臺采用cxx 6.3/g++3.2.2編譯實現。

在實現RTDB時使用內存數據庫的實現方式，因此無需選擇I/O調度算法，而內存數據庫的速度能夠滿足DMS系統中絕大多數事務實時性能的需要，采用了實現最簡單的先來先服務的CPU調度算法，通過對應用程序設定不同的優先級，讓某些關鍵的應用程序在執行指令時享有較高的CPU優先級，但所有應用對于RTDB訪問的優先級是基于事務就緒的時間排序的。在提交協議中，采用了使用較多的假定提交Presumed Commit協議，當發生錯誤時通過日志記錄發生的錯誤，必要時可重新通過服務器同步節點的實時數據庫，PC協議也比較符合邏輯，畢竟用戶希望他們提交的絕大部分事務都能夠提交成功，事實上使用內存數據庫存儲數據，的確可以保證絕大多數事務能夠正確提交，因此采用假定提交這樣的策略也可以進一步降低系統在事務提交情況下的開銷。

TMR系統中的DRTDBS讀操作遠遠多于寫操作，較少發生讀、寫的并發沖突，因此在并發控制上未作相應控制。在實踐中我們發現，分布式實時數據庫的實施降低了網絡流量，提高了各節點的數據查詢速度，從而提高系統的響應速度，為進行實時的線損計算提供了基礎。

4 結束語

DRTDBS能夠較大程度提高系統的整體性能，在電力自動化領域有著廣泛的應用，但同時我們發現目前DRTDBS技術在理論和實際應用上有著較大的差距，在DRTDBS的研究中往往需要做出某些假設，這些假設在實際應用中經常無法或者很難有效地滿足，使得在實際應用中多數情況都放棄實現理論，因此我們還需要進一步研究理論并縮小理論和實際之間的差距。

[1]Abbott R，Garcia-Molina H，Scheduling rteal-time transactions：A performance evaluation[J].ACM Transactions on Database Systems，1992（3）：33－36.

[2]Haritsa J，Ramamritham K，Gupta R，The PROMPT Realtime commit protocol[J].IEEE Transactions on Parallel and Distributed Systems，2000（2）：21－22.

[3]Kanitkar V，Delis A.A case for real-time client-server database[J].2nd International Real-Time Database Workshop，1997（9）：17－19.

[4]Haritsa J，Ramamritham K.Adding PEP to real-time distributed commit processing[J].Tech Report，2000（3）：14－16.

[5]Lindsay B，et al，Computation and communication in R*：a distributed database manager[J].ACM Transactions on Computer Systems，1984（1）：41－42.

[6]Mohan C，Lindsay B，Obermarck R.Transaction management int the R*distributed database management system[J].ACM Transactions on Database Systems，1986（4）：28－30.

[7]劉云生，黨德鵬.分布式實時事務處理[J].計算機科學，2001（7）：59－61.LIU Yun-sheng，DANG De-peng. Distributed real-time transaction processing[J].Computer Science，2001（7）：59－61.

[8]吳文傳，張伯明，等.一體化系統的分布式實時數據庫管理系統[J].中國電力，2000（10）：85－89.WU Wen-chuan，ZHANG Bo-ming，et al.Integrated system of distributed real-time database management system[J].Electric Power，2000（10）：85－89.