電能表數據采集終端負載自適應均衡方法研究

華書蓓,劉于超,白雅雯,鄭際俊

(1.國網青海省電力公司營銷服務中心,青海 西寧 810000;2.元啟工業技術有限公司,山東 青島 266000)

0 引言

采用先進的電能表數據采集終端可以提高數據采集和電網綜合管理效率[1-3]。電能表數據采集終端訪問數據量巨大[4-5],極易產生負載不平衡問題。因此,相關學者紛紛展開對這一課題的研究。竇浩銘等[6]研究基于蟻群優化的負載均衡方法。該方法通過自定義性能指標服務器繁忙程度,量化描述服務器的實時狀態,以選定實時最優服務器;利用元啟發式的算法框架——蟻群算法,根據每段鏈路的實時可用帶寬確定服務器負載均衡的最佳策略。邰瀅瀅等[7]研究基于模糊綜合評判的負載均衡方法。該方法首先基于模糊數學理論,多參量分析服務器性能影響因素,構建服務器評判集;其次計算資源權重向量,基于模糊綜合評判的基本原理,獲得資源權重向量到服務能力向量的映射矩陣;最后利用主因素型計算式進行多參量綜合評判,通過分析資源權重大小實現負載均衡。

元模型由元數據組成,表示特定領域的模型。其具備優秀的提取、轉換、合并、加載等數據處理能力。為此,本文充分考慮電能表數據采集終端各服務器的分布和功能情況,研究基于元模型的電能表數據采集終端負載自適應均衡方法。本文方法能夠合理利用數據資源,有利于電網管理。

1 數據采集終端負載均衡

1.1 倉庫管理元模型

在電能表數據采集終端中,基于元數據倉庫設置的元模型如圖1所示。

圖1 基于元數據倉庫設置的元模型

由圖1可知,采集終端的電能表數據作為模型元數據,經數據提取、轉化、加載處理后存儲至元數據倉庫內[8],以便用戶訪問。

1.2 自適應負載均衡

為動態平衡元數據倉庫的訪問負載,本文利用基本負載均衡算法,在元數據負載大小未知條件下,分配元數據負載,并采用自適應元數據服務負載均衡算法進行分配后元數據的負載均衡處理。

1.2.1 基本的負載均衡算法

本文設si為S{s1,s2,…,sn}內的服務器;h1:S→[0,1]表示服務器使用函數;將si∈S映射至[0,1]環上的某點;按照h2:X→[0,1]映射原則,求解X{x1,x2,…,xm}內數據元素xj∈X的hash值;按照以下距離函數,將xj配置給距離最小的服務器。

(1)

為了讓全部元數據的負載均衡,本文將權值wi、wj導入距離函數內,以提高負載均衡處理能力[9]。基本的負載均衡算法求解能力和元數據負載正相關。

1.2.2 自適應元數據服務負載均衡算法

自適應元數據服務負載均衡算法可提高計算能力。負載均衡計算過程如下。

通過各時間段t2(t2

目錄子樹進行遷移前需要求解元數據服務器負載量,從而根據估算指標和負載量判斷遷移條件。估算指標包括元數據熱度參數、等待隊列長度、響應時間參數。

訪問量與各元數據熱度成正比。元數據熱度影響祖先節點。各元數據均設置計數器。其記錄元數據操作命令、增加訪問次數以提升熱值,從而統計元數據熱度。具體的熱度計算過程如式(2)、式(3)所示。

Hnew=Hold×y(Δt)

(2)

式中:Hnew為更新后熱度;Hold為初始熱度;Δt為負載統計時間間隔;y為遞減函數。

Hancient_new=Hancient_old×y(Δt)

(3)

式中:Hancient_new、Hancient_old分別為祖先節點更新后熱度和初始熱度。

在不考慮y時,文件熱度值為8。

在得到處理請求后,元數據的目錄子樹熱度傳播如圖2所示。

圖2 元數據的目錄子樹熱度傳播圖

由圖2可知,熱度值與顏色深淺成正比。熱度值越高、顏色越深,則請求影響越低。

負載量ζ如式(4)所示。

ζ=H+W×L

(4)

式中:W為加權系數;H為熱度;L為待處理元素請求隊列長度。

為提高服務器處理元數據請求能力,決策元數據服務器選取負載低服務器。該服務器采集的全部元數據為Pk=[p1,p2,…,pn]。全部服務器的負載量為ζk=[ζ1,ζ2,…,ζn]。

(5)

式中:Ptotal為集群總性能值;n為節點間層次數。

(6)

式中:ζtotal為總負載量。

負載均衡目標函數如式(7)所示。

(7)

式中:Pi為元素服務器目標負載量。

現有負載ζi與ζtarget(i)之間的差距用Δζ描述。

Δζ=ζi-ζtarget(i)

(8)

元數據服務器負載值較低,用ζ<0描述,可接受其他遷移目錄子樹。元數據服務器負載值較高,用ζ>0描述,可尋找其他遷移目錄子樹。

為降低消耗,需要設置觸發機制。若|Δζ|>Δζthredhold,則觸發目錄子樹遷移。

目錄子樹遷移流程如下。

①采集負載數據,遷移量和遷出子樹元數據通過決策元數據服務器實現匹配。

②按照遷移量情況,在服務器上運行拆分子樹的程序。

③遷入子樹元數據服務器以接收經拆分處理后的子樹遷移數據。

2 實例測試與分析

為驗證本文方法的有效性,本文選取德力西電能表DDS606 10(40)A采集的5.8 GB數據作為測試數據。該電能表包括9臺客戶端機、1臺對象存儲設備(object-based storage device,OSD)服務器、4臺元數據服務器、1臺Monitor服務器。1臺OSD服務器負責文件數據存儲。4臺元數據服務器負責電能表數據采集終端的元數據合并管理工作,分別用MDS1、MDS2、MDS3、MDS4表示。1臺Monitor服務器負責檢測集群運行工作。

試驗軟硬件環境為服務器處理器Intel i5-2300,2.8 GHz,內存8 GB;硬盤為西部數據1 TB;網絡為Realtek百兆網卡。本文使用Mininet仿真軟件搭建試驗平臺,并使用 Mininet內的Iperf軟件生成不同數據負載,以注入自定義網絡拓撲中,從而驗證本文方法有效性。本文將服務器負載量、負載差異值、集群性能異構程度、多維縮放(multiple dimensional scaling,MDS)吞吐量、中央處理器(central processing unit,CPU)占用率、心跳周期網絡作為試驗性能評價指標。

電能表數據采集過程如圖3所示。

圖3 電能表數據采集過程示意圖

數據采集的運行時間為15 h,每間隔20 min 記錄1次各臺元數據服務器的負載情況。i臺服務器的負載Li為:

Li=0.6×δcpu(i)+0.4×δmemory(i)

(9)

式中:δmemory(i)為內存使用率,%;δcpu(i)為CPU使用率,%。

應用本文方法前后,MDS元數據服務器負載-時間的變化曲線如圖4所示。

圖4 MDS元數據服務器負載-時間的變化曲線

由圖4可知,在應用本文方法前,各服務器負載量差異較大,總體硬件使用率不高。其中:MDS1性能較好,負載量最低;MDS4性能較差,負載量始終比較高。應用本文方法后,各服務器負載量差異不大,整體趨勢大致相同。這說明本文方法對異構服務器處理能力強,集群效果優良。

本文將負載差異值Dtotal作為集群負載均衡程度的判斷指標。Dtotal值越小,則元數據服務器集群的負載程度越好。

(10)

應用本文方法前后,總體集群負載差異值對比曲線如圖5所示。

圖5 總體集群負載差異值對比曲線

由圖5可知,在15 h內,集群整體流量包含3個峰值。在應用本文方法之前,當訪問次數增加時,負載平衡的程度也會增加。應用本文方法后,收斂速度快,負載趨于穩態,波動較小。經計算:在應用本文方法前,15 h的Dtotal值約為6.94;在應用本文方法后,15 h的Dtotal值約為2.21。由此表明,本文方法的應用提高了MDS集群的負載均衡程度。

若元數據服務器在短時間內存在負載突變情況,則需要應用本文方法進行目錄子樹的遷移均衡負載。本文選取元數據服務器MDS1進行200 s的元數據測試。測試過程中元數據請求發生2次急劇上升。本文分別對比應用本文方法前后的MDS1負載的情況。

MDS1負載變化曲線如圖6所示。由圖6可知:在沒有應用本文方法之前,MDS1反應過于遲緩,不能實現元數據的高熱度轉移,直接影響處理用戶端請求的效率;在應用本文方法后,通過目錄樹遷移有效均衡了元數據請求激增問題,降低了負載,具有較快的應對速度。

圖6 MDS1負載變化曲線

為了驗證本文方法的可行性,本文選取均方差值作為MDS集群性能異構程度指標。

(11)

在可行性測試中,為統計指標的平均水平,本文每10 s記錄CPU占用率和心跳周期網絡的輸入/輸出(input/output,I/O)。為避免子樹遷移的影響,本文設置3臺大容量存儲裝置(mass storage device,MSD)。3臺MSD配置一樣。

應用本文方法前后,MDS集群吞吐量、平均操作延時與SD的映射關系如表1所示。

表1 MDS集群吞吐量、平均操作延時與SD的映射關系

由表1可知,SD值越大,表示MDS集群異構程度越高。在集群中,MSD配置一樣。在應用本文方法之前,吞吐量隨差異程度的增加呈下降趨勢;在應用本文方法之后,吞吐量隨差異程度的增加幅度變化不大,趨于穩定。在應用本文方法之前,集群平均操作延時隨差異程度的增加呈上升趨勢;在應用本文方法之后,隨差異程度的增加,集群平均操作延時幅度趨于穩定。由此說明,本文方法可有效地均衡電能表數據采集終端負載、提高元數據處理能力。

本文將MDS吞吐量、CPU占用率、心跳周期網絡I/O作為性能損耗評價指標。應用本文方法前后,性能損耗對比情況如表2所示。

表2 性能損耗對比情況

由表2可知,系統的各項性能在應用本文方法后都得到顯著提升。其中:指示目標MDS吞吐量降低317.63 s;生成文件MDS吞吐量降低81.70 s;CPU占用率降低6%;心跳周期網絡I/O速度提高40 Byte。這說明本文方法可降低系統開銷,且負載均衡效果較好。

3 結論

元數據訪問性能的高低,直接影響電能表數據采集終端的整體性能。本文針對電能表數據采集終端負載不均衡的問題,研究基于元模型的電能表數據采集終端負載自適應均衡方法。當元數據請求數量急劇增加時,啟動自適應機制來降低負載,使負載達到平衡。試驗結果表明,應用本文方法后,異構服務器具有較強的處理能力。其提高了元數據處理能力,表現出良好的負載均衡效果。

本文方法在一定程度上提高了電能表數據采集終端的整體性能,但仍存在不足。后續研究可增加指標選取數量,多角度分析本文方法性能;添加更加適宜的參數驗證本文方法的應用效果;加大對電能表數據采集終端服務器負載傾斜問題的研究力度,擴展本文方法的應用范圍。