電力通信運(yùn)行方式自動(dòng)生成系統(tǒng)設(shè)計(jì)

摘要：目前，電力通信網(wǎng)運(yùn)行方式主要依靠人工選擇路徑，工作效率較低，且容易存在疏漏的情況，亟須借助新技術(shù)手段實(shí)現(xiàn)通信方式的自動(dòng)規(guī)劃。因此，文章設(shè)計(jì)了一套電力通信運(yùn)行方式自動(dòng)生成系統(tǒng)方案，通過挖掘通信方式自動(dòng)規(guī)劃的有效方法，建立通信方式自動(dòng)生成模型和深度學(xué)習(xí)模型，以此實(shí)現(xiàn)保護(hù)、安穩(wěn)類業(yè)務(wù)的自動(dòng)路由規(guī)劃，期望能夠改善電力通信網(wǎng)運(yùn)行現(xiàn)狀，提高通信線路運(yùn)行效率。

關(guān)鍵詞：電力通信網(wǎng)；通信方式；自動(dòng)生成系統(tǒng)

doi：10.3969/J.ISSN.1672-7274.2023.03.024

中圖分類號(hào)：TN 915.06" " " " " " " "文獻(xiàn)標(biāo)示碼：A" " " " " " " "文章編碼：1672-7274（2023）03-00-03

Design of Automatic Generation System for Power Communication Operation Mode

SUN Chao" LI Li

（State Grid Shandong Electric Power Company Information and Communication Company， Jinan 250001， China）

Abstract： At present， the operation mode of communication network mainly depends on manual route selection， which is inefficient and prone to omissions. It is urgent to realize automatic planning of communication mode by means of new technologies. Therefore， this paper designs the scheme of automatic generation system of power communication operation mode. By mining the effective methods of automatic planning of communication mode， the automatic generation model and deep learning model of communication mode are established to realize the automatic routing planning of protection and security services. It is expected to improve the operation status of power communication network and improve the operation efficiency of communication lines.

Key words： electric power communication network; communication mode; automatic generation system

電力通信網(wǎng)運(yùn)行方式是支撐電網(wǎng)業(yè)務(wù)安全、穩(wěn)定運(yùn)行的關(guān)鍵基礎(chǔ)，方式安排不合理可能會(huì)出現(xiàn)單點(diǎn)故障導(dǎo)致電網(wǎng)生產(chǎn)業(yè)務(wù)大面積中斷，甚至造成線路或機(jī)組停運(yùn)的情況[1]。目前通信系統(tǒng)的方式規(guī)劃無(wú)法自動(dòng)生成，需要人工選擇路徑[2]。本文設(shè)計(jì)了一種電力通信運(yùn)行方式自動(dòng)生成系統(tǒng)，采用KSP算法，建立通信方式自動(dòng)生成模型，并采用DDPG方法，建立深度強(qiáng)化學(xué)習(xí)模型，將兩個(gè)模型進(jìn)行融合，最終構(gòu)成影響通道可靠性因素的深度強(qiáng)化學(xué)習(xí)模型，解決了通信方式無(wú)法自動(dòng)規(guī)劃路由的問題，實(shí)現(xiàn)方式規(guī)劃的合理化、規(guī)范化，保證電力通信網(wǎng)的運(yùn)行效率及安全。

1" 通信方式自動(dòng)生成模型

本文設(shè)計(jì)的電力通信網(wǎng)運(yùn)行方式自動(dòng)生成系統(tǒng)使用標(biāo)準(zhǔn)的B/S架構(gòu)體系，采用統(tǒng)一的LAMP開發(fā)平臺(tái)，應(yīng)用TMS2.0和調(diào)控云模型作為系統(tǒng)的基礎(chǔ)模型，并綜合了Dijkstra算法和Yen’s k條最短路徑算法，自動(dòng)規(guī)劃模型。通過建立模型，制定方式規(guī)劃的約束條件，對(duì)通信網(wǎng)路徑進(jìn)行精準(zhǔn)地預(yù)測(cè)、規(guī)劃，計(jì)算出適合的電力通信路徑，從而實(shí)現(xiàn)通信網(wǎng)方式的自動(dòng)規(guī)劃。

1.1 設(shè)置約束條件

通過梳理支持自動(dòng)規(guī)劃通信方式所需的資源，規(guī)定限定模型的約束條件主要為路由傳輸時(shí)延、節(jié)點(diǎn)占用率以及路由可靠性。路由傳輸時(shí)延是影響通信效率的重要因素，通信中路由傳輸總時(shí)延的計(jì)算方法如式（1）。

式中，為通信電層的傳輸時(shí)延；為光電映射接口的傳輸時(shí)延；為通信光層的傳輸時(shí)延；則為此路由的時(shí)延上限，可由管理員自行設(shè)定數(shù)值。因此，路由時(shí)延的約束條件為。在通信傳輸過程中，節(jié)點(diǎn)占用率的計(jì)算方法如式（2）。

式中，表示節(jié)點(diǎn)i的占用率；為當(dāng)前傳輸中加載的業(yè)務(wù)數(shù)量；表示業(yè)務(wù)d是否為通過節(jié)點(diǎn)i的影響因子，若業(yè)務(wù)d的傳輸經(jīng)過節(jié)點(diǎn)i，數(shù)值取1，反之則取0；表示業(yè)務(wù)d所占的鏈路容量；j為業(yè)務(wù)d通過節(jié)點(diǎn)i后到達(dá)的下一節(jié)點(diǎn)；V為節(jié)點(diǎn)集合；為節(jié)點(diǎn)i至節(jié)點(diǎn)j形成鏈路ij的鏈路總?cè)萘俊９?jié)點(diǎn)占用率的約束條件為。此外，路由的業(yè)務(wù)可靠度是路由規(guī)劃中的重要考量點(diǎn)，計(jì)算方法如式（3）。

式中，為業(yè)務(wù)路徑P的綜合可靠度；為相應(yīng)的節(jié)點(diǎn)可靠度；為相應(yīng)的鏈路可靠度；R（major）為業(yè)務(wù)主路徑的可靠度；R（backup）為業(yè)務(wù)備份路徑的可靠度。約束條件為，為所允許的最小路由可靠度。通過以上的限定條件約束，得到自動(dòng)生成通信路由的優(yōu)化目標(biāo)，如式（4）。

式中，為鏈路利用率標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差越小，則表示節(jié)點(diǎn)分配和業(yè)務(wù)負(fù)載越均衡，可視為通信路由規(guī)劃方式優(yōu)越性的衡量指標(biāo)。

1.2 實(shí)現(xiàn)模型求解

由于Dijkstra算法在限定條件下只能自動(dòng)生成一條最佳路徑并進(jìn)行優(yōu)化，而Yen’s k條最短路徑算法采用偏離路徑算法的基本思想，通過Dijkstra算法計(jì)算出最短路徑后，繼續(xù)生成k-1條最短路徑，為通信方式提供更多的路由選擇。當(dāng)需要規(guī)劃路由進(jìn)行電力通信傳輸時(shí)，系統(tǒng)將對(duì)保留下來(lái)的各條通信路徑加載后的鏈路利用率標(biāo)準(zhǔn)差進(jìn)行計(jì)算，得到具有最小標(biāo)準(zhǔn)差的通信路徑作為業(yè)務(wù)路由，實(shí)現(xiàn)最優(yōu)通信方式路徑的自動(dòng)規(guī)劃。

2" 通信方式深度強(qiáng)化學(xué)習(xí)模型

2.1 設(shè)置訓(xùn)練策略

電力通信網(wǎng)的實(shí)際運(yùn)行過程中，許多因素都面臨著無(wú)法預(yù)知的變動(dòng)可能，因此本文設(shè)計(jì)的系統(tǒng)同時(shí)應(yīng)用了DDPG方法，通過建立深度強(qiáng)化學(xué)習(xí)模型，并將其與通信方式自動(dòng)生成模型進(jìn)行融合，使系統(tǒng)擁有更高的自主性和智能性。

2.2 進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練

使用策略梯度方法對(duì)Actor網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，設(shè)定確定性動(dòng)作的神經(jīng)網(wǎng)絡(luò)參數(shù)為，通信路由環(huán)境狀態(tài)為s，路由動(dòng)作為a，，路由方式策略梯度的表示方法如式（5）。

式中，為優(yōu)化目標(biāo)；表示參數(shù)向量的策略；t為時(shí)刻；為t時(shí)刻下，以i為源節(jié)點(diǎn)的路由環(huán)境狀態(tài)向量；為t時(shí)刻下，以i為源節(jié)點(diǎn)的路由動(dòng)作向量；為策略下生成的軌跡數(shù)量；為一條軌跡的長(zhǎng)度，為訓(xùn)練學(xué)習(xí)獎(jiǎng)勵(lì)。根據(jù)梯度上升方法，對(duì)代表策略權(quán)重的不斷進(jìn)行更新，直到生成最優(yōu)策略，如式（6）。

式中，為學(xué)習(xí)參數(shù)，通過改變，獲得最優(yōu)策略參數(shù)，使目標(biāo)函數(shù)的求解最大化，進(jìn)而實(shí)現(xiàn)動(dòng)作價(jià)值的最大化。使用DQN方法對(duì)Critic網(wǎng)絡(luò)進(jìn)行訓(xùn)練，主要是通過目標(biāo)網(wǎng)絡(luò)模擬Q函數(shù)，計(jì)算出相應(yīng)的Q值，對(duì)Actor網(wǎng)絡(luò)訓(xùn)練中的動(dòng)作行為進(jìn)行評(píng)價(jià)，并為Actor網(wǎng)絡(luò)更新策略參數(shù)提供指導(dǎo)方向，從目標(biāo)網(wǎng)絡(luò)獲取Q值的計(jì)算方法如式（7）。

式中，為通信路徑的衰減因子。由于深度學(xué)習(xí)屬于監(jiān)督學(xué)習(xí)，因此預(yù)測(cè)值與真實(shí)值之間存在誤差，可以利用損失函數(shù)以最優(yōu)策略的網(wǎng)絡(luò)Q值作為衡量指標(biāo)，并進(jìn)行反向傳播，損失函數(shù)表達(dá)公式如式（8）。

損失函數(shù)值越小，代表預(yù)測(cè)值與真實(shí)值之間的誤差越小。同時(shí)，在深度強(qiáng)化學(xué)習(xí)模型中，路由動(dòng)作a的獎(jiǎng)勵(lì)r是考查策略效果的有效標(biāo)準(zhǔn)，計(jì)算公式如式（9）。

式中，Delay為路由延遲率；Occupy為網(wǎng)絡(luò)節(jié)點(diǎn)占用率；RRD為路由可靠度，其他影響業(yè)務(wù)QoS的因素統(tǒng)一以表示；a、b、c分別為三種主要考慮因素的權(quán)重參數(shù)。得到的訓(xùn)練學(xué)習(xí)獎(jiǎng)勵(lì)r數(shù)值越大，表示獲得這一獎(jiǎng)勵(lì)的路由策略越好。

2.3 實(shí)現(xiàn)深度強(qiáng)化學(xué)習(xí)

將深度學(xué)習(xí)模型與自動(dòng)生成模型相結(jié)合，路由規(guī)劃的訓(xùn)練學(xué)習(xí)流程如圖1所示。

當(dāng)系統(tǒng)開展基于深度強(qiáng)化學(xué)習(xí)的路由規(guī)劃算法訓(xùn)練時(shí)，首先需要對(duì)各參數(shù)值進(jìn)行設(shè)定。根據(jù)自動(dòng)生成模型中的約束條件，篩選符合條件的路徑及動(dòng)作，選擇一個(gè)動(dòng)作a，得到下一個(gè)狀態(tài)s’，以此完成網(wǎng)絡(luò)節(jié)點(diǎn)的轉(zhuǎn)移，生成相應(yīng)的策略。根據(jù)算法，對(duì)生成的策略進(jìn)行測(cè)算，查看其是否為最優(yōu)策略，進(jìn)入評(píng)估策略價(jià)值步驟后，通過衡量其優(yōu)劣與價(jià)值，使系統(tǒng)完成深度強(qiáng)化學(xué)習(xí)的經(jīng)驗(yàn)積累。在完成訓(xùn)練學(xué)習(xí)后，系統(tǒng)將根據(jù)計(jì)算出的更優(yōu)策略參數(shù)值，對(duì)其進(jìn)行更新，將更優(yōu)策略參數(shù)值帶入到下一次學(xué)習(xí)中，直到獲得最優(yōu)策略參數(shù)值。深度強(qiáng)化學(xué)習(xí)模型與通信方式自動(dòng)生成模型融合后，能夠進(jìn)一步促進(jìn)系統(tǒng)路徑規(guī)劃的智能性。

3" 仿真實(shí)驗(yàn)

3.1 實(shí)驗(yàn)準(zhǔn)備

為驗(yàn)證該系統(tǒng)模型的可行性，應(yīng)用MATLAB程序開展仿真實(shí)驗(yàn)，通過Networkx平臺(tái)對(duì)某地方的電力通信網(wǎng)絡(luò)進(jìn)行仿真拓?fù)洌S機(jī)選取節(jié)點(diǎn)數(shù)為3 094個(gè)，弧線數(shù)為6 778條的實(shí)驗(yàn)網(wǎng)絡(luò)范圍，節(jié)點(diǎn)之間假設(shè)以光纖電纜相互連接，模擬光纜類型為48芯單模光纖，對(duì)電力通信網(wǎng)實(shí)驗(yàn)環(huán)境進(jìn)行仿真，以此開展實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)結(jié)果

隨機(jī)挑選8個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，并以2個(gè)節(jié)點(diǎn)為1組，將實(shí)驗(yàn)節(jié)點(diǎn)分為4組進(jìn)行仿真實(shí)驗(yàn)，首先將各組的2個(gè)節(jié)點(diǎn)分別作為通信路由規(guī)劃的源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)，并將其輸入到由MATLAB軟件模擬出的通信方式自動(dòng)生成系統(tǒng)中，設(shè)定KSP算法中的k值為5。以數(shù)值1 000為統(tǒng)一的業(yè)務(wù)量，對(duì)各節(jié)點(diǎn)組展開通信方式自動(dòng)生成系統(tǒng)的仿真實(shí)驗(yàn)，實(shí)驗(yàn)中的有關(guān)數(shù)據(jù)信息如下。

由表1可知，通信方式自動(dòng)生成系統(tǒng)在兩次實(shí)驗(yàn)中所規(guī)劃的通信最短路徑的平均路由時(shí)延全部小于0.03 s，通信最短路徑中的節(jié)點(diǎn)占用率整體不高于40%，且在對(duì)兩次實(shí)驗(yàn)中生成的全部路徑進(jìn)行檢查后，未發(fā)現(xiàn)存在不符合系統(tǒng)約束限定條件的路徑。業(yè)務(wù)數(shù)量對(duì)通信運(yùn)行也會(huì)造成一定的影響，利用不同的業(yè)務(wù)數(shù)量對(duì)系統(tǒng)進(jìn)行再次實(shí)驗(yàn)，計(jì)算平均實(shí)驗(yàn)數(shù)據(jù)，得到表2結(jié)果。

由表2可知，算法平均運(yùn)行時(shí)間、最短路徑平均網(wǎng)絡(luò)丟包率以及鏈路利用率標(biāo)準(zhǔn)差都隨著業(yè)務(wù)數(shù)量的增加而增加，但得到的結(jié)果數(shù)據(jù)仍相對(duì)較低，業(yè)務(wù)數(shù)量對(duì)本系統(tǒng)的通信運(yùn)行方式造成的影響并不嚴(yán)重，證明了系統(tǒng)的可行性和有效性。

4" 結(jié)束語(yǔ)

綜上所述，通過建立影響通道可靠性因素的深度強(qiáng)化學(xué)習(xí)模型，能夠有效解決通信方式無(wú)法自動(dòng)規(guī)劃路由的問題，充分提高電網(wǎng)業(yè)務(wù)通道路由的智能規(guī)劃能力。從仿真實(shí)驗(yàn)結(jié)果來(lái)看，本系統(tǒng)可以自動(dòng)根據(jù)通信線路情況進(jìn)行路由規(guī)劃，有效生成電子通信方式路徑，具有良好的可行性，可以切實(shí)提升電力通信網(wǎng)的運(yùn)行效率，增強(qiáng)電網(wǎng)運(yùn)行安全穩(wěn)定性。■

參考文獻(xiàn)

[1] 朱小琴，袁暉，王維洲，等．基于深度強(qiáng)化學(xué)習(xí)的電力通信網(wǎng)路由策略[J]．科學(xué)技術(shù)創(chuàng)新，2019（36）：91-93.

[2] 陸俊，林偉偉．基于改進(jìn)KSP的電力通信網(wǎng)雙路由均衡算法[J]．電力信息與通信技術(shù)，2021，19（9）：135-140.