用電信息采集接口測試數(shù)據(jù)傳輸請求量動態(tài)調(diào)整策略

， 　， ，

(1. 中國電力科學研究院， 北京 100192; 2. 國網(wǎng)浙江省電力公司電力科學研究院，浙江 杭州 310014)

用電信息采集系統(tǒng)為各類智能用電信息化系統(tǒng)提供基礎數(shù)據(jù)。為了解決對外提供數(shù)據(jù)的統(tǒng)一管理問題，系統(tǒng)中建立了統(tǒng)一接口數(shù)據(jù)平臺，為各類系統(tǒng)提供統(tǒng)一的接口服務。目前，單個省級電力公司每日傳輸?shù)臄?shù)據(jù)量高達數(shù)百萬條次，接口運行壓力巨大。為了保證統(tǒng)一接口平臺的運行穩(wěn)定性，需要對統(tǒng)一接口平臺進行測試。用電信息采集系統(tǒng)數(shù)據(jù)量非常龐大，依據(jù)目前規(guī)模，一個省級電力公司每日處理總數(shù)據(jù)量接近1 TB，因此在測試過程中面臨著海量數(shù)據(jù)的傳輸問題[1-2]。

目前，用電信息采集系統(tǒng)統(tǒng)一接口平臺主要采用Web Service的方式同外圍系統(tǒng)進行交互。Web Service具有跨平臺、通用性好等特點；但是，由于其采用基于XML的協(xié)議，需要接口雙方基于XML協(xié)議進行解析，在面臨海量數(shù)據(jù)交互時存在效率低的問題，因此必須研究一種適合海量數(shù)據(jù)的數(shù)據(jù)傳輸策略，以滿足統(tǒng)一接口平臺測試要求。

隨著數(shù)據(jù)應用不斷深化，電力企業(yè)對數(shù)據(jù)傳輸優(yōu)化的重視程度不斷提高，關于數(shù)據(jù)傳輸優(yōu)化問題的研究在各類科研及其應用領域廣泛開展。何恒靖等[3]研究了云計算在用電信息采集系統(tǒng)中的應用前景，對將云計算應用到數(shù)據(jù)傳輸策略中具有指導意義。彭立志[4]針對現(xiàn)有互聯(lián)網(wǎng)流量識別技術中存在的問題，如數(shù)據(jù)采集困難，特征提取技術和非平衡識別技術有待提高等，提出互聯(lián)網(wǎng)識別技術應發(fā)展的3個方向。鄭永康等[5]提出閉環(huán)設計的IEC 61850一致性測試系統(tǒng)，通過開放性的算例平臺提供自定義算例接口，可根據(jù)實際需要自行添加和修改測試算例。

從以上研究分析可以發(fā)現(xiàn)，傳統(tǒng)數(shù)據(jù)傳輸改進往往是采用固定的模式對數(shù)據(jù)請求進行發(fā)送，然而傳輸通道可能存在各種各樣的情況，例如高頻電磁干擾、傳輸線發(fā)生斷裂和通訊擁塞等，從而導致接口傳遞的數(shù)據(jù)出現(xiàn)錯誤和丟失。由于在最底層的計算機通信網(wǎng)絡提供的服務是不可靠的分組傳送，因此當傳送過程中出現(xiàn)錯誤以及在網(wǎng)絡硬件失效或網(wǎng)絡負荷太大時，數(shù)據(jù)包有可能丟失、延遲、重復和亂序，影響數(shù)據(jù)傳輸和處理的效率和可靠性。作為數(shù)據(jù)傳輸端的Web Service接口平臺對網(wǎng)絡負載的均衡提出更高的要求，傳統(tǒng)的數(shù)據(jù)傳輸方法在面臨上述問題時，其數(shù)據(jù)傳輸性能大幅降低，因此，必須研究一種基于反饋信息、自適應于網(wǎng)絡傳輸環(huán)境變化的數(shù)據(jù)傳輸策略。針對這一需求，本文中提出一種基于自適應動態(tài)反饋傳輸機制的數(shù)據(jù)傳輸請求調(diào)整策略，以達到增加傳輸數(shù)據(jù)量的目的，實現(xiàn)基于Web Service接口數(shù)據(jù)傳輸?shù)呢撦d均衡，保障測試數(shù)據(jù)并行處理能夠高效地開展。

1　數(shù)據(jù)傳輸請求量動態(tài)調(diào)整策略

1.1　基于測試環(huán)境的數(shù)據(jù)傳輸需求

為了實現(xiàn)用電信息采集系統(tǒng)與外部業(yè)務系統(tǒng)之間的數(shù)據(jù)交互所構建的接口一致性及互操作測試系統(tǒng)的運行，首先進行統(tǒng)一接口平臺的自動化測試，驗證統(tǒng)一接口平臺功能、性能等各方面指標是否滿足客戶要求，避免因接口錯誤導致信息交互異常。在對統(tǒng)一接口平臺進行測試的過程中，用接口一致性及互操作測試系統(tǒng)模擬外部業(yè)務系統(tǒng)，作為數(shù)據(jù)傳輸請求發(fā)送端，向采集系統(tǒng)發(fā)送傳輸數(shù)據(jù)請求。用電信息采集系統(tǒng)統(tǒng)一接口平臺作為數(shù)據(jù)傳輸介質(zhì)，負責將用電信息采集系統(tǒng)的數(shù)據(jù)傳輸?shù)綔y試系統(tǒng)；用電信息采集系統(tǒng)作為數(shù)據(jù)傳輸請求的接收端，負責發(fā)送請求數(shù)據(jù)。作為數(shù)據(jù)傳輸請求的源頭，測試系統(tǒng)需采用合適的傳輸控制手段，在資源允許的前提下，最大限度地降低接口的網(wǎng)絡負擔，提高接口的吞吐能力，使測試數(shù)據(jù)高效、準確地傳輸，保障測試系統(tǒng)的數(shù)據(jù)處理能力。

為了滿足用電信息采集系統(tǒng)與外部業(yè)務系統(tǒng)跨平臺、安全的數(shù)據(jù)交互需求，用電信息采集系統(tǒng)統(tǒng)一接口平臺采用Web Service的數(shù)據(jù)交互方式。Web Service的傳輸數(shù)據(jù)由標準文本組成，任何平臺和程序語言都可以使用；格式的轉換不受限制，可以滿足不同應用系統(tǒng)的需求，但是，當接口平臺的數(shù)據(jù)交互量較大時，解釋程序的執(zhí)行效率會變低，大批量數(shù)據(jù)交互將會受限，且一旦發(fā)生數(shù)據(jù)傳輸中斷，整個數(shù)據(jù)包必須重傳[6]。為了保證統(tǒng)一接口平臺高效的數(shù)據(jù)傳輸，應盡可能避免數(shù)據(jù)重傳。

基于以上測試環(huán)境的數(shù)據(jù)傳輸需求，數(shù)據(jù)傳輸時不僅需要考慮各種影響因素，還需要考慮數(shù)據(jù)傳輸介質(zhì)的傳輸效率[7]。選擇合適的數(shù)據(jù)傳輸請求量，一方面可以避免數(shù)據(jù)傳輸過程中出現(xiàn)錯誤，另一方面可以避免網(wǎng)絡硬件失效或網(wǎng)絡負荷太大的異常情況，確保測試系統(tǒng)自動地完成動態(tài)數(shù)據(jù)傳輸。基于以上考慮，本文中提出一種基于動態(tài)資源的數(shù)據(jù)傳輸請求量調(diào)整策略，該策略在不同的傳輸負載情況下，自動根據(jù)傳輸接口的資源信息，采用不同的調(diào)整策略，實時調(diào)整數(shù)據(jù)傳輸請求量，從而在保證數(shù)據(jù)傳輸可靠性和抗干擾性的基礎上實現(xiàn)數(shù)據(jù)的高效傳輸。

1.2　數(shù)據(jù)傳輸請求量動態(tài)調(diào)整策略設計

為了保證采集系統(tǒng)發(fā)送的數(shù)據(jù)能夠完整、高效地通過統(tǒng)一接口平臺傳輸?shù)綔y試系統(tǒng)，需要借助標準傳輸控制(TCP)擁塞控制的原理，設計一種根據(jù)傳輸接口負載情況動態(tài)調(diào)整數(shù)據(jù)傳輸請求量的傳輸策略。根據(jù)當前周期測試端已接收數(shù)據(jù)量和待傳數(shù)據(jù)量，對比當前周期接收數(shù)據(jù)的總耗時，預估下一周期的待傳數(shù)據(jù)量即下一周期傳輸負載率R。將R映射至3個不同效用區(qū)域，根據(jù)R的取值確定數(shù)據(jù)傳輸請求量的調(diào)整策略。在不同R取值下，數(shù)據(jù)傳輸請求量增長示意圖如圖1所示。

圖1　數(shù)據(jù)傳輸請求量增長示意圖

由圖可以看出，根據(jù)傳輸負載率R將數(shù)據(jù)傳輸請求策略分為3個步驟，分別為“快速啟動”“平緩增長”和“回歸發(fā)送”。在低負載區(qū)域，測試端采用“快速啟動”策略以“數(shù)據(jù)快速增長”方式增加數(shù)據(jù)傳輸請求量，盡快提高傳輸路徑的負載量，同時避免不必要的數(shù)據(jù)包丟失；在高負載區(qū)域，采用“平緩增長”策略以“線性方式”調(diào)整數(shù)據(jù)傳輸請求量，減少突發(fā)數(shù)據(jù)量的產(chǎn)生，盡量維持穩(wěn)定數(shù)據(jù)傳輸發(fā)送請求，避免數(shù)據(jù)傳輸請求的丟失概率增加；當傳輸路徑出現(xiàn)過載時，采用“回歸發(fā)送”策略，先減少數(shù)據(jù)傳輸請求量，然后計算R值，映射到對應的負載區(qū)域，再次調(diào)整數(shù)據(jù)傳輸請求量。動態(tài)調(diào)整數(shù)據(jù)傳輸請求量的傳輸策略流程如圖2所示。

從圖中可知，閾值直接關系到數(shù)據(jù)傳輸請求量的策略選擇，因此需要設計一種基于動態(tài)規(guī)劃的最優(yōu)閾值控制策略，有效增強網(wǎng)絡數(shù)據(jù)傳輸性能，降低接口網(wǎng)絡負擔，提高接口吞吐能力，保證系統(tǒng)的整體處理能力。

2　數(shù)據(jù)傳輸請求量動態(tài)調(diào)整策略實現(xiàn)

2.1　影響數(shù)據(jù)傳輸?shù)闹饕蛩?/h3>

在進行接口數(shù)據(jù)傳輸時,網(wǎng)絡負荷過大、數(shù)據(jù)傳輸資源缺乏等情況下可能會出現(xiàn)數(shù)據(jù)丟失、 延遲以及重復的現(xiàn)象。為了確保測試系統(tǒng)能夠利用現(xiàn)有資源動態(tài)調(diào)整數(shù)據(jù)傳輸狀態(tài)，提高數(shù)據(jù)傳輸效率、處理效率和可靠性，需要對以下影響數(shù)據(jù)傳輸?shù)闹饕蛩剡M行分析[8]。

D—數(shù)據(jù)傳輸請求量；ρ—負載閾值;R—傳輸負載率。圖2　動態(tài)調(diào)整數(shù)據(jù)傳輸請求量的傳輸策略流程圖

1)傳輸負載率。傳輸負載是在傳輸路徑中已承載的數(shù)據(jù)傳輸量。在傳輸帶寬一定的條件下，傳輸負載會影響數(shù)據(jù)傳輸時間和測試端的數(shù)據(jù)接收效率。當數(shù)據(jù)傳輸延遲，測試端就可能將傳輸失敗的結果反饋給接口平臺，接口平臺接收到測試系統(tǒng)的傳輸失敗反饋后會將數(shù)據(jù)重新發(fā)送，這樣便會加大傳輸路徑的負載壓力，這也是將傳輸負載作為影響數(shù)據(jù)傳輸?shù)闹饕蛩刂籟9]。

為了衡量傳輸負載的傳輸效果，將其與傳輸路徑可提供的最大傳輸量進行比例計算作為下一周期傳輸負載率R，其計算公式為

(1)

式中：v為時間間隔ti測試方接收的數(shù)據(jù)量，v/ti表示單位時間內(nèi)測試端平均數(shù)據(jù)傳輸量；α為當前周期傳輸數(shù)據(jù)量與下一周期傳輸數(shù)據(jù)量的參數(shù)比；β為待傳輸數(shù)據(jù)量的傳輸時間與已傳輸數(shù)據(jù)量的時間參數(shù)比；ζ為傳輸路徑的利用率；C為傳輸路徑的最大帶寬；tρ為到達負載閾值ρ所用的時間。

2)可用帶寬。傳輸路徑中的可用帶寬作為數(shù)據(jù)傳輸?shù)闹匾Y源，對數(shù)據(jù)傳輸效率有著重大影響[10]。本文中使用測試端觀測到的數(shù)據(jù)傳輸完畢后的響應速率來估計數(shù)據(jù)傳輸時的可用帶寬。數(shù)據(jù)傳輸完畢返回的響應速率與數(shù)據(jù)傳輸量、數(shù)據(jù)傳輸時間以及數(shù)據(jù)傳輸請求信息有關，具體表示為

(2)

式中：bn為在tn時刻第n個數(shù)據(jù)傳輸完畢時估計的可用帶寬；tn-1為第n-1個數(shù)據(jù)傳輸完畢的時刻；vn為第n個數(shù)據(jù)傳輸量；dn為tn時刻數(shù)據(jù)傳輸請求的端到端時延，通常以第n個數(shù)據(jù)傳輸請求的端到端往返時間進行確定。

2.2　數(shù)據(jù)傳輸請求量計算

基于數(shù)據(jù)傳輸策略設計，測試端根據(jù)影響數(shù)據(jù)傳輸?shù)闹饕蛩胤謩e執(zhí)行不同的策略，實現(xiàn)數(shù)據(jù)傳輸請求數(shù)量的動態(tài)調(diào)整。本文中基于傳輸路徑的負載狀況選擇不同的數(shù)據(jù)傳輸請求量調(diào)整策略。任意時刻t，當0≤R<ρ(ρ為負載閥值)時，即負載尚未到達高負載閾值時，測試端則采用“快速啟動”策略，快速的增加數(shù)據(jù)傳輸請求量，即

(3)

式中：D為本次數(shù)據(jù)傳輸請求量；D′為上次數(shù)據(jù)傳輸請求量；a為第n-1次請求數(shù)據(jù)傳輸時間與第n-2次請求數(shù)據(jù)傳輸時間的倍數(shù)。

當ρ

(4)

當R>1時，數(shù)據(jù)傳輸請求量“回歸發(fā)送”，測試端謹慎地減小數(shù)據(jù)傳輸請求量，即

(5)

2.3　基于動態(tài)規(guī)劃的最優(yōu)閾值控制策略

上節(jié)中基于傳輸負載率對數(shù)據(jù)傳輸請求量進行動態(tài)調(diào)整，傳輸負載率所在的區(qū)間決定了數(shù)據(jù)傳輸請求量的計算方式，在“快速啟動”階段的數(shù)據(jù)傳輸請求量迅速增長，達到短時間內(nèi)提升數(shù)據(jù)傳輸率的目的。達到負載閾值后，此時數(shù)據(jù)傳輸請求量維持在一個較高的水平，且變化相對緩慢，在整個數(shù)據(jù)傳輸過程中占比為75%以上，因此高低負載分界的閾值ρ在數(shù)據(jù)傳輸請求量的調(diào)整中起到關鍵作用。本節(jié)中提出一種基于動態(tài)規(guī)劃的最優(yōu)閾值控制策略，對閾值ρ進行動態(tài)優(yōu)化調(diào)整。

2)對[ρmin,ρmax]內(nèi)的閾值進行遍歷賦值，

(6)

(7)

①若vk≥vmax，返回步驟5)，

②若vk

6)若vk-vk-1<0且n≤3，則k=k+1，將第k次迭代的集合ρk內(nèi)最大值賦值給ρmax，最小值賦值給ρmin，n=n+1，返回步驟2)。

7)若vk-vk-1<0且n>3，返回步驟1)。

基于動態(tài)規(guī)劃確定最優(yōu)閾值ρ， 以實現(xiàn)最大數(shù)據(jù)傳輸速率， 避免數(shù)據(jù)處理延時的影響， 當傳輸路徑、 傳輸質(zhì)量變化時， 可對閾值ρ進行重新迭代優(yōu)化。

在數(shù)據(jù)傳輸過程中，根據(jù)傳輸路徑的實時資源動態(tài)調(diào)整數(shù)據(jù)傳輸請求量和最優(yōu)負載率閾值，有效地降低了數(shù)據(jù)傳輸過程中的丟包率，同時更好地保證數(shù)據(jù)傳輸?shù)目煽啃浴?/p>

3　實驗及分析

實驗運行環(huán)境部署于某省級電力公司運行的用電信息采集統(tǒng)一接口平臺測試系統(tǒng)，使用2臺4路PC服務器搭建測試服務器，用電信息采集系統(tǒng)統(tǒng)一接口平臺與接口測試系統(tǒng)之間建立2條測試用數(shù)據(jù)鏈路，其中一條帶寬為1 Gbps的以太網(wǎng)，另一條為4條帶寬為1 Gbps聚合而成的以太網(wǎng)，其帶寬接近4 Gbps。 選取該電力公司2016年7—9月500萬家典型用戶的部分采集數(shù)據(jù)作為接口測試數(shù)據(jù)，其中高壓客戶數(shù)量為10萬家,低壓客戶數(shù)量為490萬家。

3.1　傳輸數(shù)據(jù)量測試

通過前面的描述可知，在傳輸負載率取值不同的情況下，數(shù)據(jù)傳輸請求量選擇不同的調(diào)整策略。在不同的數(shù)據(jù)請求量情況下，數(shù)據(jù)傳輸?shù)臄?shù)據(jù)量不同，通過2組實驗，在相同時間內(nèi)，分別在不同帶寬、不同數(shù)據(jù)源數(shù)量前提下進行10次測試，比較本文中提出的策略與經(jīng)典擁塞控制的TCP Westwood算法的平均數(shù)據(jù)量[11]。

TCP Westwood算法的主要思想是通過在發(fā)送端持續(xù)不斷地檢測確認字符(acknowledgement,ACK)的到達速率來進行帶寬估計，當擁塞發(fā)生時用帶寬估計值來調(diào)整擁塞窗口和慢啟動閾值，采用累加增長適應下調(diào)(additive increase and adaptive decreasen,AIAD)的擁塞控制機制。TCP Westwood算法能夠提高網(wǎng)絡的吞吐量，且具有良好的公平性和與現(xiàn)行網(wǎng)絡的互操作性[12]；但是，由于該算法不能很好地判別傳輸過程中丟包的原因，因此會導致?lián)砣麢C制頻繁調(diào)用，造成處理效率降低。

實驗1。選取帶寬為1 Gbps的通信鏈路，測試端模擬外部業(yè)務系統(tǒng)的數(shù)據(jù)請求發(fā)送源個數(shù)為k，k的取值從[1,16]、[80,100]、[1,100]這3個范圍隨機選取10次，測試不同k值下TCP Westwood算法和本文中提出的策略在1 s時間內(nèi)測試系統(tǒng)接收到的數(shù)據(jù)量，最后求10次實驗的平均數(shù)據(jù)量，其結果如圖3所示。

圖3　帶寬為1 Gbps時的平均數(shù)據(jù)量

實驗2。選取帶寬為4 Gbps的通信鏈路，測試端模擬外部業(yè)務系統(tǒng)的數(shù)據(jù)請求發(fā)送源個數(shù)為k，k的取值從[1,16]、[80,100]、[1,100]這3個范圍隨機選取10次，測試不同k值下TCP Westwood算法和本文中提出的策略在1 s時間內(nèi)測試系統(tǒng)接收到的數(shù)據(jù)量，最后求10次實驗的平均數(shù)據(jù)量，其結果如圖4所示。

圖4　帶寬為4 Gbps時的平均數(shù)據(jù)量

由圖3、4中可以看出，在系統(tǒng)測試環(huán)境下，數(shù)據(jù)源個數(shù)較少、個數(shù)較多、個數(shù)變化量較大時，數(shù)據(jù)傳輸請求量動態(tài)調(diào)整策略相對傳統(tǒng)測試數(shù)據(jù)傳輸方式均增大了數(shù)據(jù)傳輸?shù)臄?shù)據(jù)量，且穩(wěn)定性能更好。

3.2　可靠性性能測試

在不同的帶寬下，分別測試本文中提出的策略與TCP Westwood算法丟失數(shù)據(jù)量，比較這2個算法的可靠性[12]。

實驗中分別在帶寬是1、4 Gbps時，測試端模擬外部業(yè)務系統(tǒng)的數(shù)據(jù)請求發(fā)送源個數(shù)為k，k的取值從[1,16]、[80,100]、[1,100]這3個范圍隨機選取10次，求取10次數(shù)據(jù)傳輸丟棄數(shù)據(jù)量的平均值。本文中提出的策略與TCP Westwood算法的實驗結果如圖5、 6所示。

圖5　1 Gbps帶寬下數(shù)據(jù)請求丟棄總量對比圖

圖6　4 Gbps帶寬下數(shù)據(jù)請求丟棄總量對比圖

在不同帶寬條件下，測試系統(tǒng)采用本文中提出的調(diào)整策略造成的數(shù)據(jù)請求丟棄量均少于傳統(tǒng)算法。由于丟棄數(shù)減少，因此重傳及超時也隨之減少，提高了數(shù)據(jù)傳輸路徑的利用率。

3.3　閾值變化對數(shù)據(jù)傳輸影響測試

在帶寬為4 Gbps、數(shù)據(jù)源個數(shù)k=20的條件下，觀察閾值ρ對數(shù)據(jù)傳輸?shù)挠绊憽．敠讶」潭ㄖ禃r，與基于動態(tài)規(guī)劃的最優(yōu)閾值控制策略生成的動態(tài)ρ進行數(shù)據(jù)傳輸時間的對比分析。ρ固定值取0.3，在閾值控制策略中初始ρmin=0.1、ρmax=1和m=20。傳輸效率對比結果如圖7所示。由圖可以看出，在數(shù)據(jù)傳輸量相同情況下，閾值ρ變化時的數(shù)據(jù)傳輸時間要少于閾值ρ是固定值時的，特別是當傳輸數(shù)據(jù)量增大到百萬級別時，傳輸時間差距更為明顯。

圖7　閾值變化對數(shù)據(jù)傳輸時間的影響

由以上實驗數(shù)據(jù)可知，數(shù)據(jù)傳輸量動態(tài)調(diào)整策略具有較好的穩(wěn)定性和對TCP友好性。根據(jù)影響數(shù)據(jù)傳輸效率的因素參數(shù)進行動態(tài)傳輸數(shù)據(jù)請求量的調(diào)整，從而獲得較大的網(wǎng)絡傳輸量，減少擁塞的發(fā)生，減小了數(shù)據(jù)請求的丟棄率。利用基于動態(tài)規(guī)劃的最優(yōu)閾值控制策略對閾值ρ進行動態(tài)生成，從而更加準確地獲取傳輸數(shù)據(jù)請求量，縮短數(shù)據(jù)傳輸時間，提高數(shù)據(jù)傳輸效率。

4　結語

本文中提出的數(shù)據(jù)傳輸請求量動態(tài)調(diào)整策略，改進了傳統(tǒng)測試數(shù)據(jù)傳輸方法。基于數(shù)據(jù)傳輸路徑的傳輸負載率，將負載率映射到對應的效應區(qū)間，分別采用“快速啟動”“平緩增長”“回歸發(fā)送”的數(shù)據(jù)傳輸請求量調(diào)整策略，以負載估計、可用帶寬估計動態(tài)調(diào)整測試端的數(shù)據(jù)傳輸請求量。為了減少數(shù)據(jù)傳輸量時變及反饋數(shù)據(jù)延遲的影響，提出了基于動態(tài)規(guī)劃的最優(yōu)閾值調(diào)整策略，實現(xiàn)關鍵閾值的動態(tài)調(diào)整。

實驗結果表明，數(shù)據(jù)傳輸量動態(tài)調(diào)整策略不僅有效增大傳輸?shù)臄?shù)據(jù)量，減少數(shù)據(jù)請求丟棄量，降低數(shù)據(jù)傳輸壓力，而且通過動態(tài)規(guī)劃的方法調(diào)整最優(yōu)負載率閾值，提高了數(shù)據(jù)傳輸效率。綜上，本策略高效可行，能夠改善用電信息采集系統(tǒng)統(tǒng)一接口測試數(shù)據(jù)的傳輸能力和可靠性，保障后續(xù)接口測試工作的開展。