新能源發電企業大數據中心提高數據采集質量的方法及其有效性分析

陳瑞

（大唐云南發電有限公司，云南 昆明 650000）

0 前言

中國承諾力爭用全球歷史上最短時間推進碳達峰至碳中和，重構安全高效、清潔低碳的能源體系勢在必行。電力行業順應政策要求，各大電力集團均在有序開展電力產業布局及發電結構調整方面，提出新舉措并積極推進。其中，加大對風電、光伏產業的開發、投資及建設力度，是各發電企業的共識，也是目前各企業采取的基本措施。伴隨各地政府發改委及能源機構的政策扶持及屬地電網的支持，新能源項目快速落地并建成投產發電。風電、光伏等新能源發電生產形式屬高度集成、高度自動化模式，較燃煤、燃氣等發電企業，體現出了更高的技術密集性。操作及維護人員減少與新能源電力生產過程需要更高技術水平及業務能力的人員支撐，形成了當前生產過程中的主要矛盾。傳統發電企業的的生產運營管理模式已不能滿足當前集約高效、安全節能的要求，各發電企業均加大了對生產數據價值、人員效率及技術能力、生產管理效益的挖掘，集中資金讓高技術能力的人集中干提高生產效率的事情，發電企業集團級新能源大數據中心孕育而生。

1 數據質量存在的突出問題及原因分析

隨著新能源發電企業逐步推進“集中控制、無人值班、少人值守、區域運維”的生產管理模式，集團級大數據中心的數據價值挖掘能力也在逐漸顯現。大數據中心在生產指揮體系里發揮作用的同時，數據中心的數據質量問題也在日漸凸顯：電量考核指標失真、風機狀態不準、故障停機統計有誤、風速與功率數據不匹配等。造成大數據中心統計、分析出的數據結果不能正常指導發電企業對電力生產運營過程進行管控。直接反映出的問題是大數據中心的決策輔助數據失效，即數據有效性降低。下文將對電力生產數據從現場產生、采集、預處理、轉發、通信、篩選、匯總、歸類等過程分析造成數據有效性降低的原因。

衡量數據質量好壞的直接判定標準是數據是否有效，通常從5 方面考慮，一是數據的完整性、二是數據的連續性、三是數據的一致性、四是數據的合理性、五是數據的及時性。以下從5個方面，16個影響數據有效性因素展開分析。

1）數據完整性是考核采集的數據是否可以按照時間線，以時間為橫軸在二維坐標系內形成完整的曲線，即曲線不中斷。實際應用中，通信數據中斷會造成電站SCADA 系統、集控中心主站系統、大數據中心系統采集數據為空值，直接導致數據完整性下降，這里歸結為4 點：一是站內SCADA 系統宕機，導致數據采集、轉發、存儲服務失效，引起對外數據通信中斷。二是重大節日或活動保電，部分區域電站需要斷開公用通信通道專線，造成數據傳輸中斷。三是電站遠動機或網關通訊服務器故障，造成數據傳輸中斷。四是站內風機主控系統通訊模塊異常或通信介質（網線、光纖）斷開造成數據中斷。五是廠內控制系統監控電源跳閘后，備用電源切換失效，引起監控及通信設備失電造成數據中斷。

2）數據連續性是考核采集數據是否可以按照時間線，以時間為橫軸在二維坐標系內形成光滑的曲線，即曲線不突變。實際應用中，多種因素會破壞數據連續性，這里歸結為3 點：一是電廠內的數據采集儀表或裝置損壞，造成數據突變至最大量程或最小量程的限值輸出。二是電廠內的監控下位系統更換數據采集I/O通道或改變數據通信網關服務器通信點表配置，造成上送數據點異位。三是廠內控制系統監控電源跳閘后，備用電源不能無擾切換，引起數據中斷后自恢復，造成數據跳變。

3）數據一致性是考核數據的量綱是否統一，數據的原始值和各級系統采集值在以時間為橫軸的二維坐標系內應形成兩條完全重合的曲線，不存在等比例放大或縮小的情況，不存在數值取反的情況。實際應用中，一是由于現場控制級數據工程量程調整，未及時告知集控中心、新能源大數據中心同時變更，會導致數據放大或縮小，造成不一致。二是現場調整電能表（正接/反接）接線方式，未及時告知集控中心、大數據中心同時變更，造成數據負向累計。

4）數據合理性是考核數據是否超出初始設定閾值范圍。一是數據超過了行業標準或規范定義的限值。例如：按照GB/T15945《電能質量電力系統頻率允許偏差》，頻率等級A 級≤±0.05 Hz，B 級≤±0.5 Hz，C 級≤±1 Hz，如果集控中心、大數據中心采集到的頻率值超出50±1 Hz 范圍，則判定該數值不合理，提示數據異常。二是數據超過了一個統計周期內的最大或最小有效限值。例如：風電企業統計一個月內某期風電場的平均風速，全月平均風速6.6 m/s，最大有效風速8.1 m/s，則其中單臺風機平均風速超出全場平均風速2 倍，則提示數據異常。三是數據超過了主設備銘牌標記的額定值。例如：查詢某風電場單臺風機（型號MY2.0-121）功率曲線，在額定風速達12 m/s 時，風機可達額定出力2000 kW，單臺風機未達額定風速且風機出力超額定值1.05 倍，則提示數據異常。

5）數據及時性是考核數據從生成到可以被系統調用或被運行人員監視到的時間間隔，也定義為數據延遲。數據延遲與數據采集和傳輸節點上的設備處理數據性能、數據傳輸需要跳轉的路由及網關節點數量有關。實際應用中，多方面因素會造成數據延遲過大，一是數據通信過程中需要跳轉的節點過多，造成數據延遲疊加放大。二是數據轉發設備硬件性能不高，但需實時轉發大量“四遙”測點，造成轉發數據堆積，不能及時傳輸，造成出現死值（長期直線）情況。三是通信通道帶寬過窄，引起數據積壓，造成采集數據端數據庫存儲測值長期不變。

2 提高數據采集質量的方案

以下從5個方面，針對16個影響數據有效性的因素提出解決方案。

1）提高數據完整性方面

一是電站級、集控中心級、新能源大數據中心級均應開發數據斷點續傳功能，在發生通信中斷后應有后備數據補采措施。二是重大節日或活動保電期間，區域電站提前向集控中心、大數據中心提交斷開公用通信專線申請，保電結束時恢復通信專線后，應立即聯系集控中心或大數據中心進行數據補采。三是電站應確保遠動機或網關通訊服務器已進行冗余配置，并定期開展切換試驗驗證冗余功能正常。四是電站維護人員要對風機主控、偏航、變槳等系統通訊模塊和通信介質定期開展巡檢，確保通信線路可靠。

2）提升數據連續性方面

一是加強電站內的數據采集儀表或裝置維護，出現設備異常及時修復。二是電站內的監控下位系統及SCADA 系統更換數據采集I/O 通道或改變數據通信網關服務器通信點表配置前，應提前向集控中心、大數據中心提交數據變更申請，確保現場級、集控級、集團大數據中心級點表的點數、點位、點序一致，避免上送數據點缺位、異位。三是站內要對控制系統關聯設備做冗余配置，并確保監控系統電源切換不引起服務器、工作站、交換機等設備失壓重啟。

3）提高數據一致性方面

一是現場控制級由于更換測量表計，導致需要調整數據工程量程，應在完成設備更換后及時告知集控中心、大數據中心同時變更，避免出現數據在上級系統出現等比例放大或縮小情況。二是現場調整電能表（正接/反接）接線方式，要及時告知集控中心、大數據中心同時變更，避免數據負向累計。

4）提升數據合理性方面

一是依照行業標準或規范定義的限值要求，組織電站運維人員全面梳理上送數據的工程量程，并同步在電站、集控、大數據中心的數據庫內完成配置。二是完善數據越限失效判定程序，做好數據初步過濾及篩選工作，確保數據在采集、預處理、轉發過程中均為真實值。三是依照主設備技術文件梳理通信數據的量程并在各數據節點數據庫內植入，確保各節點的量程均不大于主設備銘牌標記的額定值。

5）提高數據傳輸及時性方面

一是充分研究5G 通信技術并適時應用，以減少數據跨省域經過多路由節點跳轉傳輸。二是數據通信專線應遵循專網專用原則，盡可能不與視頻會議、辦公內網等業務系統混用，確實不具備租賃專網通道條件的公司，可采取在原通道上劃專用VLAN 的方式并確保VLAN 帶寬滿足數據通信要求。三是集控中心、大數據中心均要做好核心網絡通信數據點數量核算，并由系統架構師評估匯聚路由器或核心網關機隨著通信數據量規模化增加后的性能是否能滿足要求，若硬件性能接近飽和則應提前籌劃系統軟件、硬件的升級換代改造。

3 評估數據有效性的方法

通過對引起數據可靠性的因素分析，這里將數據完整性、連續性、一致性、合理性、及時性劣化后，導致生成的無效數據點歸集為：當數據應用過程中出現空值、突變值、等比例放大/縮小值、數據取反值、越初始閾異常值、死值時的數據均為無效值，此時判定為無效的點則統計入無效點數。為量化評估采取措施后的數據質量治理效果，這里引入相應數學模型對數據有效性及其影響因子進行表征。

數據完整性計算：完整率=完整數據點數/理論數據點數×100%，其中完整數據點數=理論數據點數-空值點數；

數據連續性計算：連續率=連續數據點數/理論數據點數×100%，其中連續數據點數=理論數據點數-突變值點數；

數據一致性計算：一致率=數據一致點數/理論數據點數×100%，其中一致數據點數=理論數據點數-等比例放大（縮小）值點數-數據值取反的點數；

數據合理性計算：合理率=合理數據點數/理論數據點數×100%，其中合理數據點數=理論數據點數-越初始閾異常值點數；

數據及時性計算：及時率= 按時上傳數據的點數/理論數據點數×100%，其中按時上傳數據的點數=理論數據點數-死值點數。

以上表征數據及時率、合理率、一致率、連續率、完整率的變量，代入數據有效率計算式合并可得：

數據有效率：

式中：①數據有效率= 有效數據點數/ 理論數據點數×100%；②有效數據點數= 理論數據點數- 無效點數；③無效點數= 數據被統計為空值、突變值、等比例放大/ 縮小值、數據取反值、越初始閾異常值、死值點數的集合；④理論數據點數= 統計天數* 統計設備數* 標準點數。標準點數取決于數據采集周期，若周期為10 min 采集一個數據點，一天應采集標準點數量=60/10*24=144個；若周期為一分鐘采集一個數據點，一天應采集標準點數量=60/1*24=1440個；⑤數據有效率=（理論數據點數-空值點數-突變值點數-等比例放大/縮小值點數-數據取反值點數-越初始閾異常值點數-死值點數）/理論數據點數×100%。

4 實際應用中的效果驗證

某新能源發電企業大數據中心將某座風電場33×1.5 MW（風機型號SPT15A-88/1.5）風機SCADA 系統數據接入大數據系統后，大數據系統對某天該期風電場做基礎數據統計分析時，顯示該場33 臺風機的有功功率及風速數據采集均不同程度異常，調取其中一臺風機采集到的功率數據，發現數據采集點數不達理論點數問題，且多數有功功率值為“空”（如表1所示），做功率曲線一致性校核得出該風電場風機存在理論功率曲線與實際功率不符（如圖1所示）。

表1 風機有功功率及風速數據采集異常

圖1 理論功率曲線與實際功率不符

通過大數據系統采集到的數據（表1）分析，我們可以直觀地發現，采樣有效數據點數較少，在風速區間為2.5～3.5 區間，采集到功率數據283 點，在風速區間9.5～10 區間，采集到功率數據3 點。24 h 內合計采集到的數據（風速、風機有功功率）未達到理論點數。結合本文提到的16個影響數據有效性的因素考慮，繼續采取通信通道帶寬測試、數據抓包、IEC104 通信點表配置核對等方式究其數據缺失原因，最終發現是由于風電場內用于外部數據傳送的通信網關服務器進程掉線，且網關服務器冗余切換異常所致。

對該企業大數據中心一天內采集該期風電場風機有功功率、風速等數據（采樣周期為1 min）計算分析，該期風電場單臺風機24 h 應采集理論風機有功功率數據點數量=60*24=1440個，應采集理論風速數據點數量=60*24=1440個。

依據：

可以計算出當天風速和風機有功功率的數據有效率為：η=286/1440*100%=19.9%

數據有效率過低是導致理論功率曲線與實際功率不符的直接原因，上文我們分析得出：

依據此公式，繼續從“無效數據值”方面進行突破。通過數據庫篩選工具提取到當天采集風速數據空值均為1106個點、死值19個點、越初始閾異常值（風速值為負值）32 點，沒有突變值、等比例放大/縮小值、數據取反值的數據點。采集風機有功功率數據空值均為1138個點、死值19個點，沒有突變值、等比例放大/縮小值、越初始閾異常值、數據取反值的數據點。

對采集到的風速數據越初始閾產生異常值，我們通過修正風速量程：0～25 m/s，避免風速出現負值；對通信網關服務器進程掉線，網關服務器冗余切換異常進行了程序升級并開展了切換試驗，確保設備工作穩定；對通信中斷期間造成的大數據系統記錄的空值、開發斷點續傳功能進行數據補采。采取措施后使當天具有較為完整的數據（如表2所示）。對功率曲線一致性校核得出該風電場風機理論功率曲線基本與實際功率相符（如圖2所示）

表2 采取措施后獲得較為完整的數據

圖2 理論功率曲線與實際功率基本相符

采取措施后的數據有效率：

計算出當天風速和風機有功功率的數據有效率為：

采樣本文提出的方案將采集數據有效率提高以后，校核功率曲線一致性可得出該風電場風機理論功率曲線基本與實際功率相符。

通過在實際應用中的案例分析，可以驗證出，采取本文提到的措施后可快速查找并有效減少無效數據點數量，確保電力生產過程數據到達大數據中心后仍具備高有效性，本文提出的分析算法和方法可應用在大數據分析系統，以輔助生產管理人員及時發現并鎖定導致系統數據失效的因素，以便及時采取措施進行處置，避免因數據質量問題引起大數據中心系統不可靠。

5 結束語

在碳達峰、碳中和的政策引領下，未來必然會出現以新能源為主體的新型電力系統，生產過程數字化、集中化、智能化管理是滿足規模性能源發展的必由之路，海量電力生產數據是推動電力企業發現新產品、新服務、新價值的新引擎。其中穩定、可靠、有效的數據是基礎，更是關鍵。本文提出的數據可靠性提升方案可有效提高數據質量，提出的數據有效性分析算法應用于新能源大數據分析系統，將有效地輔助電力企業各級生產管理人員及時發現并鎖定導致系統數據不可靠、失效的因素，以便快速、準確采取措施進行處置，保證集控中心或大數據中心系統數據能準確反映現場生產設備的實際運行狀況。同時，高質量的生產數據也將成為電力企業指標考核體系順暢運轉的基石。