基于分布式架構的光伏電站遠程監測系統設計

王苗苗

(西安航空學院 理學院，西安 710077)

0 引言

2014—2017年，我國光伏產業在市場規模、生產能力等方面迅猛發展[1]，由此造成部分地區出現了棄光限電嚴重、光伏補貼缺口日益擴大等問題。為了避免行業無序發展，2018年，國家發展改革委、財政部、國家能源局聯合發布了《關于2018年光伏發電有關事項的通知》(簡稱“531新政”)，要求合理把握發展節奏，優化光伏發電新增建設規模，加快光伏發電補貼退坡，降低補貼強度，給整個行業帶來了巨大震蕩[2]。2019年，我國光伏產業由過渡期逐步進入平價上網與競爭配置并行階段[3]，上半年國內光伏新增裝機容量12GW，全年新增裝機容量預計為43GW左右[4]，光伏正在從“補充型能源”向“替代新能源”發展。在這種情況下，電網對光伏電站的要求越來越高，“兩個細則”考核標準也日益嚴苛，光伏電站項目要達到較高的內部收益率面臨著不小的挑戰。因此，光伏電站必須從原來的“粗放化管理”轉型為“精細化管理”，在電站的信息化運營、設備檢修與運維、安全防護、電力交易等方面進行更加規范、精準的管理[5]。

監控系統是光伏發電系統中非常關鍵的一個環節，可以讓人們方便地進行實時監測和控制，而無需到現場逐臺查看設備狀況。如何打造智能化的光伏電站監控系統，并借此實現高效便捷的運維管理，是決定電站未來運行水平、收益狀況、資產優劣的核心所在。

傳統的光伏電站監控系統主要是電力保護設備廠商或逆變器廠商自帶的組態監控系統，存在各廠家的通訊體系自成一體，兼容性一般，部分電站沒有保存詳細的歷史發電數據，無法精準定位故障并進行報警，缺少對日常運行檢修過程的信息化管控等問題，不能滿足光伏電站運維的實際需求。同時，這種方式只能實現單電站的就地管理，無法將數據上傳至遠程端，也沒有多組數據的交叉對比分析，不能為決策者提供有效的數據支撐，從而使得電站的運行、維護和管理等方面產生諸多困難，造成電站的自動化、信息化管理水平偏低[6]。

針對上述問題，本文設計了一套基于分布式架構的光伏電站遠程監測系統，能夠有效解決光伏電站大規模數據快速計算處理的問題，實現對集團下屬多個光伏電站的遠程監測、數據分析和運維管理。本文將對其系統功能、總體架構、站端數據采集系統、云端系統的設計以及系統的實施與應用進行闡述。

1 系統功能設計

光伏電站遠程監測系統通過全方位地采集各個電站的設備運行及發電數據，并傳輸匯總到遠程的云端系統，經過一系列的指標計算及流程化處理操作，將電站實時運行情況呈現給運維管理者，并對故障或者異常進行實時報警，同時提供運維檢修等工作的電子化流程，統計報表的自動生成，以及電站發電、設備運行等情況的智能分析。整個系統的功能結構如圖1所示。

圖1系統功能結構圖

實時監測：分為電站級監測和設備級監測。前者是對整個電站的發電、效率等匯總數據進行直觀的展示；后者是對電站內的組串、匯流箱、逆變器、箱變、集電線路、主變、SVG、關口表、環境監測儀等各種設備的實時運行數據和狀態進行監測。

告警管理：系統根據用戶自定義的告警規則進行實時判斷，當有故障或異常發生時，會通過語音、彈窗等方式實時推送給用戶。

運檢管理：提供工作票、操作票的填寫、簽發、許可和辦理終結等流程；提供巡視、檢修等工作的計劃、記錄的錄入及查詢等功能；提供對電站內各種缺陷的錄入、消除等功能。

智能分析：分為電站級分析和設備級分析。前者是對多個電站的發電、能耗等情況進行對比分析，或對單個電站一段時間內的發電、能耗等趨勢變化進行分析；后者是從發電效率、設備離散率、設備故障等方面對不同廠家型號的設備性能進行對比。

統計報表：提供各種統計報表的自動生成功能，并可下載及打印。

2 系統總體架構設計

2.1 總體架構

光伏電站遠程監測系統可以分為站端數據采集系統和云端系統兩大部分，如圖2所示。部署在各個光伏電站的站端數據采集系統，用于采集電站實時數據，并發送給云端系統。云端系統包括數據接收層、數據處理層、數據存儲層和數據展現層等幾部分，在對站端數據采集系統傳輸來的數據進行一系列的轉換、計算、存儲等操作后，將分析處理后的結果呈現給運維管理者。

圖2系統總體架構圖

2.2 技術選型

由于光伏電站的設備眾多，數據采集量非常大，例如30MW的光伏電站一般需要采集7萬個數據點[7]，而且為了保證實時性，一般要求數據以秒級的頻率進行刷新，這給光伏電站遠程監測系統的數據處理、計算、存儲等方面造成了非常大的壓力。因此，本系統將采用Storm、Kafka、Redis、HBase等高可靠、高性能、可擴展的分布式組件來構建。

2.2.1 Storm

Storm是一個開源的分布式實時計算系統，可以簡單、高效、可靠地處理大量的流數據，處理速度非常快[8]。Storm集群中任意節點宕機或者進程退出都不影響后續消息的處理，重啟節點后又會重新加入到集群中繼續工作，使得整體架構非常穩定。同時，Storm中的計算任務在多個線程、進程和服務器之間并行進行，因此可以靈活地進行橫向擴展。

當光伏電站內的設備發生故障時，運維人員需要立即響應，否則會影響整個電站乃至電網的安全，并造成巨大的經濟損失，因此，光伏電站遠程監測系統對設備的告警和一些關鍵指標的實時性要求非常高。與Spark Streaming等其他流處理框架相比，Storm的實時性最高，可以達到百毫秒級延遲，所以在云端系統的數據處理層，將采用Storm來搭建實時計算系統。

2.2.2 Kafka

Kafka是一個開源的分布式發布訂閱消息系統，具有高吞吐量、低延遲、持久化、多副本備份、橫向擴展能力，一般在架構設計中起到解耦、削峰、異步處理的作用。

由于Strom各個程序模塊對實時性的要求不同，處理速度存在差異，并且存在一定波動性，因此，本系統使用Kafka構建消息隊列，緩沖未處理消息，從而對各個程序模塊的數據處理進行解耦，防止數據丟失。

2.2.3 Redis

Redis是一個開源的可基于內存亦可持久化的日志型Key-Value數據庫[9]，它的性能十分優越，單節點可以支持每秒十萬次的讀/寫操作，遠超普通數據庫，并且支持集群、分布式、主從同步等配置，原則上可以無限擴展，讓更多的數據存儲在內存中。

由于Strom實時計算系統在運行過程中，需要頻繁讀取一些數據，例如存儲在關系型數據庫中的告警規則、計算公式、設備關系，以及計算中間結果。如果直接從數據庫中讀取這些數據，速度將非常慢，達不到實時計算的要求。因此，本系統把這些數據緩存在Redis中，也就是直接放在內存之中，讓Strom直接去讀取內存中的數據，這樣可以極大地提升Storm程序的運算速度，并且減輕數據庫的壓力。

2.2.4 HBase

HBase是一個高可靠、高性能、面向列、可伸縮的分布式數據庫，主要用來存儲非結構化和半結構化的松散數據[10]。HBase使用HDFS (Hadoop Distributed File System) 作為高可靠的底層存儲，隨著數據量的增加，可以通過增加Hadoop的數據節點或加掛磁盤的方式(完全支持熱部署)，動態調整存儲規模，可存儲超過10億行數據和數百萬列元素組成的數據表。HBase的表可以根據集群規模和數據量自動分區，通過設計合理的RowKey索引，HBase可以輕松解決PB級別數據的查詢需求。

針對光伏電站數據量大、數據存儲頻率高、運營時間長的特點，而且存在不斷有新電站接入系統的情況，本系統將采用HBase數據庫來存儲測點的海量歷史數據，滿足存儲需求、查詢需求和擴展需求。

圖3站端數據采集系統網絡架構圖

3 站端數據采集系統設計

為了獲取光伏電站的數據，需要在每個光伏電站內部署一套站端數據采集系統。其中，數據采集程序通過遠動機采集所需數據，數據轉發程序通過公網或VPN網絡將采集到的數據傳輸到云端系統。根據電力二次系統安全防護規定，光伏電站應用系統分為生產控制大區和管理信息大區[11]，為了滿足安防要求，需要在數據采集程序和數據轉發程序之間增加正向隔離裝置，并在數據采集程序和遠動機之間、數據轉發程序和公網或VPN網絡之間分別增加防火墻，如圖3所示。

圖4云端系統架構圖

由于需要采集到組串級別的數據，數據點位非常多，而大多數光伏電站地理位置偏遠，網絡帶寬較低，因此，數據轉發程序在向云端系統轉發數據前，會先對數據進行壓縮，從而提高數據傳輸的速率。同時為了確保電站的信息安全，數據轉發程序在上傳數據前，還需要對數據進行加密處理。

4 云端系統設計

云端系統采用分布式架構，各部署單元均支持橫向擴展，其總體處理架構如圖4所示。數據接收層在接收到各光伏電站主動上傳的數據后，進行報文解析和重新組織，發送給數據處理層的消息隊列Kafka。Storm實時計算系統會從消息隊列中拉取數據，根據相應的告警規則、計算規則對數據進行實時計算處理，并將計算結果推送到消息隊列。同時，Storm實時計算系統還會用得到的最新數據更新數據緩存Redis，用于下一步的周期性匯聚計算。持久化程序將需要保存的歷史數據寫入NoSQL數據庫HBase或關系型數據庫中。數據展現層通過Web形式向用戶提供各種功能服務，同時為了確保一些重要指標及告警信息能夠在頁面實時刷新，系統通過WebSocket從消息隊列中取出數據并實時推送到客戶端來實現數據的實時展示。

4.1 數據接收層

數據接收層負責接收站端數據采集系統發送來的報文，將其轉換為數據處理層所能處理的報文格式，并發送給消息隊列。這樣做的好處在于降低了站端數據采集系統和云端系統的耦合程度，提高了整體系統的內聚性。

數據接收層的主要處理流程為：啟動時從數據庫讀取電站和設備的數據采集點信息，將其放在內存中進行緩存；在運行時先將接收的報文進行解密和解壓，對解壓后的報文，按照通信協議進行解析，并進行一定的數據轉換工作，生成云端系統所需的報文；最后將報文推送到Kafka中的云端采集消息隊列。

為了避免出現單點故障的問題，數據接入層采用雙機熱備用的方式運行。站端數據采集系統通過心跳機制監測云端系統數據接收層的狀態。當主機出現故障時，站端數據采集系統會將電站數據發送到熱備用的服務器，確保實時數據不會中斷。

4.2 數據處理層、數據存儲層

4.2.1 設計思路

數據處理層是云端系統的核心，而Storm實時計算系統則是數據處理層的核心。Storm實時計算系統主要負責對電站上報的數據進行一系列計算和處理，運行于其中的告警程序根據告警規則對數據進行實時處理，匯聚計算程序按照不同的周期(秒、分鐘、小時、日、月、年)對實時數據進行匯聚，計算出方陣級、電站級、集團級的各種指標數據。

在數據存儲層，根據光伏電站遠程監測系統中各種數據的類型、作用不同，采用了多種存儲方式。例如，系統中的管理、配置信息使用關系型數據庫進行存儲，而服務調用信息、Storm處理后的數據使用NoSQL數據庫HBase進行存儲。

4.2.2 數據處理流程

數據處理層的主要處理流程如下：

(1)通過訂閱消息隊列中的云端采集消息隊列，獲取到數據報文，對其進行反序列化，轉化為JSON格式的數據，然后將數據分別發送給告警程序、方陣匯聚計算程序。

(2)告警程序根據存儲在Redis中的告警規則進行處理，并將處理結果發送給數據存儲消息隊列，同時為了保證頁面告警信息展示的實時性，告警程序還將處理結果發送給數據推送消息隊列，供WebSocket實時推送給客戶端頁面。

(3)方陣匯聚計算程序根據測點計算規則對數據進行實時計算，得出方陣級別的指標值。計算結果一方面寫入Redis緩存中，供后續模塊使用；另一方面將推送給下一級的電站匯聚計算程序，同時也要發送給數據存儲/推送消息隊列。

(4)電站匯聚計算程序對電站級指標進行匯聚計算。在一個計算周期開始時，會首先判斷一個電站下所有方陣是否已經處理完成，只有在方陣級計算完成之后，才開始根據測點計算規則進行電站級指標的計算。計算結果處理和方陣匯聚計算程序類似，需要發送給Redis、下一級的集團匯聚計算程序和數據存儲/推送消息隊列。

(5)集團匯聚計算程序的流程和電站匯聚計算程序類似，也是等待所有電站計算完當前周期的數據后，再進行計算。計算結果處理和其他匯聚計算程序相同。

4.2.3 數據存儲流程

數據存儲的主要流程為：Strom中的持久化程序訂閱數據存儲消息隊列，獲取數據存儲報文后，首先進行反序列化操作，然后將所有的實時、小時、日、月的計算結果數據存儲到NoSQL數據庫HBase中，并將告警、年計算結果數據存儲到關系型數據庫中。

4.3 數據展現層

數據展現層基于JavaEE技術體系，采用MVC應用框架構建，由界面控制器組件、界面操作組件、JSP頁面組件和服務代理單元組成。在一些分析圖表、實時應用展現時，采ECharts、HTML5等技術實現，并通過WebSocket訂閱數據推送消息隊列的報文，保持客戶端頁面數據實時刷新。

5 系統實施與應用

5.1 系統實施

在系統實施過程中，需要根據接入的電站容量，為云端系統購買或租用相應的計算資源、存儲資源和網絡資源，在其中部署數據接入服務集群、Storm實時計算集群、Kafka消息隊列集群、Redis緩存服務集群、分布式架構調度監控服務集群、關系數據庫集群、HBase數據庫集群、Web應用集群，搭建起云端系統。以接入容量100MW為例，數據點位約為10萬個，為了保證計算的實時性，Storm實時計算集群的每個節點需要具有較高的計算性能(16核CPU、64G內存)；同時，HBase數據庫集群中的每個節點每年需擴容約500GB的存儲空間；而數據接入服務節點需要配置至少2Mbps的帶寬，以滿足數據傳輸的帶寬需求。

另外，在接入每個光伏電站時，都需要購買1臺采集服務器、1臺轉發服務器、1臺正向隔離裝置和2臺防火墻，從而部署站端數據采集系統，通過與第三方監控廠家配合，從遠動機上接入數據，并通過公網或VPN網絡與云端系統進行通訊，保證電站數據穩定上傳。

5.2 系統應用

在本系統的應用中，通過與運行維護工作相結合，可以有效減輕運行維護人員工作量，降低運維成本，提高發電收益。例如，傳統的光伏電站巡檢工作需要巡視檢查每一個監控畫面，尋找發生故障的發電設備，可能花費1小時或更長時間，而通過光伏電站遠程監測系統的設備故障告警提醒功能，在不到1分鐘的時間內就可以確定故障設備，從而快速消除缺陷，避免電量損失。另外，根據集團的管理需求，定制統計報表內容和格式，能夠一鍵生成報表，提高統計填報工作效率，避免人為差錯。除此之外，通過在集團中心對多個電站進行集中管理，能夠減少電站現場的運行監控人員配置，只保留檢修和日常維護人員，從而逐步實現電站的少人甚至無人值守，大大節約公司運維成本。

6 結語

隨著云計算、物聯網、大數據、人工智能等技術的發展，光伏電站的遠程、集中、智能管理逐漸成為大勢所趨。

(1)本文設計的基于分布式架構的光伏電站遠程監測系統，采用Storm、Kafka、Redis、HBase等分布式組件構建，具有高可靠、高性能、可擴展的特點，能夠輕松應對光伏電站大規模數據快速計算處理的挑戰。

(2)通過將本系統與運行維護工作相結合，可以幫助定位故障設備，及時消除缺陷，避免電量損失，提升發電收益，并且通過自動生成統計報表，可以減輕運行維護人員的工作量。

(3)本系統實現了對集團下屬多個光伏電站的集中化、信息化和規范化管理，經過數據積累沉淀后，可進行更深層次的大數據分析，為集團在資產評估、投資交易等方面提供有力的決策支撐。