智慧供熱大數據監測平臺研究及應用

李恩洲，況立群，張 元，韓 燮，熊風光

(中北大學 大數據學院，山西 太原 030051)

0 引 言

近年來，國內外針對供熱系統的研究主要集中在供熱設備以及故障檢測方面[1-3]，其中在智能故障診斷系統的研究中，對換熱器的診斷已經形成了良好的生態系統[4]。文獻[5]針對集中供熱系統中多熱源調度優化模型進行了參數的調節，使得整個運行環境從能耗和污染物排放量方面得到了最優解。對于智慧供熱解決方案的研究，主要面向特定區域、特定的供熱環境，實現了從熱源、管網、場站，到戶內的數據互聯互通與共享。

而對于跨區域及城市的供熱管理體系，目前尚未形成統一的標準。對于省市一體化的供熱監測還未形成成型的系統。并且隨著地域的擴大，使用單一的數據庫服務已經不能滿足供熱設備集群的實時數據以及元數據的處理，由設備集群產生的高并發數據勢必會使數據庫服務器產生性能問題。文中旨在研究一種智慧供熱大數據平臺，通過構建kafka+Spark Streaming處理機制解決海量實時數據和離線數據處理，對于供熱環境的外部影響因素也可以依據該平臺進行相關分析。同時，可定制化的將供熱系統的重要參數布局在可視化頁面中，便于實時查看。另外，對相關參數實施預警處理，使得通過互聯網對供熱系統的故障診斷更加方便快捷。

1 平臺概述

平臺為整個供熱環境提供了一系列的配套服務，包括整體環境如天氣、供熱面積、能耗、換熱站數據分析、數據展示等，這些服務可以為供熱管理人員提供便捷的管理，使各項工作化繁為簡。系統通過對供熱設備中已有的數據采集設備與供熱設備相關的配套服務進行數據交互，將供熱設備中產生的數據進行清洗、分析和計算，一方面將處理結果傳輸至相應的應用，另一方面將數據持久化，存儲至數據庫中。數據以json數據形式進行傳遞[6]，并將數據進行格式化處理，從而解決數據可視化中的數據統一問題，最后傳入到客戶端。管理人員可以在系統中監控和觀察設備，以方便工作人員進行相應的處理，具體業務框架如圖1所示。

圖1 平臺整體業務框架

2 平臺架構設計

平臺架構以云計算為基礎，云計算通過Internet提供快速創新，彈性資源和規模經濟，對于云服務，通常按照使用量支付費用，從而幫助降低運維成本，使基礎設施更有效的運行，并能根據業務需求的變化調整對服務的使用[7]，云計算服務提供了基本的四大類服務：基礎結構即服務(IaaS)、平臺即服務(PaaS)、無服務器計算和軟件即服務(SaaS)，具體平臺架構如圖2所示。

圖2 云平臺系統結構

2.1 感知傳輸層

感知層即數據采集層，是熱源、熱網、換熱站、末端用戶等供熱環節中的各類監控系統和管理服務的整合，其中包括PLC控制系統、數據采集系統、數據交互系統、用戶交互系統、地理信息系統、設備監控管理系統、視頻監控系統等業務模塊，它將物理、交互、音視頻等各類型信息按照統一標準化對數據進行清洗、過濾、轉換，通過傳輸層將數據傳輸到中心平臺。

2.2 基礎設施層

基礎設施層(IaaS)是系統業務的底部支撐載體，內部包括物理資源層、資源虛擬化層和云服務管理層。

(1)物理資源層：指的是計算服務集群，包括熱力能源web服務器、后端服務器、數據庫服務器。

(2)資源虛擬化層：是云計算的根本技術支撐，存儲方面則主要使用分布式存儲架構共享存儲集群，用來針對不同的存儲數據，例如換熱站供溫供壓等參數數據的分類存儲。

(3)云服務管理層：為IaaS架構中最為關鍵的一層，通過云服務管理可以對供熱設備進行開關控制、權限設置、故障恢復等管理。

2.3 平臺服務層

PaaS提供了應用程序和開發環境，將各種業務能力進行整合，具體可以歸為熱力能源web服務器、二次能源系統開放平臺、熱網運行監控系統開放平臺、設備管理系統開放平臺，向下根據業務能力需要測算基礎服務能力；通過IaaS提供的API(application programming interface，應用程序接口)調用硬件資源，向上提供業務調度中心服務，實時監控平臺的各種資源，并將這些資源通過API開放給SaaS用戶。

2.4 軟件服務層

軟件服務層(SaaS)在PaaS層之上，它將智慧供熱系統下的子系統，以服務的形式發布在云平臺之上，便于企業更好地規劃系統模塊結構，進行及時調整和快速部署。這些子系統包括熱網監控系統、全網平衡分析系統、在線熱網水力分析系統、熱網能耗分析系統與供熱地理信息系統、熱用戶室內測溫、熱計量系統、氣象數據分析系統。

3 平臺的實現和應用實例

文中以山西省供熱體系為例進行熱力能源管理平臺實例分析，針對供熱系統中管理員對整個供熱環境的態勢感知和供熱設備實時數據和離線數據處理困難的問題。并且考慮到管理人員需要進行相關的匯報工作，故選用開源web框架React作為數據可視化的實現基礎，以G2數據可視化組件進行數據的多元化展示，具體方案如下。

3.1 需求分析

通過調研山西省各大熱力公司的數據監控業務，總結出軟件主要功能需求如下：

(1)用戶管理：對使用平臺的用戶進行管理和授權。

(2)設備信息提取：對設備產生的相關數據進行提取清洗和分析，并將相關結果存儲在數據庫中。

(3)設備遠程控制：從不同的維度出發，進行設備的遠程控制，包括開關控制、參數設置、預警控制。

(4)熱力系統重要參數的運行數據以及信息的可視化。

(5)展示相關換熱站的數據信息。

(6)能耗相關數據信息。

(7)系統操作日志的記錄。

3.2 功能設計

3.2.1 用戶管理

對每一個供熱地點，系統都會為其分配一個管理員賬戶，管理員賬戶不可刪除，具有最高權限，可以管理其下面的所有賬戶，在管理員賬戶之下可以申請二級賬戶，方便工作人員的管理，同時對供熱設備的故障處理信息進行記錄。對于管理賬戶，可以進行所有設備數據操作，并生成日志記錄。管理員賬戶可以新增或者刪除權限較低的賬戶。

3.2.2 數據處理模塊

關于供熱設備的數據清洗和處理，文中采用kafka+Spark Streaming的方式進行實時數據流式處理，對于大量設備的原始數據進行高并發的清洗和轉換，然后將數據通過統一結構化模型的api實時顯示在web端，離線數據可通過對應的api進入到相關數據庫中進行存儲，具體流程如圖3所示。

3.2.3 可視化模塊管理

對于供熱系統中概覽數據展示設計為九宮格的形式，主要展示對于供熱系統相關參數的分析，包括天氣情況、熱源實時數據、熱源歷史數據、供熱地區的排行、告警信息、能源消耗占比、室溫實時數據以及對總體環境的數據的展示。

(1)天氣的展示主要以折線圖的方式進行，展示從當天起前七天的最高溫和最低溫，具體的天氣的分析會在單獨的頁面進行管理和查看。

(2)熱源數據的展示分為實時數據和歷史數據。實時數據主要運用對照的方式進行展示，例如供水溫度與回水溫度的對比?？紤]到實時數據的特點，將折線圖進行改進，加入了標準線以及實時數據的刷新，對于觸及報警線及以上的數據，進行預警處理；對于熱源歷史數據的展示主要是選擇從當天起前七天數據作為展示周期，對比數據分析從而了解供熱設備系統的運行狀況，進行針對性的調整。

(3)數據榜單的設計主要以供熱系統所管理的區域進行，按照換熱站的供熱情況，取較好和較差的供熱表現的換熱站進行數據展示，在獲取數據的過程中進行排序以及數據處理。

(4)告警信息和室溫實時數據的處理以列表的方式進行滾動輪播，考慮到供熱系統管理區域的小區數量以及實時更新的特點，相比柱狀圖、餅圖、雷達圖等圖形化展示方式更有利于工作人員進行觀看，可以展示各個區域的供熱情況，減少了工作人員的操作，提高了便捷性。

(5)系統在板塊劃分中加入了總體實時數據的一個展示，展示的內容主要包括熱源數量、換熱站數量、天氣信息、供熱面積以及所有能耗的總數和設備負荷的相關數據，便于工作人員判斷設備的運轉情況。

圖3 平臺數據流圖

3.2.4 供熱設備數據管理

對于換熱站數據的管理包括報表數據、操作日志數據，對于報表主要展示的數據為換熱站的基礎數據，操作日志主要展示的數據為某一管理人員對換熱站的相關操作并且記錄了改動前后的變化。

3.2.5 能耗管理

能耗管理模塊中有三個功能：綜合報表、環比報表和能耗排行。綜合報表主要顯示的是所有換熱站在某一時間段的熱、電、水耗的相關數據，用戶可以查詢任意時間段內的數據；環比報表在顯示能耗的相關數據的基礎上加入了時間段的比對，可以比對任意兩個時間段的換熱站的能耗數據，用于更好地管理供熱系統。同時兩個報表提供了下載和打印功能，可以直接將查詢的數據轉換為excel表格。此外，該模塊提供在線打印功能。

3.3 軟件使用相關技術

3.3.1 基于React的前端技術

在Web開發中，需要將變化的數據實時反映到UI(user interface)上，這時就需要對DOM(document object model)進行操作，而復雜且頻繁的DOM操作通常是性能瓶頸產生的原因。因此，文中采用的React框架中引入了虛擬DOM(virtual DOM)的機制：在瀏覽器端用Javascript實現了一套DOM API[8]?；赗eact進行開發時，所有的DOM構造都是通過虛擬DOM進行，每當數據發生變化時，React都會重新構建整個DOM樹，然后將當前DOM樹和上一次的DOM樹進行對比，得到兩者的不同，然后將需要變化的部分做瀏覽器DOM更新。

同時，為了使得前后端有效地進行交互，引入Node.js，一個事件驅動I/O服務端JavaScript環境，基于Google的V8引擎，該框架善于處理高并發需求、單線程、擁有事件機制以及跨平臺的特性，使得它在數據通信頻繁的實時業務場景下產生了較大的優勢[9]。Node.js的最重要的功能是事件驅動的，這意味著服務器僅在用戶有事件時才響應。以Node.js充當瀏覽器的服務器，將數據轉發到后端服務器，并通過路由的方式控制頁面跳轉的邏輯。

而antdesignpro這套企業級中后臺前端開發框架應用了React框架的相關技術并且在antdesign的設計規范和基礎組件的基礎上進行進一步封裝[10]。antdesignpro結合dva框架，通過reducers、effect和subscriptions組織model；基于babel-plugin-dva-hmr實現components、routes和models的HMR(hot module replacement)，既滿足了MVC(model-view-controller)中的‘V’即視圖部分[11]，同時又滿足了前后端數據交互的部分，具體原理如圖4所示。

圖4 React架構原理

平臺將基于React的前端框架進行研發，優化內容主要有可視化組件封裝、主題切換預留接口、table標簽二次封裝。

對于可視化組件的封裝，以bizcharts為主，將bizcharts圖形的基本類型：折線圖、柱狀圖、餅圖、條形圖封裝成組件，通過引用相應的組件即可進行個性化的定制，并且提供了圖形基本類型的樣式，供研究人員參考。

對于主題切換，根據不同熱力公司地區和行業特點開發了科技藍和莊重灰等多種主題風格供熱力能源服務商進行選擇。此外，該模塊提供統一接口，使得服務商可針對不同地區，不同環境進行定制化設計，以此增加平臺的可復用性。

對于報表的展示，除了對于數據的顯示，還封裝了數據過濾、排序、文本類型、表格風格等功能，使得平臺可以根據熱力站的需求調用相應API進行相應的設置，從而更好地進行數據展示。

3.3.2 大數據實時可視化展現技術

對于供熱系統中重要參數的實時大數據在可視化頁面中的展示，文中基于G2的React封裝圖表組件庫[12]BizCharts來實現。通過BizCharts中提供的API：Guide屬性來繪制圖表的輔助元素，達到圖表定制化設計，同時研發dataSet獨立數據模塊，為數據可視化場景提供狀態驅動。文中研發的大數據可視化展示技術，首先將數據分批請求，通過限定請求時間范圍的大小，將其分成若干份Request，其次循環異步批次處理，后端將請求的數據以數據流形式發送，將得到的數據存儲為csv文件，文件命名方式通過請求參數命名，最后在視圖驅動程序中加載csv文件即可，同時，在請求前需進行csv文件掃描，查找是否存在查詢的記錄，如果存在，則直接加載文件，避免了多次請求服務器引起的帶寬和并發。

3.3.3 駕駛艙自由布局

平臺支持自定義概覽主頁面，即駕駛艙，通過該功能，用戶可以在面板上自由的拖拽，修改頁面中的組件，從而呈現出個性化的監控頁面。React-Grid-Layout是基于React的網格布局系統，支持響應式，在組件改變大小的時候，內部的圖形和內容會隨著組件的改變而進行響應式變化，并且支持斷點，斷點布局可由用戶提供或自動生成，而且不需要jQuery支撐，其中有幾個重要的函數用于布局中：

(1)WidthProvider：一個用于響應元素高度的高級函數，主要作用是綁定onresize事件，當組件改變時，用于重新計算元素的寬度。

(2)GirdItem：根據x、y坐標計算出組件所在的位置。

具體流程如圖5所示。

圖5 駕駛艙自定義實現流程

3.3.4 數據處理技術

從研究和商業水平的角度看，云一直是信息技術領域最熱門的討論主題之一。但是，對于云存儲而言，沒有主流的統一存儲解決方案[13]，使得云端存儲大量冗余數據，影響其性能。故采用kafka+Spark Streaming的設計方案，對供熱設備元數據進行清洗和處理[14]，使得大量的數據無須存儲在云端，僅需要把消息隊列中的數據進行分布式存儲，減小了對云存儲的壓力。

kafka是一個高吞吐的分布式消息隊列系統，特點是生產者消費者模式，先進先出(FIFO)保證順序和數據不丟失，默認每隔7天清理數據。

其中主要分為兩部分：producer為消息生產者，Consumer為消息消費者，在系統中，將Spark Streaming作為Consumer。Broker為kafka集群的服務程序，負責處理消息讀寫請求和存儲消息。在kafka cluster這一層里，有多個Broker。元數據信息存在zookeeper中，包括存儲消費偏移量、topic話題信息、partition信息。

Spark Streaming支持從多種數據源獲取數據，其中一個核心為支持一個高層的抽象，稱為離散流(Discretized Stream)也稱作DStream，代表連續的數據流。在內部，DStream是由一系列RDD組成的。一批數據在Spark內核中對應一個RDD實例，因此，對應流數據的DStream可以看成是一組RDD，即一個RDD的序列。也就是說，在流數據分成一批一批后，生成一個先進先出的隊列，Spark Engine從該隊列中依次取出批數據，并把批數據封裝成一個RDD，然后再進行處理，最后將結果進入統一services接口，將數據格式化后進行實時顯示，或者將數據進行存儲。確保數據的有效性和實時性。

3.3.5 SpringBoot

Spring開源框架是基于J2EE框架的研發產品。其中Spring MVC框架(MVC是模型視圖控制器，通過將業務邏輯，數據和界面顯示分離的方法來組織代碼)被廣泛用于各種Web產品的研發中。SpringBoot項目是Pivotal團隊開發的新Spring框架。其開發的目的是解決Spring開發過程中的復雜配置操作并最終實現零配置。其簡化的應用程序開發和構建過程使開發人員擺脫了繁瑣的配置文件，并投入了大量精力進行項目邏輯研究和開發。它致力于成為快速應用程序開發的領導者[15]，同時，其內嵌的Tomcat服務器，直接將項目打包成jar包，從而簡化了項目的部署工作。

3.4 平臺實例展示

系統的具體效果如圖6所示。

圖6 加時間進度條的可視化數據顯示

考慮到供熱系統的時間維度問題，故在平臺中設計了歷史數據曲線可視化模型，具體效果如圖7所示，其中頂部進行換熱站以及時間段的選擇。為了避免時間跨度較大導致的卡頓現象，設計了時間間隔，以應對大數據量導致的數據傳輸問題?？梢暬M件以折線圖為基礎模型，在模型之上設計了時間進度條，通過拖拽進度條可以顯示該時間段內的任意段時間的數據，平臺展示出整體供熱系統的歷史溫度、歷史熱量流量、歷史壓力、歷史設備狀態，使得管理者可以更加直觀地進行系統的分析與診斷。

平臺提供了不同維度的設備監控，并且通過點擊設備的組件，實現遠程控制設備，具體設計如圖7所示。

圖7 加時間進度條的可視化數據顯示

經測試，系統無異常，并且對于頁面的顯示和用戶交互方面與系統需求一致。

4 結束語

供熱平臺對供熱系統工業自動化、信息化、智慧化發展，起到了一定的推動作用，整合現有資源打造智慧供熱是供熱產業發展的未來方向。文中基于React框架，實現了供熱環境的數據處理、展示以及監測供熱過程，并且針對供熱系統的特殊性，研發出定制化的可視化組件，最后，將平臺應用于山西省的供熱系統中，驗證了平臺的可用性。