邊緣側實時數據采集在大屏可視化系統中的應用研究

柳躍，秦少星

（國能和利時信息技術有限公司，北京 100011）

1 前言

1.1 研究背景

物聯網、云計算、大數據等新的信息技術的出現，標志著智能制造時代的到來。當前能源行業大型企業倡導煤電化路港航油一條龍、產運銷縱向一體化的運營模式。即上下游產業高度關聯，通過一體化運營鏈條緊密銜接，實現煤炭從煤礦到港口、到電廠、到煤化工廠的產業鏈供應運營模式。生產運營調度系統對實現一體化智能化有著強烈的需求，為實現煤炭、運輸、電力、化工多產業生產經營全流程貫通、全產業鏈銜接和全場景監控，信息自動感知、計劃模型驅動、_調度智能協同、應急快速精準，打造“一體化集中管控、智能化高效協同、可視化高度融合”獨具特色的核心運營平臺，為支撐業務快速的協同發展，支撐調度系統數據展示、運營分析提供數據，對煤礦、電力、化工、港口等領域的實時數據采集的實時性、可靠性、安全性等要求越來越高。

數據是一切智慧化工作的基礎與起點，企業信息化的核心就是“業務數據化，數據價值化”。沒有高質量的數據管理，就沒有系統應用的互聯互通，就沒有持續價值創造的大數據應用；沒有大量數據應用也就沒有企業的智能化、智慧化，數據的采集是建設信息化的基石。針對工業過程中生產實時數據的特點，要求采集系統能針對數據源廣泛的分布性能，可靠的進行數據采集；采集系統在進行數據采集時需要具有很好的可擴展性；能夠滿足對數據進行實時分析，即對數據流需要按照設定好的邏輯進行流水線式的處理。

1.2 研究現狀

當前工業過程采集的數據來源廣，包含結構化、半結構化、非結構化，各種類型數據庫、文檔文件、傳感器、智能設備、互聯網、外部數據等。數據標準不統一，源數據管理能力缺失，導致數據很多，但雜亂無序。主要體現在以下幾方面：（1）數據覆蓋面有限。一體化運營產業的上下游的數據資源仍然覆蓋不全，緊密銜接度不高，沒有覆蓋全業務板塊數據。（2）數據取用復雜。目前數據采集量雖然較多，形成了具有規模的大數據，但數據分布比較分散，存在信息孤島情況，各業務板塊之間的數據沒有形成有機結合體，不能統一協調和相互配合，全產業鏈數據沒有完全實現互聯互通。例如發電量隨季節波動較大，對煤炭的需求量也隨之發生變化。那么發電量和煤炭產量數據必須有機結合、調配后才能為生產運營管理創造更大的價值。（3）數據質量不可靠。高質量數據是進行數據分析的基礎，目前數據質量低下，對于數據變化率過大的數據、長時間不刷新的數據沒有進行充分檢測。其次，數據類型多而雜，包含結構化、半結構化、非結構化，以及各種類型數據庫、外部數據等，沒有形成統一的標準，導致數據質量不高。（4）數據管理無規劃。當數據的質量出現問題后才能發現問題，沒有對數據的異常進行診斷和預判。

2 數據采集系統架構及功能

數據湖是存儲的各種各樣原始數據的獨立的、統一的“數據資源池”。數據湖可以容納各類必要的數據，全面覆蓋存量數據和增量數據，作為統一的數據存儲、處理、展現的邏輯區域，提供數據清洗、數據轉換、數據加載、數據標簽處理等基礎數據處理服務；提供對不同類型數據的一致性管理、實現數據匯聚及數據的標準化存儲，并作為數據標準落地的“承載容器”；向數據中臺提供對多源異構數據的統一訪問能力。邊緣側實時數據采集作為數據湖及數據資源化平臺工具建設的一部分，邊緣側實時數據采集提供針對性工具集和整體解決方案服務，涉及內容廣泛、牽涉角色眾多，邊緣側實時數據采集系統建設內容主要包括：實時數據采集服務和配置管理系統，結合已有生產實時數據，在系統中進行邊緣側實時數據采集工作驗證，保證實時采集數據的質量，以滿足數據建設中數據采集需求。

2.1 應用架構

工業過程數據采集和傳輸系統的應用架構總體業務描述如下：（1）邊緣側實時數據采集系統為能源行業全產業鏈實時數據提供管理功能，既能支持在生產單位的數據采集，也能支持基建單位的數據采集。同時也支持不同系統數據，以及不同格式數據采集，并提供數據管理系統，同時提供數據監測和系統管理功能，便于用戶查看數據和管理。（2）采用模塊化設計，具備開放性和易擴展性，以適應各種協議類型外部系統的接入，系統功能和控制范圍的不斷擴展，保證添加新組件和軟件升級不影響運行的應用程序，對系統的可用性和性能不會產生不利的影響，具備二次開發的能力，以適應不同工程的需求。（3）具備容錯性，提供自診斷和自恢復功能，一旦診斷功能發現進程非正常退出時，自動啟動此程序。（4）具備可維護性，提供初始化配置和系統自動升級功能，使得維護人員能快速完成初始化配置，以及升級過程無人員干預。（5）具備模塊獨立性，以保障單一軟件功能的故障不會引起其他功能的故障。該系統主要用于能源行業各產業鏈生產實時數據采集，并將數據傳送至數據湖中，實現不同系統的互聯互通、數據共享，為各業務應用提供數據支撐。邊緣側實時數據采集裝置管理系統主要負責提供采集裝置的配置管理功能，主要包括數據采集驅動管理、權限管理、初始化配置、升級管理、測點管理、以及數據監測等。其中，通過數據采集驅動管理實現各產業鏈實時數據的接入設備及采集接口的管理。最終通過數據監測工具，以圖形界面的形式提供數據查詢、管理窗口。系統支持標準通信協議，對于基建單位，需要從各子系統接入數據，可采集Modbus、OPC-DA 采集驅動。對于在生產單位，邊緣側采集裝置需要從各數據庫中取數，開發了多個數據庫驅動接口，可采集多樣源的數據庫，如麥杰數據庫采集驅動、PI數據庫采集驅動、eDNA采集驅動、VeStore數據庫采集驅動。

通過提供OPC-UA通訊協議，支持邊緣側采集裝置中實時數據能夠被第三方系統取數。并且系統具備良好的開放性和擴展性，其它通信協議驅動可繼續擴展開發。

2.2 部署架構

邊緣側實時數據采集系統體現“安全可靠、功能完善、實用經濟和結構簡單”，在硬件設計上，采取“集中管理、分散部署”的形式，在軟件設計上采用積木式模塊化結構，從結構上面保證其安全可靠完善，系統為分層分布的開放式結構，系統分為3層，即邊緣側數據采集層（廠礦現場層）、云端中間管理層（邊云中心）、云端集中管理層（數據湖）。系統既可以完成對各基建廠子系統運行數據的實時采集，也可以完成對已投產廠數據庫數據的采集。邊緣側和云端之間的數據采用隔離網閘進行隔離，保障邊緣側監測監控系統的安全性；邊緣側生產實時數據的采集同時可為數據湖的大數據分析、生產運營提供有效的數據支撐。

2.3 在大屏可視化的應用

數據作為各產業各業務信息化發展的核心，利用可視化展示可以實現對全業務的數據管理，使各業務貫通，是實現大數據分析的重要途徑，對助推企業信息化建設產生積極意義。可視化展示是電力企業全業務統一數據中心管理的重要內容與要求，將大數據應用于各企業發展建設可視化展示系統，可以建設信息化水平比較高的系統，并促進源端的全業務結合，對后端大數據整理產生積極意義。通過對可視化的呈現可以幫助企業分析當前的技術和產品發展情況，為企業的技術與產品創新提供重要條件。

邊緣側實時數據采集后經過數據湖的數據清洗、數據轉換等操作，在數據轉換中可以實現統一字段命名、統一數據類型、統一編碼類型以及統一時間格式等功能。數據開發中可以進行模型建立，在大屏上實現數據的可視化的展示，利用數據可視化呈現企業相關業務狀況。

3 結語

綜上所述，本文設計開發的邊緣側實時數據采集系統能實現大規模邊緣側實時數據的采集和匯聚功能，同時也滿足了數據采集的實時性、開放性和擴展性、容錯性、易維護性、獨立性等性能。本文結合現有工業生產現場數據量大且繁雜特點，設計出邊緣側與云端的部署結構，邊緣側實時數據采集系統實現了工業邊緣側現場數據的采集需求，并且系統運行穩定、人機交互友好、使用人員能夠快速上手。系統不僅實現工業邊緣側現場數據的采集需求，還實現了對采集裝置和采集傳輸通道的監測與管理，實現了智能化數據采集和傳輸。

邊緣側采集的實時數據經過云端數據湖的統一數據清洗、數據轉換等操作，在大屏上實現數據的可視化展示，通過對數據的整體性和統一性規劃，形成了一個健全的可視化展示平臺。