基于StarRocks搭建工控數據存儲平臺

摘要：隨著工業控制系統的智能化和自動化程度不斷提高，工控數據存儲成為關鍵的任務，該文以StarRocks搭建工控數據存儲平臺為目標，研究與解決工控數據存儲和管理的問題。首先通過合理的硬件配置和網絡環境，設計了工控數據的適用模型，并將其映射到StarRocks的表結構中。其次采用合適的數據接入和采集方案，從工業控制系統中獲取實時數據并導入到StarRocks中。并通過使用StarRocks進行數據處理和分析，提供了實時的查詢和多維分析功能。工控數據存儲平臺在實時監控、故障診斷和生產優化等方面有著巨大的應用價值。

關鍵詞：StarRocks；數據存儲；Flink

doi：10.3969/J.ISSN.1672-7274.2024.08.038

中圖分類號：TP 311.13" " " " " " " " "文獻標志碼：A" " " " " " 文章編碼：1672-7274（2024）08-0-03

Building an Industrial Control Data Storage Platform Based on StarRocks

HUI Derong1， JI Kang2

（1. Xinjiang Security Technology Co.， Ltd.， Karamay 834000， China;

2. Xinjiang Oilfield Company Gas Storage Co.， Ltd.， Hutubi 831200， China）

Abstract： With the continuous improvement of intelligence and automation in industrial control systems， the storage of industrial control data has become a key task. The article aims to build an industrial control data storage platform using StarRocks， and studies and solves the problems of industrial control data storage and management. Firstly， a suitable model for industrial control data was designed through reasonable hardware configuration and network environment， and mapped to the table structure of StarRocks. Secondly， appropriate data access and collection schemes are adopted to obtain real-time data from industrial control systems and import it into StarRocks. And by using StarRocks for data processing and analysis， it provides real-time query and multi-dimensional analysis functions. The industrial control data storage platform has enormous application value in real-time monitoring， fault diagnosis， and production optimization.

Keywords： starRocks; data storage; flink

1" "工控數據存儲平臺概述

工控數據存儲平臺是針對工業控制系統而設計的數據存儲解決方案。它能夠提供可靠、高效的數據存儲和管理能力，幫助工控系統實現數據的采集、存儲、處理和分析。

基于StarRocks搭建的工控數據存儲平臺能夠滿足以上要求。其具有高性能的列存儲、分布式架構和并行計算能力，可以實現工業數據的快速寫入和查詢。同時，StarRocks還具備良好的可伸縮性和穩定性，可以適應不斷增長的數據規模和用戶訪問量。

總之，工控數據存儲平臺的建立為工業領域提供了強大的數據支持和分析能力，助力企業實現智能化生產和管理，提升生產效率和質量，推動工業領域的數字化轉型和創新發展[1]。

2" "StarRocks在工控數據存儲領域的優勢

在工控數據存儲領域，StarRocks具有以下幾個優勢：

第一，高性能的實時數據處理和查詢。StarRocks采用列存儲和MPP架構，能夠實現高性能的數據處理和查詢能力。對于工控系統中產生的大量實時數據，StarRocks能夠快速存儲、分析和查詢，滿足對實時性要求較高的場景。

第二，彈性伸縮性和擴展性。StarRocks的分布式架構和橫向擴展能力使得它具備高度的彈性伸縮性。無論是存儲容量的擴展還是計算資源的增加，其都可以通過簡單地添加新的節點來實現，而不會影響已有系統的性能和穩定性。

第三，多維分析和復雜計算能力。StarRocks內置了多種數據分析和計算功能，如聚合函數、窗口函數、多維分析等。這使得用戶可以方便地進行復雜的數據分析和計算，在工控系統的優化和決策中獲得準確的洞察。

第四，實時監測和故障診斷。由于StarRocks支持實時數據處理和查詢，工控系統可以及時監測設備狀態、生產過程和能源消耗等重要指標。這有助于快速發現潛在問題，實施故障診斷和預防性維護。

第五，數據安全和隱私保護。StarRocks提供了多種安全機制，包括用戶認證、權限管理、數據加密等，確保工控數據的安全性和隱私保護。用戶可以根據需求設置不同的權限級別，限制數據的訪問和操作，保護敏感信息。

第六，開源生態系統和社區支持。作為一個開源項目，StarRocks具有活躍的社區和豐富的生態系統。用戶可以獲得來自社區的技術支持、參與功能擴展和Bug修復，并借助豐富的生態系統集成其他工控系統組件，構建完整的解決方案。

總體而言，StarRocks在高性能實時數據處理、彈性伸縮性、多維分析能力、數據安全性和開放性等方面具有優勢，是一個適合工控數據存儲的解決方案。它可以幫助工控系統實現高效、可靠的數據存儲和分析，提升系統的智能化和優化水平[2]。

3" "設計與實施

3.1 硬件配置和網絡環境

本項目采用6臺PowerEdge R750型服務器，網卡采用萬兆網卡，進行搭建，操作系統采用openEuler 22.03 LTS SP3操作系統（也可使用紅帽RHEL系統），JDK環境為jdk-17，StarRocks版本為3.1.11，MySQL管理工具版本為5.7.44。系統架構如圖1所示。

StarRocks整體架構分為兩類進程。

第一，FE（Frontend）進程，負責用戶請求的接入、查詢解析規劃、元數據的管理、節點管理相關工作。FE分為Leader、Follwer、ObServer三種角色。從所有節點中選出一個Leader FE節點，只有Leader FE節點可以寫入元數據，Follower和Observer只有讀取權限。Follower和Observer將元數據寫入請求路由到Leader，Leader更新完成元數據后同步給Follower和Observer，其他Follower FE節點只能根據Leader FE節點的日志更新元數據。必須有半數以上的Follower節點同步成功才算作元數據寫入成功。Observer主要用于擴展集群的查詢并發能力，可選部署。Observe不參與選主，不會增加集群的選主壓力。

第二，BE（Backend）進程，主要負責數據存儲、查詢計劃的執行，也被稱為CN（Compute Node）。BE是后端節點，負責數據存儲和SQL計算等工作[3]。

3.2 數據模型設計與表管理

3.2.1 數據模型設計

數據存儲模型采用四層分層架構，來保障數據的安全性與屏蔽對原始數據影響的目的。分層分別為：

（1）數據源層：ODS（Operational Data Store），存放未經過處理的原始數據，結構上與源系統保持一致，是數倉的數據準備區。

（2）數據倉庫層：DW（Data Warehouse）基于維度建模型理論進行構建，存放維度模型中的事實表，保存各業務過程最小粒度的操作記錄。

（3）數據輕匯總層：DM（Data Mention）建設通用性維度和指標，主要表數據還是明細數據，部分數據為匯總數據，主要增強指標性復用性。

（4）數據應用層：App（Application）存放各項統計指標結果，采用在StarRocks中建立數據庫與分配權限的方式提供給App程序使用，一是為了簡化開發;二是方便管理。其中DW層與DM層數由BI分析服務器根據實際生產業務，經過查詢與清洗ODS層的數據生成[4]。

3.2.2 表設計實例

3.2.2.1 創建SCADA實時數據庫數據塊類型配置表

創建配置表的目的，是應用層通過管理與查詢數倉中的數據對SCADA系統的配置信息從而給出指導性配置參數。也是調度下發參數表的無紙化途徑，這里處于對工控數據安全的考慮，應用層不能直接對SCADA系統數進行修改等操作。采取的方式為定時（每天晚上2點）將SCADA系統配置參數信息通過OPC UA協議將靜態配置參數同步至數倉。若需要修改參數時，管理人員只需要通過APP層錄入修改過的參數并通過工作流發出任務，相關管理人員接到發出的任務后，且經過審批后將所需要修改的參數數據導出為文本格式（SCV），交由相關負責人，將配置數據更新至SCADA系統，形成數據修改閉環。

3.2.2.2 創建SCADA_DB_TAG_CONFIGURE表

該表為SCADA實時數據庫模擬量輸入塊、模擬量輸出、數字量輸入等標簽配置表，主要功能為配置實時數據標簽屬性，如添加或修改標簽，設置標簽高低報警值、設置標簽變位報警、設置標簽描述、是否取反操作等。

3.2.2.3 創建SCADA實時數據數據存儲表

首先，創建ODS_SCADA_DB_VALUE表。該表為SCADA實時數據庫標簽變量數據存儲表，主要功能為實時存儲標簽變量數據（時間序列）。包含的字段有標簽名稱、數據類型、值、時間戳與質量。通過OPC UA從SCADA系統獲取數據寫入此表，該類型的表為ods層增量數據表，需要永久保存。

其次，創建ODS_SCADA_DB_TAG_ALARM表。該表為存儲SCADA系統實時報警值以及操作記錄等數據，通過ETL/PDI-Kettle工具從SCADA系統報警數據庫（SQL Server庫）中提取增量數據同步至此表表。該類型的表為ods層增量數據表，需要永久保存[5]。

綜上所述，其他表根據實際需求，按照數據分層結構進行創建，遵循分層架構可以減少重復開發，為后續的數據清洗工作和權限控制等帶來便利。

3.2.3 數據接入和采集方案

在該項目工業環境中數據的主要來源為SCADA系統，其中現場DCS、PLC、RTU、流量計等工控設備的數據采集均由SCADA系統完成。SCADA系統對外提供OPC UA數據通信接口，與此同時SCADA系統的Historian歷史數據庫對外提供ETL工具接口。其他系統的數據通過ETL工具從系統數據中提取與加載[6]。如管道泄漏檢測系統數據存儲數據庫為MariaDB，直接利用ETL工具進行數據同步與轉存儲，數據流向如圖2所示。

4" "結束語

基于StarRocks搭建的工控數據存儲平臺具有高性能、可擴展性和靈活性等優勢，能夠滿足工業控制系統對實時數據存儲和分析的需求。該平臺能夠為工控領域的數據管理和決策支持提供有效的解決方案，并為工業企業的智能化轉型打下堅實的基礎。本文的研究和實踐，旨在幫助工控系統開發人員和研究人員了解和應用基于StarRocks的工控數據存儲平臺。希望此平臺的建立能夠為工業領域的數據存儲和分析帶來新的機遇，提升工控系統的效率和智能化水平，推動工業互聯網的發展進程。

參考文獻

[1] 薛振文，李彤，牛帆．大數據時代數據倉庫技術的發展及應用[J]．中國傳媒科技，2023（10）：154-158．

[2] 陳雨婕．基于大數據平臺的公客服務可視化BI分析研究[J]．無錫職業技術學院學報，2023，22（6）：87-92．

[3] 韋統邊，吳江波，蘇德，等．基于Flink實時預警功能的實現[J]．汽車電器，2023（8）：49-50，53．

[4] 張寧，賈自艷，史忠植．數據倉庫中ETL技術的研究[J]．計算機工程與應用，2002（24）：213-216．

[5] 徐俊剛，裴瑩．數據ETL研究綜述[J]．計算機科學，2011，38（4）：15-20．

[6] 尤玉林，張憲民．一種可靠的數據倉庫中ETL策略與架構設計[J]．計算機工程與應用，2005（10）：172-174，229．

作者簡介：恵德榮（1987—），男，漢族，甘肅蘭州人，助理工程師，本科，研究方向為機械電子工業（產品）設計。

姬" "康（1987—），男，漢族，河南永城人，中級工程師，本科，研究方向為油氣田地面工程。