工業大數據中數據采集和處理系統設計與測試分析

摘" 要：該文主要探究面向工業大數據的數據采集和處理系統的設計要點，并對其功能實現情況和運行性能進行測試分析。該系統可從Modbus RTU和OPC服務數據庫中采集數據，并暫存于MaxComputer和Golden RTDB中，系統調用數據完成基本信息計算、班組信息計算、峰谷平計算，處理結果以表格形式呈現。從測試情況來看，該系統的數據采集、處理等基本功能可以正常實現，系統對工業大數據的單批次處理用時在50 ms以內，處理速度較快。

關鍵詞：工業大數據；數據采集；舊數據遷移；Golden RTDB；存儲模式

中圖分類號：TP274.2" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2024）33-0022-04

Abstract： This paper mainly explores the design points of a data acquisition and processing system for industrial big data， and tests and analyzes its functional realization and operating performance. The system can collect data from Modbus RTU and OPC service databases， and temporarily store it in MaxComputer and Golden RTDB. The system calls the data to complete basic information calculation， team information calculation， and peak-valley calculation， and the processing results are presented in table form. Judging from the test situation， the system's basic functions such as data acquisition and processing can be realized normally. The system takes less than 50 ms to process a single batch of industrial big data， and the processing speed is fast.

Keywords： industrial big data; data collection; old data migration; Golden RTDB; storage model

面向工業大數據的數據采集和處理系統可以采集溫度、壓力、電量等多種數據，在數據計算分析的基礎上實現對工業設備運行工況和企業生產狀況的動態監測。考慮到工業大數據來源廣、類型多、頻率高，在采集數據后需要將其存儲到專用的工業實時數據庫中，確保在數據處理時能夠從數據庫中快速、準確地找到目標數據。同時，該系統還應滿足低延遲、高效率等要求，提高數據處理速度以滿足企業需要，從而體現數據采集和監控應用系統的實用價值。

1" 工業大數據中數據采集和處理系統的設計

1.1" 數據采集和處理系統的整體架構

該系統采用B/S架構，包含了數據采集層、數據處理層、任務調度層和數據存儲層4部分，系統整體架構如圖1所示。

任務調度層基于Azkaban批處理調度器完成數據計算，調度任務包括全量計算、生成測試數據等。由于Azkaban支持定時執行功能，因此用戶可以自定義不同任務的執行順序，達到系統資源的目的。……