基于物聯(lián)網(wǎng)的自動化數(shù)據(jù)轉(zhuǎn)儲技術(shù)研究

董桂苓

大慶油田有限責(zé)任公司第三采油廠 黑龍江 大慶 163113

引言

第二油礦實施物聯(lián)網(wǎng)建設(shè)以來，通過對站、間系統(tǒng)進(jìn)行改造，在關(guān)鍵節(jié)點上安裝監(jiān)控設(shè)備，實現(xiàn)站場集中監(jiān)控、無人值守、數(shù)字采集、智能管理，有效地降低員工的勞動強(qiáng)度，改善工作環(huán)境，控制操作風(fēng)險，為管理人員遠(yuǎn)程監(jiān)測站場生產(chǎn)數(shù)據(jù)、機(jī)泵運(yùn)行狀態(tài)提供技術(shù)支持。自動化數(shù)據(jù)應(yīng)用上，需要考慮以下幾方面需求，一是實時數(shù)據(jù)與關(guān)系數(shù)據(jù)轉(zhuǎn)換，自動化數(shù)據(jù)以秒為單位進(jìn)行采集傳輸，站場日常管理數(shù)據(jù)以日數(shù)據(jù)為主，需要研究自動化數(shù)據(jù)轉(zhuǎn)儲策略，保證日數(shù)據(jù)準(zhǔn)確性。二是與其他系統(tǒng)對接，為減輕基層資料人員采集工作量，避免數(shù)據(jù)多次重復(fù)錄入，需要研究數(shù)據(jù)自動推送機(jī)制，實現(xiàn)數(shù)據(jù)后臺自動分發(fā)，確保統(tǒng)建系統(tǒng)二次應(yīng)用。

1 關(guān)鍵技術(shù)分析

1.1 統(tǒng)一實時數(shù)據(jù)轉(zhuǎn)儲標(biāo)準(zhǔn)

為滿足自動化采集數(shù)據(jù)在生產(chǎn)管理中的應(yīng)用需要，統(tǒng)一規(guī)范生產(chǎn)現(xiàn)場數(shù)字化建設(shè)中實時數(shù)據(jù)采集點的命名方式，準(zhǔn)確識別和處理自動采集的各項數(shù)據(jù)，實現(xiàn)油田內(nèi)部實時數(shù)據(jù)的統(tǒng)一管理、統(tǒng)一應(yīng)用、統(tǒng)一數(shù)據(jù)轉(zhuǎn)換，方便數(shù)據(jù)的維護(hù)管理[1]。

1.2 數(shù)據(jù)映射管理

配置實時數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫字段的映射匹配關(guān)系，保證自動化數(shù)據(jù)的完整性和齊全性。通過配置關(guān)聯(lián)數(shù)據(jù)庫連接信息、目標(biāo)表、測點與目標(biāo)表字段的映射匹配、特殊匹配及轉(zhuǎn)儲條件等，建立自動化緩存庫向源數(shù)據(jù)庫的專業(yè)映射，形成一套完整的站庫數(shù)據(jù)轉(zhuǎn)儲方案。

1.3 自動化數(shù)據(jù)處理入庫

搭建實時數(shù)據(jù)轉(zhuǎn)儲轉(zhuǎn)發(fā)服務(wù)平臺，建立自動化處理服務(wù)，實現(xiàn)站庫實時數(shù)據(jù)的自動提取、上傳。服務(wù)通過帶入設(shè)備閥值，進(jìn)行數(shù)據(jù)篩選，通過去噪處理生成有效記錄，再根據(jù)映射關(guān)系，將數(shù)據(jù)自動推送進(jìn)自動化緩存庫。

1.4 入庫數(shù)據(jù)質(zhì)量檢查

在數(shù)據(jù)轉(zhuǎn)儲中，將原始的實時生產(chǎn)數(shù)據(jù)通過服務(wù)平臺，根據(jù)不同的需求截取實際需要的數(shù)據(jù)，剔除異常數(shù)據(jù)。通過可視化工具配置校驗規(guī)則，對數(shù)據(jù)進(jìn)行專業(yè)內(nèi)校驗和跨專業(yè)橫向校驗，確保數(shù)據(jù)采集的及時性、齊全性、準(zhǔn)確性，并提供數(shù)據(jù)檢查結(jié)果查詢。

2 技術(shù)實現(xiàn)方案

2.1 應(yīng)用架構(gòu)

研究實時數(shù)據(jù)庫核心技術(shù)原理，梳理已建實時數(shù)據(jù)，分析業(yè)務(wù)需求，建立自動化數(shù)據(jù)轉(zhuǎn)儲應(yīng)用規(guī)范；針對目前已數(shù)字化站庫，分析數(shù)據(jù)現(xiàn)狀，開發(fā)數(shù)據(jù)接口，實現(xiàn)自動化數(shù)據(jù)與關(guān)系數(shù)據(jù)庫對接與應(yīng)用。

系統(tǒng)應(yīng)用采用三層架構(gòu)，包括數(shù)據(jù)層、管理層、應(yīng)用層。

數(shù)據(jù)層：根據(jù)映射關(guān)系，進(jìn)行站庫自動化數(shù)據(jù)轉(zhuǎn)儲分析，實現(xiàn)自動化大數(shù)據(jù)的加載、去噪、篩選處理，鍵值數(shù)據(jù)的結(jié)構(gòu)化自動轉(zhuǎn)儲，自動化點位數(shù)據(jù)異常監(jiān)控預(yù)警。

管理層：對自動化數(shù)據(jù)分析轉(zhuǎn)儲進(jìn)行一體化平臺管理，包括用戶認(rèn)證、系統(tǒng)管理、應(yīng)用集成展示。

應(yīng)用層：平臺化集成展示，提供數(shù)據(jù)采集、系統(tǒng)應(yīng)用功能，提供用于交互接口。實現(xiàn)站庫生產(chǎn)自動化數(shù)據(jù)加載與采集、站庫生產(chǎn)數(shù)據(jù)審核與質(zhì)控、站庫生產(chǎn)數(shù)據(jù)對源數(shù)據(jù)庫和A5數(shù)據(jù)庫的遷移同步[2]。

2.2 數(shù)據(jù)流設(shè)計

圖1 系統(tǒng)數(shù)據(jù)流圖

3 現(xiàn)場應(yīng)用

通過在第二油礦各站所架設(shè)生產(chǎn)網(wǎng)無線網(wǎng)絡(luò)，采用雙應(yīng)用服務(wù)器的架構(gòu)方式，將生產(chǎn)網(wǎng)與辦公網(wǎng)應(yīng)用有效集成，實現(xiàn)數(shù)據(jù)自動推送。編寫實時數(shù)據(jù)轉(zhuǎn)儲服務(wù)，定期讀取實時數(shù)據(jù)并進(jìn)行關(guān)系庫存儲，以數(shù)據(jù)“誰產(chǎn)生誰上報”為根本原則，各崗位通過生產(chǎn)網(wǎng)應(yīng)用系統(tǒng)可對當(dāng)日轉(zhuǎn)儲數(shù)據(jù)進(jìn)行校對初審，技術(shù)員對各崗位數(shù)據(jù)進(jìn)行最后審核上報，進(jìn)而實現(xiàn)站庫實時數(shù)據(jù)與外部系統(tǒng)的精準(zhǔn)對接。

目前已實現(xiàn)大中型站場自動化數(shù)據(jù)、手持器數(shù)據(jù)自動提取、數(shù)據(jù)篩選和匹配計算，將海量的實時數(shù)據(jù)庫轉(zhuǎn)儲優(yōu)化為各類生產(chǎn)指標(biāo)、生產(chǎn)狀態(tài)，并自動生成日報表，日報表經(jīng)過審核后可以一鍵上傳到應(yīng)用平臺，替代了原有手工抄寫報表環(huán)節(jié)，降低了基層采集人員工作強(qiáng)度，滿足各級生產(chǎn)管理人員全面掌握生產(chǎn)動態(tài)需求，提升企業(yè)數(shù)據(jù)管理能力[3]。

4 結(jié)束語

通過對站庫自動化實時數(shù)據(jù)轉(zhuǎn)儲優(yōu)化，完成實時數(shù)據(jù)與關(guān)系數(shù)據(jù)的集成，整合實時數(shù)據(jù)庫與源數(shù)據(jù)庫相關(guān)數(shù)據(jù)，實現(xiàn)了站場重要生產(chǎn)參數(shù)的自動提取加載和相互驗證，提高了源數(shù)據(jù)庫相關(guān)數(shù)據(jù)的效率和質(zhì)量，降低了基層采集人員工作強(qiáng)度。為站庫的生產(chǎn)管理、數(shù)據(jù)分析、決策支持提供數(shù)據(jù)支持。