外場感知設(shè)備的數(shù)據(jù)采集技術(shù)研究

田闖+張萍

[摘 要]企業(yè)常常面對(duì)大量分布分散的終端設(shè)備數(shù)據(jù)，這些數(shù)據(jù)在傳輸?shù)綌?shù)據(jù)處理服務(wù)器的過程中，以流數(shù)據(jù)的方式向上匯聚。為了能夠快速處理流數(shù)據(jù)，本文設(shè)計(jì)基于Esper的插件化流數(shù)據(jù)處理框架，以提高工作效率。

[關(guān)鍵詞]流數(shù)據(jù)；Esper；插件化

doi：10.3969/j.issn.1673 - 0194.2017.12.077

[中圖分類號(hào)]TP391.44；TN929.5 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1673-0194（2017）12-0-02

1 研究背景

流數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)持續(xù)到達(dá)，且速度快、規(guī)模宏大、格式各異。目前，在進(jìn)行外場感知設(shè)備的數(shù)據(jù)采集處理時(shí)，通常要同時(shí)對(duì)接不同的外場感知設(shè)備。由于不同的感知設(shè)備其通信協(xié)議不同，甚至差別較大，而傳統(tǒng)的做法一般都是針對(duì)不同的外場感知設(shè)備的數(shù)據(jù)采集，通常進(jìn)行專門的開發(fā)。

本文對(duì)外場感知設(shè)備的數(shù)據(jù)采集技術(shù)進(jìn)行了分析與研究，并基于Esper設(shè)計(jì)實(shí)現(xiàn)了一個(gè)能夠適用于多協(xié)議流數(shù)據(jù)處理平臺(tái)SCP（Stream Computer Platform）。

2 外場感知數(shù)據(jù)采集

2.1 流數(shù)據(jù)

近三十多年來，數(shù)據(jù)庫技術(shù)發(fā)展迅速且得到了廣泛應(yīng)用。一方面，數(shù)據(jù)建模形式多樣，從層次數(shù)據(jù)庫、網(wǎng)狀數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫、對(duì)象數(shù)據(jù)庫到關(guān)系對(duì)象數(shù)據(jù)庫等；另一方面，數(shù)據(jù)規(guī)模也越來越大。傳統(tǒng)數(shù)據(jù)庫技術(shù)的一個(gè)共同點(diǎn)是：數(shù)據(jù)存儲(chǔ)在介質(zhì)中，可以多次利用；用戶提交數(shù)據(jù)操縱語言（Data Manipulation Language，DML）來獲取查詢結(jié)果。盡管傳統(tǒng)數(shù)據(jù)庫獲得了較大的成功，但是在20世紀(jì)末，一種新的應(yīng)用模型卻對(duì)它提出了挑戰(zhàn)。一種名為流數(shù)據(jù)（Streaming Data）的應(yīng)用模型廣泛出現(xiàn)在眾多領(lǐng)域，例如金融應(yīng)用、網(wǎng)絡(luò)監(jiān)視、通信數(shù)據(jù)管理、Web應(yīng)用、傳感器網(wǎng)絡(luò)數(shù)據(jù)處理等。

令t表示任一時(shí)間戳，at表示在該時(shí)間戳到達(dá)的數(shù)據(jù)，流數(shù)據(jù)可以表示成{…，at-1，at，at+1，…}。區(qū)別于傳統(tǒng)應(yīng)用模型，流數(shù)據(jù)模型具有以下4點(diǎn)共性：①數(shù)據(jù)實(shí)時(shí)到達(dá)；②數(shù)據(jù)到達(dá)次序獨(dú)立，不受應(yīng)用系統(tǒng)所控制；③數(shù)據(jù)規(guī)模宏大且不能預(yù)知其最大值；④數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)。

2.2 外場感知設(shè)備數(shù)據(jù)采集中的關(guān)鍵問題

外場感知數(shù)據(jù)的數(shù)據(jù)量大、設(shè)備分散、各自同時(shí)向上匯聚數(shù)據(jù)的特點(diǎn)帶來了一些采集的特殊問題。本部分分析了感知設(shè)備的配置管理問題，對(duì)于大量異構(gòu)數(shù)據(jù)的匯聚，給出了兩步走的分層設(shè)計(jì)，以解決大并發(fā)情況下異構(gòu)數(shù)據(jù)的采集。并對(duì)采集到的異構(gòu)數(shù)據(jù)進(jìn)行解析，給出了一個(gè)可擴(kuò)展的插件式的處理框架，以解析采集到的異構(gòu)數(shù)據(jù)。

2.2.1 流數(shù)據(jù)的并發(fā)傳輸

外場感知數(shù)據(jù)由于設(shè)備較多，數(shù)據(jù)匯聚點(diǎn)也較多，且互相之間沒有必然聯(lián)系，各自獨(dú)立上傳，這導(dǎo)致前置機(jī)要同時(shí)接受多個(gè)甚至大量的鏈接。即便前置機(jī)可以處理多個(gè)鏈接，也不能同時(shí)將數(shù)據(jù)進(jìn)行分類和處理，因?yàn)檫@會(huì)導(dǎo)致前置機(jī)壓力過大，影響數(shù)據(jù)的時(shí)效性和完整性。所以，為了能夠同時(shí)處理大量來自不同匯聚點(diǎn)的異構(gòu)數(shù)據(jù)，本文給出兩步走的解決方法。第一步，前置機(jī)的功能弱化，只接收同構(gòu)數(shù)據(jù)，這能降低前置機(jī)的通信復(fù)雜性，同時(shí)將異構(gòu)數(shù)據(jù)的處理放到第二步中。第二步將構(gòu)建基于Esper的數(shù)據(jù)匯聚總線，Esper總線將接收前置機(jī)的數(shù)據(jù)，不進(jìn)行任何處理，只是簡單地將不同結(jié)構(gòu)的數(shù)據(jù)放置到不同的模塊隊(duì)列中。這樣，來自外場感知的異構(gòu)數(shù)據(jù)就最終被放到了不同的模塊隊(duì)列中，同時(shí)可以保證大數(shù)據(jù)量的實(shí)時(shí)處理。流數(shù)據(jù)的并發(fā)傳輸如圖1所示。

2.2.2 多規(guī)約數(shù)據(jù)的解析

以往的流數(shù)據(jù)處理框架通常將數(shù)據(jù)的解析和傳輸在一起實(shí)現(xiàn)，對(duì)于多種外場感知數(shù)據(jù)需要單獨(dú)實(shí)現(xiàn)一套采集程序，不能很好地進(jìn)行復(fù)用。由于本文使用了Esper總線，將數(shù)據(jù)分發(fā)到不同模塊的消息隊(duì)列中，所以多規(guī)約的數(shù)據(jù)解析就在各規(guī)約數(shù)據(jù)的模塊隊(duì)列中完成了解析。為了能夠?qū)Σ煌?guī)約的數(shù)據(jù)進(jìn)行解析，這里只需要實(shí)現(xiàn)不同規(guī)約對(duì)應(yīng)的解析模塊，在程序啟動(dòng)時(shí)加載到SCP即可。對(duì)于不同的模塊隊(duì)列，分別啟動(dòng)一個(gè)或多個(gè)消費(fèi)線程，消費(fèi)線程調(diào)用解析模塊，有針對(duì)性地將來自不同外場感知設(shè)備的數(shù)據(jù)，解析為同一種統(tǒng)一的格式放入目標(biāo)隊(duì)列中，或者單獨(dú)投遞到指定的目的地（文件、數(shù)據(jù)庫、MQ等）。

3 基于Esper的多協(xié)議流數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)及實(shí)現(xiàn)

在文中關(guān)鍵問題分析的基礎(chǔ)上，筆者基于Esper復(fù)雜事件處理引擎設(shè)計(jì)并實(shí)現(xiàn)了涵蓋異構(gòu)設(shè)備、實(shí)時(shí)外場感知數(shù)據(jù)匯聚、大規(guī)模并發(fā)傳輸?shù)牧鲾?shù)據(jù)處理平臺(tái)SCP。其系統(tǒng)框架如圖2所示。主要模塊包括：前置機(jī)、Esper總線、感知隊(duì)列、消費(fèi)解碼線程、目標(biāo)隊(duì)列、存儲(chǔ)系統(tǒng)、配置庫、配置文件以及守護(hù)進(jìn)程等。

圖2中各個(gè)功能模塊的說明：

（1）前置機(jī)：前置機(jī)通過讀取配置庫中與本前置機(jī)相關(guān)的配置，從而確定與哪些通信端通信，以及通信的具體方式等。

（2）Esper總線：負(fù)責(zé)接收以事件形式包裝的、來自各個(gè)前置機(jī)的外場原始數(shù)據(jù)，并根據(jù)事件的類型分發(fā)到不同的感知隊(duì)列中。

（3）感知隊(duì)列：盛放未經(jīng)解碼的異構(gòu)數(shù)據(jù)，每個(gè)感知隊(duì)列盛放一種類型的感知數(shù)據(jù)。

（4）消費(fèi)解碼線程：消費(fèi)解碼線程使用以插件的形式加載到系統(tǒng)中的解碼模塊，一種消費(fèi)線程負(fù)責(zé)從感知隊(duì)列中取出數(shù)據(jù)，調(diào)用解碼模塊進(jìn)行解碼，將統(tǒng)一格式的數(shù)據(jù)放入目標(biāo)隊(duì)列中。

（5）目標(biāo)隊(duì)列：對(duì)于異構(gòu)數(shù)據(jù)，系統(tǒng)將最終提供一個(gè)統(tǒng)一的數(shù)據(jù)格式來存儲(chǔ)異構(gòu)數(shù)據(jù)，異構(gòu)數(shù)據(jù)可能只是目標(biāo)隊(duì)列中數(shù)據(jù)對(duì)象的子屬性。這樣目標(biāo)隊(duì)列就可以盛放各種外場感知數(shù)據(jù)。如果感知數(shù)據(jù)是完全不同格式的數(shù)據(jù)，比如有些外場感知數(shù)據(jù)是文件，有些是圖片。感知數(shù)據(jù)經(jīng)過消費(fèi)線程解碼后，可以直接跳過目標(biāo)隊(duì)列，直接進(jìn)入存儲(chǔ)系統(tǒng)。

（6）存儲(chǔ)系統(tǒng)：系統(tǒng)最終存放數(shù)據(jù)的地方。其可以是文件、數(shù)據(jù)庫、外部消息隊(duì)列服務(wù)等。

（7）配置庫：提供系統(tǒng)啟動(dòng)需要的各種配置信息。

（8）配置文件：提供一些適合存放在文件中的配置信息，比如本機(jī)IP、端口等用于定位前置機(jī)本身的信息。

（9）守護(hù)進(jìn)程：用于在系統(tǒng)出現(xiàn)異常退出等不在正常運(yùn)行狀態(tài)時(shí)重啟SCP。

4 結(jié) 語

在能源和交通等領(lǐng)域，企業(yè)信息化日益發(fā)展，企業(yè)常常面對(duì)大量分布分散的終端設(shè)備數(shù)據(jù)，這些數(shù)據(jù)在傳輸?shù)綌?shù)據(jù)處理服務(wù)器的過程中，以流數(shù)據(jù)的方式向上匯聚。基于流數(shù)據(jù)的特點(diǎn)，本文為了能夠快速處理流數(shù)據(jù)，設(shè)計(jì)了基于Esper的插件化流數(shù)據(jù)處理框架。該框架可以適應(yīng)不同領(lǐng)域數(shù)據(jù)格式異構(gòu)的問題，可以處理多數(shù)據(jù)源，同時(shí)可以向數(shù)據(jù)處理服務(wù)器匯聚數(shù)據(jù)。

主要參考文獻(xiàn)

[1]亓開元，趙卓峰，房俊，等.針對(duì)高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實(shí)時(shí)處理方法[J].計(jì)算機(jī)學(xué)報(bào)，2012（3）.

[2]孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào)，2014（4）.