基于Prometheus的油田數據泄漏防護大數據系統運維方法

王曉鋒 馬麗麗

摘? 要：數據泄漏防護系統可以阻止企業的重要數據從網絡出口違規外發。針對油田數據泄漏防護大數據平臺對各個區域、不同類型的數據采集和設備、業務監測問題，本文首先提出依托大數據Flume（數據采集系統）組件，采用抓取外泄事件日志JSON（一種輕量級的數據交換格式）和解析后的違規外發文件txt文本的方法，實現數據采集;其次依托Prometheus服務監管系統Flume_exporter、Node_exporter組件和Grafana（一個跨平臺的、開源的度量分析和可視化工具），實現對數據泄漏防護設備信息和應用數據的監管;最后指出搭建采集系統和監管平臺對數據泄漏防護系統運維的作用。

關鍵詞：Flume;Prometheus;數據采集;監管平臺

中圖分類號：TP391? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-04-43-03

Abstract： Data leakage protection system can prevent important data of enterprises from being illegally exported from networks. This paper aims to solve problems of acquiring data of different types in different regions， and monitoring equipment and business on big data system for oilfield data leakage prevention. First， based on big data Flume （data acquisition system） component， this paper proposes to adopt the method of capturing JSON （JavaScript Object Notation， a lightweight data exchange format） of the leakage event log and the parsed illegally exported TXT file to achieve data acquisition. Second， Flume_exporter （Prometheus service supervision system）， Node_exporter component and Grafana （a cross-platform open source measurement analysis and visualization tool） are used to supervise equipment information and application data of data leakage prevention. Finally， this paper points out the effect of building an acquisition system and supervision platform in operation and maintenance of data leakage prevention system.

Keywords： Flume; Prometheus; data acquisition; supervision platform

1? ?引言（Introduction）

隨著信息技術的快速發展，數據量成幾何級數增長，人類進入大數據時代。在大數據分布式集群系統環境下，實現滿足每秒數百MB的日志數據采集和傳輸需求，已經成為大數據解決方案的前提和基本保障。如何解決在復雜場景下技術實現高緯度數據模型、自定義語言查詢、可視化數據展示等數據監控技術難題，也成為大數據解決方案的一項嚴峻的挑戰[1]。

油田企業為防護重要數據資產不從網絡出口違規泄漏，搭建了油田數據泄漏防護大數據系統。本文主要研究依托開源數據采集系統Flume，實現油田對網絡、終端敏感文件外泄事件全面數據采集，并且基于Prometheus服務監管系統[2]搭建油田數據泄漏防護大數據監管平臺，實現對數據泄漏防護設備基本信息和應用數據的實時監控、管理、分析以及健康度準確評估。

2? Flume數據采集系統（Flume data acquisition system）

Flume是一個高可靠、分布式、高可用的海量日志采集、聚合和傳輸系統，將大批量不同數據源的日志數據收集、聚合、移動到HDFS進行存儲[2]。Flume分布式系統的核心是Agent，內部有三個組件：Source、Channel、Sink。Source：源數據采集，通過與應用服務接口對接以獲取數據;Channel：Agent內部的數據傳輸通道，作為臨時存儲聚合數據，用于從Source將數據傳遞到Sink;Sink：從Channel消費數據并將其傳遞給目標地，最終將數據存儲到集中存儲器（HDFS）。Flume數據采集系統架構圖如圖1所示。油田數據泄漏防護大數據采集系統就是對終端、網絡數據泄漏防護日志、文件通過Flume Agent采集工具，以不同的Topic形式統一傳輸到Kafka，最終存儲到HDFS中。

Flume在收集數據過程中，可以定義JMX、JSON、Custom等格式采集報告，并通過配置Web服務器展示，實現對傳輸數據的實時監控。由于Flume數據采集報告Web展示端不具備大規模數據儀表盤式展示，在大數據背景下，借助Prometheus監管平臺以圖表形式簡潔、直觀地展示并統計、分析采集數據。

3? Prometheus監管平臺（Prometheus supervision platform）

Prometheus是一個開源的服務監控系統和時間序列數據庫，目前已經被廣泛應用于數據中心監控[3]。Prometheus可以對系統資源或指定業務資源實時監控，對自定義時間段內的數據參數進行查詢、分析，實現高效的系統維護和實時健康評估。

3.1? ?Prometheus組件介紹

Prometheus核心組件包括Prometheus Server（服務器）、Exporter（采集主機的監控樣本數據程序）、PushGateway（數據中轉網關）、AlertManager（告警系統）。

Prometheus Server：負責實現對監控數據的獲取、存儲及查詢。Prometheus Server可以通過靜態配置管理監控目標，也可以配合使用Service Discovery的方式動態管理監控目標，并從這些監控目標中獲取數據。Storage模塊將采集的數據保存在TSDB（時序數據庫）中，最終按照時間序列的方式存儲在本地磁盤中。

Exporter：將監控數據采集的端點（Endpoint）通過HTTP服務的形式暴露給Prometheus Server，Prometheus Server通過訪問該端點獲取到需要采集的監控數據。

PushGateway：當網絡環境不允許Prometheus Server和Exporter進行通信時，可以使用PushGateway來進行中轉。PushGateway將監控數據主動推送到Gateway中，然后Prometheus Server從PushGateway中拉取監控數據。

AlertManager：在Prometheus Server中支持基于PromQL創建告警規則，如果滿足PromQL定義的規則，則會產生一條告警。當接收到告警后，會通過郵件、釘釘等方式發出告警。

Grafana是一款美觀、強大的可視化監控指標展示工具，主要用于大規模指標數據的可視化展現，是網絡架構和應用分析中最流行的時序數據展示工具。它將Prometheus監控的數據源以儀表盤方式在Web面板展示。

Prometheus技術架構圖如圖2所示。

3.2? ?Prometheus的工作流

Prometheus Server定期從Exporter中拉取數據，或者接收來自PushGateway推送的數據;Prometheus Server在本地存儲收集到的數據，并運行定義好的告警規則，記錄新的時間序列或者向AlertManager推送警報;AlertManager根據配置文件對接收到的警報進行處理，發出告警;在Grafana圖形界面中，可視化展示數據。

4? 油田數據泄漏防護大數據采集系統和監管平臺 （Big data acquisition system and supervision platform for oilfield data leakage prevention）

油田數據泄漏防護大數據采集系統的目標是通過Flume 1.8.0采集油田企業違規外發敏感數據產生的外泄事件和油田企業內部終端資產信息（包括軟硬件信息、終端存儲文件信息、組織機構信息等），根據不同類型Topic，統一傳輸到Kafka，為數據泄漏防護大數據平臺提供分析、建模的數據源，采集數據最終存儲到HDFS中。

油田數據泄漏防護大數據監管平臺基于Prometheus監控系統Flume_exporter組件采集Flume獲取數據的統計數量，Node_exporter組件獲取數據泄漏防護設備系統運行狀態，AlertManager組件進行異常告警，Grafana工具在Web面板展示，實現數據信息的分析和監控。油田數據泄漏防護大數據采集系統和監管平臺架構圖如圖3所示。

4.1? ?油田數據泄漏防護大數據采集系統

根據Flume Agent采集數據泄漏防護外泄事件和網絡資源業務需求，進行項目定制開發，形成FileLimitrateThriftInterceptor.java，修改配置文件thrift2kafka.conf，實現將數據傳輸至大數據Kafka組件[4-5]。FileLimitrateThriftInterceptor.java部分代碼如下：

public FileLimitrateThriftInterceptor（Context context）

{

this.context = context;

//采集數據初始化

public void initialize（） {

//根據標記iscollect決定是否啟用該通道

this.flag=context.getBoolean（ISCOLLECT， true）.booleanValue（）;

this.secretkey = context.getString（SECRETKEY）;

try {

this.aesUtils = new AesUtils（this.secretkey）;

} catch （Exception e） {

e.printStackTrace（）;

logger.info（"aesUtils initialize error"）;

//獲取事件方法

public Event intercept（Event event） {

ArrayList bytes = new ArrayList

（）;

bytes.add（addBytes（event.getBody（）））;

if（isUseSecret）{

event.setBody（aesUtils.AESEncode（SerializableUtils.ObjectToByte（bytes）））;

}else{

event.setBody（SerializableUtils.ObjectToByte

（bytes））;

public List intercept（List events） {

for （Event event ： events） {

intercept（event）;

thrift2kafka.conf配置文件如下：

//配置Source

a1.sources.r1.type=thrift

a1.sources.r1.port=9110

a1.sources.r1.interceptors=limitrate

a1.sources.r1.interceptors.limitrate.type=src.interceptor.FileLimitrateThriftInterceptor$Builder

//配置Channel

a1.channels.c1.type=file

a1.channels.c1.checkpointDir=/mnt/checkpoint1

a1.channels.c1.dataDirs=/mnt/file-channel1

//配置Sink

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.kafka.topic=FILE_STORE_TOPIC

a1.sinks.k1.kafka.bootstrap.servers=kafka01.dqyt.com：9092

4.2? ?油田數據泄漏防護大數據監管平臺

油田數據泄漏防護大數據監管平臺建設包括三部分：Exporter組件代碼編寫;告警規則AlertRule配置，AlertManager組件進行異常處理方法配置;Grafana工具在Web面板展示方法配置[6-7]。

4.2.1? ?Exporter組件

采用Go語言開發Flume_exporter、Node_exporter組件代碼，獲取Flume端采集數據數量和服務器系統資源數值。Exporter部分核心代碼如下：

go func（） {

defer wg.Done（）

for _， url ：= range e.flumeMetricUrls {

m ：= <-channel

if m.Metrics[url] == nil {

log.Warn（">>>.receive metrics channel is nil， url： " + url）

continue

}

reg ：= regexp.MustCompile（`//（.*）/metrics`）

host ：= reg.FindStringSubmatch（url）[1]

for k， v ：= range m.Metrics[url] {

sMetrics ：= make（map[string]interface{}）

sMetrics = v.（map[string]interface{}）

delete（sMetrics， "Type"）

if strings.HasPrefix（k， "SOURCE."） {

e.processGaugeVecs（k， host， "SOURCE"， sMetrics）

} else if strings.HasPrefix（k， "CHANNEL."） {

delete（sMetrics， "Open"）

e.processGaugeVecs（k， host， "CHANNEL"， sMetrics）

} else if strings.HasPrefix（k， "SINK."） {

e.processGaugeVecs（k， host， "SINK"， sMetrics）

4.2.2? ?Grafana界面展示

Grafana平臺配置頁面定義與Prometheus鏈接的變量后，配置展示的JSON Model。配置變量Variable如下：

Variable：

$host? label_values（host）

$channel_name

label_values（FLUME_CHANNEL_ChannelSize{host=

"$host"}，name）

$sink_name

label_values（FLUME_SINK_EventDrainSuccessCount

{host="$host"}，name）

$source_name

label_values（FLUME_SOURCE_OpenConnectionCount{host="$host"}，name）

4.2.3? ?AlertManager告警

制定Prometheus服務器中的警報規則，規則觸發時，將警報發送到AlertManager組件。告警處理方法包括沉默、抑制、聚集和通過，例如郵件、即時通訊平臺、釘釘等。

4.3? ?測試及運行結果

Flume數據采集系統以流處理形式采集數據泄漏防護產生外泄事件JSON和解析的違規文件txt，系統性能測試需求是找出每秒接收事務數（外泄事件JSON數）峰值和Flume系統處理最大size文件需要的平均時間，生產環境要求最大文件為50 MB。測試結果為：每秒接收事務數峰值613條，處理事務數1.5 Mbps，處理50 MB大小解析文件需要30多秒。

Prometheus數據監控系統批處理形式獲取數據，只需對采集數據和告警功能的接口功能進行測試。

5? ?結論（Conclusion）

利用大數據組件Flume的油田數據泄漏防護大數據采集系統為大數據分析展示平臺提供了數據源，為油田數據泄漏防護大數據解決方案提供了數據基礎。搭建Prometheus監管平臺實現數據泄漏防護設備基本信息和Flume采集數據實時監控、管理、分析和健康度準確評估。在數字化油田的推動下，信息化產品類型更加多樣，設備數量、復雜度逐年增加，為網絡運維帶來巨大的挑戰。油田數據泄漏防護大數據監管平臺全面監控油田數據泄漏防護大數據系統下所有運行設備，大大降低了人工運維成本和設備運行風險。

參考文獻（References）

[1] 何邦才.大數據技術下企業信息采集技術研究[J].無線互聯科技，2019（4）：58-59.

[2] 方中純，趙江鵬.基于Flume和HDFS的大數據采集系統的研究和實現[N].內蒙古科技大學學報，2018（9）：153-155.

[3] 馬永，吳躍，何李囡.基于Prometheus的基礎軟硬件全鏈路監控設計和實現[J].電子技術與軟件工程，2019（24）：39-40.

[4] 林蒼.基于flume的日志收集統計系統[D].福建：廈門大學，2013（7）：13.

[5] 張小龍.基于Flume的XML數據自動收集系統[J].科學技術與工程，2013（13）：9062-9064.

[6] 陳曉宇.深入淺出Prometheus：原理、應用、源碼與拓展詳解[M].北京：電子工業出版社，2019：60-77.

[7] JULIUS V. Prometheus monitoring system best practices and common pitfalls[C]. QCon北京2018大會， 2019.

作者簡介：

王曉鋒（1989-），男，本科，工程師.研究領域：軟件研發，大數據運維.

馬麗麗（1982-），女，本科，高級工程師.研究領域：軟件開發.