風(fēng)云三號(hào)氣象衛(wèi)星地面系統(tǒng)IT運(yùn)維數(shù)據(jù)處理平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

■ 林曼筠 趙現(xiàn)綱 衛(wèi)蘭 范存群 謝利子

為了保障風(fēng)云極軌氣象衛(wèi)星地面系統(tǒng)穩(wěn)定運(yùn)行、嚴(yán)格按業(yè)務(wù)流程處理風(fēng)云三號(hào)02批極軌氣象衛(wèi)星數(shù)據(jù)，為其相關(guān)子系統(tǒng)提供統(tǒng)一高效的運(yùn)維數(shù)據(jù)支撐，研究和設(shè)計(jì)了基于Elasticsearch大數(shù)據(jù)實(shí)時(shí)搜索分析引擎的新型IT運(yùn)維數(shù)據(jù)處理平臺(tái)，可及時(shí)定位系統(tǒng)中的異常事件；基于應(yīng)用運(yùn)行特征數(shù)據(jù)分析，實(shí)時(shí)掌握業(yè)務(wù)運(yùn)行性能。

風(fēng)云三號(hào)02批氣象衛(wèi)星地面系統(tǒng)實(shí)現(xiàn)了我國(guó)第二代極軌氣象衛(wèi)星地面系統(tǒng)的業(yè)務(wù)化運(yùn)行，帶動(dòng)我國(guó)新一代極軌氣象衛(wèi)星地面系統(tǒng)進(jìn)入成熟發(fā)展階段。風(fēng)云三號(hào)02批衛(wèi)星的兩顆衛(wèi)星，按照上、下午星布局安排，兩顆衛(wèi)星總共載有遙感探測(cè)儀器15類(lèi)18臺(tái)套，觀測(cè)通道增多，分辨率提高，數(shù)據(jù)傳輸速率提升，每顆衛(wèi)星每102 min完成一次繞地球一圈的觀測(cè)，雙星一天可獲得四次覆蓋全球的觀測(cè)資料，每日新增原始觀測(cè)數(shù)據(jù)及各級(jí)產(chǎn)品數(shù)據(jù)約6.2 TB，數(shù)據(jù)量巨大而處理流程復(fù)雜；而隨著IT技術(shù)和產(chǎn)品的發(fā)展，支撐上述業(yè)務(wù)運(yùn)行的IT 基礎(chǔ)支撐環(huán)境，已經(jīng)由第一代數(shù)量少而單體功能強(qiáng)大的大型機(jī)、第二代高可靠高性能小型機(jī)組合，發(fā)展到目前第三代分層分布式異構(gòu)集群，運(yùn)算能力、存儲(chǔ)容量和網(wǎng)絡(luò)帶寬都成指數(shù)增長(zhǎng)，單機(jī)功能相對(duì)弱化而設(shè)備數(shù)量劇增。風(fēng)云三號(hào)極軌氣象衛(wèi)星地面系統(tǒng)的業(yè)務(wù)化運(yùn)行，對(duì)數(shù)據(jù)處理的成功率和時(shí)效性都有嚴(yán)格的要求，這樣的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)，要求平臺(tái)運(yùn)行穩(wěn)定可靠、業(yè)務(wù)流程安排嚴(yán)謹(jǐn)守時(shí)，有必要的容錯(cuò)和應(yīng)急處理機(jī)制，能及時(shí)發(fā)現(xiàn)并處理業(yè)務(wù)流程中的數(shù)據(jù)處理異常事件，風(fēng)云三號(hào)極軌氣象衛(wèi)星地面系統(tǒng)IT運(yùn)維數(shù)據(jù)處理平臺(tái)對(duì)支撐衛(wèi)星運(yùn)行有著重要的作用。

1　傳統(tǒng)IT運(yùn)維數(shù)據(jù)處理方法

IT運(yùn)維數(shù)據(jù)，主要是指IT數(shù)據(jù)中心運(yùn)行過(guò)程中產(chǎn)生的系統(tǒng)負(fù)載信息、設(shè)備和應(yīng)用運(yùn)行日志、系統(tǒng)安全相關(guān)的數(shù)據(jù)。按照數(shù)據(jù)記錄的特點(diǎn)，上述數(shù)據(jù)可分為時(shí)序性數(shù)據(jù)和文本型數(shù)據(jù)，時(shí)序性數(shù)據(jù)主要是指數(shù)據(jù)格式里包含時(shí)間（timestamp）字段的數(shù)據(jù)，通常的格式為timestamp, key, value，例如CPU使用率、磁盤(pán)讀寫(xiě)速率，等；文本型數(shù)據(jù)，主要是指以文本方式記錄的數(shù)據(jù)，例如：系統(tǒng)日志、應(yīng)用日志、安全日志，等。本文主要針對(duì)這兩種類(lèi)型的數(shù)據(jù)處理方式進(jìn)行研究。

IT運(yùn)維數(shù)據(jù)的采集、處理和分析具有非常重要的意義，可以為數(shù)據(jù)中心及決策提供重要的數(shù)據(jù)支撐。以往，IT系統(tǒng)設(shè)備數(shù)量不多，數(shù)據(jù)處理應(yīng)用、每日運(yùn)行的作業(yè)數(shù)量有限，風(fēng)云衛(wèi)星地面應(yīng)用系統(tǒng)數(shù)據(jù)處理中心的IT運(yùn)維數(shù)據(jù)處理平臺(tái)以結(jié)構(gòu)化數(shù)據(jù)為主，運(yùn)維數(shù)據(jù)處理建立在相對(duì)獨(dú)立的關(guān)系型數(shù)據(jù)庫(kù)和搜索引擎框架上，采用傳統(tǒng)基于關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)開(kāi)發(fā)，這樣的架構(gòu)，優(yōu)點(diǎn)是整個(gè)運(yùn)維平臺(tái)的故障和問(wèn)題定位相對(duì)容易。

以時(shí)序型數(shù)據(jù)為例，時(shí)序型數(shù)據(jù)可以存儲(chǔ)在多種類(lèi)型的數(shù)據(jù)庫(kù)中，不同的數(shù)據(jù)能支持的查詢(xún)類(lèi)型存在區(qū)別。傳統(tǒng)的運(yùn)維數(shù)據(jù)處理系統(tǒng)往往用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)時(shí)序型數(shù)據(jù)，其存儲(chǔ)方式如下：

這類(lèi)數(shù)據(jù)的查詢(xún)方式是：

即：查詢(xún)時(shí)間段在B和C之間的所有metric_name為A的數(shù)據(jù)。這類(lèi)數(shù)據(jù)寫(xiě)入數(shù)據(jù)的形式與最后查出來(lái)的維度必須是完全相同的，且數(shù)據(jù)庫(kù)表結(jié)構(gòu)的字段及類(lèi)型完全固定，如圖1所示。

圖1　傳統(tǒng)時(shí)序型數(shù)據(jù)處理流程

對(duì)于上述數(shù)據(jù)處理方式，由于查詢(xún)和存儲(chǔ)的數(shù)據(jù)字段完全匹配，查詢(xún)模式很容易優(yōu)化，處理速度比較快。但是這種方式也存在一些問(wèn)題，如：

1）當(dāng)數(shù)據(jù)展現(xiàn)端需求發(fā)生變化時(shí)，數(shù)據(jù)源需要改變，而上述傳統(tǒng)架構(gòu)不能快速響應(yīng)數(shù)據(jù)源的變化；

2）當(dāng)數(shù)據(jù)查詢(xún)維度增加時(shí)，不同維度數(shù)據(jù)組合將產(chǎn)生巨大的數(shù)據(jù)量，而如果事先完全存儲(chǔ)這些維度的數(shù)據(jù)又將帶來(lái)空間的巨大浪費(fèi)。

對(duì)于文本型數(shù)據(jù)，其存儲(chǔ)方式也比較類(lèi)似，只是value部分改為日志的文本信息，以字符型存儲(chǔ)，當(dāng)上層業(yè)務(wù)要求對(duì)文本型數(shù)據(jù)進(jìn)行搜索操作時(shí)，還需要在關(guān)系型數(shù)據(jù)庫(kù)的基礎(chǔ)上再配置一套搜索引擎。

隨著分布式計(jì)算技術(shù)的飛速發(fā)展，衛(wèi)星中心的建設(shè)越來(lái)越多依托于集群架構(gòu)的分布式計(jì)算環(huán)境，部分業(yè)務(wù)依賴(lài)的計(jì)算設(shè)備由原有的單機(jī)高配轉(zhuǎn)化為多機(jī)低配，虛擬化和云計(jì)算更是在此基礎(chǔ)上加速了數(shù)據(jù)中心容量的擴(kuò)張。中心計(jì)算設(shè)備數(shù)量的增加帶來(lái)了運(yùn)維數(shù)據(jù)的海量增長(zhǎng)，完全基于關(guān)系型數(shù)據(jù)庫(kù)（如Mysql、Oracle等）的運(yùn)維數(shù)據(jù)處理方式已經(jīng)不能滿(mǎn)足數(shù)據(jù)中心IT系統(tǒng)發(fā)展的需求。此外，對(duì)數(shù)據(jù)中心的精細(xì)化運(yùn)營(yíng)要求IT系統(tǒng)能夠數(shù)據(jù)中心發(fā)生的事件進(jìn)行關(guān)聯(lián)分析，這對(duì)數(shù)據(jù)處理方式的設(shè)計(jì)提出了更高的要求。

2　基于大數(shù)據(jù)處理架構(gòu)的IT運(yùn)維數(shù)據(jù)處理平臺(tái)

互聯(lián)網(wǎng)的普及帶來(lái)了數(shù)據(jù)的爆發(fā)式增長(zhǎng)，也推動(dòng)了數(shù)據(jù)處理技術(shù)的發(fā)展，諸多數(shù)據(jù)處理框架層出不窮，數(shù)據(jù)處理能力也不斷增大。Elasticsearch是一個(gè)基于Apache Lucene（TM）的開(kāi)源搜索引擎，它創(chuàng)新融合了分布式數(shù)據(jù)庫(kù)和全文搜索等技術(shù)，為實(shí)時(shí)搜索數(shù)據(jù)、迅速提煉有效信息提供了可行的技術(shù)支撐。白俊等提出了基于Elasticsearch實(shí)時(shí)進(jìn)行進(jìn)行大數(shù)據(jù)搜索的軟件集成方案，實(shí)現(xiàn)了大規(guī)模日志的實(shí)時(shí)搜索。姜康等設(shè)計(jì)了一種基于Elasticsearch的水利元數(shù)據(jù)搜索與共享平臺(tái)，保證了用戶(hù)準(zhǔn)確高效地獲得水利行業(yè)數(shù)據(jù)。

為構(gòu)建高效數(shù)據(jù)運(yùn)行平臺(tái)，實(shí)現(xiàn)對(duì)不斷增長(zhǎng)的運(yùn)維數(shù)據(jù)的實(shí)時(shí)分析，風(fēng)云三號(hào)極軌氣象衛(wèi)星地面系統(tǒng)IT運(yùn)維數(shù)據(jù)處理平臺(tái)（以下簡(jiǎn)稱(chēng)運(yùn)維平臺(tái)）的設(shè)計(jì)基于以下原則：1）數(shù)據(jù)庫(kù)和搜索引擎設(shè)計(jì)為同一個(gè)框架內(nèi)不同組件；2）事務(wù)型數(shù)據(jù)和過(guò)程數(shù)據(jù)分離；3）采用分布式架構(gòu)，運(yùn)維數(shù)據(jù)處理分析能力可隨著業(yè)務(wù)發(fā)展而持續(xù)擴(kuò)展。

2.1　運(yùn)維平臺(tái)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)

按照上述設(shè)計(jì)原則，結(jié)合對(duì)“Elasticsearch”（以下簡(jiǎn)稱(chēng)ES）技術(shù)特點(diǎn)的研究，我們基于ES架構(gòu)設(shè)計(jì)風(fēng)云氣象衛(wèi)星地面系統(tǒng)IT運(yùn)維數(shù)據(jù)處理平臺(tái)。該平臺(tái)在每個(gè)運(yùn)維管理設(shè)備上安裝運(yùn)維參數(shù)采集Agent，Agent采用模塊化設(shè)計(jì)，每種數(shù)據(jù)采集組件以插件形式部署；Agent所采集到的數(shù)據(jù)匯聚到運(yùn)維平臺(tái)服務(wù)器端，并由服務(wù)器端程序?qū)懭敕植际綌?shù)據(jù)庫(kù)。

圖2對(duì)運(yùn)維平臺(tái)的數(shù)據(jù)和業(yè)務(wù)邏輯進(jìn)行了直觀說(shuō)明，從軟件功能看，該運(yùn)維平臺(tái)主要包含以下組件：

1）數(shù)據(jù)采集組件：數(shù)據(jù)采集組件主要包括數(shù)據(jù)采集客戶(hù)端（Pagent）和數(shù)據(jù)匯聚端（PCollectd），每個(gè)Pagent都支持本地的數(shù)據(jù)緩存，當(dāng)客戶(hù)端和服務(wù)器端出現(xiàn)連接異常時(shí)，保證一定時(shí)間內(nèi)不會(huì)出現(xiàn)數(shù)據(jù)丟失的情況。PCollectd負(fù)責(zé)匯聚所有Pagent發(fā)送的數(shù)據(jù)，并送到消息隊(duì)列中，如果與消息隊(duì)列之間的通訊有問(wèn)題，則將數(shù)據(jù)緩存到本地磁盤(pán)。

2）數(shù)據(jù)傳輸組件：數(shù)據(jù)傳輸組件（Tower）包括消息隊(duì)列、聚合組件和消費(fèi)組件。消息隊(duì)列用于消費(fèi)Pcollectd中的數(shù)據(jù)，同時(shí)完成對(duì)數(shù)據(jù)的過(guò)濾；聚合組件負(fù)責(zé)按照一定規(guī)則對(duì)裸數(shù)據(jù)進(jìn)行聚合，并將聚合數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中；消費(fèi)組件負(fù)責(zé)將裸數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)中，由于未來(lái)數(shù)據(jù)量有可能非常大，因此上述組件全部支持分布式部署。

3）數(shù)據(jù)存儲(chǔ)與分析組件：運(yùn)維數(shù)據(jù)將存儲(chǔ)在兩種類(lèi)型的數(shù)據(jù)庫(kù)中，一種是支持全局索引的分布式數(shù)據(jù)庫(kù)ES，另一種是關(guān)系型數(shù)據(jù)庫(kù)Mysql。ES主要用戶(hù)存儲(chǔ)裸數(shù)據(jù)和聚合數(shù)據(jù)，同時(shí)按照用戶(hù)定義的字段建立全局索引，Mysql主要用于存儲(chǔ)配置數(shù)據(jù)以及一部分與業(yè)務(wù)相關(guān)的聚合數(shù)據(jù)。

4）數(shù)據(jù)展示組件：本系統(tǒng)中的數(shù)據(jù)展示主要分為兩部分，一部分是系統(tǒng)數(shù)據(jù)（如：資產(chǎn)數(shù)據(jù)、系統(tǒng)配置數(shù)據(jù)，等），另一部分是運(yùn)維數(shù)據(jù)。為了更好的對(duì)運(yùn)維數(shù)據(jù)進(jìn)行展示，我們選擇在Grafana框架的基礎(chǔ)上進(jìn)行二次開(kāi)發(fā)。

5）配置管理組件：配置管理對(duì)系統(tǒng)的資產(chǎn)、用戶(hù)、數(shù)據(jù)分析策略、告警策略進(jìn)行配置，系統(tǒng)支持自定義數(shù)據(jù)分析策略和告警策略。

風(fēng)云三號(hào)02批極軌氣象衛(wèi)星地面應(yīng)用系統(tǒng)中運(yùn)維平臺(tái)的物理部署拓?fù)鋱D如圖3所示。

圖2　運(yùn)維平臺(tái)業(yè)務(wù)邏輯示意圖

圖3　運(yùn)維平臺(tái)物理部署拓?fù)涫疽鈭D

從硬件組成看，運(yùn)維平臺(tái)主要由三部分構(gòu)成：運(yùn)維數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)存儲(chǔ)與處理ES集群、數(shù)據(jù)展示和配置管理服務(wù)器：

1）運(yùn)維數(shù)據(jù)采集服務(wù)器：運(yùn)維數(shù)據(jù)采集通過(guò)Agent/Server方式實(shí)現(xiàn)，Agent由模塊化軟件實(shí)現(xiàn)，部署在各運(yùn)維管理對(duì)象中，負(fù)責(zé)采集運(yùn)維數(shù)據(jù)并發(fā)送給服務(wù)器節(jié)點(diǎn)；運(yùn)維數(shù)據(jù)采集服務(wù)器節(jié)點(diǎn)部署數(shù)據(jù)采集服務(wù)器端軟件，主要包括數(shù)據(jù)采集組件和數(shù)據(jù)傳輸組件，負(fù)責(zé)運(yùn)維數(shù)據(jù)收集、入庫(kù)；

2）ES集群：主要部署數(shù)據(jù)存儲(chǔ)與分析組件，由三臺(tái)ES服務(wù)器節(jié)點(diǎn)組成，其中1臺(tái)服務(wù)器為ES主節(jié)點(diǎn)，負(fù)責(zé)管理和集群操作相關(guān)的內(nèi)容，如創(chuàng)建或刪除索引，跟蹤哪些節(jié)點(diǎn)是群集的一部分，并決定哪些分片分配給相關(guān)的節(jié)點(diǎn)；2臺(tái)為ES數(shù)據(jù)節(jié)點(diǎn)，是存儲(chǔ)索引數(shù)據(jù)的節(jié)點(diǎn)，主要對(duì)文檔進(jìn)行增、刪、改、查等操作，聚合操作等。ES數(shù)據(jù)節(jié)點(diǎn)兼作為主節(jié)點(diǎn)的熱備，主節(jié)點(diǎn)也可以同時(shí)兼任數(shù)據(jù)節(jié)點(diǎn)。

3）數(shù)據(jù)展示和配置管理服務(wù)器：該服務(wù)器節(jié)點(diǎn)主要部署數(shù)據(jù)展示組件和配置管理組件，安裝Mysql數(shù)據(jù)庫(kù)以及用于配置管理的Web服務(wù)，主要負(fù)責(zé)系統(tǒng)中數(shù)據(jù)分析策略、告警策略、資產(chǎn)管理、用戶(hù)管理等功能配置，并負(fù)責(zé)數(shù)據(jù)展示。

2.2　運(yùn)維數(shù)據(jù)采集范圍和面向?qū)ο蟮拇鎯?chǔ)方式設(shè)計(jì)

運(yùn)維平臺(tái)支持采集多種類(lèi)型的運(yùn)維參數(shù)數(shù)據(jù)，根據(jù)風(fēng)云三號(hào)02批極軌氣象衛(wèi)星地面應(yīng)用系統(tǒng)的配置，目前采集的數(shù)據(jù)主要包括：

1）服務(wù)器：主要是指AIX和X86服務(wù)器的CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤(pán)、系統(tǒng)日志、系統(tǒng)配置信息等數(shù)據(jù)；

2）交換機(jī)：主要是指交換機(jī)配置信息、端口通訊信息等數(shù)據(jù)；

3）磁盤(pán)陣列；主要是指磁盤(pán)陣列的配置信息、掛載信息、文件系統(tǒng)讀寫(xiě)信息等數(shù)據(jù)；

4）文件系統(tǒng)：主要是指NFS文件系統(tǒng)和GPFS并行文件系統(tǒng)的運(yùn)行數(shù)據(jù)；

5）作業(yè)調(diào)度系統(tǒng)：主要是指業(yè)務(wù)系統(tǒng)使用的LSF作業(yè)調(diào)度系統(tǒng)的運(yùn)行數(shù)據(jù)；

6）數(shù)據(jù)庫(kù)：主要是指業(yè)務(wù)系統(tǒng)使用的Oracle數(shù)據(jù)庫(kù)的運(yùn)行數(shù)據(jù)；

7）應(yīng)用軟件：主要是指業(yè)務(wù)系統(tǒng)軟件的運(yùn)行數(shù)據(jù)；

為了實(shí)現(xiàn)對(duì)上述運(yùn)維數(shù)據(jù)的關(guān)聯(lián)分析，在設(shè)計(jì)數(shù)據(jù)存儲(chǔ)方式時(shí)，對(duì)時(shí)序型數(shù)據(jù)和文本型數(shù)據(jù)采用了相同的方式，且可以根據(jù)實(shí)際所采集到的運(yùn)維參數(shù)種類(lèi)靈活存儲(chǔ)信息，這種方式既考慮了數(shù)據(jù)的可擴(kuò)展性，同時(shí)也考慮了搜索查詢(xún)高效性。數(shù)據(jù)存儲(chǔ)方式設(shè)計(jì)為：

[time_stamp] [key1] [value1] [key2] [value2] [key3][value3] … [keyN] [valueN]

在這種存儲(chǔ)方式下，每個(gè)time_stamp對(duì)應(yīng)的時(shí)間點(diǎn)上，key-value的鍵值對(duì)數(shù)量是可擴(kuò)展的，因此，不同時(shí)序型數(shù)據(jù)和文本型數(shù)據(jù)都可以存儲(chǔ)到同樣的表結(jié)構(gòu)中。這種存儲(chǔ)方式優(yōu)化的查詢(xún)方式不限于查詢(xún)?cè)紨?shù)據(jù)，而是可以組合查詢(xún)條件并且做聚合計(jì)算，比如：

SELECT key2, sum(value1) / sum(value2) FROM metric WHERE key1 = “A” AND timestamp >= B AND timestamp < C GROUP BY key2

與傳統(tǒng)關(guān)系型數(shù)據(jù)不同，在這種數(shù)據(jù)存儲(chǔ)方式下，數(shù)據(jù)的寫(xiě)入形式和展現(xiàn)形式可以一致、也可以互不相同，如圖4所示，原始數(shù)據(jù)、寫(xiě)入數(shù)據(jù)庫(kù)的數(shù)據(jù)以及最終展現(xiàn)的數(shù)據(jù)都可以是不同維度、不同的形式，這就意味著，我們可以根據(jù)業(yè)務(wù)流程上下游的約束，從所得到的運(yùn)維信息中，挖掘提取出契合業(yè)務(wù)場(chǎng)景的分析結(jié)果。

2.3　數(shù)據(jù)分析設(shè)計(jì)與實(shí)現(xiàn)

在整個(gè)運(yùn)維平臺(tái)構(gòu)建中，數(shù)據(jù)存儲(chǔ)與分析組件是最核心的功能。在新型存儲(chǔ)方式的配合下，數(shù)據(jù)分析組件按照所配置的策略對(duì)運(yùn)維數(shù)據(jù)進(jìn)行自動(dòng)化多維度的關(guān)聯(lián)分析，及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行過(guò)程中存在的問(wèn)題，并提供合理的解決方案。數(shù)據(jù)分析組件采用決策樹(shù)算法對(duì)運(yùn)維數(shù)據(jù)進(jìn)行分析。決策樹(shù)是一種常用的分類(lèi)方法，將運(yùn)維數(shù)據(jù)異常的原因構(gòu)建成一種樹(shù)狀結(jié)構(gòu)，其中每個(gè)節(jié)點(diǎn)代表一種可能類(lèi)型。決策樹(shù)基于現(xiàn)有的運(yùn)維經(jīng)驗(yàn)構(gòu)建，并在系統(tǒng)運(yùn)行過(guò)程中不斷優(yōu)化和改進(jìn)。

在構(gòu)建運(yùn)維數(shù)據(jù)分析決策樹(shù)時(shí)，我們按照運(yùn)維數(shù)據(jù)的類(lèi)型首先在配置管理系統(tǒng)中將數(shù)據(jù)分為動(dòng)態(tài)和靜態(tài)兩大類(lèi)，靜態(tài)數(shù)據(jù)主要是資產(chǎn)的一些靜態(tài)信息，動(dòng)態(tài)數(shù)據(jù)主要指資產(chǎn)運(yùn)行過(guò)程中產(chǎn)生信息。在配置管理系統(tǒng)基礎(chǔ)上，構(gòu)建資產(chǎn)之間的邏輯依賴(lài)關(guān)系，例如：運(yùn)行存檔業(yè)務(wù)的服務(wù)器與存檔業(yè)務(wù)之間的依賴(lài)關(guān)系，共享文件系統(tǒng)和作業(yè)調(diào)度系統(tǒng)之間的依賴(lài)關(guān)系，等等。在這種定義下，某個(gè)環(huán)節(jié)出現(xiàn)異常一定會(huì)導(dǎo)致與其有依賴(lài)關(guān)系的另一個(gè)環(huán)節(jié)出現(xiàn)異常。基于資產(chǎn)的邏輯依賴(lài)關(guān)系，結(jié)合歷史上的運(yùn)維經(jīng)驗(yàn)，即可構(gòu)建出運(yùn)維數(shù)據(jù)分析的決策樹(shù)。

運(yùn)維數(shù)據(jù)分析決策樹(shù)的構(gòu)建不是一成不變的，在系統(tǒng)運(yùn)行的過(guò)程中，決策樹(shù)中的每個(gè)節(jié)點(diǎn)都可以不斷進(jìn)行優(yōu)化，以提升運(yùn)維數(shù)據(jù)分析的準(zhǔn)確性。下面以?xún)煞N數(shù)據(jù)分析策略為例說(shuō)明運(yùn)維平臺(tái)根據(jù)決策樹(shù)自動(dòng)完成運(yùn)維數(shù)據(jù)分析的流程。

2.3.1異常事件實(shí)時(shí)定位

氣象衛(wèi)星數(shù)據(jù)處理系統(tǒng)對(duì)時(shí)效性要求高，業(yè)務(wù)系統(tǒng)中的任何異常都有可能導(dǎo)致系統(tǒng)故障，影響衛(wèi)星數(shù)據(jù)處理的實(shí)時(shí)性，最終可能造成重大損失。通過(guò)對(duì)運(yùn)維數(shù)據(jù)進(jìn)行實(shí)時(shí)挖掘，找到其中代表異常事件發(fā)生的關(guān)鍵記錄，并通過(guò)一定的策略對(duì)系統(tǒng)運(yùn)維人員提前發(fā)送通知，可有效減少故障的發(fā)生。本小節(jié)對(duì)業(yè)務(wù)系統(tǒng)運(yùn)維中可能會(huì)出現(xiàn)的一種情況——內(nèi)存溢出情況進(jìn)行分析，并以此說(shuō)明運(yùn)維數(shù)據(jù)處理平臺(tái)對(duì)業(yè)務(wù)系統(tǒng)的幫助。

由于衛(wèi)星數(shù)據(jù)處理業(yè)務(wù)屬于I/O密集型業(yè)務(wù)，計(jì)算機(jī)與網(wǎng)絡(luò)支撐系統(tǒng)大多配置了I/O能力較高的并行文件系統(tǒng)（如GPFS文件系統(tǒng)）作為共享存儲(chǔ)。共享存儲(chǔ)中保存了應(yīng)用軟件的運(yùn)行程序、應(yīng)用數(shù)據(jù)文件、系統(tǒng)支撐軟件，如作業(yè)調(diào)度系統(tǒng)的執(zhí)行文件，等。在以往的運(yùn)維過(guò)程中，有時(shí)會(huì)碰到業(yè)務(wù)無(wú)法正常提交作業(yè)的情況，發(fā)生這種情況的其中一種原因就是文件系統(tǒng)掛載出現(xiàn)錯(cuò)誤，導(dǎo)致作業(yè)調(diào)度系統(tǒng)的進(jìn)程無(wú)法讀取共享存儲(chǔ)上的系統(tǒng)文件而異常退出。發(fā)生這種情況時(shí)，原因很難定位，究竟是什么原因引起的文件系統(tǒng)掛載異常無(wú)從查詢(xún)。究其根本原因，當(dāng)異常發(fā)生時(shí)，運(yùn)維平臺(tái)并沒(méi)有記錄系統(tǒng)足夠的運(yùn)行數(shù)據(jù)。

運(yùn)維數(shù)據(jù)處理平臺(tái)的建設(shè)可以在一定程度上解決這個(gè)問(wèn)題，協(xié)助管理人員定位問(wèn)題。圖5是針對(duì)上述故障的分析過(guò)程。

圖 5 文件系統(tǒng)異常分析流程

在上述流程中，通過(guò)日志分析模塊，對(duì)文件系統(tǒng)生成的日志進(jìn)行分析，當(dāng)出現(xiàn)錯(cuò)誤類(lèi)型日志時(shí)，系統(tǒng)自動(dòng)過(guò)濾錯(cuò)誤類(lèi)型。如果錯(cuò)誤類(lèi)型屬于掛載異常，則說(shuō)明文件系統(tǒng)將發(fā)生無(wú)法掛載的情況，通過(guò)檢查系統(tǒng)內(nèi)存占用情況確認(rèn)文件系統(tǒng)掛載異常是否由于內(nèi)存溢出導(dǎo)致。如果是內(nèi)存溢出導(dǎo)致，則通過(guò)保存的系統(tǒng)進(jìn)程信息查詢(xún)具體出現(xiàn)內(nèi)存使用異常的進(jìn)程信息，并根據(jù)進(jìn)程信息定位到最終的作業(yè)信息。這是個(gè)完全自動(dòng)化的流程，并且由于日志錯(cuò)誤是實(shí)時(shí)信息，系統(tǒng)可在最快的時(shí)間內(nèi)發(fā)現(xiàn)問(wèn)題，并通知問(wèn)題發(fā)生的原因。

2.3.2業(yè)務(wù)運(yùn)行性能分析

衛(wèi)星數(shù)據(jù)處理業(yè)務(wù)每天要處理上萬(wàn)個(gè)應(yīng)用程序，不同應(yīng)用程序之間存在一定的依賴(lài)性。如果業(yè)務(wù)運(yùn)行過(guò)程中，部分應(yīng)用程序的性能出現(xiàn)問(wèn)題，將直接影響業(yè)務(wù)整體進(jìn)度。因此，實(shí)時(shí)掌握系統(tǒng)中應(yīng)用程序的性能變得非常重要。運(yùn)維數(shù)據(jù)處理平臺(tái)可采集業(yè)務(wù)應(yīng)用程序運(yùn)行的系統(tǒng)數(shù)據(jù)，并進(jìn)行關(guān)聯(lián)分析，及時(shí)發(fā)現(xiàn)異常，并協(xié)助管理人員定位原因。圖6展示業(yè)務(wù)運(yùn)行性能分析過(guò)程。

圖 6 應(yīng)用運(yùn)行異常分析流程

由于衛(wèi)星處理系統(tǒng)是業(yè)務(wù)系統(tǒng)，一旦上線(xiàn)后，系統(tǒng)中的應(yīng)用基本不會(huì)發(fā)生變化。因此，可以在系統(tǒng)上線(xiàn)之前對(duì)系統(tǒng)進(jìn)行基準(zhǔn)測(cè)試，獲取每個(gè)應(yīng)用程序運(yùn)行的基準(zhǔn)值。平臺(tái)通過(guò)實(shí)時(shí)采集應(yīng)用程序運(yùn)行的進(jìn)程數(shù)據(jù)并與基準(zhǔn)值進(jìn)行比對(duì)，當(dāng)出現(xiàn)超出閾值的指標(biāo)時(shí)，通過(guò)關(guān)聯(lián)服務(wù)器運(yùn)行的數(shù)據(jù)進(jìn)行異常判斷，如果服務(wù)器有指標(biāo)出現(xiàn)異常，則獲取異常指標(biāo)并推送告警；如果服務(wù)器所有指標(biāo)正常，平臺(tái)通過(guò)進(jìn)程關(guān)聯(lián)作業(yè)信息，并將作業(yè)信息作為告警消息推送。管理人員在收到告警消息時(shí)，可根據(jù)作業(yè)信息，查看應(yīng)用輸出，及時(shí)定位異常發(fā)生的原因。

3　新平臺(tái)與傳統(tǒng)平臺(tái)的比較分析

從是否支持全劇索引、數(shù)據(jù)庫(kù)空間、查詢(xún)方法三個(gè)方面，將上述運(yùn)維平臺(tái)與傳統(tǒng)的基于Mysql的運(yùn)維平臺(tái)進(jìn)行對(duì)比，主要結(jié)果如表1所示。

表1　新平臺(tái)和傳統(tǒng)平臺(tái)比較

基于ES的新平臺(tái)在大規(guī)模數(shù)據(jù)的存儲(chǔ)、處理和查詢(xún)方面有著天然的優(yōu)勢(shì)。ES是一個(gè)近實(shí)時(shí)的分布式搜索和分析引擎，是建立在全文檢索引擎框架 Apache Lucene 基礎(chǔ)上的搜索引擎，Lucene高效的全功能搜索引擎框架，為風(fēng)云氣象衛(wèi)星地面系統(tǒng)運(yùn)維數(shù)據(jù)處理平臺(tái)的實(shí)時(shí)數(shù)據(jù)處理分析提供了強(qiáng)有力的技術(shù)保障。

4　結(jié)束語(yǔ)

本文分析了風(fēng)云三號(hào)02批氣象衛(wèi)星地面應(yīng)用系統(tǒng)中運(yùn)維數(shù)據(jù)處理平臺(tái)建設(shè)的原理、平臺(tái)基本信息以及平臺(tái)給業(yè)務(wù)運(yùn)行帶來(lái)的收益。分布式架構(gòu)運(yùn)維數(shù)據(jù)處理平臺(tái)可實(shí)時(shí)高效處理衛(wèi)星數(shù)據(jù)處理系統(tǒng)運(yùn)行過(guò)程中的運(yùn)維數(shù)據(jù)，基于平臺(tái)內(nèi)置的數(shù)據(jù)庫(kù)和搜索引擎，可根據(jù)業(yè)務(wù)運(yùn)行需要開(kāi)發(fā)出多種對(duì)業(yè)務(wù)有幫助的自動(dòng)化運(yùn)維流程。運(yùn)維數(shù)據(jù)處理平臺(tái)的構(gòu)建，為運(yùn)維大數(shù)據(jù)信息挖掘提供了很好的基礎(chǔ)，后續(xù)，將繼續(xù)探索利用ES的高效搜索分析能力，深入挖掘綜合運(yùn)維數(shù)據(jù)的潛在價(jià)值。

深入閱讀

白俊, 郭賀彬, 2014. 基于ElasticSearch的大日志實(shí)時(shí)搜索的軟件集成方案研究. 吉林師范大學(xué)學(xué)報(bào)（自然科學(xué)版）, 35(1):85-87．

崔鵬, 賈樹(shù)澤, 王素娟, 2011. 風(fēng)云三號(hào)氣象衛(wèi)星匯集軟件容錯(cuò)設(shè)計(jì)和實(shí)現(xiàn). 氣象科技, 39(5): 625-628.

高凱, 2016. 大數(shù)據(jù)搜索與日志挖掘及可視化方案. 北京: 清華大學(xué)出版社.

姜康, 馮鈞, 唐志賢, 等, 2015. 基于ElasticSearch的元數(shù)據(jù)搜索與共享平臺(tái). 計(jì)算機(jī)與現(xiàn)代化, (2): 117-121.

盧乃錳, 董超華, 楊忠東, 等, 2012. 我國(guó)新一代極軌氣象衛(wèi)星（風(fēng)云三號(hào)）工程地面應(yīng)用系統(tǒng). 中國(guó)工程科學(xué), 14(9): 10-19.

呂增輝, 陶振凱, 唐靜, 2009．基于 Lucene.net 的對(duì)象持久化的實(shí)現(xiàn)． 吉林師范大學(xué)學(xué)報(bào)（自然科學(xué)版）, 30 (1): 90-91．