ELK日志分析平臺在系統運維中的應用

張彩云

隨著氣象部門對數據傳輸時效要求不斷提升，以及業務系統規模不斷擴大，對系統中日志的收集和集中處理的需求越來越高。本文提出了基于ELK實時進行大日志數據搜索的軟件集成方案。通過對ELK、Redis整合方案的介紹描述了ELK日志分析平臺的日志處理流程，結合全國綜合氣象信息共享系統（CIMISS）內蒙古氣象局實際場景設計了ELK日志分析平臺。通過分析日志可以快速定位系統異常，提前預警風險，加快了氣象部門實現智能化運維、信息化管理的步伐。

【關鍵詞】日志分析 ELK 智能化運維

1 引言

大數據時代，隨著存儲與計算集群規模的不斷擴大，氣象部門業務系統的集群環境也已普遍。然而現在的機群系統不僅限于解決性能、可靠、可擴展性等層面上，更重要的是具有易操作性和內部數據共享性等。運維及開發人員通過日志信息不但可以知道系統運行狀況、檢查運行過程中的錯誤及排查原因，還可以知道服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。

大規模集群系統中日志被分散的儲存不同的設備上。傳統方法通過使用命令工具如cat、tail、sed、awk、grep等等進行過濾輸出后分析的方法由于效率較低與不再適用，明顯增加了運維工作量。當務之急的工作就是要使用集中化的日志管理平臺，將所有服務器上的日志收集匯總進行監控、分析。優秀的系統運維平臺既能實現數據平臺各組件的集中式管理、方便系統運維人員日常監測、提升運維效率，又能反饋系統運行狀態給系統開發人員。

2 ELK簡介

ELK是由ElasticSearch、Logstash、Kibana組成的開源日志處理平臺解決方案。ELK能把這些日志集中管理，并提供全文檢索、統計分析功能，不僅可以提高診斷的效率，同時可以起到實時系統監測、網絡安全、事件管理和發現bug等功能。

2.1 ElasticSearch簡介

ElasticSearch是一個基于Lucene的全文搜索引擎。基于RESTful web接口，提供了一個分布式多用戶能力的全文搜索引擎。用Java開發的Apache許可條款下的開放源碼。在云計算應用中，能夠達到實時搜索，穩定，可靠，快速，且安裝使用方便。

2.2 Logstash簡介

Logstash由JRuby語言編寫的日志采集解析工具，基于消息（message-based）的簡單架構。Logstash由input、filter和output三部分組成，input負責從數據源提取數據，filter負責解析、處理數據，output負責輸出數據，每部分都有提供豐富的插件。不同于分離的代理端（agent）或主機端（server），Logstash可配置單一的代理端（agent）與其它開源軟件結合，以實現不同的功能。

2.3 Kibana簡介

Kibana也是一個開源的分析可視化平臺，它具有匯總、分析和搜索重要數據日志并提供友好的web界面的功能。他可以為Logstash和ElasticSearch提供的日志分析的 Web 界面，具有較好的展示效果，可以自定義多種表格、柱狀圖、餅狀圖、折線圖，對存儲在ElasticSearch中的數據進行深入挖掘分析與可視化。

3 日志分析系統

3.1 日志分析系統框架

基于ELK的日志分析系統的體系結構總體分為日志采集、日志預處理和日志分析三部分，如圖1所示。

雖然單純的ELK架構方式容易搭建，但是由于沒有消息隊列緩沖，存在數據丟失隱患，故本文設計的日志分析平臺引入了消息隊列機制。多個獨立的Logstash agent（shipper）部署在CIMISS系統（26臺服務器）各個日志生成host上，負責收集不同來源的日志，直接將日志輸出到Redis隊列（list）中；Logstash（Indexe）負責從Redis中取出數據，對數據進行格式化和相關預處理后，輸出到ElasticSearch集群中存儲；最后由Kibana呈現給用戶做統計、分析。

3.2 ELK環境部署

3.2.1 基礎環境準備

ELK日志分析平臺采用兩臺安有Centos6.4系統的虛擬機作為集群，一臺作為master節點，另一臺為slave節點，master收集到日志后，會隨機把一部分數據碎片到salve上；同時，master和slave又都會各自做副本，并把副本放到對方機器上，這樣就保證了數據不會丟失。如果master宕機了，那么客戶端在日志采集配置中將ElasticSearch主機指向改為slave，就可以保證ELK日志的正常采集和web展示。

3.2.2 ElasticSearch安裝及配置

由于ElasticSearch和Logstash都是依賴于java環境運行，且對java版本要求較高，首先在兩臺ElasticSearch客戶端逐臺安裝jdk8。然后安裝ElasticSearch5.0.1，集群名設置為ElasticSearch，每臺服務器的主機名為默認主機名，完成配置文件修改工作并登陸Web頁面測試安裝是否成功。最后安裝head插件，它是一個用瀏覽器跟ES集群交互的插件，可以查看集群狀態、集群的doc內容、執行搜索和普通的Rest請求等。

3.2.3 Logstash安裝及配置

Logstash的安裝較為簡單，首先檢查CIMISS系統中各日志生成服務器的java版本是否能夠支持Logstash，如果版本較低的話創建新用戶，安裝高版本的JDK，同時配置環境變量。然后在日志生成服務器和客戶端安裝Logstash5.0.1，并編寫簡單的輸入輸出信息測試Logstash是否能夠正確輸出。測試完成創建一個配置文件，使用 input 、filter和 output 定義收集日志時的輸入和輸出的相關配置，啟動Logstash時指定使用該配置文件。

3.2.4 Kibana及插件安裝配置

解壓安裝Kibana后修改配置文件，由于Kibana需要一直運行在前臺，因此選擇使用screen啟動Kibana。為了保證日志分析平臺的安全性，在Kibana和ElasticSearch中安裝x-pack插件。此時Logstash的配置文件中應將x-pack的訪問權限配置到output。使用瀏覽器訪問Kibana，在Discover中添加Logstash發送給ElasticSearch的index名，并在Query bar中輸入日志中可能引起系統異常的字段，搜索結果會隨著時間的推移顯示在頁面頂部的方直圖中，如圖2所示。同時可以保存關注的搜索結果，并在Visualize中創建柱狀圖，在Dashboard中監控。

4 結論

大數據時代的運維管理有著重大的意義，好的日志處理平臺事半功倍的提升開發人員和運維人員的效率。本文提出了基于ELK實時進行大日志數據搜索的軟件集成方案。采集CIMISS系統各設備上的操作日志、系統運行日志、進程輸出日志、以及維護記錄日志，發現和捕獲海量日志中的異常行為和違規行為，通過分析日志快速定位系統異常，為保障氣象部門系統系統安全提供支持。

參考文獻

[1]https：//www.elastic.co/

[2]呂增輝，陶振凱，唐靜.基于Lucene.net的對象持久化的實現[J].吉林師范大學學報（自然科學版），2009，30（01）：90-91.

[3][美]拉斐爾·酷奇，等.深入理解ElasticSearch[M].北京：機械工業出版社，2016.

作者單位

內蒙古自治區氣象信息中心 內蒙古自治區呼和浩特市 010010