基于zabbix數(shù)據(jù)源的自動(dòng)化運(yùn)維平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

楊帥　吳濤　李超　史超　田偉

摘 要：鑒于目前主流的zabbix等監(jiān)控工具難以滿足自動(dòng)化運(yùn)維實(shí)際需求，通過對(duì)zabbix監(jiān)控?cái)?shù)據(jù)源研究和zabbix-agent二次開發(fā)，完成監(jiān)控?cái)?shù)據(jù)收集，實(shí)現(xiàn)zabbix數(shù)據(jù)源調(diào)用、數(shù)據(jù)分析及可視化展示，從而構(gòu)建一套滿足運(yùn)維個(gè)性化需求的自動(dòng)化運(yùn)維監(jiān)控平臺(tái)，實(shí)現(xiàn)軟硬件資源監(jiān)控和自動(dòng)化巡檢，為優(yōu)化資源配置提供有力數(shù)據(jù)支撐，提升自動(dòng)化運(yùn)維管理水平。

關(guān)鍵詞：zabbix數(shù)據(jù)源;自動(dòng)化運(yùn)維;可視化展示

1 引言

隨著互聯(lián)網(wǎng)用戶業(yè)務(wù)規(guī)模的不斷擴(kuò)大，整個(gè)IT運(yùn)維環(huán)境變得日益復(fù)雜，傳統(tǒng)的被動(dòng)、孤立、半自動(dòng)式的運(yùn)維手段已經(jīng)無法滿足運(yùn)維人員實(shí)際運(yùn)維需求，IT運(yùn)維自動(dòng)化已成為當(dāng)前運(yùn)維發(fā)展的大趨勢。目前主流的開源自動(dòng)化運(yùn)維監(jiān)控工具，如：zabbix、Nagios等，雖然可以滿足基本的日常監(jiān)控需求，但隨著運(yùn)維規(guī)模的不斷擴(kuò)大，運(yùn)維設(shè)備種類不斷增多，這些監(jiān)控工具已無法滿足日常運(yùn)維工作的需求[1]。因此，亟需根據(jù)自身運(yùn)維需求對(duì)現(xiàn)有的開源工具進(jìn)行二次設(shè)計(jì)開發(fā)，構(gòu)建一套滿足運(yùn)維需求的自動(dòng)化運(yùn)維監(jiān)控平臺(tái)，解決日常運(yùn)維工作痛點(diǎn)、提高運(yùn)維效率。

2 設(shè)計(jì)思路

基于zabbix監(jiān)控?cái)?shù)據(jù)將運(yùn)維對(duì)象資源分配到相應(yīng)的業(yè)務(wù)線使用，按照業(yè)務(wù)線進(jìn)行軟硬件資源配置和日常運(yùn)維管理，從運(yùn)維對(duì)象、業(yè)務(wù)線等不同維度對(duì)資源進(jìn)行日常健康監(jiān)控和分析，并進(jìn)行報(bào)表數(shù)據(jù)可視化展示。同時(shí)，對(duì)軟硬件資源運(yùn)行狀態(tài)進(jìn)行監(jiān)控并設(shè)置告警閾值，以運(yùn)維監(jiān)控資源數(shù)據(jù)為基礎(chǔ)，結(jié)合整個(gè)運(yùn)維流程，完成運(yùn)維監(jiān)控同自動(dòng)化運(yùn)維平臺(tái)集成，實(shí)現(xiàn)自動(dòng)化運(yùn)維流程的全覆蓋[2]。

本文針對(duì)自動(dòng)化運(yùn)維平臺(tái)建設(shè)實(shí)際需求，整體分為基礎(chǔ)數(shù)據(jù)監(jiān)控、自動(dòng)化運(yùn)維平臺(tái)程序及數(shù)據(jù)庫兩大部分。其中：基礎(chǔ)數(shù)據(jù)監(jiān)控通過利用zabbix-agent作為數(shù)據(jù)采集客戶端，采用zabbix數(shù)據(jù)源提供基礎(chǔ)監(jiān)控?cái)?shù)據(jù);自動(dòng)化運(yùn)維平臺(tái)程序及數(shù)據(jù)庫基于Python 語言和Django框架進(jìn)行主體程序設(shè)計(jì)開發(fā)，實(shí)現(xiàn)zabbix數(shù)據(jù)源數(shù)據(jù)的提取、整合計(jì)算，將分析處理后的數(shù)據(jù)存儲(chǔ)至MySQL數(shù)據(jù)庫為平臺(tái)可視化展示提供數(shù)據(jù)支撐。

3 平臺(tái)設(shè)計(jì)分析及實(shí)現(xiàn)

3.1 zabbix數(shù)據(jù)源分析

3.1.1 數(shù)據(jù)收集

通過zabbix server服務(wù)的采集進(jìn)程完成zabbix agent 客戶端對(duì)軟硬件資源監(jiān)控?cái)?shù)據(jù)采集，并存儲(chǔ)在zabbix數(shù)據(jù)庫。同時(shí)，可根據(jù)用戶個(gè)性化需求，通過數(shù)據(jù)采集腳本實(shí)現(xiàn)其它監(jiān)控?cái)?shù)據(jù)的采集[3]。

3.1.2 數(shù)據(jù)表結(jié)構(gòu)分析

zabbix的數(shù)據(jù)源可通過MySQL、PostgreSQL、Oracle等數(shù)據(jù)庫實(shí)現(xiàn)，下面以MySQL數(shù)據(jù)庫為例對(duì)數(shù)據(jù)表結(jié)構(gòu)進(jìn)行分析設(shè)計(jì)。由于zabbix數(shù)據(jù)庫中涉及眾多表，而在實(shí)際應(yīng)用中只需重點(diǎn)關(guān)注以下表即可，以下對(duì)表中的關(guān)鍵字段進(jìn)行分析。

（1）hosts表

用于保存監(jiān)控資源實(shí)例（包含模板等），主要記錄如：IP、是否啟用等信息，關(guān)注的字段為hostid、host和status。

（2）items表

用于保存所有監(jiān)控項(xiàng)，主要包括監(jiān)控項(xiàng)與主機(jī)對(duì)應(yīng)關(guān)系、監(jiān)控?cái)?shù)據(jù)存儲(chǔ)映射關(guān)系等。

（3）history表

與items表相關(guān)聯(lián)，記錄浮點(diǎn)型監(jiān)控?cái)?shù)據(jù)。當(dāng)items表中value_type字段值為0時(shí)，監(jiān)控?cái)?shù)據(jù)記錄于此表。

（4）history_uint表

與items表相關(guān)聯(lián)，記錄長整型監(jiān)控?cái)?shù)據(jù)。當(dāng)items表中value_type字段值為3時(shí)，監(jiān)控?cái)?shù)據(jù)記錄于此表中。

（5）trends表

記錄浮點(diǎn)型趨勢數(shù)據(jù)，每小時(shí)進(jìn)行一次數(shù)據(jù)采集。當(dāng)items表中value_type字段值為0時(shí)，趨勢數(shù)據(jù)記錄于此表中。

（6）trends_uint表

記錄長整型趨勢數(shù)據(jù)，每小時(shí)進(jìn)行一次數(shù)據(jù)采集。當(dāng)items表中value_type字段值為3時(shí)，趨勢數(shù)據(jù)記錄于此表中。

（7）triggers表

記錄觸發(fā)器和告警狀態(tài)信息。

（8）functions表

與items、triggers表相關(guān)聯(lián)。

3.1.3 表關(guān)系

通過對(duì)以上zabbix數(shù)據(jù)庫表結(jié)構(gòu)的分析，表關(guān)系主要為：通過items表將hosts表與history、history_uint、trends、trends_uint這四張表進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)監(jiān)控?cái)?shù)據(jù)和趨勢數(shù)據(jù)的存儲(chǔ);同時(shí)，通過items表和functions表將hosts、triggers這兩張表進(jìn)行關(guān)聯(lián)，實(shí)現(xiàn)觸發(fā)器和告警信息的存儲(chǔ)。

3.2 數(shù)據(jù)處理

本文在zabbix數(shù)據(jù)庫表結(jié)構(gòu)初始化基礎(chǔ)上，結(jié)合平臺(tái)設(shè)計(jì)需求，對(duì)表結(jié)構(gòu)進(jìn)行分析設(shè)計(jì)，構(gòu)建數(shù)據(jù)庫以滿足自動(dòng)化運(yùn)維平臺(tái)基礎(chǔ)數(shù)據(jù)存儲(chǔ)需求，為平臺(tái)提供數(shù)據(jù)支撐。通過自動(dòng)化運(yùn)維平臺(tái)的后臺(tái)服務(wù)完成zabbix數(shù)據(jù)庫中監(jiān)控?cái)?shù)據(jù)的抽取，采用數(shù)據(jù)分析處理算法對(duì)數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)并前臺(tái)展示，實(shí)現(xiàn)運(yùn)維監(jiān)控實(shí)際需求。以常用的“主機(jī)資源運(yùn)行情況報(bào)表”為例對(duì)數(shù)據(jù)處理思路及過程進(jìn)行分析。

首先，在hosts表中通過條件‘status=0’，篩選出被監(jiān)控的主機(jī)資源信息，在items表中通過‘key_’字段篩選;其次，通過items表中的value_type字段值確認(rèn)監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)表，由于主機(jī)資源運(yùn)行情況報(bào)表統(tǒng)計(jì)頻率為每天，可使用趨勢表（trends表和trends_uint表）中的趨勢數(shù)據(jù)進(jìn)行統(tǒng)計(jì);最后，通過hosts、items和trends（或trends_uint）這三張表進(jìn)行聯(lián)合查詢，獲取所需的監(jiān)控?cái)?shù)據(jù)。同時(shí)，將通過數(shù)據(jù)抽取得到的基礎(chǔ)監(jiān)控?cái)?shù)據(jù)進(jìn)行算法處理，如：加權(quán)平均、篩選最大最小值等整合處理，并將整合處理后的最終數(shù)據(jù)存儲(chǔ)于自動(dòng)化運(yùn)維平臺(tái)的數(shù)據(jù)庫中。

4 結(jié)束語

本文對(duì)zabbix數(shù)據(jù)源涉及的表結(jié)構(gòu)和表關(guān)系進(jìn)行了分析設(shè)計(jì)，基于zabbix基礎(chǔ)監(jiān)控?cái)?shù)據(jù)，結(jié)合運(yùn)維監(jiān)控實(shí)際需求完成數(shù)據(jù)整合處理，滿足不同運(yùn)維場景下的個(gè)性需求。通過對(duì)zabbix數(shù)據(jù)源的深入研究分析并進(jìn)行二次設(shè)計(jì)開發(fā)，采用目前主流的自動(dòng)化運(yùn)維技術(shù)，構(gòu)建了一套滿足運(yùn)維實(shí)際需求的自動(dòng)化運(yùn)維監(jiān)控平臺(tái)，提高了運(yùn)維效率和運(yùn)維管理水平。

參考文獻(xiàn)

[1]龍煒.自動(dòng)化運(yùn)維工具在企業(yè)信息系統(tǒng)管理中的應(yīng)用[J].微型機(jī)與應(yīng)用，2017，36（05）：102-104.

[2]陳正華.國網(wǎng)信息系統(tǒng)運(yùn)維自動(dòng)化平臺(tái)的設(shè)計(jì)[J].工業(yè)儀表與自動(dòng)化裝置，2017（02）：18-21.

[3]謝超群.基于Zabbix高校數(shù)據(jù)中心運(yùn)維監(jiān)控平臺(tái)的建設(shè)研究[J].長春大學(xué)學(xué)報(bào)，2018，28（12）：44-47.

作者簡介

楊帥（1987-），男，運(yùn)維工程師，現(xiàn)就職于國網(wǎng)電子商務(wù)有限公司，主要研究自動(dòng)化運(yùn)維技術(shù)及可視化應(yīng)用等方向。

吳濤（1985-），男，工程師，現(xiàn)就職于國網(wǎng)電子商務(wù)有限公司，主要研究自動(dòng)化運(yùn)維技術(shù)及應(yīng)用等方向。

李超（1989-），男，總監(jiān)，現(xiàn)就職于國網(wǎng)電子商務(wù)有限公司，主要研究運(yùn)維管理及自動(dòng)化技術(shù)等方向。

史超（1988-），男，運(yùn)維工程師，現(xiàn)就職于國網(wǎng)電子商務(wù)有限公司，主要研究自動(dòng)化運(yùn)維技術(shù)、數(shù)據(jù)庫等方向。

田偉（1980-），男，運(yùn)維工程師，現(xiàn)就職于國網(wǎng)電子商務(wù)有限公司，主要研究網(wǎng)絡(luò)安全、自動(dòng)化運(yùn)維等方向。