基于Nagios的綜合監(jiān)視系統(tǒng)設計與實現(xiàn)

劉東君

( 中國氣象局預報與網(wǎng)絡司 北京 100081 )

0 引言

近幾年，由于氣象業(yè)務和公眾服務需求的日益增長，氣象信息網(wǎng)絡系統(tǒng)得到快速發(fā)展，信息系統(tǒng)關系到氣象業(yè)務運轉(zhuǎn)的方方面面，已經(jīng)成為氣象業(yè)務穩(wěn)定運行和未來發(fā)展的支撐和保障。其中的實時業(yè)務系統(tǒng)，即7*24小時不間斷運行的業(yè)務系統(tǒng)，承擔著氣象數(shù)據(jù)的收集和處理、氣象產(chǎn)品的生產(chǎn)和發(fā)布的重要工作，是氣象信息業(yè)務運維部門重點關注和保障的對象。為了提高這些實時業(yè)務系統(tǒng)的可用性和服務水平，需要獲取這些系統(tǒng)的運行狀態(tài)信息，以便發(fā)現(xiàn)和處理系統(tǒng)故障、排除系統(tǒng)隱患、優(yōu)化系統(tǒng)性能，從而更好地規(guī)劃系統(tǒng)發(fā)展。因此，建立一套行之有效的監(jiān)視系統(tǒng)，成為氣象信息運維部門亟待解決的問題。

1 現(xiàn)狀和需求分析

已提供實時監(jiān)視的業(yè)務系統(tǒng)主要有：中國氣象局骨干網(wǎng)、中國氣象局Internet接入系統(tǒng)、全國氣象寬帶MPLS VPN和SDH主干系統(tǒng)、NOTES辦公自動化系統(tǒng)、中國氣象局電子郵件系統(tǒng)、域名系統(tǒng)、VPN系統(tǒng)、NTP系統(tǒng)等。監(jiān)視手段大致分為三類：

（1）采用基于簡單網(wǎng)絡管理協(xié)議（SNMP）的第三方監(jiān)視系統(tǒng)：通過SNMP協(xié)議管理工作站可以遠程管理支持這種協(xié)議的網(wǎng)絡設備，包括監(jiān)視網(wǎng)絡狀態(tài)、修改網(wǎng)絡設備配置、接收網(wǎng)絡事件警告等，實現(xiàn)對網(wǎng)絡設備和服務器硬件資源的監(jiān)視。

（2）開通系統(tǒng)自帶監(jiān)視功能：通過直接訪問和查詢系統(tǒng)自帶監(jiān)視模塊，獲取運行狀態(tài)信息，及時發(fā)現(xiàn)異常，如中國氣象局電子郵件系統(tǒng)和NOT ES辦公自動化系統(tǒng)。

（3）根據(jù)系統(tǒng)默認運行環(huán)境編寫執(zhí)行腳本程序：在系統(tǒng)運行后臺或內(nèi)部，通過編寫并執(zhí)行腳本程序或命令獲取系統(tǒng)的實時運行狀態(tài)信息，掌握系統(tǒng)運行情況，如NTP系統(tǒng)。

以上三種手段在不同的業(yè)務系統(tǒng)中得到應用，起到了一定的作用。但是由于技術和管理上的制約，多種監(jiān)視手段未能集成在一個監(jiān)視系統(tǒng)中，使得監(jiān)視功能分散，各個業(yè)務系統(tǒng)根據(jù)需要分別建設監(jiān)視功能模塊（子系統(tǒng)），缺乏統(tǒng)一的規(guī)劃和有效的管理機制，業(yè)務系統(tǒng)之間的連接成為監(jiān)視的死角，查找定位問題源頭較為困難，已有監(jiān)視方式和手段已經(jīng)不能很好適應業(yè)務發(fā)展的需要。除此之外，還面臨著以下一些需求：

（1）對多廠商、多類型設備的支持：現(xiàn)運行的第三方的SNMP系統(tǒng)對新增設備的支持不靈活，特別是對于國內(nèi)制造商的設備支持不夠。

（2）對統(tǒng)一監(jiān)視界面的支持：分散的監(jiān)視方式和各自獨立的監(jiān)視界面使得業(yè)務管理人員頻繁訪問不同的系統(tǒng)，既給業(yè)務的監(jiān)視帶來不便，也不利于從整體結構和宏觀上把握業(yè)務的運行情況。

（3）對多種監(jiān)視手段的支持：隨著已有系統(tǒng)的升級和新系統(tǒng)的不斷出現(xiàn)，要求監(jiān)視系統(tǒng)具有強擴展能力，來集成和提供更豐富的監(jiān)視手段，以適應發(fā)展需要。

（4）對自定義動作的支持：除了故障報警之外，我們希望監(jiān)視系統(tǒng)能執(zhí)行更多的動作，比如：監(jiān)視系統(tǒng)發(fā)現(xiàn)數(shù)據(jù)庫進程異常中止了，在通知管理員之前，自動執(zhí)行故障修復的操作：重啟數(shù)據(jù)庫進程。一旦修復成功就不再通知管理員，這樣能夠有效地縮減故障時間，提高業(yè)務系統(tǒng)的可用率。

2 技術選型分析

該系統(tǒng)的監(jiān)視對象分為網(wǎng)絡系統(tǒng)和應用系統(tǒng)兩大類：

（1）網(wǎng)絡系統(tǒng)：全國氣象寬帶網(wǎng)SDH和MPLS VPN主干系統(tǒng)、中國氣象局骨干網(wǎng)、中國氣象局互聯(lián)網(wǎng)接入系統(tǒng)。

（2）應用系統(tǒng)：中國氣象局NOTES辦公自動化系統(tǒng)、中國氣象局電子郵件系統(tǒng)、信息中心門戶網(wǎng)站、域名系統(tǒng)、VPN系統(tǒng)、NTP系統(tǒng)等。

根據(jù)監(jiān)視對象的特點和監(jiān)視需求，我們確定了技術選型的主要原則：

（1）支持網(wǎng)絡和應用的統(tǒng)一監(jiān)視：網(wǎng)絡監(jiān)視包括對網(wǎng)絡設備的運行狀態(tài)和網(wǎng)絡系統(tǒng)性能指標的監(jiān)視，而應用監(jiān)視主要針對應用進程運行狀態(tài)、應用資源使用情況和應用關鍵性能指標進行監(jiān)視。網(wǎng)絡監(jiān)視具有統(tǒng)一的標準，即SNMP網(wǎng)絡管理協(xié)議，該協(xié)議得到網(wǎng)絡設備制造商的廣泛支持，通過SNMP協(xié)議能夠獲取網(wǎng)絡設備的各種運行數(shù)據(jù)，目前，絕大部分的網(wǎng)絡監(jiān)視和管理軟件都是基于SNMP協(xié)議來實現(xiàn)的，而應用監(jiān)視沒有統(tǒng)一的標準，實現(xiàn)技術特定于被監(jiān)視的應用本身，對不同的應用采用的監(jiān)視技術完全不同。為了實現(xiàn)網(wǎng)絡和應用統(tǒng)一監(jiān)視的目的，要求我們的系統(tǒng)既要支持實現(xiàn)網(wǎng)絡監(jiān)視的SNMP技術，又要支持各式各樣的特定于應用本身的監(jiān)視技術，因此，系統(tǒng)在設計和實現(xiàn)上不能僅僅基于某一種或幾種特定的監(jiān)視技術，而是要在系統(tǒng)架構上實現(xiàn)對任意多種監(jiān)視技術的支持和融合。

（2）支持自定義的事件處理：監(jiān)視系統(tǒng)在獲取對象的運行狀態(tài)信息后，根據(jù)對象的狀態(tài)信息執(zhí)行相應的事件處理程序，如通知系統(tǒng)管理員。事件處理程序?qū)⒈O(jiān)視、故障處理和業(yè)務管理連接起來，擴展監(jiān)視系統(tǒng)的功能，提高業(yè)務運行和維護的自動化水平。事件處理程序的功能和實現(xiàn)是自定義的，這要求監(jiān)視系統(tǒng)提供靈活的接口來實現(xiàn)對各種事件處理程序的支持。

（3）支持集中式和分布式的工作方式：監(jiān)視系統(tǒng)實時地采集和分析大量數(shù)據(jù)，系統(tǒng)性能對監(jiān)視的效果有很大的影響。在監(jiān)視大規(guī)模的網(wǎng)絡系統(tǒng)和復雜應用時，系統(tǒng)需要快速地采集和處理海量數(shù)據(jù)，為了滿足這種要求，監(jiān)視系統(tǒng)需要在數(shù)據(jù)采集、數(shù)據(jù)處理等多個層面上同時支持集中式和分布式[1]的工作方式。

3 綜合監(jiān)視系統(tǒng)的設計

3.1 系統(tǒng)總體架構

系統(tǒng)由三層組成，由下至上依次為對象層、插件層和服務層，其邏輯結構如圖1所示：

圖1 系統(tǒng)邏輯結構圖

各層的職責詳述如下：

（1）對象層：該層由被監(jiān)視的對象組成，這些對象可以是各種硬件設備，如服務器、存儲、路由器、防火墻、IDS等；可以是各種軟件實體，如操作系統(tǒng)、數(shù)據(jù)庫、Apache、WEBSPHERE、自己開發(fā)的軟件等；也可以是由硬件設備和軟件組成的獨立系統(tǒng)，如電子郵件系統(tǒng)、DNS系統(tǒng)、Notes系統(tǒng)等。系統(tǒng)對被監(jiān)視對象沒有限制，任意對象都能成為對象層中的一員。

（2）插件層：插件是完成一定功能的可執(zhí)行的小程序，插件層是眾多獨立插件的集合。每個插件完成一項具體的監(jiān)視任務，例如：為了監(jiān)視設備之間的網(wǎng)絡連通性，編寫一個程序主體是調(diào)用系統(tǒng)PING命令的插件，則任意兩臺設備間的網(wǎng)絡連通性就可以通過調(diào)用該插件來檢測。插件的輸出接口有一定規(guī)范，通過該接口將監(jiān)視結果返回給服務層。對象監(jiān)視功能的實現(xiàn)是由獨立的一個個插件來完成，與系統(tǒng)的結構和實現(xiàn)機制沒有關系。因此，一個對象的狀態(tài)信息只要能夠通過執(zhí)行本地命令或小程序來獲得，就可以編寫一個插件來實現(xiàn)該對象的監(jiān)視，從而將該對象納入到綜合監(jiān)視系統(tǒng)中來。這種將監(jiān)視功能抽象出來，由插件層中的插件來獨立完成的機制，確保了系統(tǒng)對監(jiān)視對象和監(jiān)視技術的無限擴展性。

（3）服務層：服務層不負責具體的監(jiān)視任務，但卻為插件的執(zhí)行和結果的展現(xiàn)提供通用服務，是整個系統(tǒng)的運行框架。該層的主要服務有調(diào)度執(zhí)行管理服務、報警和事件處理服務、數(shù)據(jù)存儲和訪問服務、配置管理服務和前端展示服務，其中調(diào)度執(zhí)行管理服務負責插件按照一定的時間間隔自動執(zhí)行；報警和事件處理服務會根據(jù)插件層提交的監(jiān)視結果執(zhí)行預定的動作，如短信報警、故障進程重啟等；數(shù)據(jù)存儲和訪問服務提供監(jiān)視數(shù)據(jù)的處理、存儲和訪問；配置管理服務負責監(jiān)視對象信息和執(zhí)行流程信息的管理；前端展示服務負責結果數(shù)據(jù)的展現(xiàn)。

3.2 主動監(jiān)視與被動監(jiān)視

根據(jù)監(jiān)視動作發(fā)起方的不同，將監(jiān)視分為主動監(jiān)視和被動監(jiān)視。主動監(jiān)視是管理端主動訪問監(jiān)視對象獲取數(shù)據(jù)，即由綜合監(jiān)視系統(tǒng)主動發(fā)起與完成整個監(jiān)視過程；而被動監(jiān)視是由監(jiān)視對象主動將數(shù)據(jù)推送給管理端，即由外部程序或應用完成監(jiān)視過程，監(jiān)視結果則提交給綜合監(jiān)視系統(tǒng)。大部分情況下，我們采用主動監(jiān)視，被動監(jiān)視則用于管理端因為某些原因不能主動訪問監(jiān)視對象的情況，如管理端安全級別低于被監(jiān)視對象；也可用于被監(jiān)視數(shù)據(jù)異步、無規(guī)律，不適合按固定時間間隔主動獲取的情況，例如：監(jiān)視IDS發(fā)現(xiàn)的入侵事件時，在一個時間間隔內(nèi)入侵事件可能發(fā)生，也可能不發(fā)生，因此適合采用被動監(jiān)視方式，在入侵事件發(fā)生時通知綜合監(jiān)視系統(tǒng)。

大部分的監(jiān)視軟件支持主動監(jiān)視，但對于被動監(jiān)視支持非常有限，一般僅能支持snmptrap。在本系統(tǒng)的設計中，增加專門的外部文件接口來支持被動監(jiān)視，外部應用只需按照接口規(guī)定格式將監(jiān)視結果數(shù)據(jù)寫入外部文件接口，統(tǒng)一監(jiān)視系統(tǒng)會定期讀取外部文件接口中的數(shù)據(jù)，并根據(jù)這些數(shù)據(jù)執(zhí)行預定動作。被動監(jiān)視的執(zhí)行過程如圖2所示：

圖2 被動監(jiān)視

（1）外部應用完成對象的監(jiān)視；

（2）外部應用將監(jiān)視結果寫入外部文件接口；

（3）綜合監(jiān)視系統(tǒng)定期讀取外部文件接口中的所有被動監(jiān)視提交的結果數(shù)據(jù)，并放入結果檢測處理隊列中，該隊列同時存放被動和主動監(jiān)視的數(shù)據(jù)；

（4）綜合監(jiān)視系統(tǒng)掃描隊列中的數(shù)據(jù)并完成相應的動作。

被動監(jiān)視的這種設計對被監(jiān)視的外部應用沒有任何要求，被動監(jiān)視的支持范圍不再受到限制，對于任意的trap、安全事件或外部應用都能得到很好的支持。

3.3 事件處理

事件處理用于在發(fā)現(xiàn)監(jiān)視對象狀態(tài)變化或異常時，執(zhí)行一些特定的動作，例如：重啟一個異常進程、自動填寫工單啟動故障處理流程、刪除臨時文件、切換并啟動備份設備等。這些動作按照需要自己定義。

事件處理包含三部分內(nèi)容，分別為事件處理命令、事件處理程序和事件處理配置項。其中事件處理程序是外部應用或可執(zhí)行的程序，由它來最終完成實際的動作；事件處理命令是執(zhí)行事件處理程序的命令；事件處理配置項用于將監(jiān)視對象與特定的事件處理命令關聯(lián)起來。當綜合監(jiān)視系統(tǒng)監(jiān)測到對象狀態(tài)變化時，會根據(jù)對象配置文件中的事件處理配置項找到對應的事件處理命令，并執(zhí)行該命令來進行響應。事件處理功能為綜合監(jiān)視系統(tǒng)提供更多的功能，給用戶和管理員帶來方便和效率。

4 綜合監(jiān)視系統(tǒng)的實現(xiàn)

綜合監(jiān)視系統(tǒng)的實現(xiàn)是一個從理論模型設計到業(yè)務應用、由業(yè)務反饋來修定模型設計的逐步迭代的過程，是監(jiān)視系統(tǒng)設計經(jīng)驗與氣象信息業(yè)務現(xiàn)狀和發(fā)展需求相結合的過程。

4.1 實現(xiàn)思路

系統(tǒng)運行在Centos5.x操作系統(tǒng)下，首先安裝工具支持軟件：perl、rrdtool、mysql、php、net-snmp等，然后安裝nagios和centreon系統(tǒng)。Nagios是一個運行于Linux系統(tǒng)上的第三方監(jiān)視軟件，它功能強大、成熟穩(wěn)定，有大量用戶，不足之處就是web訪問接口簡單和基于文件的復雜的配置管理[2]。我們選擇nagios系統(tǒng)作為基礎運行框架，通過完善和增加功能來實現(xiàn)調(diào)度執(zhí)行管理服務、報警和事件處理服務和數(shù)據(jù)存儲和訪問服務這三大核心服務模塊。監(jiān)視結果數(shù)據(jù)默認是存放在數(shù)據(jù)文件中，為了便于數(shù)據(jù)的管理和訪問，采用數(shù)據(jù)轉(zhuǎn)換程序?qū)?shù)據(jù)存放在mysql數(shù)據(jù)庫中。由于nagios系統(tǒng)前臺展現(xiàn)能力不足，在綜合監(jiān)視系統(tǒng)中我們采用centreon系統(tǒng)作為前臺的核心。通過實現(xiàn)nagios和centreon系統(tǒng)的集成，并對centreon代碼作進一步的修改、完善和漢化之后，綜合監(jiān)視系統(tǒng)能夠提供狀態(tài)和性能數(shù)據(jù)的直觀展現(xiàn)和基于web方式的配置管理，這既彌補了nagios軟件的不足，也為用戶提供豐富的體驗，為管理員提供高效便捷的管理方式。系統(tǒng)中的監(jiān)視插件放置在插件運行目錄下，每個插件都完成一項具體的監(jiān)視任務。

系統(tǒng)啟動后，會周期性的調(diào)用插件去檢測被監(jiān)視對象狀態(tài)，同時維持一個隊列，來存放插件返回的數(shù)據(jù)，系統(tǒng)每次從隊首開始讀取信息，根據(jù)該信息判斷監(jiān)視對象的狀態(tài)，觸發(fā)執(zhí)行相應的事件處理程序，狀態(tài)結果最后通過Web接口顯示出來。

4.2 插件的開發(fā)

插件是綜合監(jiān)視系統(tǒng)的基礎，是監(jiān)視任務的具體程序?qū)崿F(xiàn)。我們根據(jù)業(yè)務需求開發(fā)了大量的插件。這些插件功能各異，分別用于監(jiān)視遠程服務器的資源利用率、網(wǎng)絡設備的運行狀態(tài)、郵件服務收發(fā)功能是否正常、DMZ區(qū)服務器是否正常訪問外網(wǎng)、集群節(jié)點的運行狀態(tài)等等；規(guī)模大小不一，有的幾行代碼，有的幾百，甚至上千行代碼；支持的編程語言主要有C、Perl、shell。

插件的開發(fā)和使用步驟：

（1）編寫插件：插件程序的退出代碼必須為0、1、2、3中的任意一個整數(shù)，其中 0（OK）表示狀態(tài)正常、1（WARNING）表示出現(xiàn)一定的異常、2（CRITICAL）表示出現(xiàn)非常嚴重的錯誤、3 （UNKNOWN）表示被監(jiān)控的對象狀態(tài)不明。

（2）注冊插件：定義插件執(zhí)行命令和路徑。

4.3 網(wǎng)絡設備和應用服務的監(jiān)視

（1）網(wǎng)絡設備的監(jiān)視：在我們的業(yè)務網(wǎng)中，主要的網(wǎng)絡設備包括路由器、交換機和防火墻。這些設備支持標準的SNMP網(wǎng)絡管理協(xié)議。通過開發(fā)大量基于SNMP協(xié)議的插件，我們實現(xiàn)了監(jiān)視現(xiàn)有網(wǎng)絡設備接口運行狀態(tài)、CPU和內(nèi)存的利用率、設備模塊的運行狀態(tài)、風扇和電源的運行狀態(tài)、路由條數(shù)、接口表等。

（2）應用服務的監(jiān)視：對應用的監(jiān)視需要在應用所在主機上安裝中間代理。該代理負責接收監(jiān)視請求、監(jiān)視應用的實時運行狀態(tài)，并將結果返回給綜合監(jiān)視系統(tǒng)[3]。根據(jù)應用的運行環(huán)境，實現(xiàn)方式上分為兩種：

在Windows系統(tǒng)中，中間代理采用NSClient++，而與代理匹配的監(jiān)視插件為check_nt；如圖3所示。

圖3 Windows平臺

在Linux系統(tǒng)中，代理采用NRPE，匹配的插件為check_nrpe，如圖4所示。

圖4 Linux平臺

4.4 監(jiān)視結果展現(xiàn)

為了提高監(jiān)視結果的展現(xiàn)效果，我們分析了監(jiān)視系統(tǒng)的用戶類型，針對不同的用戶類梳理了相應的展示需求，在此基礎上實現(xiàn)了三套具有不同展示重點和管理功能的支持多語言的展現(xiàn)應用，其中有一套專門用于圖形化的實時展現(xiàn)。展現(xiàn)應用采用Perl實現(xiàn)后端進程開發(fā)、PHP實現(xiàn)前端頁面開發(fā)、性能展現(xiàn)數(shù)據(jù)存放在rrd數(shù)據(jù)庫中。

5 應用情況

綜合監(jiān)視系統(tǒng)已經(jīng)投入業(yè)務應用，負責網(wǎng)絡系統(tǒng)和重要實時應用系統(tǒng)的日常巡視和監(jiān)視管理。目前，通過該監(jiān)視系統(tǒng)實現(xiàn)了對129臺設備和1689個服務的實時監(jiān)視，提供監(jiān)視的主要業(yè)務系統(tǒng)有：全國氣象寬帶網(wǎng)SDH和MPLS VPN主干系統(tǒng)、中國氣象局骨干網(wǎng)絡系統(tǒng)、中國氣象局互聯(lián)網(wǎng)絡系統(tǒng)、全國NOTES辦公自動化系統(tǒng)、中國氣象局電子郵件系統(tǒng)、全國NTP校時系統(tǒng)、DNS系統(tǒng)、流量管理系統(tǒng)、文檔管理系統(tǒng)等。

監(jiān)視系統(tǒng)在業(yè)務運行過程中，多次及時發(fā)現(xiàn)系統(tǒng)異常和故障情況，為業(yè)務的穩(wěn)定運行提供技術保障，取得良好的效果。

6 結束語

本文總結了實時業(yè)務系統(tǒng)監(jiān)視現(xiàn)狀，分析了存在的問題，提出了監(jiān)視系統(tǒng)的發(fā)展方向，并詳細闡釋了基于Nagios的綜合監(jiān)視系統(tǒng)的設計、實現(xiàn)和應用情況。

下一步的工作重點是優(yōu)化和完善該系統(tǒng)，同時，提供與其它業(yè)務管理系統(tǒng)的集成。

[1]Alwin Brokmann.Monitoring system and services.Computing in High Energy and Nuclear Physics,March 24-28 2003

[2]David Josephsen.Building a monitoring infrastructure with nagios.PRENTICE HALL 2007.2

[3]Wolfgang Barth.Nagios System and Network Monitoring 2006