信息化綜合運維管理系統的設計與實現

柯 文，李攀科

（中國鐵路武漢局集團有限公司 信息技術所，武漢 430071）

近年來，鐵路信息化建設快速發展，信息系統已全面應用到鐵路企業運輸生產和經營管理等領域，鐵路各部門的日常辦公管理和業務管理越來越依托于信息系統的穩定運行。同時，信息系統數量迅速增加，設備種類和技術日益多樣化，這對運維人員提出了更高的技術要求，使得運維工作難度加大。

針對這種情況，部分鐵路局集團公司構建了側重于網絡設備、小型機和應用監控的自動監控平臺，實現了系統監控和故障報警。但平臺功能單一，缺乏自動化[1-2]、智能化[3]運維手段，運維效率低，無法滿足大規模機房集中運維管理的需要，無法適應在虛擬化、云計算、大數據等新技術應用下，運維模式由系統運維向平臺運維[4-5]的轉變，達不到主動監控、集中管理、自動化運維的一體化運維目標[6]。因此，鑒于信息系統在鐵路運營中的重要地位，以及企業精細化管理的要求，本文設計并實現了一套符合鐵路信息化運維管理要求、適應新技術發展趨勢、提升管理效率、規范管理流程的信息化綜合運維管理系統。

1 系統設計

1.1 系統目標

基于鐵路局集團公司信息所運維管理辦法，結合實際運維需求，分析信息化運維業務流程，主要包括：設備臺賬管理、系統日常維護、系統監控及故障處理、系統升級、資源優化等。構建信息化綜合運維管理系統，需涵蓋上述業務流程，實現以下目標。

（1）構建集資產配置管理、設備運行監控、自動化運維、流程審批管理和智能決策分析于一體的綜合運維管理系統，為運維人員提供統一的工作平臺。

（2）建立信息化資產、資源管理臺賬，與現有的固定資產管理系統進行互聯互通，對設備狀態進行跟蹤，從而實現規范的資產入庫、使用、維護、報廢的全生命周期管理流程。

（3）將機房現有的軟硬件系統納入到統一的監控界面中，采集關鍵指標數據，收集日志信息，判斷系統異常及設備故障，產生實時報警，方便運維人員及值班人員及時處理。

（4）統一管理自動化運維操作腳本，建立設備運行監控與自動化運維操作聯動機制，實現故障自動恢復，降低設備故障處理延遲時間，提高運維效率和準確性，減少工作中的誤操作。

（5）從多角度統計和分析系統資源的使用情況，有助于管理部門掌握全面信息，輔助系統管理員進行資源優化配置，提高信息資源整體利用率。

1.2 總體架構

系統采用B/S架構，用戶界面通過瀏覽器展現，系統提供統一界面，方便用戶操作。系統的安裝、修改、維護全部在服務器端完成。服務器端采用分布式架構，多個節點共同提供設備運行監控、自動化運維、智能決策分析等服務，能有效避免單點故障。

1.3 技術架構

信息化綜合運維管理系統采用J2EE開發框架，基于Java語言開發，采用PostgreSQL數據庫，該數據庫支持無鎖表修改，與傳統關系型數據庫相比，提供了更大的數據存儲靈活性。系統在技術架構上劃分為展現層、業務層、數據訪問層和數據層，如圖1所示。

1.3.1 展現層

展現層是系統和用戶的交互層，用于展示系統功能，接受用戶數據錄入、導出和查詢等操作，對錄入數據進行基本校驗，用儀表盤、折線圖和圖表等方式進行數據展示，實現數據可視化。

1.3.2 業務層

業務層包括邏輯層和組件層。

（1）邏輯層是系統架構設計的核心，負責數據的加工和處理，利用CMDB、MON、AMS、Workflow、Data Mining等模塊，實現資產配置管理、設備運行監控、自動化運維、流程審批管理、智能決策分析等業務流程。既要滿足各模塊功能需求，又要實現各模塊間的聯動。

（2）組件層為邏輯層的各項功能提供具體服務。本文使用開源組件，方便系統快速開發，主要組件包括:數據采集組件falcon-agent、報警判定組件falcon-judge、數據存儲查詢組件falcon-graph、工作流引擎組件activiti，消息中間件Kafka等。系統將組件部署到若干節點上，實現分布式系統。

1.3.3 數據訪問層

數據訪問層包括數據訪問接口（DAO），實現對關系型數據庫PostgreSQL和分布式數據庫HBase的訪問，對分布式文件系統HDFS的流式訪問，對被監控設備的SSH、IPMI、SNMP、HTTP等的協議訪問，以及對外部信息系統的數據接口訪問。

1.3.4 數據層

數據層用于存儲業務數據，將資產及監控信息存放在關系型數據庫PostgreSQL，將監控和日志分析計算結果存放在分布式數據庫HBase中，將采集的原始日志和實時監控數據存放在分布式文件系統HDFS中。

圖1 系統技術架構圖

2 系統功能

本文基于系統目標，規劃并設計了信息化綜合運維管理系統的具體功能，如圖2所示。

2.1 資產配置管理

系統通過該模塊建立動態的資產配置庫[7]以及合理的信息化資產和資源模型。該模塊支持資源配置項的靈活添加和刪除，滿足多種統計分析需求，構建資產與資產間的關系管理機制，相關聯資產自動掃描發現，實現多維度資產管理。

圖2 系統功能示意圖

2.2 設備運行監控

該模塊用于建立集中的設備運行監控管理體系，實現運維人員對網絡設備、主機、存儲、操作系統、數據庫、中間件、應用、虛擬化集群、云平臺等的監控，實時獲取關鍵指標數據并通過Dashboard監控儀表盤展現運行指標變化趨勢，為運維人員提供故障分析依據。對于超過預定報警閾值的指標，系統通過聲音提示和郵件等形式告知相關負責人，便于快速查看問題。

2.3 自動化運維

該模塊用于進行自動化運維操作管理，能夠實現自動化日常維護，包括日常巡檢、數據備份、補丁升級、口令更改、日志清理等功能，減少運維人員的重復工作，同時支持用戶自定義的運維操作，及操作編排設計[8]。自動化運維操作可設置為手動或定時自動執行，與設備運行監控模塊進行聯動，實現自動化故障處理。

2.4 流程審批管理

該模塊用于進行日常運維工作的管理，與資產配置管理模塊聯動，形成規范化的資產、資源審批管理流程；與設備運行監控和自動化運維模塊聯動，形成規范化的日常運維管理流程，使得運維操作便于追溯。

2.5 智能決策分析

該模塊用于實現運維智能決策。運維管理過程中產生的數據包括日志和實時監控數據等。系統運用大數據分析技術，實現日志分析[9]、監控分析、異常排查、容量規劃等功能，用可視化方式展示數據計算結果，為運維人員及管理層提供輔助決策支持，并依據管理部門統計要求，生成相關報表。

3 關鍵技術

3.1 分布式監控技術

信息化綜合運維管理系統采用分布式架構開發。系統的設備運行監控和自動化運維等功能模塊通過組件的形式部署在多臺服務器上。每個功能模塊包含若干組件，組件以子服務（后臺 deamon 進程）的方式運行，子服務間使用Message Queue 進行通信，實現異步程序調用，從而提高系統的總吞吐量。子服務可以根據需要進行擴展，啟動更多的實例來處理更多的請求，在提高可用性的同時也提高了整個系統的伸縮性。與傳統架構相比，分布式架構具有高可靠性、易于擴展和計算性能強等特點。

系統的分布式監控組件部署如圖3所示，包括一個監控節點，多個代理節點以及多個服務器節點。在每個被監控的服務器節點上安裝Agent組件，實現CPU、內存、IP、內核參數、核心服務進程等各項指標的自動采集和主動上報，不需要對監控節點做任何其他設置，方便用戶維護。為了減緩監控節點的數據采集壓力，系統設置了多臺代理節點，負責數據的收集和轉發。代理節點接收到采集數據后，將數據轉發到報警判定組件Judge和數據存儲查詢組件Graph。代理節點除了接收Agent上報的數據外，還通過IPMI協議采集監控設備硬件管理接口數據，獲取硬件狀態及報警信息；通過SNMP協議采集網絡設備管理接口數據，獲取交換機及路由器的帶寬及流量指標；通過SSH協議采集中間件相關指標；通過API采集虛擬化集群資源的使用情況。采集到的監控數據按用途分為2類：（1）用于展示的數據存放到PostgreSQL數據庫；（2）用于做大數據分析的數據存入HBase分布式數據庫。

基于分布式監控技術實現的云平臺監控界面如圖4所示，實時顯示當前CPU、內存和存儲資源分配情況，以及云服務組件運行情況。

圖3 分布式監控組件部署圖

3.2 大數據技術

本文使用基于Hadoop的大數據平臺實現運維大數據存儲、計算和展示等功能。運維數據源來自運維管理過程數據，包括系統日志、報警日志、實時監控數據、運維數據和用戶操作日志等。經過數據清洗、分類、聚合、預處理等數據處理方式，將數據存儲落地并歸檔，根據日志、監控、報警等業務各自的特點，采用適當的算法模型，對海量數據進行快速計算處理，并用圖表等直觀方式呈現給用戶。

系統采用Hadoop分布式架構，使用Flume分布式海量日志采集工具來采集數據，通過Kafka消息中間件進行數據傳輸。系統將Flume采集的原始日志和實時監控數據存放在分布式文件系統（HDFS）中。HDFS具有高容錯性和高吞吐量等特點，解決了大數據存儲的難題。Spark Streaming分布式準實時計算系統處理延時較低，數據吞吐量大，可滿足準實時大數據量分析任務。系統通過Spark Streaming讀取Kafka隊列數據，進行數據計算分析，將日志分析結果寫入ES（Elastic Search）分布式數據分析引擎，Spark定時讀取ES中的最新日志進行分析，將監控數據分析計算結果存放在HBase分布式數據庫，數據處理流程如圖5所示。

以異常排查功能為例，系統實現了統一的異常排查入口，針對指標、日志、服務、機器進行故障排查，可根據搜索條件進行異常數量、機柜圖、時序圖的查詢，幫助運維人員快速定位異常來源和關聯關系，并實現快速跳轉到KPI異常分析、日志異常分析、服務異常分析頁面，有助于深入分析。異常排查分析概覽界面如圖6所示。

3.3 工作流引擎技術

系統采用activiti業務流程管理框架，實現自定義工作流、執行工作流、查看工作流等功能。工作流引擎（ProcessEngine）是activiti架構核心，負責生成流轉運行時的各種實例和數據并監控和管理流程的運行，方便開發人員快速構建功能豐富、輕便、高效的業務流程管理程序。用戶發起資源申請流程的界面如圖7所示。

4 結束語

信息化綜合運維管理系統運用分布式、大數據、工作流引擎等多種技術、采用多種開源組件，構建了一套綜合的、功能完備的、統一的運維管理系統。該系統已在武漢局集團公司信息技術所上線運行，系統運行穩定，數據量不斷增長，提高了信息化運維工作效率，也為信息化管理工作提供了依據。今后，將繼續在運維自動化和智能化方面努力實踐和探索，不斷優化和完善該系統。

圖6 異常排查分析概覽界面

圖7 資源申請流程界面