基于Python 的服務器運維可視化研究與應用

吳文哲

（遼河油田信息工程公司智能技術中心，遼寧 盤錦 124010）

公司中心機房是遼河油田眾多信息系統的大腦和中樞，在日常運維巡檢時，服務器運維人員和信息系統管理員需要查看服務器各項硬件資源使用情況和應用服務的運行狀態，要對各個服務器分別登錄、逐個巡檢。這項工作有3 個方面的問題：①手動操作煩瑣耗時、運維效率低，無法直觀地發現問題；②有時疏忽大意會造成漏檢，有時操作失誤會導致系統無法正常運行；③對于突發情況，尤其是夜間發生的故障，無法第一時間了解并處理。

為了解決以上問題，需要有系統全天不間斷自動監控服務器，對資源緊張的情況提出預警、告警，突發故障時能及時通知到系統管理員和運維人員，使應用程序和服務有一定的自我恢復能力。

1 主要研究內容

為了實現對服務器全天候不間斷自動監控，資源緊張時發出主動預警，并希望服務器有一定的自我恢復能力，需要研究以下三方面內容。

1.1 實時獲取服務器硬件資源和軟件運行狀態

針對不同操作系統，使用跨平臺能力強的探針程序，利用操作系統提供的自動執行功能，不間斷采集跟服務器運行相關的CPU、內存、硬盤、網絡、端口、進程等關鍵敏感信息，實時上傳至數據采集數據庫。

1.2 通過圖形化的界面，實時分析和判斷運行狀態是否正常

根據初始信息配置數據源后，數據庫中的數據表記錄就可以被數據可視化系統調用了。該階段首先進行數據的投影和清洗，用戶查詢自己關注的數據項，如果查詢成功，系統返回查詢結果，否則返回錯誤異常。通過選擇模型元素來建立數據模型，包括如折線圖、餅圖、柱形圖等模型樣式，顏色、視圖名稱，同時上層的展現功能調用被視圖庫添加好的模型。

使用可視化展示模式對采集入庫的數據進行展示的同時，根據提前設置好的報警參數，判斷當前服務器各項關鍵信息是否超過閾值，如果超出閾值，則使用郵件方式通知運維人員。

1.3 發現異常情況的自動處理

對于報異常的用戶進程，重啟該異常進程；對于占用資源非常嚴重的非系統進程，自動關閉該進程。服務器上的主要應用程序，在服務器負載相對較低時，使用腳本程序使其重啟。

2 技術方案

本課題的設計思路是通過Python 編程，使用目標服務器操作系統的自動執行功能運行探針程序，通過“推”模式實時將目標服務器的CPU、內存、網卡和硬盤等硬件資源的使用情況、本地端口、進程和應用服務的運行狀態推送至服務端程序，服務端程序部署在一臺安裝有雙網卡的服務器上，實現服務端程序跨網段運行；運維人員使用瀏覽器通過圖形化界面監控目標服務器各項指標的運行情況，頁面定時自動刷新數據；探針程序判斷目標服務器資源占用異常時，將異常信息記錄到日志文件，服務端程序發現目標機在指定時間間隔沒有通信，也將記錄異常信息，以上異常信息將以預警或告警郵件的形式發送給系統管理員；本地用戶的進程可以自動重啟。監控系統的參數，比如硬件資源的預警和告警閾值、進程或應用服務的路徑、可視化界面的刷新時間、郵箱地址、字體大小等都可以通過配置文件修改。整個過程實時監測，程序全天不間斷運行。

本課題研究的開發語言是Python，使用了psutil、glances、pymysql、sqlalchemy、pandas、flask、pyecharts、flask_bootstrap 等多個第三方模塊，數據庫使用開源的MySQL，網站搭建采用瀏覽器/服務器模式，使用HTML5、Bootstrap css 和jQuery 等前端技術實現網頁展示，利用flask框架實現后臺處理，使用pyecharts 將采集到的服務器系統信息可視化，使用uwsgi 和nginx 分別作為Web 服務器和反向代理服務器。

Python 崇尚優美、清晰、簡單，是一個優秀并廣泛使用的語言，廣泛應用于人工智能、運維自動化、操作系統管理、Web 應用開發、網絡爬蟲、科學計算、計算機視覺、深度學習、區塊鏈開發、桌面軟件、服務器軟件等。

psutil 是一個Python 模塊用來獲取正在運行的進程信息和系統的CPU 和內存的利用率，它不僅可以通過一兩行代碼實現系統監控，還可以跨平臺使用，支持Linux/Windows/Sun Solaris/OSX/FreeBSD/OpenBSD/NetBSD/AIX 等，是系統管理員和運維小伙伴不可或缺的必備模塊。

flask 是Python 開發的一個輕量級的Web 框架。Pyecharts是一個用于生成ECharts 圖表的類庫。因為用ECharts 生成的圖可視化效果非常棒，為了方便與Python 對接、在Python中直接使用數據生成圖表，所以產生了pyecharts。

3 主要技術創新

本課題主要科技創新體現在以下幾方面。

3.1 程序移植能力強

系統使用glances 模塊獲取目標服務器的CPU、內存、網卡、硬盤和端口的狀態信息；使用psutil 模塊獲取進程和應用服務信息；使用email 模塊創建一個包含主題和具體內容的報警郵件，再使用smtp 模塊設置郵箱的發送地址和接收地址；可視化展示功能主要使用flask、pandas 和pyecharts模塊，使用flask 構建Web 框架，使用pandas 統計分析采集來的數據，使用pyecharts 實現前端可視化效果。

綜上所述，無論是目標機上運行的客戶端探針程序，還是服務端負責展示的可視化后端程序，基于跨平臺能力強的Python 語言開發，使得監控服務器硬件資源、預警告警和可視化展示可以不受操作系統的影響，可移植能力大大增強。業界知名的老牌開源監控系統Zabbix，其server 端無法安裝在Windows 系統上，移植能力有限。

3.2 多種樣式風格的可視化展示

對于CPU 和內存、交換內存，使用餅圖可以分別展示（按照刷新頻率）最近10 次的CPU 和內存占用率，使用帶標記的折線圖展示最近n次（時間范圍可調）的占用率走勢，如圖1 所示。

對于硬盤空間，使用柱形圖顯示硬盤總容量大小，使用堆疊柱形圖的不同顏色區分已使用和未使用的硬盤容量，如圖2 所示。

對于網卡，按照采集間隔，使用折線圖展示瞬時流入流量和流出流量，直觀展示網絡流量隨時間的變化趨勢，如圖3 所示。

開源監控系統Zabbix 可視化圖形展示功能較為單一，缺乏儀表盤、柱狀圖、餅圖等圖形支撐；nagios 沒有數據展示功能，只關心報警功能；MRTG 側重網絡監控，主要功能是收集歷史數據和展示，圖形化能力差；Tsar 只能使用命令行形式，沒有圖形化界面。

圖1 負載占用情況

圖2 硬盤使用情況

圖3 網卡流量情況

3.3 具備簡單的自我修復能力

CPU、內存和磁盤的使用率設有一個預警值和一個告警值，具體每個硬件的預警值和告警值可以在配置文件中指定。根據提前設置好的報警參數，判斷當前服務器各項關鍵信息是否超過閾值，如果超出閾值，則使用郵件等方式通知運維人員。

在探針程序的配置文件中寫入目標服務器需要被監控進程的絕對路徑，如果該進程異常，則會通過os 模塊自動重啟。對于報異常的用戶進程，重啟該異常進程；對于占用資源非常嚴重的非系統進程，自動關閉該進程。服務器上的主要應用程序，在服務器負載相對較低時，使用腳本程序使其重啟。

4 應用情況

本課題基于瀏覽器/服務器模式，使用基于Python 的flask 框架技術，使用HTML5、JavaScript 和CSS 等前端技術，通過異步請求實現無刷新定時更新頁面數據。通過傳輸層TCP 協議與應用層HTTPS 協議傳輸數據，保證數據完整性和安全性。使用MySQL 數據庫管理數據，瀏覽器通過發送HTTPS 請求、接收JSON 格式的返回數據。主要實現數據采集、數據存儲及管理、可視化展示3 個功能模塊。

數據采集：包括實時數據和非實時數據兩種。非實時數據包括服務器基本配置信息、操作系統版本、系統啟動時間等。實時數據包括服務器主要負載指標、硬盤使用情況、網卡實時流量、系統運行時長、端口使用和進程分配的情況。

數據存儲及管理：通過數據庫管理系統將采集到的結構化數據整合為業務數據。

可視化展示：包括服務器硬件資源使用情況、系統端口使用列表和進程分配列表等數據的多種模型可視化展示。

本課題已經在車輛監控平臺相關的15 臺服務器上研究部署并成功應用，如圖4 所示，實現了對服務器、網絡、數據庫、中間件和應用系統等要素的監控和統一管理，具有分布式、全覆蓋、自動化和安全可靠等特點。本課題支持從業務視角排查并定位故障，讓系統運維人員能夠及時定位并解決系統運行問題，提升運維質量和效率，降低運維難度和風險，具有良好的推廣前景。在今后的工作中，還需要進一步完善系統日志深化分析和報警體系（如微信、短信推送等）建設，使之成為更加全面、高效、智能的自動化監控運維平臺。

圖4 首頁