面向集群的系統性能可視化監控平臺

李薛劍， 胡月月， 余雪莉

(1. 安徽大學 計算機科學與技術學院，合肥 230601；2. 安徽科技貿易學校，安徽 蚌埠 233000)

0 引 言

伴隨著計算機技術的不斷發展，對于系統服務穩定性的要求顯得尤為重要，集群的監控必不可少。盡管Linux操作系統提供了大量命令用于查看系統性能，但是這樣的命令使用繁瑣，結果不便于查看，且多是針對系統當前狀態或是下一時刻的系統狀態，對于歷史數據記錄不夠，不利于準確地分析系統[1-3]。在此基礎之上，實現一個面向Linux集群的系統性能監控管理工具，實時監控系統性能將變得尤為重要[4-7]；不僅可以更好更方便地維護系統穩定，也將節省大量人力物力資源。通過監控管理工具的應用，在一定范圍內使系統的各項資源使用趨于合理并保持一定的平衡，為集群服務器的維護提供了極大的幫助。

1 監控管理器設計與實現

1.1 監控管理器整體結構

該面向Linux集群的系統性能監控管理器基于C/S(客戶端/服務器)[8]模式來實現。服務器端主要負責采集本地數據并保存。客戶端程序通過網絡協議向服務器發送請求，并根據服務器響應消息進行驗證和通信[9-13]。整體結構如下圖1所示。

服務器端數據庫用來保存用戶信息和集群系統的狀態數據，這里集群監控管理器的與集群實際業務系統的用戶之間相互獨立。DBconnector作為連接數據庫的中間件。終端用戶能過login實現客戶端的登錄，使用getInf實現對服務器端主機系統性能的監控。

圖1 整體結構

1.2 功能模塊設計

根據系統監控管理器的整體結構，依據功能實現可將監控管理器分為四個模塊：數據采集處理模塊、數據傳輸模塊、數據可視化顯示模塊和數據定時清理模塊。監控管理器的數據流圖如下圖2所示。

圖2 監控管理器數據流圖

1.2.1數據采集處理模塊

數據采集處理模塊由服務器端程序完成，采用多線程技術，由線程getIF、線程getPF和線程TreadsManager并發執行，減少CPU利用率的同時帶來更好的實時性。線程getIF負責解析iotop命令，定時獲取磁盤I/O讀寫速度等數據信息，保存至消息隊列A中；線程getPF負責解析top命令，定時獲取CPU和內存的占有率等相關數據信息，保存至消息隊列B中；線程TreadsManager負責分別從兩個非空隊列中定時取出隊首數據放入消息隊列C和數據庫中。值得注意的是，從消息隊里中取出的數據都是Java對象，無法對數據庫進行插入操作，需要用到Gson工具將數據轉換為Json數據格式再插入數據庫中，Gson工具的使用極大的方便了數據的寫入和獲取。

1.2.2網絡數據傳輸模塊

網絡數據傳輸模塊主要通過類getInf來完成。服務器與客戶端建立連接后，通過用戶名、密碼和IP地址，包括可選時間參數構造URL地址通過HTTP協議向服務器發送GET請求。服務器端根據可選時間參數進行區分查詢實時數據和歷史數據。當進行實時數據查詢時，直接將獲取的最新數據發送給客戶端；而進行歷史數據查詢時，根據時間參數從數據庫中進行查詢。

在查詢歷史數據時采用了內存緩存[14-15]，如圖3所示。由于數據庫容量不斷膨脹，當客戶端發送一次查詢請求就需要對數據庫查詢一次，過多的請求查詢導致檢索速度減慢，而內存緩存技術有效的減少查詢所帶來系統性能降低，在一定程度上也確保查詢數據的實時性。通過在系統空間開辟一塊內存作為緩存區使用，當服務器收到客戶端請求查詢某一時間點歷史數據時，服務器將從數據庫中的查詢結果發送給客戶端的同時繼續查詢該時間點和該時間點之后的60 s內的數據，將這部分數據放入內存緩存塊中。由于數據是集中的，且數據之間在時間上相關聯，當某一個數據被讀取時，該數據周圍的數據也很有可能被讀取。所以服務器再次接收到客戶端的請求查詢時直接從該內存緩存塊中查找，找到則直接發送給客戶端；否則繼續執行一次緩存操作，對內存緩存塊中的數據進行更新。內存緩存技術將節省大量時間，對監控平臺的實時性也提供了一定的保障。

圖3 內存緩存技術

1.2.3數據可視化界面展示模塊

可視化界面展示模塊由客戶端程序UI類完成。客戶端接收到來自服務器端發送的數據，對其進行處理分析，利用Java圖形界面編程進行可視化的界面展示。需要注意數據在發送和接收時數據格式的轉換，數據采集處理模塊和數據可視化界面展示模塊中處理的數據都是Java對象，而在網絡數據傳輸模塊中的數據是Json數據格式。

監控管理器數據可視化界面是一個動態的實時的折線圖，直接通過圖形的波動直觀的表示了系統性能的改變，使監控管理者對系統性能指標有了更加清晰的認識。同時當系統中某一性能超出正常的指標值而使系統處于危險，系統會自動發出警報，監控管理者可以遠程的對當前系統中任意進程采取雙擊操作殺死該進程達到處理系統瓶頸的目的，在一定程度上提高了系統的安全性，增加了監控平臺的可靠性。

1.2.4數據定時清理模塊

開啟服務器后，線程InitClass開始對數據庫中無用數據進行清理工作。線程InitClass通過對變量timespace和deletespace賦初值完成數據定時清理操作，timespace表示刪除數據庫中timespace小時前的數據，而deletespace表示每隔deleteplace小時執行一次清理工作。監控平臺對兩個變量分別賦值為72和1，即為每隔1 h刪除數據庫中72 h前的數據，數據庫只保存系統72 h內的數據。

2 實驗及結果分析

2.1 實驗環境

本實驗使用4臺PC機搭建了一個小型集群，PC機配置為雙核CPU：Pentium(R)Dual-Core，主頻3.20GHz；2GB內存，節點間使用千兆以太網交換機相連，裝有CentOS6.5操作系統，管理節點和登錄節點共用一臺主機，使用開源TORQUE軟件作為作業調度軟件。

本集群系統性能監控管理程序在windows 7平臺上進行開發(硬件配置為：CPU Intel 酷睿i7 4790 3.6 GHz，內存8 GB，硬盤1 TB，CentOS6.5操作系統)，用Eclipse編寫程序，數據庫采用MySQL，集成了top、iotop和Maven等工具。

2.2 實驗結果

(1) 服務器開啟的實現結果：在服務器開啟之前需要對數據庫進行配置。利用SQL語句成相應的數據庫以及表，以及將本機的ID號、用戶名和密碼插入至數據庫中的users表，通過DBconnector類加載數據庫驅動，以及DriverManager獲取數據庫連接完成服務器與數據庫的連接，從而啟動服務器，等待客戶端的接入。服務器開啟功能測試如圖4所示。

(2) 客戶端登錄的實驗結果：打開客戶端會顯示一個登錄界面，需要用戶輸入所要連接服務器的名稱、密碼以及IP地址，時間參數為一個可選項，服務器根據時間參數的選擇確定實時數據查詢和歷史數據查詢。當點擊登錄按鈕時，客戶端通過HTTP協議向服務器發送一個GET請求，服務器接收請求，根據請求行中URL解析結果與數據庫users表信息進行匹配，完成請求處理后向客戶端返回一個HTTP響應消息。客戶端登錄驗證如圖5所示。

圖4 服務器開啟

圖5 客戶端登錄驗證

(3) 可視化界面展示的實驗結果：在客戶端完成登錄驗證后，客戶端可繼續向服務器發送請求完成對服務器端系統性能查詢。當服務器根據客戶端請求查詢數據時，若客戶端8 s內沒有收到來自服務器的響應，則向客戶端報告錯誤，并退出；否則將查詢到的數據立即發送至客戶端。當客戶端接收來自服務器的數據，對數據進行實時的可視化顯示。可視化界面顯示包括兩大部分，系統中當前運行的所有進程及其相關信息和動態折線圖，通過對顯示的進程中任意進程進行雙擊操作，即可殺死該進程。監控實時數據查詢如圖6所示。

圖6 實時數據查詢

3 結 語

集群系統性能監控在集群的日常管理中作用巨大，本文提出端到端通信的監控管理器，由客戶端程序和服務器程序兩部分組成，對系統性能數據的實時性和正確性有一定的保證，對歷史數據也提供了記錄和獲取方法。由于監控平臺數據采集功能采用了多線程技術，以及數據查詢功能采用了內存緩存技術，節省了大量時間，保證數據的正確性。在今后的工作中，將對歷史數據的分析部分進一步擴充，從而研究集群故障的準確定位和預測。

參考文獻(References)：

[1] 李 陽,張亞非,徐玉龍，等.基于深度特征與非線性降維的圖像數據集可視化方法[J].計算機應用研究,2017,34(2):2451-2453.

[2] 王弘堃,曹 軼,肖 麗.基于圖像的大規模數據集交互可視化[J].計算機研究與發展,2017,54(4):855-860.

[3] 霍 亮,朝樂門.可視化方法及其在信息分析中的應用[J].信息系統,2014,40(4):111-116.

[4] 董 波,沈 青,肖德寶.云計算集群服務器系統監控方法的研究[J].計算機工程與科學,2012,34(10):68-72.

[5] 肖海琴.Zabbix性能監控軟件在高性能集群上的應用[J].中國管理信息化，2017，20(3)：139.

[6] Horstmann C S.Volume II-Advanced Features[M].北京:機械工業出版社,2014.

[7] 王中丹.Linux系統性能的遠程監控[J].網絡與信息技術,2014(20):53-55.

[8] 何 昕.基于客戶端/服務器模式的遠程測控系統[J].測控技術,2008,27(4):60-64.

[9] 姜 毅,王兆青.基于HTTP實時信息傳輸方法[J].計算機工程與設計,2008,29(10):2451-2453.

[10] 邵 芬，于國防，張 寧.基于多線程的HTTP服務器的設計與實現[J].中國管理信息化,2017,20(3):139.

[11] 蔣 溢,黃 進,王化晶.基于多線程技術的聊天系統研究[J].計算機工程與設計,2008,29(15):4064-4096.

[12] 祝 瑞,車 敏.基于HTTP協議的服務器程序分析[J].現代電子技術,2012,35(4):117-122.

[13] 曹彩鳳.基于HTTP的C/S系統開發研究[J].計算機工程與設計,2007,28(5):239-241.

[14] 王麗平.緩存技術在管理信息系統中的應用研究[D].天津:天津大學,2004.

[15] 焦 鋒,劉 群,邢文建.客戶機/服務器下的數據緩存技術[J].遼寧工程技術大學學報,2005,24(2):226-228.