企業級業務系統健康度實戰解析

李佳華

摘要：隨著敏捷運維產業鏈的逐步成熟，系統健康度的集中化、整體化、透明化需求越來越強烈。該文為企業級自動化運維架構中的系統健康度評估建設實戰，通過智能算法，實現企業業務系統運行狀態的可視化管理，通過各層級健康度指標，顆粒度細化到組件端口，從四個維度輕松掌握系統運行狀況。

關鍵詞：維度；層級；可用性；權重；關鍵性能指標

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2018）29-0111-02

科技時代，信息技術日新月異。隨著大數據技術的快速滲透、云生態鏈的日益完善，人工智能遍地生花，敏捷運維體系架構正穩步成長。自動化運維管理提供完整的監控告警、大數據日志分析以及智能運維修復，卻缺乏一個系統的全局視角，以健康度數據指標動態感知系統的能力。

1 健康度算法模型

以技術的視角選擇一個科學的架構來評估系統的健康程度，是我們構建業務系統健康度的目標。原生的CMDB數據模型就是它架構的強力支撐。

1）CMDB

即Configuration Management Database （配置管理數據庫），它存儲與管理企業IT架構中設備的各種配置信息。

2）節點與服務端口

企業“互聯網+”轉型后，基礎設施云資源化。云計算離不開底層虛擬化技術的支持。這里的節點指一個虛擬化操作系統（OS）或者類似操作系統的父、子分區（虛機），它能實現虛擬機內部存儲資源、計算資源以及網絡資源的調度與管理，能作為一臺獨立的虛擬主機對外提供服務。比如一個vmware的VirtualCenter管理下的多個虛機（LINUX操作系統）。

服務端口是業務系統運行情況采集的最小單位。例如ORACLE數據庫缺省運行在1521端口上（運行端口號可以更改）。數據庫的各種性能指標，比如鎖、進程、用戶，最終健康與否，都體現在服務端口能否提供服務上。

3）關鍵性能指標

當CMDB將網絡、中間件、數據庫、服務器等作為配置項進行統一管理后，根據實際需要，建立起各配置項之間的關系模型，然后抽象出配置項的關鍵性能指標，并建立之間的關系。

比如一個節點的關鍵性能指標一般取CPU、內存、磁盤IO、網卡流量、文件系統、進程等。

4）層級和權重

層級就是不同的層次，是為了滿足不同角色從不同的角度看健康度指標的需求而定義。在其位，負其責，所處層級不同，權重也有高低，是目標對象在IT系統架構中的作用大小、地位高低決定的。

權重則是指重要性程度。簡單來說，它是一個比較在本層級內作用大小、地位高低程度的數值。各關鍵性能指標的重要等級不同，它的權重也會不同。

對于一個節點來說，它可以處在OS層，OS下的liunx層，它可以屬于數據庫層，PAAS層，還可以是自動化運維這個業務系統層，這個系統下的監控模塊層等等，但因為它在各層級的重要性不同它在各層級的權重會有所不同。比如節點1在OS層它和其他節點權重一致，但因為它承載數據庫，因此在業務系統層級它的權重會比其他節點高。

5）算法模型

確定節點關鍵性能指標和權重：如果一個節點設定關鍵性能指標（CPU，內存，磁盤IO，網絡流量）和權重（例如CPU使用率的權重為25，內存為25，磁盤IO為25，網絡流量為25）

設置性能指標扣分規則，可和自動化運維監控告警規則同步設置。例如重要告警20分，嚴重警告扣50分，性能指標=（指標1扣分*指標1權重+指標N扣分*指標N權重）/權重總和

例如，一個節點的cpu使用率發生了嚴重警告，這個節點的性能指標扣分為：

性能指標扣分=（50*25+0+0+0）/（25+25+25+25）=12.5分

節點健康度指標=100-12.5=87.5分

設置可用性指標扣分規則，不可用整個設備直接扣100分

比如節點不可用，操作系統掛死，網絡不通

節點健康度=100-100=0分

集群可調整設置。假設雙機高可用集群，一臺宕機，扣50分

高可用集群的健康度=100-50=50分

健康度的算法：最低0分，扣完為止

系統健康度指標=100-可用性指標扣分-性能指標扣分

2 健康度可用性算法

為了保障服務提供的高可用性，企業級業務系統服務框架一般為集群部署。假設一個提供服務的集群共10個節點，當服務訪問達到峰值時，日常運行中每個節點的負載達到80%運行能穩定高效。當某個節點因各種原因出現故障，無法提供服務時，它的壓力、服務職能會落到剩下的9個節點上，此時每個節點的負載水平就超過88%，個別節點可能更高（因為無法確保分攤的服務負載完全平均），在節點處于高水位運行時，它出現問題的概率將大大提高，實際權重也就更大。我們提供了這種模式下層級的可用性算法：

層級可用性=（1-不可用節點權重總和/權重總和）=1-[總權重/n+總權重/（n-1）+總權重/（n-2）+總權重+…]/總權重

通過節點可用性指標來判斷層級整體的承載能力和服務能力，使系統健康度指標更加科學。

3 健康度層級

層級健康度算法在原層次健康度的基礎之上乘以可用設備的權重比例，即可在不可用設備比較多時健康度下降較快

層級的健康度算法

PAAS層健康度=（節點1健康度*節點1權重+節點N健康度*節點N權重）/（節點權重總和）

健康度 = （1-不可用節點權重總和/權重總和） *PAAS層健康度

分層計算（PAAS層，IAAS層，SAAS層）后，業務系統總體健康度

通過層級（PAAS層，IAAS層，SAAS層）的權重等級和健康度計算出系統總體健康度。

設置層級權重，例如IAAS權重100，PAAS權重80，SAAS權重60

系統健康度=（IAAS健康度*IAAS層權重+PAAS健康度*PAAS層權重+SAAS健康度*SAAS層權重）/（節點權重總和）

4 系統健康度展示維度

健康度分為四個個維度進行展示：

PaaS（Platform as a Service），平臺即服務：首頁按Tomcat、Webligic、Nginx、MQ、Zookeeper、Mysql、OS、redis等等層級展示健康度分值，點擊分值，能得到按系統明細層級展示的扣分明細。分不出系統的，比如Nginx，則以集群展示，具體層級以cmdb配置模型為準。

IaaS層（Infrastructure as a Service）基礎設施即服務：首頁按主機、存儲、安全設備、防火墻、交換機層次展示健康度分值，點擊分值，直接展示具體物理設備扣分明細

SAAS層（SoftwareasaService）軟件即服務：首頁按業務系統應用層級展示健康度分值，點擊分值，直接展示該系統下業務模塊的扣分明細。比如客戶關系管理系統竣工模塊未執行工單數大于1000扣分20分。

業務系統健康度：首頁按電信企業業務域層級（MBOSS）展示，點擊分值，按系統名稱展示各業務系統根據各層級計算出的業務系統總健康度。

5 結束語

無疑，系統健康度指標是企業業務發展后，系統需要提供服務能力的與時俱進的產物。它覆蓋系統全部關鍵要素，可供運維人員波動分析系統性能關鍵指標、了解故障來源，大大提高了運維人員工作效率。同時可供企業管理人員實時、動態、快速掌握系統運行情況，很好地滿足了一鍵看數需求，為精準調度資源提供有效依據。

本文所敘已在中國電信湖南分公司自動化運維管理平臺驗證，具有巨大的市場前景，產生了可觀的經濟價值。

參考文獻：

[1] 梁奐陳春華，李軍. IT健康度模型設計與實踐[J].移動通信， 2014（24）.

[2] 劉博元，王煥鋼，范文慧，等.基于大數據的復雜生產線系統健康度度實時評估方法[J].清華大學學報：自然科學版，2014，54（10）.

[3] 鄭聲俊，王國仕，董衛，魏馮世，等.基于運行監控技術的信息協同健康度評價體系[J].自動化應用， 2015（9）：105-106.

[4] 梁浩波. IT一體化運維管控技術與管理研究[J].計算機安全， 2014（4）.

[5] 馬銳，張文濤，孫四明.指標評價體系中關于指標權重確定方法的研究[J].計算機科學， 2009，36（8）.

【通聯編輯：唐一東】