云計(jì)算平臺(tái)的智能監(jiān)控研究

陸寧

（廣西壯族自治區(qū)信息中心，廣西 南寧 530200）

0 引言

隨著云計(jì)算技術(shù)的不斷發(fā)展，基于云計(jì)算平臺(tái)部署的網(wǎng)絡(luò)、應(yīng)用系統(tǒng)復(fù)雜度日漸提高，使云平臺(tái)運(yùn)維管理工作難度也隨之急劇上升。而云、網(wǎng)、系統(tǒng)之間的協(xié)同運(yùn)行管理邊界也越來(lái)越復(fù)雜，進(jìn)一步增加了云平臺(tái)日常運(yùn)維壓力。因此研究云計(jì)算平臺(tái)的智能監(jiān)控方式，有助于提高云平臺(tái)運(yùn)行管理效率和服務(wù)支撐水平。

1 云計(jì)算平臺(tái)運(yùn)維面臨的問(wèn)題

（1）運(yùn)維管理被動(dòng)。故障發(fā)生時(shí)，管理人員難以主動(dòng)、及時(shí)地發(fā)現(xiàn)，往往在故障影響范圍擴(kuò)大、用戶(hù)體驗(yàn)度下降后，才能被動(dòng)響應(yīng)。

（2）故障排查低效。由于云平臺(tái)上的應(yīng)用系統(tǒng)規(guī)模龐大復(fù)雜，故障排查效率難以提升。在故障定位方面，存在多種運(yùn)行環(huán)境、多個(gè)運(yùn)維團(tuán)隊(duì)、多個(gè)技術(shù)廠商。缺乏統(tǒng)一的監(jiān)測(cè)標(biāo)準(zhǔn)和管理手段，在孤島模式獨(dú)立排查將大量耗費(fèi)人力、時(shí)間資源。

（3）劃分責(zé)任邊界難。云平臺(tái)運(yùn)維管理服務(wù)于各云業(yè)務(wù)資源使用用戶(hù)，云平臺(tái)作為基礎(chǔ)支撐平臺(tái)與在其基礎(chǔ)上運(yùn)行的系統(tǒng)資源，管理方各不相同，發(fā)生業(yè)務(wù)故障時(shí)無(wú)法快速界定責(zé)任方。

（4）故障溯源困難。隨著全國(guó)各類(lèi)關(guān)鍵信息系統(tǒng)的可用性要求變高，需要在發(fā)生故障后，精準(zhǔn)定位問(wèn)題快速恢復(fù)使用。

（5）容量性能管理難。對(duì)網(wǎng)絡(luò)、應(yīng)用、業(yè)務(wù)的運(yùn)行狀態(tài)可見(jiàn)性不夠，使得政務(wù)系統(tǒng)整體的容量性能評(píng)估依據(jù)不足，無(wú)法得知復(fù)雜環(huán)境中每個(gè)環(huán)節(jié)的容量、性能情況，也無(wú)法準(zhǔn)確了解容量性能瓶頸，并評(píng)估云平臺(tái)、網(wǎng)絡(luò)等對(duì)業(yè)務(wù)造成的影響。

2 基于云平臺(tái)的智能監(jiān)控

2.1 研究目標(biāo)

（1）實(shí)現(xiàn)運(yùn)維故障主動(dòng)感知，主動(dòng)探測(cè)故障。傳統(tǒng)運(yùn)維監(jiān)控平臺(tái)都是出現(xiàn)故障后，先是業(yè)務(wù)系統(tǒng)得到感知，再由業(yè)務(wù)系統(tǒng)通知運(yùn)維側(cè)。造成故障感知滯后，通過(guò)智能監(jiān)測(cè)平臺(tái)主動(dòng)發(fā)現(xiàn)故障，并及時(shí)通知業(yè)務(wù)系統(tǒng)，避免“被動(dòng)挨打”。從“被動(dòng)通知有故障”到“主動(dòng)發(fā)現(xiàn)問(wèn)題”的轉(zhuǎn)變。著名咨詢(xún)機(jī)構(gòu)Gartner 把IT 管理體系分為經(jīng)營(yíng)管理、業(yè)務(wù)監(jiān)控、應(yīng)用分析、網(wǎng)絡(luò)性能分析、系統(tǒng)架構(gòu)監(jiān)控5 個(gè)層次（圖1），需將業(yè)務(wù)監(jiān)控入當(dāng)成是第一感知源，才能有效扭轉(zhuǎn)運(yùn)維工作面臨的故障信息感知滯后的局面[1]。通過(guò)構(gòu)建業(yè)務(wù)級(jí)端到端視圖和業(yè)務(wù)運(yùn)行分級(jí)預(yù)警，猶如在云網(wǎng)關(guān)鍵節(jié)點(diǎn)設(shè)立業(yè)務(wù)神經(jīng)感知網(wǎng)絡(luò)，能夠第一時(shí)間發(fā)現(xiàn)“業(yè)務(wù)故障蹤跡”。

圖1 IT 管理體系

（2）快速定位故障，責(zé)任邊界劃分。常規(guī)故障定位均是由業(yè)務(wù)系統(tǒng)側(cè)發(fā)起，通知云、網(wǎng)側(cè)去排查云平臺(tái)、網(wǎng)絡(luò)和硬件設(shè)備。智能監(jiān)控平臺(tái)通過(guò)網(wǎng)絡(luò)、設(shè)備、虛機(jī)狀態(tài)全局分析，快速定位故障點(diǎn)，為業(yè)務(wù)系統(tǒng)故障排查提供強(qiáng)力佐證。

（3）平臺(tái)和設(shè)備性能狀態(tài)全知曉，提前應(yīng)對(duì)風(fēng)險(xiǎn)。對(duì)網(wǎng)絡(luò)、設(shè)備、虛擬機(jī)狀態(tài)的全局分析，對(duì)發(fā)生的故障狀態(tài)、閾值進(jìn)行機(jī)器學(xué)習(xí)，對(duì)故障預(yù)警算法根據(jù)現(xiàn)網(wǎng)環(huán)境進(jìn)行優(yōu)化。當(dāng)平臺(tái)和設(shè)備出現(xiàn)異常波動(dòng)時(shí)，及時(shí)做出風(fēng)險(xiǎn)預(yù)警。

2.2 研究技術(shù)思路

目前主流的業(yè)務(wù)、網(wǎng)絡(luò)、云上數(shù)據(jù)性能分析和監(jiān)控有三大技術(shù)流派，分別是流量分析流派、日志流派和代理插件流派。

流量分析流派通過(guò)旁路鏡像技術(shù)獲得真實(shí)的業(yè)務(wù)流量數(shù)據(jù)，實(shí)時(shí)生成各類(lèi)評(píng)估指標(biāo)，實(shí)現(xiàn)業(yè)務(wù)性能感知、業(yè)務(wù)故障分級(jí)預(yù)警、網(wǎng)絡(luò)流量可視化監(jiān)測(cè)、網(wǎng)絡(luò)性能回溯分析等能力，用于業(yè)務(wù)和網(wǎng)絡(luò)性能監(jiān)測(cè)、故障診斷定位及各類(lèi)事件的實(shí)時(shí)分析和數(shù)據(jù)取證[2]。

日志流派記錄硬件、軟件和各類(lèi)系統(tǒng)的日志信息，可以監(jiān)視系統(tǒng)中發(fā)生的事件。采用該技術(shù)，用戶(hù)可以檢查錯(cuò)誤發(fā)生的原因，尋找受到攻擊時(shí)攻擊者留下的痕跡。日志包括系統(tǒng)日志、應(yīng)用程序日志和安全日志等。

代理插件流派對(duì)關(guān)鍵業(yè)務(wù)應(yīng)用進(jìn)行監(jiān)測(cè)和獲取優(yōu)化信息，以實(shí)現(xiàn)性能管理和故障診斷，提高關(guān)鍵業(yè)務(wù)應(yīng)用的可靠性和業(yè)務(wù)訪問(wèn)質(zhì)量，保障用戶(hù)得到良好的服務(wù)；覆蓋5 個(gè)方面的能力，包括終端用戶(hù)體驗(yàn)、應(yīng)用架構(gòu)映射、應(yīng)用事務(wù)的分析、深度應(yīng)用診斷和數(shù)據(jù)分析。

從占用資源、信源采集方式、覆蓋廣度、實(shí)施風(fēng)險(xiǎn)、數(shù)據(jù)可靠性、部署周期等維度對(duì)比，優(yōu)選技術(shù)成熟，部署影響最小，且見(jiàn)效最快的流量分析流派，作為云智能監(jiān)控平臺(tái)的首選技術(shù)。從平臺(tái)的組成和分析方法考慮，至少包含4 個(gè)層面，即業(yè)務(wù)流量采集層、網(wǎng)絡(luò)報(bào)文解析層、監(jiān)控與接口層、數(shù)據(jù)分析層。各層環(huán)環(huán)相扣，從基礎(chǔ)業(yè)務(wù)數(shù)據(jù)采集到業(yè)務(wù)邏輯梳理和建模，再經(jīng)過(guò)大數(shù)據(jù)分析加工產(chǎn)生各類(lèi)業(yè)務(wù)網(wǎng)絡(luò)指標(biāo)，最后結(jié)合運(yùn)維場(chǎng)景進(jìn)行統(tǒng)一呈現(xiàn)。

（1）采集層，是平臺(tái)架構(gòu)的數(shù)據(jù)來(lái)源，在物理網(wǎng)絡(luò)匯聚節(jié)點(diǎn)通過(guò)交換機(jī)鏡像技術(shù)或云平臺(tái)引流技術(shù)，采集實(shí)時(shí)交互的業(yè)務(wù)流量數(shù)據(jù)。

（2）網(wǎng)絡(luò)報(bào)文解析層，對(duì)采集到的全部業(yè)務(wù)數(shù)據(jù)進(jìn)行過(guò)濾（業(yè)務(wù)訪問(wèn)邏輯梳理）、初步加工（數(shù)據(jù)預(yù)處理），最終匯集到智能解碼引擎（業(yè)務(wù)報(bào)文解碼）進(jìn)行實(shí)時(shí)處理。

（3）監(jiān)控與接口層，智能解碼引擎基于各類(lèi)應(yīng)用平臺(tái)的協(xié)議規(guī)范完成解碼后，依據(jù)不同的運(yùn)維場(chǎng)景執(zhí)行監(jiān)控動(dòng)作，包括業(yè)務(wù)分級(jí)預(yù)警、指標(biāo)趨勢(shì)分析、訪問(wèn)明細(xì)追蹤、生成運(yùn)維報(bào)表等，相關(guān)數(shù)據(jù)可以通過(guò)接口向外推送。

（4）數(shù)據(jù)分析層，針對(duì)不同場(chǎng)景需求，定義分析視圖，完成指標(biāo)與使用場(chǎng)景的匹配和展示。云智能監(jiān)控平臺(tái)主要覆蓋的區(qū)域包括云出口、云核心、云匯聚、云主機(jī)和云安全管理等的區(qū)域。在核心交換機(jī)區(qū)域做端口鏡像流量采集點(diǎn)，實(shí)現(xiàn)對(duì)全局流量的分析。在云內(nèi)虛機(jī)部署微探針，實(shí)現(xiàn)對(duì)云內(nèi)流量的采集和分析。

2.3 主要研究過(guò)程

云計(jì)算平臺(tái)開(kāi)展智能監(jiān)控，主要從3 個(gè)過(guò)程進(jìn)行分析，即主動(dòng)監(jiān)測(cè)分析快速定位故障、端到端精細(xì)化追蹤降低監(jiān)測(cè)誤報(bào)率、統(tǒng)一監(jiān)控度量標(biāo)準(zhǔn)實(shí)現(xiàn)精準(zhǔn)預(yù)警。

2.3.1 主動(dòng)監(jiān)測(cè)分析快速定位故障

采用網(wǎng)絡(luò)探針、海量日志歸等的技術(shù)對(duì)云平臺(tái)關(guān)鍵區(qū)域?qū)嵤┤旌颉⑷髁恐鲃?dòng)監(jiān)測(cè)，結(jié)合網(wǎng)絡(luò)流量報(bào)表，基礎(chǔ)設(shè)施日志等信息加以對(duì)比分析，縮小故障范圍，快速定位故障發(fā)生的位置，旨在主動(dòng)發(fā)現(xiàn)網(wǎng)絡(luò)流量突發(fā)性暴增或暴跌、業(yè)務(wù)系統(tǒng)計(jì)算資源（CPU、內(nèi)存、存儲(chǔ)等）和網(wǎng)絡(luò)需求超出基礎(chǔ)設(shè)施上限、設(shè)備老化失靈宕機(jī)、人為誤操作等可能造成業(yè)務(wù)系統(tǒng)中斷的故障現(xiàn)象[3]。

通過(guò)在基礎(chǔ)網(wǎng)絡(luò)核心節(jié)點(diǎn)部署網(wǎng)絡(luò)探針，云主機(jī)側(cè)部署微探針捕捉全應(yīng)用場(chǎng)景的南北向、東西流量，結(jié)合SNMP 協(xié)議、IPMI 和EFK 等工具搜集并歸總分布在基礎(chǔ)網(wǎng)絡(luò)設(shè)備、服務(wù)器運(yùn)行情況、操作系統(tǒng)及基礎(chǔ)軟件服務(wù)日志。最后將歸總后的日志數(shù)據(jù)進(jìn)行加工統(tǒng)一日志格式與聚合，存儲(chǔ)到監(jiān)控后端時(shí)序型數(shù)據(jù)庫(kù)便于后期的檢索和查詢(xún)。

2.3.2 端到端精細(xì)化追蹤降低監(jiān)測(cè)誤報(bào)率

為進(jìn)一步提高云平臺(tái)主動(dòng)監(jiān)測(cè)的有效性、時(shí)效性，采用端到端鏈?zhǔn)礁櫟募夹g(shù)，從業(yè)務(wù)系統(tǒng)客戶(hù)端發(fā)出請(qǐng)求抵達(dá)業(yè)務(wù)系統(tǒng)邊界開(kāi)始，跟蹤記錄請(qǐng)求流經(jīng)的各個(gè)應(yīng)用服務(wù)的跨度（網(wǎng)絡(luò)傳輸、系統(tǒng)調(diào)用、業(yè)務(wù)處理、數(shù)據(jù)落盤(pán)等），直到向客戶(hù)端返回響應(yīng)為止。分析各階段的響應(yīng)結(jié)果和耗時(shí)、系統(tǒng)調(diào)用返回結(jié)果、系統(tǒng)異常信息、消息報(bào)文等性能指標(biāo)，縮小故障現(xiàn)象的范圍，提高故障排查的速度，確保精準(zhǔn)性和可靠性。

實(shí)現(xiàn)端到端鏈?zhǔn)礁櫍康氖菫榕挪楣收虾头治鲂阅芴峁?shù)據(jù)支持。在系統(tǒng)對(duì)外提供服務(wù)的過(guò)程中，持續(xù)地接受請(qǐng)求并處理響應(yīng)，同時(shí)持續(xù)地生成跟蹤記錄，按次序整理并跟蹤記錄中每一個(gè)應(yīng)用服務(wù)跨度的調(diào)用關(guān)系，能夠繪制出一幅系統(tǒng)的服務(wù)調(diào)用拓?fù)鋱D[4]。根據(jù)拓?fù)鋱D中應(yīng)用服務(wù)跨度記錄的時(shí)間信息和響應(yīng)結(jié)果（正?；虍惓７祷兀梢远ㄎ坏骄徛蛘叱鲥e(cuò)的服務(wù)；將跟蹤記錄與歷史記錄進(jìn)行對(duì)比統(tǒng)計(jì)，可以從系統(tǒng)整體層面分析服務(wù)性能，達(dá)到優(yōu)化故障定位性能的目標(biāo)。

基于日志和網(wǎng)絡(luò)流量的跟蹤技術(shù)是將跟蹤記錄、應(yīng)用服務(wù)跨度等信息直接集成到采集的日志中，然后隨著所有節(jié)點(diǎn)的日志歸集過(guò)程匯聚到一起，根據(jù)全局日志信息中反推出完整的調(diào)用鏈拓?fù)潢P(guān)系。

2.3.3 統(tǒng)一監(jiān)控度量標(biāo)準(zhǔn)實(shí)現(xiàn)精準(zhǔn)預(yù)警

從總體上來(lái)看，統(tǒng)一監(jiān)控度量可分為網(wǎng)絡(luò)流量和終端日志數(shù)據(jù)的指標(biāo)收集、服務(wù)端的存儲(chǔ)查詢(xún)以及終端的監(jiān)控預(yù)警3 個(gè)相對(duì)獨(dú)立的過(guò)程。度量的目的是揭示系統(tǒng)的總體運(yùn)行狀態(tài)；統(tǒng)一監(jiān)控度量能夠采用經(jīng)過(guò)聚合統(tǒng)計(jì)后的高維度信息，以最簡(jiǎn)單、直觀的方式分析系統(tǒng)復(fù)雜運(yùn)行過(guò)程，為監(jiān)控、預(yù)警提供決策支持。

指標(biāo)收集部分要解決兩個(gè)問(wèn)題，即“如何定義指標(biāo)”以及“如何將這些指標(biāo)告訴服務(wù)端”。無(wú)論目標(biāo)是何系統(tǒng)，都具備一些共性特征。在確定目標(biāo)系統(tǒng)前無(wú)法決定要收集什么指標(biāo)，但指標(biāo)的數(shù)據(jù)類(lèi)型是可數(shù)的，即通過(guò)設(shè)計(jì)指標(biāo)的數(shù)據(jù)類(lèi)型確定目標(biāo)系統(tǒng)要收集的指標(biāo)。

（1）計(jì)數(shù)度量器。計(jì)數(shù)器為最常用的指標(biāo)形式，對(duì)有相同量綱、可加減數(shù)值的合計(jì)量，像服務(wù)調(diào)用次數(shù)、網(wǎng)站訪問(wèn)人數(shù)等都屬于計(jì)數(shù)器指標(biāo)。

（2）瞬態(tài)度量器。瞬態(tài)度量器用來(lái)表示某個(gè)指標(biāo)在某個(gè)時(shí)點(diǎn)的數(shù)值，比如Java 虛擬機(jī)內(nèi)存的使用量或云平臺(tái)用戶(hù)在線人數(shù)都屬于瞬態(tài)度量器。

（3）吞吐率度量器。吞吐率度量器是用于統(tǒng)計(jì)單位時(shí)間的吞吐量，即單位時(shí)間內(nèi)某個(gè)事件的發(fā)生次數(shù)。譬如交易系統(tǒng)中常以TPS 衡量事務(wù)吞吐率，即一秒內(nèi)發(fā)生了多少筆事務(wù)交易。

（4）直方圖度量器。直方圖是常見(jiàn)的二維統(tǒng)計(jì)圖，包含兩個(gè)坐標(biāo)，分別是統(tǒng)計(jì)樣本和該樣本對(duì)應(yīng)的某個(gè)屬性的度量，以長(zhǎng)條圖的形式表示具體數(shù)值。

（5）采樣點(diǎn)分位圖度量器。分位圖是統(tǒng)計(jì)學(xué)中通過(guò)比較各分位數(shù)的分布情況的工具，用于驗(yàn)證實(shí)際值與理論值的差距，評(píng)估理論值與實(shí)際值之間的擬合度。

在解決“如何將這些指標(biāo)告訴服務(wù)端”的問(wèn)題時(shí)，通常采用拉取式采集或推送式采集方案。所謂拉取式采集，強(qiáng)調(diào)主動(dòng)從目標(biāo)系統(tǒng)中拉取指標(biāo)。與之相對(duì)，推送式采集就是由目標(biāo)系統(tǒng)主動(dòng)推送指標(biāo)。指標(biāo)從目標(biāo)系統(tǒng)采集過(guò)來(lái)之后，應(yīng)存儲(chǔ)在后端監(jiān)控時(shí)序型數(shù)據(jù)庫(kù)中，方便后續(xù)的分析界面、監(jiān)控預(yù)警所使用。時(shí)序數(shù)據(jù)庫(kù)用于存儲(chǔ)跟隨時(shí)間而變化的數(shù)據(jù)，并且以時(shí)間（時(shí)間點(diǎn)或者時(shí)間區(qū)間）來(lái)建立索引的數(shù)據(jù)庫(kù)[5]。

指標(biāo)度量是手段，最終目的是做分析和預(yù)警。良好的可視化能力對(duì)于提升度量系統(tǒng)的產(chǎn)品力十分重要，長(zhǎng)期趨勢(shì)分析（如根據(jù)對(duì)磁盤(pán)增長(zhǎng)趨勢(shì)的觀察判斷什么時(shí)候需要擴(kuò)容）、對(duì)照分析（如版本升級(jí)后對(duì)比新舊版本的性能、資源消耗等方面的差異）、故障分析（不僅從日志、追蹤自底向上可以分析故障，高維度的度量指標(biāo)也可能自頂向下尋找到問(wèn)題的端倪）等分析工作，既需要度量指標(biāo)的持續(xù)收集、統(tǒng)計(jì)，還需要對(duì)數(shù)據(jù)進(jìn)行可視化，才能完成數(shù)據(jù)規(guī)律挖掘。

度量信息的另一種主要的消費(fèi)途徑是用來(lái)做預(yù)警。如當(dāng)磁盤(pán)消耗超過(guò)90%時(shí)給用戶(hù)發(fā)送一封郵件或是一條微信消息，通知管理員過(guò)來(lái)處理，則能完成系統(tǒng)故障預(yù)警。通過(guò)設(shè)置某個(gè)指標(biāo)在多長(zhǎng)時(shí)間內(nèi)達(dá)到何種條件就會(huì)觸發(fā)預(yù)警狀態(tài)，觸發(fā)預(yù)警后，根據(jù)接收器的策略（郵件接收器、Slack 接收器、微信接收器，或者以通用的WebHook（opens new window）接收器等）自動(dòng)通知用戶(hù)。

3 結(jié)語(yǔ)

云網(wǎng)智能監(jiān)測(cè)平臺(tái)與傳統(tǒng)的主機(jī)監(jiān)控有相似和重合的地方，如計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等主機(jī)資源的監(jiān)控，對(duì)進(jìn)程、磁盤(pán)IO、網(wǎng)絡(luò)流量等系統(tǒng)指標(biāo)的監(jiān)控等。

針對(duì)云網(wǎng)智能監(jiān)測(cè)平臺(tái)實(shí)施運(yùn)維監(jiān)控，依然需采用傳統(tǒng)的監(jiān)控指標(biāo)，但還需考慮到云原生中采用的容器、服務(wù)網(wǎng)格、微服務(wù)等新技術(shù)、新架構(gòu)的監(jiān)控需求和面臨的運(yùn)維挑戰(zhàn)。例如，在資源層面要實(shí)現(xiàn)CPU、內(nèi)存等在容器、Pod、Service、Tenant 等不同層次的識(shí)別和映射；在進(jìn)程的監(jiān)控上要能夠精準(zhǔn)識(shí)別到容器，甚至需細(xì)化到進(jìn)程的系統(tǒng)調(diào)用、內(nèi)核功能調(diào)用等層面；在網(wǎng)絡(luò)上，除了主機(jī)物理網(wǎng)絡(luò)之外，還包括Pod 之間的虛擬化網(wǎng)絡(luò)，并且需對(duì)應(yīng)用之間的Mesh 網(wǎng)絡(luò)流量實(shí)施觀測(cè)。

從應(yīng)用層來(lái)看，在微服務(wù)架構(gòu)下，主機(jī)上的應(yīng)用變得異常復(fù)雜，既包括應(yīng)用本身的平均延時(shí)、應(yīng)用間的API 調(diào)用鏈、調(diào)用參數(shù)等，還包括應(yīng)用所承載的業(yè)務(wù)信息，比如業(yè)務(wù)調(diào)用邏輯、參數(shù)等信息。

通過(guò)分析應(yīng)用系統(tǒng)的指標(biāo)、鏈路、日志等數(shù)據(jù)，構(gòu)建完整的觀測(cè)模型，從而實(shí)現(xiàn)故障診斷、原因分析和快速恢復(fù)。