基于APM的用戶體驗與業(yè)務(wù)可視化監(jiān)控信息運維與服務(wù)體系建設(shè)

廖臣 吳方權(quán) 李文科 朱顯峰

摘 要：APM是一種針對企業(yè)應用系統(tǒng)進行實時監(jiān)控的管理方案，通過此方案可以對應用系統(tǒng)的程序性能進行管理，同時還能實現(xiàn)故障管理系統(tǒng)化，信息化。一般情況下，APM應在應用當中具有覆蓋范圍廣泛的優(yōu)勢，普遍來說能夠覆蓋5個部分，即終端用戶體驗、應用架構(gòu)映射、深度應用診斷、應用事務(wù)的分析、數(shù)據(jù)分析，這5個部分是構(gòu)建企業(yè)應用系統(tǒng)的必要框架，因此本文將針對此5項進行分析。本文在大運維視角下，結(jié)合APM應用性能需求進行業(yè)務(wù)可視化監(jiān)控信息運維與服務(wù)體系建設(shè)，建設(shè)目的在于提高用戶在對平臺各功能使用中的體驗，使傳統(tǒng)企業(yè)應用系統(tǒng)的被動式服務(wù)，轉(zhuǎn)變?yōu)橛脩艨梢暬闹鲃邮襟w驗系統(tǒng)，同時需要體現(xiàn)出自動化、實時性的監(jiān)控功能。

關(guān)鍵詞：APM應用性能需求; 大運維視角; 業(yè)務(wù)可視化監(jiān)控信息運維

中圖分類號： TG409

文獻標志碼： A

Abstract：APM is a management scheme for real-time monitoring of enterprise application systems. This scheme can manage the program performance of the application system， and at the same time realize systematization and informationization of fault management. In general， APM should have a wide range of advantages in the application， generally covering five parts， namely end user experience， application architecture mapping， deep application diagnosis， application transaction analysis， data analysis， these five parts It is the necessary framework to build an enterprise application system， so this article will analyze these five items. In the perspective of the big operation and maintenance， this paper combines the performance requirements of APM to conduct business visualization and monitoring information operation and maintenance and service system construction. The purpose of the construction is to improve the user experience in the use of various functions of the platform， and to transform the passive service of traditional enterprise application systems. The active experience system for users to visualize， while also reflecting the automation and real-time monitoring functions.

Key words：APM application performance monitoring; large operation and maintenance perspective; business visualization monitoring information operation and maintenance

0 引言

在以往的應用當中，APM最主要的功能展現(xiàn)為監(jiān)測企業(yè)關(guān)鍵應用的運行性能，原理在于通過用戶應用功能所產(chǎn)生的記錄，對功能硬件的利用率進行統(tǒng)計，通過計算即可了解到用戶的喜好以及用戶體驗良好的功能，這個方法雖然具有一定的應用價值，但卻存在一個缺陷，即用戶的被動響應時間，因為用戶在使用當中并不能主動獲取功能狀態(tài)，所以在相應時間上可能會出現(xiàn)延遲，說明利用率存在不準確，所以需要進行改進，使用戶能夠主動得到體驗，并加速響應時間。

1 可視化監(jiān)控信息運維與服務(wù)體系建設(shè)基礎(chǔ)

針對網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)進行建設(shè)，首先對傳統(tǒng)網(wǎng)絡(luò)安全方案進行分析，了解其技術(shù)架構(gòu)與缺陷，再針對缺陷結(jié)合APM應用性能需求，提出新型的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)。其次，在大運維視角下采用監(jiān)控功能框架，實現(xiàn)網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)應用業(yè)務(wù)可視化。

1.1 傳統(tǒng)網(wǎng)絡(luò)安全方案分析

網(wǎng)絡(luò)環(huán)境的復雜會造成企業(yè)網(wǎng)絡(luò)信息出現(xiàn)泄漏等現(xiàn)象，所以需要相應的防護技術(shù)來抵御外界攻擊，但傳統(tǒng)的網(wǎng)絡(luò)安全方案更多的依賴防火墻、攻擊檢測系統(tǒng)、信息加密系統(tǒng)、病毒過濾系統(tǒng)、網(wǎng)絡(luò)信息系統(tǒng)等實現(xiàn)[1-4]。在應用效果上，此類技術(shù)都存在主動性差、共享性差的缺陷，即在用戶應用此類技術(shù)時，并不能了解到技術(shù)運行的狀態(tài)，體現(xiàn)出較強的被動性，并且部分用戶會同時采用多種技術(shù)進行防護，但是多種技術(shù)之間很少出現(xiàn)關(guān)聯(lián)，當外界攻擊出現(xiàn)時，會體現(xiàn)出“各自為戰(zhàn)”的狀態(tài)相互之間信息并不能共享，甚至還可能出現(xiàn)沖突，當面臨突發(fā)性較強的攻擊時，并不能準確、及時的進行處理[5-8]。

1.2 網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)分析

網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)能夠收集并處理不同的數(shù)據(jù)，這些數(shù)據(jù)在本質(zhì)上存在異源異構(gòu)的特點，說明網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)的性能較高，在處理之后，通過技術(shù)系統(tǒng)自帶的統(tǒng)計模型以及數(shù)據(jù)挖掘算法將零散數(shù)據(jù)整合，最終形成可靠性較高的安全狀態(tài)評估報告[5-8]。在于傳統(tǒng)安全方案的對比之下可見，兩者的差別在于：網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)具有數(shù)據(jù)監(jiān)控功能，可以針對功能運作狀態(tài)進行監(jiān)控，可以產(chǎn)生防護趨勢圖[9-12]。

網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)的建設(shè)主要依靠3項技術(shù)來展開，即數(shù)據(jù)提取技術(shù)、數(shù)據(jù)挖掘技術(shù)、特征提取技術(shù)，下文將對此3項技術(shù)進行逐一分析。

1.數(shù)據(jù)提取技術(shù)。通過數(shù)據(jù)提取技術(shù)，能夠?qū)⒏黝悜霉δ苓\行所產(chǎn)生的零散數(shù)據(jù)整合形成一個原始數(shù)據(jù)集，零散數(shù)據(jù)主要是指各功能運行所產(chǎn)生的日志信息，之后對原始數(shù)據(jù)集進行篩選實現(xiàn)數(shù)據(jù)提取。因為任何操作行為都會生成日志信息，所以整體數(shù)據(jù)可能存在雜亂、無用、缺失現(xiàn)象，在此前提下直接進行數(shù)據(jù)分析，會導致數(shù)據(jù)分析結(jié)果準確度下降，所以為了避免此現(xiàn)象，本文在此項數(shù)據(jù)當中加入了數(shù)據(jù)清洗技術(shù)，此項技術(shù)主要是通過預設(shè)要求進行數(shù)據(jù)篩選，不符合要求的數(shù)據(jù)均會被篩除實現(xiàn)數(shù)據(jù)清洗。此外，因為數(shù)據(jù)存在異構(gòu)特性，所以容易出現(xiàn)格式上的不正確，會阻礙數(shù)據(jù)整合技術(shù)運作，針對此點本文采用了元組定義法進行改善，此項技術(shù)作用于數(shù)據(jù)源消除了數(shù)據(jù)格式不統(tǒng)一的現(xiàn)象[13-14]。

2.數(shù)據(jù)挖掘技術(shù)。在大運維視角下，為了實現(xiàn)用戶主動式體驗需要將數(shù)據(jù)細化，所以需要采用數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)挖掘技術(shù)屬于一種綜合性技術(shù)，其中包含了多項專業(yè)技術(shù)的特性，例如統(tǒng)計技術(shù)，機器學習技術(shù)，模式識別技術(shù)等，此項技術(shù)在大運維技術(shù)上，能夠?qū)Ａ康臄?shù)據(jù)進行處理，實現(xiàn)未知信息預測以及趨勢判斷，有利于網(wǎng)絡(luò)系統(tǒng)安全性保障。數(shù)據(jù)挖掘技術(shù)的運作主要依賴于多種算法，例如規(guī)則挖掘算法、分類算法等，本文為了將此項技術(shù)融合與APM應用性能需求，在上述算法技術(shù)上還采用了聚類算法，離群點檢測，并對規(guī)則挖掘算法、聚類算法進行了調(diào)整，在規(guī)則挖掘算法上將原本的Apriori算法替換為FP-Growth算法，此類算法更加符合;在聚類算法上增加了K-Means算法，將其與層次聚類算法、圖聚類算法進行融合，通過調(diào)整數(shù)據(jù)挖掘技術(shù)將更加符合APM應用性能需求[15]。

3.特征提取技術(shù)。特征提取技術(shù)能夠?qū)?shù)據(jù)挖掘技術(shù)處理好的數(shù)據(jù)轉(zhuǎn)化，使其以數(shù)值形式展現(xiàn)，原理在于特征提取技術(shù)的組成主要為數(shù)字模型，通過數(shù)字模型的計算即可實現(xiàn)轉(zhuǎn)化目的。在特征提取技術(shù)的應用之下，如果網(wǎng)絡(luò)受到攻擊，特征提取技術(shù)能夠截獲攻擊數(shù)據(jù)，并將其進行轉(zhuǎn)化，同時提取其中特征，當下一次出現(xiàn)符合特征的數(shù)據(jù)時，將會直接進行截獲、刪除，如果有需要用戶可以通過系統(tǒng)功能進行設(shè)置，在截獲之后通知用戶是否需要刪除，體現(xiàn)人性化服務(wù)，有助于用戶的體驗增強。本文主要采用德費爾法，層次法，模糊層次法和綜合分析法，來建設(shè)特征提取技術(shù)，此類技術(shù)同樣符合APM應用性能需求[16]。

1.3 監(jiān)控功能框架

業(yè)務(wù)系統(tǒng)安全態(tài)勢感知技術(shù)基礎(chǔ)上的監(jiān)控功能框架，如圖1所示。

該框架的構(gòu)成與經(jīng)典框架相似，雖然經(jīng)典框架在功能上并沒有突出點，但是更加貼合APM應用性能需求，同時能夠滿足大運維視角的需求。

根據(jù)圖1可見，該框架中展示層主要與用戶端對接，使用戶可以通過終端設(shè)備來讀取框架內(nèi)部信息，且考慮到不同用戶及不同工作中的需求，配置了5項可視化功能，以便于用戶從多個角度對業(yè)務(wù)系統(tǒng)的具體情況進行判斷;數(shù)據(jù)儲存層主要依照數(shù)據(jù)分類邏輯來今昔，即將數(shù)據(jù)分為中間數(shù)據(jù)、結(jié)果數(shù)據(jù)、明細數(shù)據(jù)三類，分別保存在內(nèi)存數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫、分布式文件數(shù)據(jù)庫當中，為其他層提供數(shù)據(jù)支撐;大數(shù)據(jù)分析平臺是整個監(jiān)控系統(tǒng)的應用層，可以通過大數(shù)據(jù)技術(shù)的智能邏輯下生成的智能識別、智能學習功能對信息或數(shù)據(jù)進行深度分析，以供用戶從展示層進行讀取;數(shù)據(jù)采集層主要與性能數(shù)據(jù)源對接，依照預設(shè)邏輯對制定數(shù)據(jù)進行采集，并通過消息中間件將其傳輸?shù)酱髷?shù)據(jù)分析平臺中。綜上，業(yè)務(wù)系統(tǒng)安全態(tài)勢感知監(jiān)控功能框架主要與包含了普遍企業(yè)系統(tǒng)的整體流程，再依靠監(jiān)控技術(shù)進行全面監(jiān)控。本文為了實現(xiàn)可視化應用，將采用綜合視圖技術(shù)與之結(jié)合。應用當中，綜合視圖技術(shù)會實時接收監(jiān)控框架的信息，根據(jù)信息狀態(tài)以三種形態(tài)展示，即信息狀態(tài)不佳顯示紅燈;信息狀態(tài)顯示黃燈;信息狀態(tài)良好顯示綠燈[16]。

2 信息運維與服務(wù)體系建設(shè)

2.1 信息運維建設(shè)

主要通過系統(tǒng)管理模塊設(shè)計來進行信息運維建設(shè)，系統(tǒng)管理模塊主要包括節(jié)點管理功能、信息預配置兩個方面，下文對此進行逐一分析。

1.節(jié)點管理功能。節(jié)點管理功能主要是指管理員對系統(tǒng)數(shù)據(jù)節(jié)點的操作，例如節(jié)點添加、刪除、修改、查詢等。建設(shè)基礎(chǔ)在于資源配置后，后續(xù)模塊配置信息的關(guān)聯(lián)關(guān)系，在此關(guān)系當中可以從各模塊節(jié)點內(nèi)得到數(shù)據(jù)資源。節(jié)點對象主要包括節(jié)點名稱、IP地址、節(jié)點實時運行狀態(tài)等信息，在此三類節(jié)點對象之下，能夠?qū)鲜龅牟僮餍枨髮崿F(xiàn)功能渠道，此時管理員用戶才能通過相應的功能完成操作[17]。節(jié)點管理類圖，如圖2所示。

根據(jù)圖2可見，BusinessAction類可以實現(xiàn)前臺請求接收、相關(guān)數(shù)據(jù)展現(xiàn)的功能渠道，可以獲取相應的方法和對象，其中的addNode（）、deNode（）、showNode（）、modifyNode（）即為操作功能渠道，依照順序分別對應添加節(jié)點、刪除節(jié)點、顯示節(jié)點、修改節(jié)點操作。platservice接口和platservicelmpl類則可以定義數(shù)據(jù)服務(wù)層的邏輯，可以將其作為操作請求執(zhí)行功能，當接受到來自addNode（）、deNode（）、showNode（）、modifyNode（）功能渠道的操作請求時，能夠自動識別渠道中的操作信息，在確認權(quán)限后將請求發(fā)送到處理端，通過后即可執(zhí)行操作[18-19]。此外，platdao接口和platdaolmpl實現(xiàn)類繼承自basedao，通過HQL語句實現(xiàn)了對數(shù)據(jù)庫的錄入功能，添加節(jié)點的過程時序圖，如圖3所示。

2.信息預配置。配置信息的來源主要來自（APM探針監(jiān)控技術(shù)）業(yè)務(wù)系統(tǒng)安全系統(tǒng)的防護技術(shù)以及硬件設(shè)備，例如防火墻、IDS等安全設(shè)備。配置信息預配置主要受系統(tǒng)配置模塊約束，在系統(tǒng)配置模塊當中每加入一個配置信息，配置模塊都會直接對新的配置信息進行重新定義，獲得配置信息所在的地理位置、主機名、IP地址等，之后自動形成資產(chǎn)組。資產(chǎn)組的產(chǎn)生主要因為用戶同類型主機數(shù)量可能超出1臺，所以在資產(chǎn)組的形式下，可以是用戶直觀的對信息進行查看，了解其狀態(tài)，當出現(xiàn)狀態(tài)不佳時可以主動將信息反饋至后臺，此時后臺能夠及時進行處理，實現(xiàn)信息運維建設(shè)。此外，為了保證安全態(tài)勢感知預測的準確度，本文在原本基礎(chǔ)上增加了兩個屬性，即資產(chǎn)類型和資產(chǎn)價值屬性，這兩個屬性在進行態(tài)勢預測時可以增加綜合評估的范圍，提高安全態(tài)勢感知預測的準確度[20]。

2.2 服務(wù)體系建設(shè)

服務(wù)體系建設(shè)主要是為了給用戶提供保障，即當用戶調(diào)用業(yè)務(wù)功能發(fā)生性能異?；蚬收嫌脩羰艿焦魰r，能夠追蹤異常或故障功能的堆棧信息、SQL信息，確認異常的服務(wù)器節(jié)點和中間件，方便用戶對系統(tǒng)異常快速定位和追蹤。建設(shè)當中首先在安全態(tài)勢圖基礎(chǔ)上，根據(jù)當中的業(yè)務(wù)節(jié)點獲取攻擊時間的元數(shù)據(jù)，之后結(jié)合GIS坐標技術(shù)，可以直觀的在圖中看到故障源，同時在對故障處理完畢之后，會將業(yè)務(wù)系統(tǒng)中歷史數(shù)據(jù)集與現(xiàn)下數(shù)據(jù)集進行對比，確認故障造成損害，可以有效的對故障嚴重的程度進行判斷。

具體來看，根據(jù)上述節(jié)點管理功能，可以得到攻擊事件的元數(shù)據(jù)，通過對元數(shù)據(jù)進行分析，可以得出異?；蚬收鲜录愋?、服務(wù)器節(jié)點、IP地址、端口號、事件詳細描述。之后針對事件具體的IP地址進行解析，可以更加準確的判斷事件來源的系統(tǒng)環(huán)節(jié)或服務(wù)器節(jié)點位置，為了能夠使用戶對此進行查看，本文還將熱力圖技術(shù)融入系統(tǒng)中，通過系統(tǒng)可以直接在地圖上顯示業(yè)務(wù)系統(tǒng)異常分布，可視化地圖展示類圖，如圖4所示。

為了支撐服務(wù)體系，本文主要采用HBase數(shù)據(jù)平臺作為服務(wù)端，通過該平臺能夠給服務(wù)體系提供相應的資源，但用戶或者運維人員需要進行操作時，依靠該平臺即可實現(xiàn)，例如需要進行獲取數(shù)據(jù)、保存數(shù)據(jù)等操作時，通過平臺功能按鈕即可發(fā)送請求。此外，為了實現(xiàn)IP地址信息傳輸，本文主要采用了Restul請求建立了各數(shù)據(jù)節(jié)點之間的傳輸通道。

3 總結(jié)

在大運維視角下，傳統(tǒng)的信息運維體系出現(xiàn)了許多缺陷，例如在用戶使用該體系時，用戶是被動享受服務(wù)的，并不能主動、及時的對服務(wù)功能做出相應，此現(xiàn)象不利于系統(tǒng)對用戶偏好的分析，所以為了對此進行改善，應當結(jié)合大運維視角的特點，對傳統(tǒng)體系進行改進。本文主要在APM應用性能需求下，展開了業(yè)務(wù)可視化監(jiān)控信息運維體系、服務(wù)體系建設(shè)，要求用戶在享受服務(wù)時能夠保留主動性。建設(shè)主要分為兩個部分即可視化監(jiān)控信息運維與服務(wù)體系建設(shè)基礎(chǔ)、信息運維與服務(wù)體系建設(shè)。

參考文獻

[1] 王曉燕.超越性能監(jiān)控Dynatrace APM助力企業(yè)實現(xiàn)數(shù)字化業(yè)務(wù)價值[J].計算機與網(wǎng)絡(luò)，2017，43（1）：76-77.

[2] 舒文瓊.博睿數(shù)據(jù)APM：讓IT業(yè)務(wù)質(zhì)量管理透明可視[J].通信世界，2017（15）：60.

[3] 王超.淺談首都機場APM系統(tǒng)站臺旅客人數(shù)的預測方法[J].中國科技縱橫，2014（9）：25-27.

[4] 唐少強.淺析首都機場APM系統(tǒng)車輛空調(diào)控制方式優(yōu)化方案[J].華東科技（學術(shù)版），2014（12）：431.

[5] 吳衛(wèi)，水學民.六西格瑪在廣州市規(guī)劃局IT運維服務(wù)質(zhì)量管理中的應用[J].智能建筑與智慧城市，2014（12）：89-92.

[6] 薄小永，許薇.電網(wǎng)企業(yè)信息機房可視化運維管理系統(tǒng)研發(fā)[J].產(chǎn)業(yè)與科技論壇，2017，16（3）：46-47.

[7] 王旭，張建業(yè)，陳濤.電力信息機房智能化監(jiān)控系統(tǒng)方案研究與設(shè)計[J].環(huán)球市場信息導報，2017（46）：135-136.

[8] 穆凱.基于天地圖API的綜合服務(wù)管理系統(tǒng)設(shè)計與實現(xiàn)[J].測繪通報，2016（4）：114-116.

[9] 牛文淵，鄭江華，韓林芝.基于天地圖Web API的民俗文化遺產(chǎn)保護系統(tǒng)研發(fā)——以錫伯族大西遷為例[J].測繪通報，2015（11）：96-101.

[10] 李治明.基于RESTful技術(shù)實現(xiàn)ArcGIS Server地圖服務(wù)管理[J].礦山測量，2017，45（4）：71-73.

[11] 錢發(fā)斌，鄧喜慶.基于ArcGIS Server的林業(yè)Web GIS系統(tǒng)的實現(xiàn)[J].林業(yè)調(diào)查規(guī)劃，2015，40（3）：1-5.

[12] 季志民，葛萬成.網(wǎng)絡(luò)推薦系統(tǒng)中K-均值聚類算法的研究及優(yōu)化[J].信息通信，2017（7）：34-36.

[13] 石穎瑩，葛萬成，汪亮友，等.K-means聚類個性化推薦算法改進研究[J].信息通信，2016（1）：19-21.

[14] 喬琳，胡濤，朱金悅.基于最小生成樹的K-means驢友結(jié)伴推薦算法研究[J].現(xiàn)代商業(yè)，2017（16）：172-173.

[15] 管磊，胡光俊，王專.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2016（9）：45-50.

[16] 鞏志遠.基于大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢感知研究[J].通訊世界，2015（24）：326-327.

[17] 孫永亮，王宇.基于用戶體驗的應用性能管理系統(tǒng)設(shè)計[J].電子技術(shù)與軟件工程，2014（18）：74-75.

[18] 李梁，吳剛，劉輝林，等.數(shù)據(jù)庫性能測試可視化工具VisualDBBench及面向內(nèi)存數(shù)據(jù)庫的應用[J].華東師范大學學報（自然科學版），

2014（5）：340-350.

[19] 王寧，劉伯宇.基于最終用戶體驗的網(wǎng)絡(luò)及應用性能可視化實踐研究[J].網(wǎng)絡(luò)安全技術(shù)與應用，2014（8）：19-20.

[20] 高慧慧，徐圓，朱群雄.過程工業(yè)報警系統(tǒng)可視化監(jiān)控技術(shù)及應用[J].化工學報，2015，66（1）：215-221.

（收稿日期： 2019.04.10）