AIOps在企業信息系統運維中的應用探討

冷迪，陳瑞，李英，王旭勇

（深圳供電局有限公司，廣東 深圳 518000）

0 引言

5G、AI、大數據等新技術的發展與疊加，讓聯接變得無處不在，網絡中的新設備數量雨中淚也不斷增加，大大增加了網絡的復雜性。飛速發展的科學技術推動投資消費的快速增長，也驅動各行各業的數字化轉型升級，隨之而來的是網絡與業務的高復雜化與高質量的挑戰。擺脫傳統信息中心的運維模式，實現運營智能化備受關注，AIOps不斷趨于成熟為這一實現提供了方便[1]。

1 什么是AIOps

AIOps源自2016年著名IT研究機構Gartner詞庫中的Algorithmic IT Operations，即基于算法的運維方式。現在國內對AIOps的理解一般遵照清華大學裴丹教授的解釋，AIOps即Artificial Intelligence for IT Operations將人工智能應用于運維領域，基于已有的運維數據（日志、監控信息、應用信息等），通過機器學習的方式來進一步解決自動化運維沒辦法解決的問題。AIOps 不依賴于人為指定規則，主張由機器學習算法自動地從海量運維數據中不斷地學習，不斷地提煉并總結規則。再通俗一些來說，AIOps就是AI+OPS，也就是人工智能運維或者智慧運維或者智能運維。AIOps本身實際上也是一種多層技術平臺，它通過數據分析和機器學習方法從形式多樣的IT運營工具和設備中收集的大數據中進行學習，自動實時確定并反應處理問題，實現IT運營的智能化，解放運維人員的雙手。

AIOps的一切是為了通過模仿人類思維，但超過人類思維速度，去解決大規模的數據分析問題，它的關鍵在于其算法的智慧程度，一個AIOps工具或者部署是否優秀取決于其在用的人工智能算法是否先進。當然如果算法不夠好，不能達到真正的人腦智慧程度，由于計算機的運算速度與效率遠遠超過人腦正常的辨識反應速度，AIOps也能夠很好地實現其目的，可以將原本借助人工處理系統運維所要消耗的時長極大地減少。很多早期的AIOps采用監督式學習來輔助運維人員節省時間提高工作效率，把運維人員從紛繁復雜的告警和噪音中解脫出來，這實際上并沒有達到預期的效果。

通常AIOps由數據源、大數據平臺、計算（運算）和分析、算法、無人監督的機器學習、可視化、自動化組成[2]。數據源一般來自企業現場的實時收集或者其他系統的數據匯聚。大數據平臺用于將各種各樣的數據進行標簽化存儲并進行歷史數據分析和實時數據響應。計算（運算）和分析則是根據已有數據進行數據挖掘分析生成新的數據，或者根據特殊需要進行數據處理完成特定的生成目標。算法用來提高計算（運算）和分析的效率，充分發揮機器的運算能力，減少運作時間。無人監督的機器學習則是最核心的，通過動態調整帶有參數的算法，不斷優化系統計算（運算）和分析效能。可視化則與常規的運維相似，為運維管理人員提供可視化信息，幫助其理解信息輔助決策。自動化則是解放運維人員的雙手與大腦，自動生成解決問題的辦法或者改進已有的解決方案。

2 企業信息系統運維常見問題

在企業信息系統運維過程中，常常會面對一些低級問題帶來的麻煩，這一方面是由于信息處理過程繁瑣，另一方面是問題發現能力跟不上需求，通常可以把企業信息系統運維常見問題歸納為四類：故障點定位消耗時間長、維護人員壓力大、專業維護人員招聘困難、信息監控工具能力弱。

就目前來講，很多大型生產型企業又配備了大量的監控系統，這些監控系統一般都能夠發現系統出現了故障，然而這些故障具體發生在什么位置，如何才能快速解決故障，避免對用戶產生使用影響，要求更高一些，讓用戶在無感知的情況下消除故障讓系統恢復正常，是十分嚴峻的問題。通常是需要依賴于專家，憑借專家的豐富經驗進行逐點排查，這就會導致故障點定位消耗大量的時間，再加上故障修復時間，整個問題的解決時間會更長。

也正是由于故障發現解決周期會很長，在一些對即時性要求較高的企業，維護人員的工作壓力非常大，一是故障發生隨機性太大，無法知曉何時會發生故障，另外一方面，為了能夠更快地發現故障解決問題，一些企業建設了一些非常復雜的信息監測監控系統，由于行業的獨特性與復雜性，這些系統大部分都需要維護人員手動設置閾值，這就使得所有的壓力中心又返回到維護人員身上。這對維護人員的要求一方面要熟悉業務，能夠對生產線信息很敏感的感知并動態地調整告警發現規則，又要求維護人員具備很強的計算機操作能力、圖形圖像辨知能力，這自然而然地給企業帶來新型維護人員招聘難的難題[3]。

3 基于Aiops的信息機房數據中心的智能化運營

對于現階段的電力企業來講，信息機房數據中心具有很大的作為空間，打破傳統的以人為主的運維模式，升級監控方式方法可以從故障探測與智能預警、信息系統健康畫像、智能擴縮容、智能預案推薦幾個方面入手，實現數據中心告警故障自愈，從而達到智能化運營的目的。

在故障探測與智能預警方面，通過歷史數據的時間序列分析和大規模數據的機器學習進行故障探測，并通過數據擬合的方式進行業務健康狀態預測。并配合監控系統實現智能預警，以郵件、微信、短信等方式實時告知運維人員系統的健康狀態，防患于未然。

在信息系統健康畫像方面，通過對現實業務進行標準化整合，建立業務健康數據指標。該信息系統健康指標需要滿足對機房內平臺，主機、服務器、應用的健康狀態評估的準確性。利用智能化的健康指標KPI，研究能夠描述業務健康狀況的信息系統健康畫像模型[4]。基于大數據平臺，可以快速創建儀表板實時顯示健康度整體動態。

在智能擴縮容方面，一是要建立業務系統的負載走勢算法模型，業務負載走勢算法模型及智能預測，依托于業務的負載趨勢數據，包含平臺、系統、應用的負載數據等，通過對這些數據的收集、OLAP、存儲及初步分析處理形成有價值的模型訓練數據，通過線性回歸、移動平均算法等趨勢預測算法訓練出智能預測業務負載走勢算法模型，該模型需要滿足業務負載及預測的準確性、實時性等需求。二是要實現服務器承載能力智能評估，服務器承載能力智能評估過程除了考慮不同機型對應的表現有區別外，不同應用相差差異也比較大，而且，不同業務的各類限制的指標也各不相同，有cpu決定的，有IO決定的等等。服務器承載能力智能評估需要滿足不同業務類型在不同機型上面的承載能力的準確判斷。三是要基于業務系統的負載走勢算法模型及智能預測，以及服務器承載能力智能評估，通過AI智能決策，自動調度作業平臺擴縮容任務，實現自動擴縮容。擴縮容調度任務需要滿足，操作一致性，操作原子性等功能及業務需求。

在智能預案推薦方面，一是要實現故障處理預案數據收集、OLAP，及存儲管理，通過理解業務，收集告警數據、告警處理歷史數據告警收斂和防御、系統預定收斂和防御規則，通過FTA、健康診斷數據等，進行OLAP及數據存儲。針對常見故障，建議故障處理預案（套餐），并錄入到系統中。（非常見故障，如一年發生1-2次的，由于數據量少無法達到數據收集和分析的最低要求，不列入研究目標。）二是要建立故障處理計算模型，基于流式計算框架，根據故障處理預案數據，并通過機器學習相關算法，對故障進行聚類收斂，例如利用LSTM算法主要解決普通回環神經網絡的權重小的問題，輸入不同尋常數據并利用LSTM來訓練神經網絡收斂算法，最終到大規模場景下的神經網絡，再將模型應用于生產系統，以實現對故障決策的智能判斷。對于故障的AI智能判斷需要滿足非常高的準確性判斷[5]。

綜上所述，基于Aiops的信息機房數據中心的智能化運營，最終要實現常見故障的自愈修復。常見故障需滿足兩點要求：出現次數需符合數據分析對故障量的要求，且能夠通過專家人工進行步驟編排實現解決，舉例如：數據庫故障（歸檔空間不足、集群服務異常、服務異常等）、操作系統故障（磁盤空間不足，CPU內存性能不足）。

4 結語

工業化與信息化時代，大數據與人工智能技術飛速發展，在許多行業已經普遍應用且頗為成熟，這也助推著智能運維AIOps技術的不斷發展。對于一些實時數據量大、生產運營框架復雜不利于故障排查、用戶即時性體驗要求高的企業中，利用AIOps技術平臺紅利實現信息機房數據中心的智能化運營，前景廣闊。