智能信息系統業務事件驅動機理分析與運維模型優化研究

張向聰,張 潺,楊 瑩,王冰潔,王 磊,陸思羽

(國網河南省電力公司 信息通信分公司,河南 鄭州 450053 )

隨著供電企業信息化建設的不斷深入,供電企業在運的信息系統數量逐步增多,形成了信息系統軟、硬件種類、品牌、版本多的運行現狀,供電企業保障信息系統穩定運行的運維壓力持續增大[1-2]。因此,探索信息系統運維日志標準化解析和多系統故障定位對提升信息系統運維效率具有積極的意義。

為解決多個電力信息系統運維日志關聯解析弱,信息系統故障分析準確率低的問題,提出了一種基于業務事件驅動的電力信息系統日志標準化解析方法。實現信息系統故障分析、預警,提升信息系統健康運行水平及運維管理工作的質量和效率。

1 電力信息系統日志運維分析流程

文中所述基于業務事件驅動的電力信息系統日志運維分析流程如圖1所示。

圖1 電力信息系統日志運維分析流程

1.1 信息系統日志數據聚類

首先,采集信息系統的指標、文本2類日志文件數據;其次,判斷信息系統的日志文件是否存在缺失和錯誤的情況,對有錯誤的信息系統日志數據進行修復;最后,對信息系統日志數據進行匯聚,獲取信息系統日志的特征。

1.2 信息系統業務事件驅動機理分析

根據供電企業的營銷、設備、調度、財務等條線對業務事件驅動機理進行梳理,獲取跨業務條線的邏輯信息。在此基礎上,建立業務關聯特征架構,實現供電企業的業務與信息系統日志映射關聯。

1.3 信息系統日志數據解析與異常告警

首先,基于業務關聯特征架構進行信息系統日志標準化解析,實現指標、文本2類日志文件的統一管理。其次,通過關鍵詞匹配進行分析,根據日志判斷信息系統是否存在問題。最后,對存在故障的信息系統進行預警。

2 電力信息系統日志運維分析模型

2.1 信息系統日志數據聚類

2.1.1日志數據采集

電力信息系統日志數據主要包括文本和指標2類數據[10]。其中,文本日志是指半結構化文本數據,包括Tracing日志和程序日志等,且不同的信息系統中日志格式差異較大。指標日志是指結構化的時序數據類型日志,通常包括指標采集時間、使用人員、指標值等信息[11-12]。電力信息系統日志采集硬件架構如圖2所示。

圖2 電力信息系統日志采集硬件架構

在日志數據采集過程中,通過應用程序接口直接采集指標類電力信息系統日志數據,通過詞頻與逆文本頻率指數(TF-IDF)將半結構化文本數據轉化為結構化文本數據[13-14]。

因此,采用TF-IDF算法提取電力信息系統文本指標。電力信息系統文本指標提取值(dW)為:

(1)

式中:cs為電力系統文本指標詞語在數據采集中出現的次數;call為電力系統文本指標總的詞語數量;es為每一項文本指標詞語在數據采集中出現的次數;eall為每一項文本指標詞語的總數量。

2.1.2異常數據修復

為避免異常數據對電力信息系統運維帶來的影響,需對異常數據進行監測和修復。

電力信息系統采集日志異常數據修復(b)為:

b=wFa+g

(2)

式中:wF為電力信息系統采集數據的特征權重向量;a為輸入的電力信息系統采集日志數據向量;g為電力信息系統采集日志偏置。

2.1.3日志數據匯聚

日志數據匯聚的目的是為了將電力信息系統的文本和指標2類數據有效的集成在分析模型中,在進行電力信息系統日志數據異常修復后,將文本和指標2類數據放置在專用數據集中,并為后續的信息系統業務數據機理分析提供基礎數據。

2.2 信息系統業務事件驅動機理分析

業務事件驅動算法分成業務事件收集、業務事件發送和業務事件處理3部分。其中,事件收集用于負責收集電力業務的營銷、設備、調度、財務、安檢等所有的業務事件;業務事件發送將收集的電力業務事件發送到對應的事件處理單元中;業務事件處理負責具體的電力業務事件處理。業務事件處理流程如圖3所示。

圖3 業務事件處理流程

由圖3可見,消息處理用于處理電力業務事件中的元素組,假設針對電力業務x,有m個電力業務組成電力業務集合Lm。x從電力業務集合Lm中獲取單元,并輸出新的電力業務流Hm,則業務事件處理流程的消息處理Oa為:

f(Lm,w,λ)→(Hm,w,λ)

(3)

式中:f為業務事件處理過程函數;w為業務事件處理的間隔;λ為消息處理的狀態;

圖3中,原始業務事件數據為d1,經過消息處理后獲得處理本業務邏輯信息的結果數據d2,然后,再進行跨業務消息處理,獲得跨業務條線的電力業務事件數據邏輯信息d3。

然后,依據跨業務條線的電力業務事件數據邏輯信息建立關聯特征架構,實現供電企業的業務與信息系統日志映射關聯。

2.3 信息系統日志數據解析與異常告警

日志數據標準化解析的目的是根據業務關聯特征架構將文本和指標兩類數據映射到統一的空間中,以便對所有類型的數據進行統一的管理。

哈希映射算法具有查找速度快的特點,因此,采用哈希映射算法進行日志數據標準化解析。

電力信息系統哈希映射后的值UH為:

UH=δ(u)

(4)

式中:u為原始的電力信息系統日志數據;δ為哈希映射函數。

然后將映射后的電力信息系統日志數據進行關鍵詞匹配分析,從而判斷電力信息系統是否存在故障或缺陷。

確定有窮自動機(DFA)算法是一種關鍵詞匹配算法,DFA算法可以將電力信息系統日志從輸入集匹配到輸出確定集。DFA算法具有關鍵詞匹配準確的特點[17],因此,采用DFA算法進行電力信息系統日志關鍵詞匹配。

電力信息系統日志關鍵詞匹配zP為:

zP={q∈γ,q∩z≠0}

(5)

式中:q為電力信息系統日志關鍵詞閉包;γ為對于q所有的關鍵詞匹配活動狀態;z為電力信息系統日志匹配中所有可能的其它狀態。

通過電力信息系統中DFA關鍵詞匹配,判斷信息系統是否存在問題。最后,對存在故障的信息系統進行預警。

3 算例分析

3.1 場景與參數設定

為驗證基于業務事件驅動的電力信息系統運維方法的可行性和有效性,在某省電力公司信息通信分公司的機房進行了仿真應用。用于文中方法的有12臺服務器,服務器均為16核心的Intel至強處理器,服務器內存為64 GB,硬盤為50T,其中4臺用于應用及管理層的日志采集;2臺用于部署文中所提算法;3臺用于Kafka應用;3臺用于clickhouse應用。

服務器的操作系統為Windows Server 2019,算法采用phyton設計,通過應用程序接口實現了與電力信息系統日志的采集。與所提方法進行對照實驗的是改進k-means電力信息系統運維方法[18]。該方法在電力信息系統運維中廣泛采用,具有行業代表性,因此選擇改進k-means方法與所提方法進行對比。

3.2 算例運行分析

3.2.1電力信息系統運維性能分析

電力信息系統運維性能分析是衡量運維日志分析速度的核心指標。其計算原則為:從輸入電力信息系統運維數據開始,到生成電力信息系統運維統計結果數據為止的時間段。時間越短,則說明電力信息系統運維性能越好。

在某省電力公司信息通信公司機房輸入用電信息采集、營銷業務、生產管理2.0系統、人力資源系統、財務系統中各6個地市公司1個月的日志數據,分別采用文中所提基于業務事件驅動的電力信息系統運維方法與改進k-means電力信息系統運維方法比較耗時,電力信息系統運維性能分析如表1所示。

表1 電力信息系統運維性能分析表

由表1可見,所提基于業務事件驅動的電力信息系統運維方法的平均耗時為15.7 s,而改進k-means在聚類時耗時較長,因此平均耗時為42.2 s,由此可見,所提方法的電力信息系統運維性能較改進k-means方法更優。

3.2.2電力信息系統日志映射分析

選擇140 d的用電信息采集、營銷業務、生產管理2.0系統、人力資源系統、財務系統數據,分別按天統計日志數量與映射準確率,電力信息系統運維日志分析表如圖4所示。

圖4 電力信息系統運維日志分析圖

由圖4可見,電力信息系統運維日志數量在12～16千條波動,映射的準確率在99.5%～100%波動。

3.2.3電力信息系統運維分析準確率分析

在某省電力公司信息通信公司機房輸入用電信息采集、營銷業務、生產管理2.0系統、人力資源系統、財務系統中各6個地市公司1萬條信息系統日志數據,采用文中所提基于業務事件驅動的電力信息系統運維方法與改進k-means電力信息系統運維方法比較電力信息系統運維分析準確率,電力信息系統運維分析準確率分析如表2所示。

表2 電力信息系統運維分析準確率

由表2可見,文中所提基于業務事件驅動的電力信息系統運維方法電力信息系統運維分析準確率平均為99.36%,高于改進改進k-means方式。因此,所提方法電力信息系統運維分析更準確。

4 結語

為解決多個電力信息系統運維日志關聯解析弱,信息系統故障分析準確率低的問題,提出了一種基于業務事件驅動的電力信息系統日志標準化解析方法。通過業務事件驅動機理,實現了跨業務條線的電力信息系統日志映射;通過關鍵詞匹配算法實現信息系統故障分析、預警。算例分析結果表明:所提方法能提高信息系統運維分析準確率。