基于卷積神經(jīng)網(wǎng)絡的網(wǎng)絡故障診斷模型

李酉戌

摘要：對于網(wǎng)絡運行過程中產(chǎn)生的海量日志信息，傳統(tǒng)故障診斷方法很難進行實時而全面的日志分析。針對該問題，提出一種基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）的網(wǎng)絡故障診斷模型，利用Skip-gram模型進行詞向量訓練，并將詞向量作為卷積神經(jīng)網(wǎng)絡輸入，最終通過Softmax回歸進行分類。實驗結果表明，該模型可以有效處理網(wǎng)絡故障診斷任務，且優(yōu)于傳統(tǒng)機器學習方法，對于網(wǎng)絡運行日志的故障診斷準確率可達73.2%以上。

關鍵詞：日志信息；故障診斷；卷積神經(jīng)網(wǎng)絡；詞向量

DOIDOI：10.11907/rjdk.172278

中圖分類號：TP301

文獻標識碼：A 文章編號：1672-7800（2017）012-0040-04

Abstract：In order to solve the problem， this paper presents a network fault diagnosis model based on Convolutional Neural Network （CNN）， which is difficult to carry out real-time and comprehensive log analysis for the mass log information generated by the network running process. Diagnostic model， the skip-gram model for word vector training， and the word vector as a neural network input， and ultimately through the Softmax regression classification. The experimental results show that the model can effectively deal with the task of network fault diagnosis and is superior to the traditional machine learning method. The fault diagnosis accuracy of the network running log can reach more than 73.2%.

Key Words：log information； fault diagnosis； convolution neural network； word embedding

0 引言

隨著網(wǎng)絡信息化的快速發(fā)展，計算機網(wǎng)絡結構越來越復雜，應用領域也日益廣泛，人們對于網(wǎng)絡的依賴性越來越高，因此網(wǎng)絡的安全性和可靠性變得尤為重要。日志作為獲取現(xiàn)代計算機網(wǎng)絡運行狀況和診斷系統(tǒng)故障的主要方式，利用網(wǎng)絡運行過程中產(chǎn)生的日志信息進行故障診斷，已成為網(wǎng)絡故障診斷研究熱點。由于故障類型與故障特征之間存在某種非線性映射關系，但是故障信息具有不確定性，且隨著網(wǎng)絡架構規(guī)模的增大，運行過程中會產(chǎn)生大量的日志信息，進行故障特征提取很具有挑戰(zhàn)性，從而加大了故障診斷難度。因此，如何從海量日志信息中提取故障相關信息，對計算機系統(tǒng)進行實時而全面的故障診斷至關重要。

目前，基于日志信息進行故障診斷的方法有很多，基于規(guī)則的故障診斷方法[1]利用規(guī)則分析系統(tǒng)，對網(wǎng)絡中產(chǎn)生的故障相關信息與規(guī)則庫中的規(guī)則進行比較，從而實現(xiàn)故障診斷。但是當規(guī)則達到一定數(shù)量時，規(guī)則庫就很難維護，且規(guī)則的獲取依賴于專業(yè)的系統(tǒng)管理員，較為繁瑣；基于模型的分析方法[2]是一種基于知識的推理模型，依賴于系統(tǒng)結構和功能模型，因此必須熟悉計算機網(wǎng)絡中各設備之間的關系，但計算機網(wǎng)絡日益復雜，建立精確的模型尤為困難；利用樸素貝葉斯模型[3-4]進行日志分析，通過計算相關條件概率，清晰地描述變量之間的相互影響程度，該方法可以有效地處理帶有噪聲的數(shù)據(jù)，克服故障信息的不確定性，但從實際環(huán)境中很難獲得先驗知識。近年來，隨著數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡的發(fā)展，基于文本挖掘方法進行日志系統(tǒng)管理較為多見。高學玲[5]利用神經(jīng)網(wǎng)絡對日志信息進行研究，主要針對日志文本的不確定性和噪聲干擾；王新苗等[6]基于多層神經(jīng)網(wǎng)絡進行故障類型識別研究，這些方法具有很好的學習能力，可以有效處理不完全故障數(shù)據(jù)，但其訓練需要大量的數(shù)據(jù)集，且缺少真實網(wǎng)絡環(huán)境下的評估數(shù)據(jù)集。

本文提出一種基于卷積神經(jīng)網(wǎng)絡的網(wǎng)絡故障診斷模型，收集并整理通信網(wǎng)絡運行過程中生成的日志，作為網(wǎng)絡故障診斷研究的訓練與測試樣本集，對其進行預處理和特征提取，再通過卷積神經(jīng)網(wǎng)絡進行訓練得到故障診斷模型，從而實現(xiàn)網(wǎng)絡故障診斷。

1 相關介紹

1.1 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡通過模擬生物自然視覺認知機制進行數(shù)據(jù)分析，是一種常見的深度學習架構，目前在眾多科學領域取得了成功應用，特別是在圖像處理領域，LeCun等[7]利用卷積神經(jīng)網(wǎng)絡進行手寫體數(shù)字識別，取得了很好效果。傳統(tǒng)的圖像處理方法需要經(jīng)過復雜的前期預處理，卷積神經(jīng)網(wǎng)絡則可以直接輸入原始圖像，因此得到了更為廣泛的應用。近年來，人們開始利用卷積神經(jīng)網(wǎng)絡進行自然語言處理，并取得了顯著成果。Collobert等[8]利用卷積神經(jīng)網(wǎng)絡進行自然語言處理；Shen[9]基于卷積神經(jīng)網(wǎng)絡處理語義分析問題；Kalchbrenner等[10]利用卷積神經(jīng)網(wǎng)絡對句子進行建模。本文使用卷積神經(jīng)網(wǎng)絡對日志信息進行挖掘。

卷積神經(jīng)網(wǎng)絡主要包括輸入層、卷積層、池化層和全連接層，模型如圖 1所示。與傳統(tǒng)用于圖像處理的模型不同，用于日志處理的卷積神經(jīng)網(wǎng)絡模型的輸入層為詞向量，卷積層的輸入由前一層的局部區(qū)域與權重決定，每一層的輸出作為下一層神經(jīng)元的輸入，運用多層卷積運算，對每一層的卷積運算結果進行非線性變換。池化層對卷積層的輸出進行二次抽樣，以減小輸出特征的總量并篩選出最具有代表性的特征。數(shù)學表達式如下：

1.2 文本詞向量描述

Log日志作為一種文本類型，為了更好地被計算機系統(tǒng)理解，需要先將文字和字符向量化。首先需要對文本進行簡單預處理，去除樣本中的空白行、句子首末多余的空格符、不必要的標點符號和數(shù)字，然后掃描樣本中出現(xiàn)的所有單詞，形成詞典，在此基礎上對文本進行向量描述。

基于one-hot模型[11]的稀疏表示作為經(jīng)典文本表示方法，可以快速生成詞向量，完成自然語言處理任務，但該方法將詞匯作為離散的單一符號，其編碼毫無規(guī)律，很難得到詞語之間的關聯(lián)信息，且維度過高，往往造成數(shù)據(jù)稀疏問題。因此，Paccanaro和Hinton[12]提出了基于詞向量的文本表示方法，將詞分布式地映射到低維空間，有效地解決了數(shù)據(jù)稀疏問題。

詞向量主要通過語言模型訓練得到，Mikolov等[13]提出的Skip-gram模型以當前詞的詞向量作為模型輸入，以周圍詞的詞向量作為輸出，即當前詞預測周圍詞，可以對文本進行高效訓練。模型如圖 2所示。

2 基于卷積神經(jīng)網(wǎng)絡的網(wǎng)絡故障診斷模型

Log作為一種文本類型，其處理方法類似于自然語言文本，Log數(shù)據(jù)的每一條記錄都可以看作是一個句子，且故障記錄本身是一個前后關聯(lián)的邏輯序列。首先對帶有標簽的數(shù)據(jù)進行簡單預處理，提取特征和構造詞向量，然后搭建網(wǎng)絡模型、配置模型參數(shù)和進行網(wǎng)絡訓練，當達到要求后保存網(wǎng)絡參數(shù)并輸出訓練后的模型，當有新的待診斷樣本數(shù)據(jù)到達時，將數(shù)據(jù)輸入訓練好的網(wǎng)絡故障診斷模型中，輸出診斷后的結果。

2.1 實驗數(shù)據(jù)

實驗數(shù)據(jù)為收集的LTE通信過程中產(chǎn)生的運行記錄，包括正常運行記錄和帶有故障標簽的運行記錄。根據(jù)所給的數(shù)據(jù)說明可知，故障標簽在某個地方出現(xiàn)5次表示一次故障事件，因此對于帶有故障標簽的運行記錄，從整個Log日志中截取足夠長的一段日志記錄，其中一定包含錯誤信息。故本文以故障標簽為關鍵字提取前后500行數(shù)據(jù)共1 000行數(shù)據(jù)分割整個Log記錄，作為訓練中的故障樣本。對于正常的運行記錄則隨機提取1 000行數(shù)據(jù)作為訓練中的正常樣本。

2.2 數(shù)據(jù)預處理

在輸入到卷積神經(jīng)網(wǎng)絡之前，需要對原始的Log數(shù)據(jù)進行預處理，提取特征構建向量后才能進行網(wǎng)絡模型訓練。具體步驟如下：①進行簡單預處理。去除樣本中的空白行和句子首末多余的空格符，清除不必要的標點符號和數(shù)字；②構建詞典。首先對處理后的樣本進行分詞，然后掃描樣本中出現(xiàn)的所有單詞，形成詞典；③詞向量轉(zhuǎn)換和特征提取。使用Word2vec方法將詞典中的每一個單詞轉(zhuǎn)換為向量形式，這相當于一個特征提取過程。在實際模型訓練過程中，Word Embedding層的訓練與卷積神經(jīng)網(wǎng)絡訓練一起進行，不需要人工參與，是一個特征自提取過程。

2.3 卷積神經(jīng)網(wǎng)絡

卷積神經(jīng)網(wǎng)絡模型是一種典型的前饋神經(jīng)網(wǎng)絡，本文進行網(wǎng)絡故障診斷的卷積神經(jīng)網(wǎng)絡模型主要包括4層，分別為輸入層、卷積層、池化層和全連接層。輸入層為經(jīng)過預處理后得到的詞向量；卷積層由多個卷積核構成，經(jīng)過卷積運算進行局部特征圖的提取；池化層可以對每張局部特征圖進行特征的二次提取；最后全連接層部分完成故障類別的映射，輸出最終診斷結果。

（1）輸入層。對于文本的處理需要先將文字或字符數(shù)學化，使得其能夠被計算機系統(tǒng)理解，故輸入層為經(jīng)過Skip-gram模型訓練得到的詞向量。假設構造的故障樣本中包含m個詞，ai∈Rk是該樣本中的第i個詞所對應的詞向量，卷積神經(jīng)網(wǎng)絡的輸入層為由m個k維向量組合而成的m×k的二維數(shù)據(jù)矩陣。對于日志樣本長度小于m的，需要對向量進行補零處理。

（3）池化層。池化層主要對卷積層輸出的局部特征圖進行最大池化（Max-pooling）操作，將卷積層抽取的若干個特征值僅選取最大的 （即最強特征）值作為池化層的特征值，即提取局部特征圖中對網(wǎng)絡故障診斷結果影響最大的因素。此外，這一步也起到參數(shù)約減效果，進一步減少了最終分類時所依賴的參數(shù)數(shù)量，使得模型的適應性更強。

（4）全連接層。在卷積層中得到300張?zhí)卣鲌D，在經(jīng)過池化層的最大池化操作后，最終提取出了對故障診斷影響最大的300個局部最優(yōu)特征，再通過全連接層映射到類別維度的大小，并通過Softmax歸一化得到每個類別的概率，從而能夠綜合考慮提取出的所有局部特征，完成網(wǎng)絡日志的故障診斷任務。

3 實驗與性能指標

實驗平臺與工具如表1所示。網(wǎng)絡故障診斷模型訓練采用Mini-batch梯度下降法，每次權值更新只需部分樣本參與，可以在保證訓練效果的同時加快訓練速度。為了防止出現(xiàn)過擬合問題，在實驗中采用L2正則化約束網(wǎng)絡參數(shù)，即在目標函數(shù)后加入一個正則項，以降低模型復雜度，并在全連接層引入Dropout策略[14]，在迭代過程中隨機放棄一部分訓練好的參數(shù)。

在構造樣本集時，以每個故障發(fā)生時間點前后一定數(shù)量的記錄作為故障樣本，非故障時間的記錄分割為若干正常樣本，正常樣本的記錄數(shù)與故障樣本相同。首先對數(shù)據(jù)集進行預處理，提取特征和構造詞向量，之后搭建網(wǎng)絡模型、配置模型參數(shù)并進行網(wǎng)絡訓練，達到要求后保存網(wǎng)絡參數(shù)并輸出訓練后的模型。當有新的待診斷樣本數(shù)據(jù)到達時，將數(shù)據(jù)輸入訓練好的網(wǎng)絡模型中，得到故障診斷結果為故障或正常。

3.1 故障診斷性能評估指標

本文實驗對于故障診斷模型進行對比評估時，主要以診斷正確率作為性能度量指標，將診斷正確的樣本占樣本總數(shù)的比例稱為“準確率”，具體計算方式如下：

準確率=1-測試集中診斷錯誤的樣本測試集中樣本總數(shù)

3.2 實驗結果分析

為了對本文提出的模型進行更好的評價，開展了4種模型實驗，分別為基于樸素貝葉斯、邏輯回歸、多層感知機和卷積神經(jīng)網(wǎng)絡的方法，訓練樣本為700個，測試樣本為300個，通過不斷調(diào)整參數(shù)訓練網(wǎng)絡模型，直至在測試集上得到實驗結果較好的模型。實驗結果如表2所示。

實驗結果表明，在同樣訓練集和測試集的情況下，采用基于卷積神經(jīng)網(wǎng)絡的網(wǎng)絡故障診斷方法能取得比傳統(tǒng)基于樸素貝葉斯、邏輯回歸和多層感知機方法更好的效果。與傳統(tǒng)網(wǎng)絡故障診斷方法相比，基于卷積神經(jīng)網(wǎng)絡的方法更簡單，無需人為地提取文本中的特征，且網(wǎng)絡模型配置簡單，同時減少了訓練數(shù)據(jù)量和模型訓練時間，降低了匹配計算的復雜度。在CPU和內(nèi)存配置相同情況下，卷積神經(jīng)網(wǎng)絡等深度學習模型還可以借助GPU加以訓練，大大縮短了模型訓練時間。

4 結語

本文以網(wǎng)絡運行過程中產(chǎn)生的日志信息作為網(wǎng)絡故障診斷研究的評估和測試集，設計并實現(xiàn)了基于卷積神經(jīng)網(wǎng)絡的網(wǎng)絡故障診斷模型，針對故障標簽數(shù)據(jù)的稀有性問題，卷積神經(jīng)網(wǎng)絡可以有效地實現(xiàn)網(wǎng)絡故障診斷這一任務，準確率達到73.2%，優(yōu)于傳統(tǒng)的樸素貝葉斯、邏輯回歸等模型，說明網(wǎng)絡故障診斷可以依賴于對網(wǎng)絡運行日志的挖掘。

雖然基于卷積神經(jīng)網(wǎng)絡的模型可以較為準確地診斷網(wǎng)絡故障，但是收集到的樣本存在不平衡問題，正常樣本遠遠多于故障樣本，且存在過擬合問題。在未來研究工作中，可從如下方面加以改進：針對過擬合問題，可以增加訓練樣本、降低模型復雜度等；針對不平衡樣本集問題，可以通過重采樣等方法提高故障診斷正確率。

參考文獻：

[1] XU W，HUANG L，F(xiàn)OX A，et al.Detecting large-scale system problems by mining console logs[C].ACM Sigops，Symposium on Operating Systems Principles.ACM，2009：117-132.

[2] VAARANDI R.A data clustering algorithm for mining patterns from event logs[C].Ip Operations & Management.IEEE，2003：119-126.

[3] HAN X，SHI Z，NIU W，et al.Similarity-based bayesian learning from semi-structured log files for fault diagnosis of web services[C].Ieee/wic/acm International Conference on Web Intelligence and Intelligent Agent Technology.IEEE，2010：589-596.

[4] VERRON SYLVAIN T T，ABDESSAMAD K.Fault detection with bayesian network[J].IN-TECH，2008.

[5] 高學玲.網(wǎng)絡健康評估與故障預測的研究與實現(xiàn)[D].西安：西北大學，2013.

[6] 王新苗，晏蒲柳，黃天錫.基于改進遺傳神經(jīng)網(wǎng)絡模型的通信網(wǎng)絡故障識別和告警相關性分析方法[J].電子與信息學報，2000，22（5）：811-816.

[7] LECUN Y，HAFFNER P，BENGIO Y.Gradient-based learning for object detection，segmentation and recognition[Z].CiteSeerX，1999.

[8] COLLOBERT R，WESTON J，KARLEN M，et al.Natural language processing （almost） from scratch[J].Journal of Machine Learning Research，2011，12（1）：2493-2537.

[9] SHEN Y，HE X，GAO J，et al.Learning semantic representations using convolutional neural networks for web search[J].Proc Www，2014：373-374.

[10] KALCHBRENNER N，GREFENSTETTE E，BLUNSOM P.A convolutional neural network for modelling sentences[Z].Eprint Arxiv，2014.

[11] TURIAN J，RATINOV L，BENGIO Y.Word representations： a simple and general method for semi-supervised learning[C].Proceedings of the Meeting of the Association for Computational Linguistics，2010：384-394.

[12] PACCANARO A，HINTON G E.Learning distributed representations of concepts using linear relational embedding[J].IEEE Transactions on Knowledge & Data Engineering，2001，13（2）：232-244.

[13] MIKOLOV T，SUTSKEVER I，CHEN K，et al.Distributed representations of words and phrases and their compositionality[J].Advances in Neural Information Processing Systems，2013，26：3111-3119.

[14] HINTON G E，SRIVASTAVA N，KRIZHEVSKY A，et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science，2012，3（4）：212-223.

（責任編輯：孫 娟）