大數據技術在電信網絡故障管理中的應用研究*

牛作元,張鋒軍

(中國電子科技集團公司第三十研究所，四川 成都 610041)

大數據技術在電信網絡故障管理中的應用研究*

牛作元,張鋒軍

(中國電子科技集團公司第三十研究所，四川 成都 610041)

隨著電信網絡的不斷發(fā)展，現有管理技術無法滿足管理需求的不斷變化。大數據技術作為當前的熱門技術，得到了廣泛關注和研究。研究大數據在電信網絡故障管理中的應用，分析總結了多源故障管理數據，提出了基于大數據的故障管理架構，并對大數據在多源故障數據處理、面向用戶感知的業(yè)務質量評估、業(yè)務質量趨勢預測、故障定位及恢復等故障管理過程中的應用進行了分析。這對提高故障處理效率和提升用戶體驗具有重要意義。

大數據；故障管理；業(yè)務故障；用戶感知

0　引 言

目前，信息化從基礎網絡建設、業(yè)務系統(tǒng)建設，逐步進入了業(yè)務和網絡融合發(fā)展、網絡和業(yè)務系統(tǒng)復雜度和規(guī)模不斷成熟和擴大、以智能化和業(yè)務導向為特點的新時期。電信運營正在經歷以“網絡為中心”的運營模式向著以“業(yè)務和用戶為中心”的運營模式的深刻變化。因此，保障業(yè)務的高可用性，及時掌握業(yè)務質量情況，主動發(fā)現業(yè)務故障，在業(yè)務出現故障時迅速查明故障的根本原因，并恢復業(yè)務的正常運行變得十分重要。

隨著電信網絡和業(yè)務的快速發(fā)展，電信網絡產生的數據量（Volume）急劇增長，使得傳統(tǒng)數據倉庫的數據處理和存儲壓力增大。傳統(tǒng)的電信網絡數據以結構化數據為主，但是當前的業(yè)務發(fā)展和管理需求需要有效處理結構化、非結構化、半結構化等多樣化（Variety）的數據，傳統(tǒng)數據倉庫難以完成。此外，在電信網絡管理中，為了滿足用戶體驗不斷提升的需求，需要保證數據處理速度（Velocity），而傳統(tǒng)數據倉庫根本無法滿足上述日益增長的管理需求。

故障管理是電信網絡和業(yè)務管理的重要組成部分，其管理過程同樣具有數據來源廣泛、數據量大、數據類型多樣、即時性要求高、處理邏輯復雜等典型的大數據特征。因此，本文將大數據技術引入到故障管理中，將網絡、用戶、終端和業(yè)務產生的結構化數據、用戶地理信息數據、語音業(yè)務數據、視頻業(yè)務數據等各種形式的所有相關數據進行多維度多層次的深入分析挖掘，在研究大量數據的過程中尋找業(yè)務故障影響和傳播模式、告警相關性規(guī)則等，從而發(fā)現隱藏在大量告警信息背后的有用知識，準確地診斷和定位故障，快速完成故障的處理和恢復，提升業(yè)務質量和用戶體驗。

1　故障數據

數據無疑是基于大數據進行故障管理的核心。在網絡和業(yè)務的運行過程中，網絡、設備、業(yè)務、用戶及終端等都會產生大量的數據。這些數據能明確或潛在地反映出網絡運行狀況、業(yè)務質量以及故障告警信息之間的關聯關系等。因此，明確電信業(yè)務運行過程中故障相關的數據非常重要。

根據eTOM功能劃分，電信故障主要包括用戶體驗類故障、業(yè)務故障以及網絡資源故障三類。故障管理在eTOM中的位置及相關數據[1-2]如圖1所示。

圖1　故障管理在eTOM中的位置及相關數據

1.1網絡資源故障相關數據

由于網絡資源類型多、分布廣，因此網絡資源數據是進行電信故障管理的基礎和主要數據來源。網絡資源故障相關數據主要包括：

（1）網絡資源庫存信息，用于展示網絡資源之間的拓撲連接、物理分布及關聯關系。

（2）話單、信令等原始信息。

（3）各設備、EMS、NMS的日志文件。

（4）原始的故障信息，包括結構化故障信息、故障現場的視頻、圖片、聲音等非結構化信息。

（5）網絡資源的運行性能數據。

（6）網絡資源的配置信息。

（7）資源性能故障信息，是根據資源性能信息和網絡性能指標閾值得出的數據。

（8）歷史經驗知識、案例庫等。

1.2業(yè)務服務故障相關數據

業(yè)務服務故障是電信業(yè)務無法提供的直接原因，因此業(yè)務服務數據是電信業(yè)務故障定位的直接數據來源。業(yè)務服務故障相關數據主要包括：

（1）業(yè)務服務庫存信息，用于展示業(yè)務服務與網絡資源之間的承載關系、業(yè)務服務之間的關聯關系等。

（2）資源故障單，由資源故障管理產生。

（3）資源性能信息。

（4）用戶業(yè)務使用情況信息。

（5）業(yè)務服務性能數據。根據資源性能數據、業(yè)務與資源之間的關聯關系得出的數據。

（6）業(yè)務服務性能測試數據，通過主動測試或定期測量主動獲取電信業(yè)務的使用性能獲取得到的數據，可主動發(fā)現業(yè)務故障或業(yè)務性能下降趨勢。

（7）業(yè)務服務系統(tǒng)日志文件。

（8）用戶QoS/SLA合同。

（9）用戶業(yè)務故障單，根據用戶故障申告，人工或自動生成的故障工單。

（10）業(yè)務服務質量違例信息，是根據業(yè)務使用情況、資源性能數據、業(yè)務與資源的關聯關系、用戶SLA合同、業(yè)務服務性能測試數據等進行綜合分析得出的數據。

（11）歷史經驗知識、案例庫等。

1.3用戶體驗類故障信息

用戶體驗類故障信息是用戶的直接感受，直接影響用戶體驗。用戶體驗類故障信息主要包括：

（1）用戶故障申告數據，用戶在業(yè)務故障或SLA違反時通過多種方式進行故障申告，系統(tǒng)采集到的網頁、文本、語音、視頻、圖片等故障數據。

（2）用戶SLA違反工單，用戶使用業(yè)務過程中自動產生的SLA違反工單。

（3）SLA評估報告，用戶使用業(yè)務過程中定期產生的SLA評估數據。

（4）用戶信息，用于展示用戶與業(yè)務之間的訂購關系、用戶的基本信息、用戶業(yè)務使用上下文信息、用戶使用行為習慣等信息。

（5）歷史經驗知識、案例庫等。

2　基于大數據的故障管理架構

傳統(tǒng)的故障管理系統(tǒng)分專業(yè)、分廠家建設，故障數據源相對固定單一，且故障數據分散在各個煙囪式的故障管理系統(tǒng)中，導致不同專業(yè)的故障數據無法關聯分析，使得故障的響應、定位、恢復以被動式的人工維護為主?？梢?，傳統(tǒng)的故障管理架構無法適應當前電信網絡和業(yè)務管理的需要。

因此，為了實現故障的準確定位、智能預測和快速恢復，提高主動服務能力，提升用戶體驗，本文在云計算技術基礎上，提出了基于大數據的故障管理架構，建立基于云和大數據的故障相關數據存儲、計算、挖掘、分析平臺，實現故障數據的集中統(tǒng)一存儲、分析和管理，并可以以云服務的形式向其他應用系統(tǒng)提供故障數據存儲、查詢、統(tǒng)計和分析服務。管理架構如圖2所示[3-6]。

圖2　基于大數據的故障管理架構

2.1數據源

數據源負責通過各種采集手段（如探針采集、設備采集、撥打測試、投訴搜集、網絡爬蟲、系統(tǒng)接口等）從網絡、OSS、BSS、用戶等方面全面采集電信業(yè)務故障相關數據。除收集網絡業(yè)務數據外，還應搜集企業(yè)內部其他數據（如話單、用戶賬務數據）及外部數據（氣候、重大事件、自然災害等）。數據源應保證底層數據的豐富完整，為大數據分析提供強大的數據支撐。

2.2數據存儲

數據存儲采用NoSQL技術對所有相關數據進行集中統(tǒng)一存儲。存儲的數據既包括采集到的網絡資源故障數據、業(yè)務服務故障數據、用戶體驗類故障數據等各類結構化、半結構化、非結構化原始數據，也包括產生的臨時性、過程性數據，如故障產生的模式、故障恢復策略等。

數據存儲層與其他各層進行數據交互，提供故障相關數據的存儲、查詢、訪問等功能。

2.3數據匯聚

數據匯聚主要用于建立與不同系統(tǒng)之間的連接，集成多數據源的數據，并保證來自不同數據源的相同數據具有統(tǒng)一的數據格式，以便傳遞給上層使用。

2.4數據處理

數據處理用于對數據集施加一系列的處理功能，包括轉換、關聯、壓縮、處理以及數據質量保證、數據安全保證等。

2.5數據分析

數據分析對數據進行深度挖掘，是基于大數據進行故障管理的重點。數據分析平臺采用Hadoop，由并行批處理計算框架（MapReduce）和實時流計算框架（Storm/Spark）組成，提供非實時大容量并行計算和實時流計算功能。而對于復雜邏輯的處理分析和數據挖掘，則以組件化的方式注入不同的分析挖掘算法和模型。

故障管理的數據分析內容側重于以下方面。

用戶業(yè)務故障模型建立：建立用戶、業(yè)務服務、網絡資源之間的關聯關系模型，掌握業(yè)務故障的影響和傳播。

故障模式挖掘：基于歷史故障數據和實時數據，采用使用機器學習、數據挖掘算法等分析電信業(yè)務故障趨勢和規(guī)律。

故障處理策略制定：結合歷史經驗知識、案例庫、故障模型等制定故障恢復策略，并指導后續(xù)的故障恢復。

2.6數據監(jiān)管

數據監(jiān)管主要通過數據隱私保護、數據訪問控制、數據授權、法律法規(guī)遵從等手段，保護數據的安全性。

2.7數據應用

數據應用層是根據故障管理數據處理需求，結合各類應用要求，實現故障數據服務能力的開放和共享，以云服務的形式對外提供故障定位、故障預測、故障恢復等故障數據應用功能。

3　基于大數據的故障管理應用技術

基于大數據的故障管理應用技術是以提高用戶體驗為中心，通過對網絡和業(yè)務的端到端實時監(jiān)控、對用戶行為的細致洞察、對網絡-業(yè)務-終端-用戶的綜合關聯，形成智能監(jiān)控、智能預測以及智能保障，對運營過程中涉及到的大量、復雜、快速生成的故障相關數據進行收集、分析、共享和應用，從而實現故障的準確定位、快速恢復，提高用戶服務質量。

下面以某一用戶觀看移動視頻這一典型應用為例，介紹通過利用大數據技術實現用戶業(yè)務質量評估、預測及快速定位，從而實現主動服務，提升用戶感知。面向用戶感知的故障管理流程[7]如圖3所示。

在面向用戶感知的故障管理流程中，大數據在多源故障數據處理、面向用戶感知的業(yè)務質量評估、業(yè)務質量趨勢預測、故障定位及恢復等步驟方面將發(fā)揮重要作用。

3.1多源故障數據處理

針對用戶觀看移動視頻這一典型應用，系統(tǒng)在運行過程中需要從移動終端、移動網內部和移動網到因特網的網關，同時收集與業(yè)務使用有關的控制面與用戶面的信息，包括無線和核心網的信令數據、無線環(huán)境測量報告、網關的流量和應用統(tǒng)計數據；需要從運營支撐系統(tǒng)等采集用戶的服務質量信息、用戶觀看視頻的歷史數據、故障申告描述、視頻馬賽克截屏等；甚至需要采集用戶的位置信息、天氣信息等。同時，要基于上述數據實現數據的初步處理，為進一步的數據融合分析奠定基礎。

通過上文的分析可以看到，故障管理數據源眾多，采集方式各異。傳統(tǒng)的故障管理數據分散在各類系統(tǒng)中，往往也僅僅采集某一類或幾類數據，而在大數據環(huán)境下，需要從各類系統(tǒng)采集業(yè)務運行相關的全部數據，提供各類數據集成共享平臺并結合大數據的異構性、冗余性和相關性等特性，建立多源多形態(tài)數據集成模型、異構數據智能轉換模型、數據容錯閾值設置、整合數據的正確性驗證方法和可用性評估方法等一系列方法，來完成數據融合和數據質量控制。

圖3　面向用戶感知的故障管理流程

3.2面向用戶感知的業(yè)務質量評估

用戶觀看移動視頻時，系統(tǒng)需要實時監(jiān)控用戶業(yè)務體驗狀態(tài)如視頻的吞吐量、重傳、中斷等指標，并從運營支撐系統(tǒng)中獲取用戶業(yè)務服務等級信息，同時根據當前網絡質量數據、業(yè)務質量數據、用戶業(yè)務服務等級等數據，綜合評估用戶業(yè)務質量，為保障用戶業(yè)務服務質量提供決策。

傳統(tǒng)的信息采集或流量監(jiān)控，只注重運行設備和視頻的工作狀態(tài)，很少涉及指標與視頻服務質量的關聯度，但是用戶感知才是用戶的直接體驗。因此，在大數據環(huán)境下，需要對檢測到的每項指標都進行服務質量趨勢匹配，如IP丟包率上升，就意味著用戶點播出現馬賽克、卡頓等問題。

大數據環(huán)境下，面向用戶感知的業(yè)務質量評估從用戶角度感知和分析網絡和業(yè)務信息，打通多個業(yè)務系統(tǒng)，實現數據和資源共享，建立面向用戶感知的業(yè)務質量評估體系，從網絡質量、業(yè)務質量、用戶感知[8]等多層次實現面向用戶服務的全局分析，以合理調配網絡資源，保障用戶業(yè)務服務質量。

3.3業(yè)務質量趨勢預測

上述場景中，系統(tǒng)需根據當前網絡狀態(tài)、故障關聯數據、用戶觀看行為等信息，預測用戶業(yè)務質量趨勢，并提前處理，主動服務，提升用戶體驗。

大數據的核心是預測，業(yè)務質量趨勢預測是充分利用大數據的機器學習等技術，將從各個層面獲取的全體數據梳理出具有規(guī)律性的事件發(fā)生模型，并用于未來某些事件發(fā)生與否的預判和防范。

通過深度挖掘電信業(yè)務歷史數據，發(fā)現數據中蘊藏的價值，建立故障預測模式；通過全面分析和主動挖掘各類數據，發(fā)現業(yè)務質量變化規(guī)律，預測其發(fā)展趨勢，實現故障發(fā)生前的預警并處理，避免用戶體驗下降，實現由被動運維向主動運維的轉變。

3.4故障定位及恢復

傳統(tǒng)的故障定位方法有基于規(guī)則、事例推理、模型推理、編碼、貝葉斯網絡、模糊邏輯和神經網絡算法等[9]。但是，由于業(yè)務的多樣性、動態(tài)性、用戶敏感性等特點，使得業(yè)務故障與傳統(tǒng)的網絡故障存在很大不同。傳統(tǒng)的故障定位方法主要存在以下問題：①只能適應某種拓撲結構的網絡系統(tǒng)，或只適應某一種、某一類網絡設備和系統(tǒng)服務的問題；②集中于網絡層和網元層告警信息之間橫向規(guī)則的挖掘，而沒有涉及告警、相關基礎設施、特定用戶業(yè)務等多個層次的縱向關聯關系的研究。以上原因都對在短時間內快速定位業(yè)務故障造成很大的困難。

與傳統(tǒng)故障定位相比，基于大數據分析的故障定位及恢復突破單一的數據源限制，通過引入用戶、業(yè)務、網絡等關聯數據，實現多維數據綜合分析，全方位透視和分析故障傳播，建立故障影響分析模型，為故障定位和恢復提供更加準確的數據支撐。

因此，上述場景中視頻服務出現故障或用戶服務質量下降時，系統(tǒng)可根據關聯分析結果及時快速定位故障，并通過智能化專家知識庫系統(tǒng)等制定故障恢復策略，由運維人員及時高效完成服務恢復。

4　結 語

大數據技術逐步應用于智能運營的實踐，是電信行業(yè)的共識和趨勢。國內外很多運營商也已經或計劃利用大數據技術改造現有的運營中心，以迎接數據和信息爆炸增長帶來的挑戰(zhàn)[10]。本文將大數據思想引入故障管理，通過挖掘蘊含在大量數據中的有用信息提高故障定位、故障預測、故障恢復的效率，從而提升用戶體驗。隨著兩者結合的不斷深入，相信其必將為未來網絡管理的發(fā)展帶來更多突破。

[1] TMF.GB921D ,V8.3, Enhanced Telecom Operations Map Addendum D:Process Decompositions and Descriptions [S].America:TM Forum,2008.

[2] Dave Raymer,Marc Flauw. JSR 263, 1.0,Fault Management API Overview[S].America:OSS through Java? Initiative,2007.

[3] TMF. TR202, V1.10, Big Data Analytics Reference Model[S].America:TM Forum,2013.

[4] TMF. GB979, V2.0.1,Big Data Analytics Guidebook Unleashing-Business Value in Big Data[S]. America:TM Forum, 2014.

[5] TMF. GB979 Addendum A, V2.0.1,Big Data Analytics Guidebook -Use Cases[S].America:TM Forum,2014.

[6] TMF. GB979 Addendum B, V1.0.2,Big Data Analytics Guidebook-Big Data Analytics Building Blocks[S]. America:TM Forum,2014.

[7] TMF. GB921F, V7.6, Enhanced Telecom Operations Map Addendum F:Process Flow Examples[S].America:TM Forum,2008.

[8] 劉露.異構/融合網絡中端到端服務質量控制與管理的研究[D].北京:北京郵電大學,2010. LIU Lu.End-To-End QoS Control and Management Research in Heterogeneous/Convergence Network[D]. Beijing:Beijing University of Posts and Telecommunications,2010.

[9] 張成.增值業(yè)務的概率故障定位[D].北京:北京郵電大學,2009. ZHANG Cheng.Probabilistic Fault Localization for Value-Added Services[D]. Beijing: Beijing University of Posts and Telecommunications,2010.

[10] C114中國通信網.愛立信:大數據輔助智能運營[EB/ OL].(2014-08-28)[2016-06-09].http://ucwap.ifeng.com/ tech/news?aid=88574010&rt=1&p=2. C114 cn-comm.Ericsson:Big Data aids intelligent operations[EB/OL].(2014-08-28)[2016-06-09].http:// ucwap.ifeng.com/tech/news?aid=88574010&rt=1&p=2

牛作元（1983—），男，碩士，工程師，主要研究方向為網絡管理、軟件工程；

張鋒軍（1975—），男，學士，高級工程師，主要研究方向為網絡管理、軟件工程。

Application of Big-Data Technology in Telecommunications Nerwork Fault Management

NIU Zuo-yuan, ZHANG Feng-jun
(No.30 Institute of CETC,Chengdu Sichuan 610041,China）

With the development of telecom network, the existing management technology could not meet the changing management requirements. Big data,as a hot technology at present,attracts extensive attention and research.This paper discusses the application of big data technology in telecom network fault management, summarizes multi-source fault management data, presents a fault management architecture based on big data，analyses the application of big data in multi-source fault data processing, user perception-oriented service-quality evaluation, service-quality tendency prediction, fault locating and recovery. All this is of significant imprtance for improving the efficiency of fault management and user experience.

big data;fault management;service fault;user perception

TP311

A

1002-0802(2016)-08-01051-06

10.3969/j.issn.1002-0802.2016.08.018

2016-04-21;

2016-07-19

date:2016-04-21;Revised date:2016-07-19