基于網(wǎng)絡資源樹及信息熵的智慧家庭業(yè)務感知劣化定位方案

明萌，時宇，鄭潤含，馮云喜

（中國電信集團有限公司，北京 100020）

0 引言

自2013 年以來，憑借“互聯(lián)網(wǎng)+”的風潮，國內(nèi)外各大運營商紛紛借助寬帶運營與家庭互聯(lián)網(wǎng)產(chǎn)業(yè)鏈，積極發(fā)展智慧家庭業(yè)務，在推進人民家庭生活的智慧化、信息化方面做著嘗試與轉(zhuǎn)變。傳統(tǒng)的寬帶業(yè)務是智慧家庭業(yè)務的基礎，IPTV 以光寬帶為接入方式，向用戶提供家庭娛樂/信息化一體化服務、視頻通話/智能家居/智能音箱等新興業(yè)務。天翼看家通過“光寬+4G/5G”網(wǎng)絡接入，依托云化開放的智慧家庭平臺，為客戶提供解決家庭視頻安防需求的“云+網(wǎng)+平臺+應用+服務”型產(chǎn)品。天翼看家與傳統(tǒng)寬帶+IPTV 業(yè)務共同構建了更為豐富多彩的智慧家庭生態(tài)圈。

當前，對IPTV 故障定位的研究方法較多，包括EPG（electronic program guide）響應故障定位[1]、視頻質(zhì)量故障定位[2]、網(wǎng)絡系統(tǒng)故障定位[3]等，對家庭寬帶和其他智慧家庭產(chǎn)品的故障定位方法較少。文獻[3]設計實現(xiàn)了一種大數(shù)據(jù)環(huán)境下的IPTV故障定位系統(tǒng)，采用相關性算法與聚類算法結合的方式篩選用戶關鍵績效指標（key performance index，KPI）中的代表性指標，建立質(zhì)差用戶篩選模型得到質(zhì)差用戶。文獻[4]主要采用視頻平均意見得分（video mean opinion score，VMOS）評價用戶觀看視頻業(yè)務體驗。文獻[5]通過遍歷獲取的故障樹，對各非根節(jié)點對應的故障原因進行檢測，并從中定位導致所述待定位故障現(xiàn)象的故障原因。文獻[6]介紹了基于主動探測技術家庭寬帶運維質(zhì)量監(jiān)測手段。以上文獻大多基于網(wǎng)元KPI 進行故障定位，缺少對感知群障的定界、定段、定位。

本文提出了基于網(wǎng)絡資源樹及信息熵的智慧家庭業(yè)務感知監(jiān)測及感知劣化定位方案，定義了統(tǒng)一的智慧家庭業(yè)務感知指標體系，提供故障精準定界、定段、定位方案，旨在解決智慧家庭業(yè)務端到端環(huán)節(jié)較多、群障及單用戶故障人工定位困難的問題。

1 需求分析

隨著智慧家庭業(yè)務的快速發(fā)展，接入網(wǎng)[8]、承載網(wǎng)和骨干網(wǎng)等端到端網(wǎng)絡的規(guī)模也在不斷擴大，故障運維難度也逐漸增大。當用戶感知發(fā)生劣化時，如何精準快速地定位故障原因已成為運維方面的重大挑戰(zhàn)。目前，產(chǎn)業(yè)界對家庭寬帶、IPTV、天翼看家等智慧家庭業(yè)務的感知質(zhì)量評估側重于網(wǎng)絡質(zhì)量，主要是在用戶主動投訴或維護人員定期或不定期地對設備進行測試方面，需要耗費一定的人力和物力。而對用戶端到端感知的監(jiān)測和感知劣化定位手段相對缺乏，主要存在以下3 點困難。

· 缺少統(tǒng)一的智慧家庭業(yè)務感知指標體系，數(shù)據(jù)存在廠商、型號、設備的壁壘。傳統(tǒng)的用戶感知評估模式通過調(diào)查問卷等方式判斷用戶感知，但是隨著智慧家庭業(yè)務的快速發(fā)展，傳統(tǒng)用戶服務已無法滿足用戶感知提升的需求。為了科學、量化地評估用戶感知并精準定位質(zhì)差原因，需要建立統(tǒng)一的智慧家庭業(yè)務感知指標體系。終端存在多廠商、多型號的數(shù)據(jù)“壁壘”，需要定義統(tǒng)一的體驗質(zhì)量（quality of experience，QoE）[9]、關鍵質(zhì)量指標（key quality indicator，KQI）[10]和KPI[11]，包括IPTV 視頻感知、家庭寬帶感知和天翼看家使用感知的QoE 模型，基于業(yè)務和應用層的KQI 和網(wǎng)元KPI，建立統(tǒng)一的端到端精準定位方法。

· 缺乏主動預防群障手段，無法預先發(fā)現(xiàn)群障隱患。傳統(tǒng)網(wǎng)絡的維護方法只能在故障發(fā)生后才開始維護，不能滿足智慧家庭群障預警、預防的需求。為了更好地提升用戶使用智慧家庭業(yè)務的感知，先于用戶發(fā)現(xiàn)故障并進行預見性維護可以減少用戶投訴。

· 群障定段/定界、根因分析、單用戶判障困難。傳統(tǒng)的質(zhì)量監(jiān)測方法中網(wǎng)絡性能指標與用戶感知不對應，維護人員在處理用戶感知劣化等故障時，較難判斷真實的故障點，這導致群障和單用戶等故障維護困難。

本文通過定義統(tǒng)一的智慧家庭業(yè)務感知指標體系，提供預見性維護和故障的精準定界、定段、定位方案，解決群障和單用戶判障困難等問題。

2 智慧家庭業(yè)務感知質(zhì)量監(jiān)測及劣化定位架構

本文融合云、網(wǎng)、端到端資源數(shù)據(jù)、終端探針側數(shù)據(jù)、媒資信息及各類告警性能等，進行實時采集、匯聚及關聯(lián)挖掘分析。在用戶終端部署質(zhì)量監(jiān)測探針，覆蓋多渠道采集來源，打破傳統(tǒng)質(zhì)量監(jiān)測探針無法適配不同廠商終端的限制；定義統(tǒng)一的視頻感知優(yōu)良率、寬帶網(wǎng)頁訪問優(yōu)良率等感知算法，結合性能數(shù)據(jù)進行關聯(lián)分析，解決了傳統(tǒng)的質(zhì)量監(jiān)測方法中網(wǎng)絡性能指標與用戶感知不對應、用戶體驗難以準確定量和定位等問題。針對感知數(shù)據(jù)量大的特點，本文提出解耦化的分模塊處理架構，主要依托Spark 大數(shù)據(jù)計算平臺基于多項大數(shù)據(jù)技術組合，采用“Flume[12]+Kafka[13]+SparkStreaming[14-16]+Redis[17]+MongoDB[18]+ES[19]+MySQL[20]”的技術框架，通過設計邏輯統(tǒng)一、物理分散的“分省前置模塊+中心處理模塊”的數(shù)據(jù)采集處理架構，適用于智慧家庭業(yè)務感知群障告警實時分析、非實時隱患優(yōu)化、單用戶問題定位等多種生產(chǎn)維護需求。

2.1 感知數(shù)據(jù)采集與指標體系定義

本文采取在用戶終端部署質(zhì)量監(jiān)測探針的方式，監(jiān)測不同播放行為下的實際用戶業(yè)務體驗，經(jīng)現(xiàn)網(wǎng)測試應用，該方式能靈敏、準確地感知用戶的實際體驗。針對寬帶業(yè)務，通過家庭網(wǎng)絡質(zhì)量插件主動獲取用戶家庭網(wǎng)絡設備信息、無線信息、異常信息等關鍵指標，通過寬帶質(zhì)量主動撥測探針插件模擬用戶行為，獲取瀏覽網(wǎng)頁、觀看視頻、玩游戲時業(yè)務感知體驗優(yōu)良率。針對IPTV 業(yè)務，通過部署機頂盒軟探針，從芯片解碼層面感知用戶卡頓，獲取用戶的播放行為數(shù)據(jù)。針對視頻監(jiān)控類業(yè)務，在手機App 采用埋點方式上報用戶行為數(shù)據(jù)。

基于探針獲取的感知數(shù)據(jù)，本文定義了一整套智慧家庭業(yè)務感知指標體系。針對各類業(yè)務特點，定義了光寬、IPTV、視頻監(jiān)控業(yè)務的主要感知指標，智慧家庭業(yè)務感知指標體系如圖1 所示。其中，網(wǎng)頁訪問、視頻、游戲均屬于傳統(tǒng)光寬業(yè)務。針對每一類業(yè)務，選取關鍵的感知指標，根據(jù)重要程度賦予相應權重，可以達到客觀、統(tǒng)一評價各類業(yè)務感知的目的。

圖1 智慧家庭業(yè)務感知指標體系

2.2 性能數(shù)據(jù)采集

性能數(shù)據(jù)主要通過設備網(wǎng)管進行各省分布式采集，本方案根據(jù)不同智慧家庭業(yè)務特點，主要選取設備端口利用率、CRC 誤碼率、CPU 利用率等KPI，構建感知劣化問題定位的KPI 模型。光寬網(wǎng)頁訪問業(yè)務KPI 模型示例如圖2 所示，當發(fā)生光寬網(wǎng)頁訪問業(yè)務感知劣化問題時，可以通過KPI模型實現(xiàn)端到端定位能力。

圖2 光寬網(wǎng)頁訪問業(yè)務KPI 模型示例

2.3 系統(tǒng)架構

本方案采用Spark 分布式計算框架作為核心引擎，實現(xiàn)各種復雜的業(yè)務邏輯，對大規(guī)模數(shù)據(jù)進行快速的處理。在實踐中通過對Spark 任務進行多種的性能調(diào)優(yōu)，包括代碼優(yōu)化、算子調(diào)優(yōu)、參數(shù)調(diào)優(yōu)、shuffle 調(diào)優(yōu)以及數(shù)據(jù)傾斜調(diào)優(yōu)等，實現(xiàn)所有Spark實時作業(yè)的執(zhí)行時間都在5 min 以內(nèi)，且系統(tǒng)持續(xù)穩(wěn)定運行，運行無時延。以單質(zhì)量模塊為例，實時計算每分鐘每個用戶的質(zhì)量信息，每分鐘用戶話單合計約1 500 萬條（15 GB 左右）。算子優(yōu)化及參數(shù)調(diào)整后，Spark 在2～3 min 完成計算，比優(yōu)化前效率提升了5 倍，有效支撐了業(yè)務數(shù)據(jù)的實時處理。

智慧家庭業(yè)務感知質(zhì)量監(jiān)測及劣化定位架構如圖3 所示，共解耦為5 個模塊：數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)發(fā)、數(shù)據(jù)清洗及分析、數(shù)據(jù)存儲和頁面顯示/數(shù)據(jù)共享。其中，數(shù)據(jù)清洗及分析模塊是系統(tǒng)的核心模塊。首先，對采集的探針數(shù)據(jù)、性能數(shù)據(jù)、端到端資源數(shù)據(jù)進行數(shù)據(jù)清洗、關聯(lián)、抽取，得到單個用戶的基本信息、行為、感知指標數(shù)據(jù)，該數(shù)據(jù)一方面輸出到Elasticsearch 分布式集群支撐單用戶查詢需求；一方面輸出至多維分析模塊，按不同時間維度、不同區(qū)域、不同內(nèi)容分發(fā)網(wǎng)絡（content delivery network，CDN）節(jié)點等各維度進行收斂匯聚，生成多維結果數(shù)據(jù)，支撐實時監(jiān)測及報表分析需求。告警模塊對不同維度計算、分析、預測產(chǎn)生的數(shù)據(jù)進行監(jiān)控，生成標準的告警數(shù)據(jù)，并對數(shù)據(jù)記錄進行判斷，將未達到優(yōu)良率閾值的記錄判定為告警，在分析得出告警定位結果后，通過Web 頁面進行展示，并發(fā)送至綜合告警系統(tǒng)，實現(xiàn)告警工單的及時派發(fā)。

圖3 智慧家庭業(yè)務感知質(zhì)量監(jiān)測及劣化定位架構

3 感知劣化定位

本文針對網(wǎng)絡告警關聯(lián)復雜度高的問題，提出“信息熵”屬性，將各層級設備下掛設備質(zhì)差率分布均衡程度映射成信息熵，構建端到端特征庫，對各層級信息增益及同級平行節(jié)點信息熵進行關聯(lián)運算，實現(xiàn)感知劣化問題的精確定段。基于定段結果，結合網(wǎng)絡性能數(shù)據(jù)和用戶感知數(shù)據(jù)，通過關聯(lián)分析實現(xiàn)接入網(wǎng)設備告警的根因定位。

3.1 端到端收斂

智慧家庭業(yè)務端到端環(huán)節(jié)較復雜，傳統(tǒng)光寬業(yè)務，主要涉及家庭網(wǎng)絡、接入網(wǎng)、城域網(wǎng)、骨干網(wǎng)、互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet data center，IDC）/服務提供商（service provider，SP）等；IPTV 業(yè)務涉及電子節(jié)目指南（electrical program guide，EPG）/CDN、節(jié)目源等；視頻監(jiān)控類業(yè)務涉及視頻監(jiān)控能力平臺及服務節(jié)點。關聯(lián)第1.1 節(jié)的感知數(shù)據(jù)與用戶資源拓撲數(shù)據(jù)、節(jié)目資源數(shù)據(jù)等，并定義感知優(yōu)良率指標為：感知優(yōu)良率=感知優(yōu)良用戶數(shù)/總播放（或使用業(yè)務）用戶數(shù)，其中感知優(yōu)良用戶具體定義可參考第1.1 節(jié)的感知指標。智慧家庭業(yè)務端到端拓撲結構如圖4 所示，包含從家庭網(wǎng)絡至骨干網(wǎng)的各個段落設備IP 地址、設備性能等數(shù)據(jù)，讀取網(wǎng)絡設備拓撲結構信息和感知優(yōu)良率指標構造出網(wǎng)絡資源樹。

圖4 智慧家庭業(yè)務端到端拓撲結構

對各環(huán)節(jié)進行逐段收斂匯聚，即可得出各環(huán)節(jié)感知優(yōu)良率。各環(huán)節(jié)感知優(yōu)良率互相關聯(lián)，感知劣化通常同時發(fā)生在多個環(huán)節(jié)。例如，當某節(jié)目源質(zhì)量劣化時，觀看該節(jié)目的用戶感知劣化，用戶所在的光線路終端（optical line terminal，OLT）、寬帶接入服務器（broadband remote access server，BRAS）等設備感知指標均發(fā)生劣化。因此，當單用戶或者某環(huán)節(jié)感知劣化超限時，無法直接定位故障原因。針對此問題，本文進一步提出了第3.2 節(jié)中的定段算法，當單用戶出現(xiàn)故障時，支持一鍵診斷，根據(jù)感知劣化情況收斂至某一環(huán)節(jié)，以實現(xiàn)感知劣化問題的精準定段。當群障發(fā)生時，根據(jù)第3.2 節(jié)中的定段算法，定位故障原因。

3.2 基于信息熵的感知劣化定段

感知劣化定段即對每個設備節(jié)點，按照感知優(yōu)良率指標計算信息熵，并在上下層的節(jié)點進行推理定界并定段。讀取網(wǎng)絡設備拓撲結構信息和感知優(yōu)良率指標，構造網(wǎng)絡設備樹，即節(jié)點為各網(wǎng)絡設備，父節(jié)點為同一鏈路上游的高層級網(wǎng)絡設備，子節(jié)點為同一鏈路下游的低層級網(wǎng)絡設備。同時每個節(jié)點包含設備ID、感知優(yōu)良率、層次編號、下掛子節(jié)點等屬性。使用網(wǎng)絡設備樹結構儲存數(shù)據(jù)的優(yōu)點是在海量設備中查找指定節(jié)點速度更快，并為推理模塊中對存在告警的節(jié)點鏈路進行遞歸推理做鋪墊。

遍歷每個網(wǎng)絡設備節(jié)點，初始化“信息熵”屬性，并先對其所有子節(jié)點的感知優(yōu)良率進行分箱編碼操作，再計算信息熵，更新“信息熵”屬性，信息熵計算式為：

如果某網(wǎng)絡設備節(jié)點的信息熵很小，說明子節(jié)點的感知優(yōu)良率集中落入某一分箱編碼，否則子節(jié)點的感知優(yōu)良率可能分布較為分散。實際應用中，若某一設備下掛的眾多下聯(lián)口質(zhì)差均衡，則該設備的信息熵偏小，就會將群障告警定段歸為該設備；反之，若該設備下掛的下聯(lián)口設備出現(xiàn)質(zhì)差不均衡，則信息熵偏大，就會將質(zhì)差設備定段到下聯(lián)質(zhì)差設備，其中信息熵閾值分別為0.65、0.4。

例如，查看OLT上聯(lián)BRAS的信息熵情況如下。

· 當BRAS 的信息熵存在＜0.4 時，認為該故障點發(fā)生在BRAS 設備及其以上網(wǎng)絡層。

· 當BRAS 的信息熵都＞0.65 時，認為該故障點發(fā)生在BRAS 下聯(lián)的OLT 或OLT 連接BRAS 的鏈路。

· 其他條件無法判斷，不做歸并定段處理。

基于信息熵的感知劣化定段示意圖如圖5 所示，設網(wǎng)絡設備樹中的最高設備層級編號為0，最低為3，向上推斷閾值為a，向下推斷閾值為b，對每個網(wǎng)絡設備節(jié)點按照以下邏輯進行遞歸推理。

圖5 基于信息熵的感知劣化定段示意圖

如果該節(jié)點層級編號為0，且存在告警，若該節(jié)點的信息熵＜a，則推斷故障發(fā)生在本節(jié)點；若該節(jié)點的信息熵＞b，則推斷故障發(fā)生在下游節(jié)點。如果該節(jié)點存在告警，且不是最高層級，如節(jié)點的信息熵＜a，則查看父節(jié)點的推斷結果，若父節(jié)點推斷為下游，則判定為本節(jié)點故障，若父節(jié)點判斷為上游或是父節(jié)點本身，判斷故障位置參見父節(jié)點的定段結果；如該節(jié)點的信息熵＞b，推斷故障發(fā)生在下游節(jié)點。

對告警進行定段處理，如果某設備故障告警定段于上游設備，且上游設備存在告警，同時上游設備定段在本節(jié)點或者上游，則刪除本條告警。如果某網(wǎng)絡設備告警故障定段于下游，則刪除下游的所有告警。

本文實現(xiàn)了告警定段到具體的網(wǎng)絡設備，通過在整條鏈路上進行遞歸推斷，能夠具體確定網(wǎng)絡層級和編號。對于所有存在網(wǎng)絡層級拓撲結構的設備故障定段場景，只需要確定信息熵計算依賴的用戶體驗指標以及上下推斷的信息熵閾值即可復用。

3.3 結合性能數(shù)據(jù)的精確定位

為進一步實現(xiàn)感知劣化定位，需要基于網(wǎng)絡設備性能類、終端性能類數(shù)據(jù)等進行大數(shù)據(jù)建模，通過網(wǎng)絡設備性能數(shù)據(jù)與設備感知優(yōu)良率的關聯(lián)分析，找到造成設備質(zhì)差的性能閾值，從而實現(xiàn)感知告警的根因定位。

例如，若某感知告警定段至OLT，基于設備性能與用戶感知關聯(lián)對OLT 故障進行根因定位。首先，對單個OLT 歷史時間內(nèi)端口流量利用率與設備下的感知優(yōu)良率（即卡頓且傳輸流（transport stream，TS）丟包用戶占比）趨勢做關聯(lián)分析，發(fā)現(xiàn)OLT 上聯(lián)口端口流量利用率（端口流量利用率為端口所用流量占端口總帶寬的比例）與TS丟包率過高且卡頓用戶占比過高有強相關性，OLT TS 丟包卡頓率與端口流入流量利用率如圖6所示。為找出端口流入流量利用率的閾值，進一步針對5 min 400 萬條OLT 質(zhì)差清單統(tǒng)計不同TS丟包卡頓率閾值下故障設備的占比情況。TS 丟包卡頓＞5%占比隨端口流量利用率分布變化如圖7可示，當端口利用率超過70%，故障設備的占比開始顯著上升。同理可分析得到OLT 感知優(yōu)良率與端口利用率、CRC 誤碼率和CPU 利用率等的關聯(lián)關系。

圖6 OLT TS 丟包卡頓率與端口流入流量利用率

圖7 TS 丟包卡頓＞5%占比隨端口流量利用率分布變化

當感知劣化定段至某具體段落，根據(jù)分析所得的關鍵性能指標與感知劣化的關聯(lián)關系，可定位到某一個或幾個具體性能指標。

4 結束語

本文提出了一種基于網(wǎng)絡資源樹及信息熵的智慧家庭業(yè)務感知監(jiān)測及感知劣化定位方案，實現(xiàn)了智慧家庭業(yè)務感知劣化類故障的定界、定段、定位，解決了智慧家庭業(yè)務端到端環(huán)節(jié)較多、群障及單用戶故障人工定位困難的問題。同時，該方案也適用于所有存在網(wǎng)絡層級拓撲結構的感知劣化定位場景，在確定基于信息熵計算的用戶體驗指標以及信息熵閾值情況下，即可復用本文提出的定位方案，具有良好的可擴展性。