VoLTE端到端客戶感知評估方法的研究

黃昭文

（中國移動通信集團廣東有限公司，廣東 廣州 510000）

VoLTE端到端客戶感知評估方法的研究

黃昭文

（中國移動通信集團廣東有限公司，廣東 廣州 510000）

VoLTE業務已經正式開始商用，業務量和用戶數快速增加，研究如何有效保障VoLTE網絡的質量已成為重要課題。通過對VoLTE客戶感知的評估方法進行深入研究，指出現有客戶感知分析方法需要改進，提出把VoLTE網絡指標、客戶真實體驗與客戶滿意度相結合的思路，建立了一個基于VoLTE客戶感知量化評估的模型（VoMOQ），并通過實際應用驗證了該方法的有效性。

VoLTE 客戶感知 VoMOQ 端到端 客戶滿意度

1 引言

相比傳統2G/3G網絡，VoLTE網絡的實現需要PS、CS、IMS的支撐，涉及網元眾多，流程跨越無線網、EPC、PCC、IMS以及CS核心網網元，業務流程經過多個網絡接口[1]。為了確保VoLTE網絡質量，需要結合其技術特點開展端到端優化[2-3]。但是，在這種復雜的網絡環境下，僅通過網絡KPI指標難以反映VoLTE客戶的真實感知。在VoLTE網絡使用過程中經常出現網絡指標良好，但用戶主觀感知差等情況[4-5]。經分析，現有的網絡評估技術方案主要是針對網絡指標進行單方面評價，而并未能考慮用戶預期、環境條件和心理因素等主觀因素，評估準確度難以把控。此外，雖可通過問卷調查的方式抽查客戶對VoLTE業務的滿意度，但是在VoLTE業務發展初期，客戶對VoLTE的認知度相對較低，客戶的VoLTE知曉率不高（例如視頻通話使用率較低，大多數客戶未使用過該功能），大部分客戶對VoLTE存在認知偏差，從而難以從問卷中獲得全面、客觀的評估結果。

針對上述情況，本文提出將網絡指標與用戶滿意度進行回歸擬合，計算用戶滿意度與網絡指標的關聯性，進而準確評估VoLTE客戶感知，定位關鍵問題。

2 VoLTE客戶感知的評估原理

影響VoLTE客戶感知的因素包括主觀因素和客觀因素[6]。主觀因素包括但不限于客戶預期、環境條件、心理因素、價格因素、應用背景等。客觀因素主要考慮網絡性能指標。對VoLTE網絡進行評估一般從VoLTE信令數據的接入性、保持性、完整性、移動性指標及VoLTE話務模型數據著手，選取特征數據作為模型的輸入變量，包括注冊用戶數、無線接通率、IMS網絡PDN建立成功率、初始注冊成功率、IMS專用承載建立成功率、IMS承載更新成功率、S-CSCF接通率、SBC主叫平均建立時長、MO接通率、MO應答率、MT接通率、MT應答率、語音MOS值、視頻語音丟包率、視頻語音抖動、掉話率、E-RAB掉話率、eSRVCC切入平均時長、eSRVCC媒體面切換中斷時長、系統內切換成功率、系統內切換中斷時長、VoLTE用戶應答話務量、初始注冊次數、重注冊次數、VoLTE用戶平均通話時長、每用戶應答話務量、每用戶BHCA等指標[7-8]。為了更好地評估VoLTE網絡性能，從而有針對性地對網絡進行優化，應從VoLTE信令數據的接入性、保持性、完整性、移動性指標及VoLTE話務模型數據著手，選取核心網絡指標數據作為模型的輸入變量，然后通過迭代回歸算法，對通過調查問卷獲取的用戶VoLTE滿意度數據樣本進行訓練，擬合獲得用戶VoLTE感知評估模型及相關的各項KPI指標的評估權重。

3 VoLTE客戶感知評估方法

建立了一種VoLTE客戶感知評估方法，簡稱為VoMOQ（VoLTE Measure of Quality），系統框架如圖1所示。

圖1 VoMOQ系統架構

如圖1所示，VoLTE碼流進入VoMOQ后，分別按信令面及媒體面進行感知評估。圖中列舉了音視頻MOS、接入類、保持類、移動類、資源類、會話類等主要指標類型及其處理模塊（C、U1、U2、U3、U4、U5）。根據需要，可以依據本文所介紹的方法進一步擴展需評估的業務指標類型。依據VoLTE指標統計規范，以上各類指標雖然在統計側的重點和參考點不同，但其數據來源在總體上可以歸為三大類型：成功率、時延、完整性。在采用VoMOQ對指標進行感知綜合評分時，需要依據具體類型采用不同的計算公式。

3.1 成功率相關指標的評分方法

令設x為VoLTE網絡應用的成功率，如附著、PDP激活、路由區更新成功率等指標[9]，“1”表示成功，“0”表示失敗。VoMOQ采用示性評分法計算：

現網中可以歸入成功率類型的VoLTE指標包括：無線接通率、IMS網絡PDN建立成功率、初始注冊成功率、IMS專用承載建立成功率、IMS承載更新成功率、S-CSCF接通率、VoLTE MO接通率、VoLTE MO應答率、VoLTE MT接通率、VoLTE MT應答率、系統內切換成功率等。

3.2 時延相關指標的評分方法

令x為相應VoLTE單次業務時延，Dbig、Dsmall為對應時延感知指標的上、下門限的定義值。時延感知的上門限是指如果時延大于該指標，則感知是差的；下門限是指如果時延小于該指標，則感知是好的。VoMOQ系統中采用線性評分法計算：

現網中可以歸入時延類型的VoLTE指標包括SBC主叫平均建立時長、eSRVCC切入平均時長、eSRVCC媒體面切換中斷時長、系統內切換中斷時長等。

3.3 完整性相關指標的評分方法

（1）語音MOS感知評分

與信令面指標不同，語音MOS是基于VoLTE媒體面的性能指標，該指標可以通過自動路測儀表進行抽樣撥測統計。語音MOS值的評估原理如圖2所示。

令x為相應單次的語音MOS值，Eup、Edown為對應速度感知指標的上、下門限的定義值。語音MOS上門限是指如果MOS值大于該指標，則感知是好的；下門限是指如果MOS值小于該指標，則感知是差的。具體計算公式為：

圖2 語音MOS值評估原理

（2）視頻類業務感知評分

體驗視頻類業務的常用指標包括視頻會話建立、視頻業務建立、視頻播放、視頻流暢度等，跟傳輸網絡質量（包括帶寬及誤碼率）密切相關。通過對視頻流傳輸速度及誤碼率的統計，可以計算出視頻業務的客戶感知。令x為相應單次視頻業務的速度，Equick、Eslow為對應速度指標的上、下門限的定義值。根據視頻流的不同，Equick、Eslow應取不同的值，例如對于720P的碼流，其上下門限對應值分別可取3 Mbit/s及1.8 Mbit/s。令y為相應單次視頻業務的誤碼率，Lmax、Lmin為對應誤碼率的上、下門限，以下為評分法計算公式：

（3）消息類業務感知評分

對于以實時交互數據傳輸為主的消息類應用，令x為相應單次響應時延，Dbig、Dsmall為對應時延感知指標的上、下門限的定義值。時延感知的上門限是指如果時延大于該指標，則感知是差的；下門限是指如果時延小于該指標，則感知是好的。基于業務需求，可以分別設置不同的門限值，以下為計算公式：

3.4 綜合感知評估

根據網絡保障和優化的需要，實際關注的VoLTE網絡性能指標的數量是很多的，粗略統計有超過100種端到端性能指標。如果進一步把這些指標按照不同的維度細分，則指標數量將會進一步增加[9]。如要基于這些性能指標來對網絡進行綜合評估，一種常見的做法是將指標分成不同的層次，例如分成核心指標、一級指標、二級指標等，并根據重要程度賦予相應權重。由于指標的多樣性，如何進行合理有效的權重賦值難度較大。

為此，本文提出采用基于統計回歸方法計算總體評分值及各指標權重（具體可以參考xgboost實現方式[10]）。該方法將能代表用戶切實體驗的用戶滿意度數據融入到客戶感知端到端評估中，以彌補傳統評估方法僅以網絡指標作為唯一評判標準的不足。基于客戶深度調研數據采用樹形迭代回歸算法將網絡指標與用戶滿意度進行回歸擬合，計算出用戶滿意度與網絡指標的關聯性，從而建立一套準確有效的VoLTE用戶感知評估方法模型。首先把用戶調查回訪的數據隨機分配為訓練數據和測試數據，迭代得出一個權重匯總與匹配度之間的對應關系值，取匹配度最高的閾值為最優閾值。通過迭代回歸算法對特征數據進行求解，得到與用戶滿意度匹配度最高的模型，用于客觀準確地評估VoLTE客戶感知。基于該模型，可得到各分數段對應的網絡指標的最優權重參數，進一步可依據權重大小進行指標保障優化。

3.5 與傳統方法的對比

對比傳統的指標建模方法，VoMOQ方法在以下幾個方面較有優勢：

（1）通過迭代回歸算法對多項特征數據進行反解，可得到與用戶滿意度匹配度最高的模型，即能客觀準確評估VoLTE客戶感知的模型。基于VoLTE感知評估模型，圍繞客戶感知，明確指標提升關鍵點，通過縱向“省-市-縣”，橫向“客服-市場-網絡”的管理方式，構建預測-＞查找-＞定位-＞提升-＞驗證-＞閉環管控體系，穩步推進優化工作，達到切實有效快速提升VoLTE用戶感知的目的。

（2）由于VoMOQ方法統計的是網絡中全量的VoLTE用戶行為，并對用戶的全量操作進行感知評估，所評估的感知依據與客戶的實際體驗緊密結合，因此可以準確掌握所有用戶及業務的真實感知。這種做法避免了統計網絡指標時出現的因為平均操作而把部分弱感知信息屏蔽的缺點。

（3）VoMOQ方法的統計及歸類的原子操作是業務行為而不是設備上的運行指標，因此可避免對網絡指標及設備能力的依賴，這對于網絡運營而言是非常重要的。

（4）VoMOQ的統計過程是全量統計，可以根據需要分別選擇不同的子集，例如對重要客戶、重要業務分布進行統計和監測，從而提高網絡資源的利用率。

（5）在時間粒度上，VoMOQ的統計過程可以根據應用場景進行調整，從而提供實時的感知監測能力。

（6）隨著VoLTE性能指標的增加，傳統的基于指標數據進行網絡評估的方法較難兼顧端到端環節的總體性能，而VoMOQ可針對指標屬性分別進行評分，并與真實客戶感知值進行關聯學習進而確認指標族中各個指標的權重，有助于實現全局最優評估。

4 VoMOQ的現網應用

基于VoMOQ模型對現網VoLTE客戶感知進行端到端分析監測，圖3為VoLTE客戶感知區域分布監測視圖。

區域內VoLTE客戶感知的分布與用戶密度及地理環境有較大的相關性，圖3中藍色區域為需要對客戶感知進行重點關注的小區，VoLTE網絡弱覆蓋區域一般為語音通話最需要改善的地方，區域內通話清晰度、穩定性等方面有待加強。利用VoMOQ平臺的數據，可實現對全區域內VoLTE客戶感知的在線監測保障。通過對VoLTE接通率、端到端接續時延、掉話率、注冊成功率，以及對不同接口和錯誤碼占比等進行分析，可找出影響接通率、時延、掉話率以及注冊成功率的關鍵因素。圖4至圖7為某區域內影響客戶感知的端到端關鍵指標與影響因素的定界定位分析數據。從圖中可以看出，該區域VoLTE的端到端接通率基本保持在95%以上的水平。對于接通率下降的情況，可以分別由MO及MT的錯誤碼進一步定位原因。

圖3 基于VoMOQ的全網VoLTE客戶感知監測

圖4 某區域VoLTE接通率趨勢

圖5 MO錯誤碼分布（剔除487）

圖6 各MT錯誤碼在不同時間的分布

通過分析，該區域出現487的錯誤占比最高，主要原因是呼叫請求被BYE或者CANCEL消息所終止；對錯誤碼為非487的次數再進行統計，則得出錯誤碼占比最高的是486/500等。對487錯誤碼的warning消息進行分析，發現其中約75%的warning消息cause值集中在“cancel received on initial invite”，其次“no response from peer”的占比達到17%。對cause值集中在“cancel received on initial invite”進行分析和撥測，發現引起此類錯誤碼的主要原因是VoLTE主叫用戶在發起呼叫后，在被叫振鈴之前取消了呼叫，屬于用戶行為。

5 問題與挑戰

通過準確評估客戶感知，有助于向海量的VoLTE連接提供端到端的QoS保障能力，并可根據業務類型及需求合理分配網絡資源，提升網絡總體效率。由于VoLTE業務發展，網絡容量、用戶規模、終端種類等不斷變化，客戶感知也將隨之波動。本文的VoMOQ方法可在一定階段內實現對全網VoLTE用戶感知進行分析，并定位引起不良感知的主要因素，但在長期的網絡運維優化過程中，為了能及時準確跟蹤監測客戶滿意度與網絡性能指標，需要定期開展客戶滿意度調查，并將調查結果用以校正優化不斷變化的網絡模型，從而確保分析和預測的準確性。

圖7 SIP Invite 487各種原因值分布

6 結束語

隨著流量和連接數量的增長，VoLTE網絡需要一個可實際應用的、準確率較高的端到端客戶感知分析體系。VoMOQ分析體系基于傳統的客戶感知評估方法進行了多方面的演進，模型可結合業務特性及感知規律對數據進行分析，具有可擴展性、靈活性、易用性等特點。經測試對比發現，VoMOQ對VoLTE網絡的端到端客戶感知的評估能力優于傳統方法。在此基礎上，下一步的研究重點是提升VoLTE感知評估的實時性及網絡問題的定位能力，立足客戶感知，從“體驗佳、打得通、接得快、聽得清、不掉話、收發快”6個維度，建立VoLTE語音及視頻業務端到端感知質量評估體系。

[1] 陳錦潮. VoLTE關鍵技術及引入策略研究[J]. 通訊世界,2016(5): 25-26.

[2] 李博,周宇. 運營商VoLTE總體優化思路及關鍵性能指標的測試與優化[J]. 移動通信, 2016,40(15): 9-15.

[3] 沈愛國. VoLTE關鍵技術與優化方法研究[J]. 電信快報,2015(12): 24-27.

[4] 郝益勇. 提升移動網絡用戶體驗質量的理論與方法研究[D]. 北京: 北京郵電大學, 2012.

[5] 楊燕. 淺析移動通信網絡中的QoE[J]. 電信科學,2007,23(8): 34-38.

[6] 熊玉輝,呂正林,蒙琳. 客戶感知理論及其體系的構建初探[J]. 電腦與電信, 2012(7): 35-38.

[7] 陳錦潮. 基于KPI的VoLTE網絡分析優化方法研究[J].中國新通信, 2016,18(16): 58-59.

[8] 楊君,李雯. VoLTE技術中基于失敗定界分類的eSRVCC切換優化方法研究[J]. 移動通信, 2016,40(18): 8-15.

[9] 紀元茂,袁野. 基于信令分析的VoLTE接入性能優化[J].移動通信, 2016,40(22): 18-21.

[10] Tianqi Chen, Carlos Guestrin. XGBoost: A Scalable Tree Boosting System[C]//Acm Sigkdd International Conference on Knowledge Discovery & Data Mining.2016: 785-794. ★

Study on Evaluation Method of End-to-End Customer Perception in VoLTE Networks

HUANG Zhaowen
(China Mobile Group Guangdong Co., Ltd., Guangzhou 510000, China)

VoLTE service has been officially launched. Due to the rapid increases of traffic and the user’ scale, how to effectively guarantee the quality of VoLTE networks is the important task. The evaluation method of customer perception in VoLTE networks was thoroughly analyzed. It was pointed out that the existing analysis methods of customer perception should be improved. The idea of the combination of the VoLTE network metrics, customers’real experience with the customer satisfaction was proposed. A quanti fi ed evaluation model based on the VoLTE customer satisfaction was built. The effectiveness of the proposed method was veri fi ed by the practical application.

VoLTE customer perception VoMOQ end to end customer satisfaction

10.3969/j.issn.1006-1010.2017.21.013

TN929.5

A

1006-1010(2017)21-0064-06

黃昭文. VoLTE端到端客戶感知評估方法的研究[J]. 移動通信, 2017,41(21): 64-69.

2017-07-28

文竹 liuwenzhu@mbcom.cn

黃昭文：高級工程師，博士畢業于華南理工大學，現任中國移動通信集團廣東有限公司業務與系統支撐工程師，主要從事移動通信網絡質量優化與新技術的研究及應用工作。