上海移動用戶滿意度評分與網絡質量相關性分析系統介紹

黃建華 中國移動通信集團上海有限公司網絡部工程師

邵四清 北京中創信測信息技術有限公司監測系統產品部工程師

中創信測技術專欄

上海移動用戶滿意度評分與網絡質量相關性分析系統介紹

黃建華 中國移動通信集團上海有限公司網絡部工程師

邵四清 北京中創信測信息技術有限公司監測系統產品部工程師

編者按：為了促進我國手機市場更好更快地發展，移動集團和第三方評估機構有必要定期進行手機用戶滿意度抽樣評分。由中國移動通信集團上海有限公司黃建華和北京中創信測信息技術有限公司邵四清所撰《上海移動用戶滿意度評分與網絡質量相關性分析系統介紹》一文通過中創信測信令監測系統對上海用戶的滿意度評分進行了跟蹤分析和評估，了解了上海具體用戶的真實網絡業務質量指標，可供相關網絡維護人員參考、借鑒。

移動集團和第三方評估機構需定期進行手機用戶滿意度抽樣評分，內容包含網絡整體質量、語音呼叫質量、信息收發質量、上網業務質量等。本文基于上海移動用戶滿意度調查抽樣用戶的評分，通過中創信測信令監測系統對本地用戶的滿意度評分進行跟蹤分析和評估，以了解本地具體用戶的真實網絡業務質量指標，實現針對指定抽樣用戶號碼進行業務記錄詳盡質量評估分析和對網絡質量的問題定位分析。作為信令監測系統數據記錄的增值應用，本文值得維護人員學習參考。

用戶滿意度評分 信令監測系統 網絡業務質量 指標相關度分析

1 用戶滿意度分析需求描述

移動集團和第三方評估機構需定期進行手機用戶滿意度抽樣評分，內容包含網絡整體質量、語音呼叫質量、信息收發質量、上網業務質量等項。基于上海移動用戶滿意度調查抽樣用戶的評分，上海移動希望通過信令監測系統對本地用戶的滿意度評分進行跟蹤分析和評估，以了解本地具體用戶的真實網絡業務質量指標，實現針對指定抽樣用戶號碼進行業務記錄詳盡質量評估分析和對網絡質量的問題定位分析。具體需求如下：

（1）根據提供的用戶滿意度調查表，對調查的分類項目及評分進行跟蹤評估。調查表用戶號碼必須保密，不能對外透露任何信息，否則要承擔相應責任。

（2）針對調查表的相關號碼提取信令監測系統最近一個月涉及網絡覆蓋和語音質量、短信/彩信、上網質量的記錄，進行用戶本地移動軌跡和用戶業務質量評估分析。

（3）針對用戶業務記錄進行用戶業務質量的時間、小區（區分住宅、辦公、地鐵、商務等）、終端類型、操作系統、業務類型等多維度分析，定位用戶質量問題是終端故障、網絡覆蓋問題、網絡運營故障等。

2 針對用戶滿意度專項分析需求的專用系統

（1）中創信測在一臺服務器中安裝相應軟件和數據庫，并完成用戶網絡業務質量指標綜合統計功能開發：

●用戶滿意度CS域客戶感知指標統計，可以進行多天統計分析，具體參見圖1；針對用戶滿意度調查評分表增加中高端標志等維度關聯統計，如圖2所示。

●用戶滿意度PS域客戶感知指標統計，可以進行多天、小區、終端類型等統計分析，具體參見圖3；針對用戶滿意度調查評分表增加手機上網整體質量評分等維度關聯統計，具體指標如圖4所示。

●CSFB業務專項統計分析模塊如圖5所示。

（2）由于上海移動用戶數據涉及2G/3G/4G業務，因此涉及的數據庫表特別多，按滿意度跟蹤用戶表過濾提取一天的用戶數據，在系統負荷較低的情況下，至少需要4h。針對滿意度分析用戶的數據倒表程序，在夜間定時啟動。

圖1 用戶滿意度CS域客戶感知指標統計功能

3 系統分析指標改進完善

3.1 用戶滿意度網絡質量分析指標說明

在系統中增加了“主叫時被叫號碼重復次數”和“被叫時主叫號碼重復次數”等指標，以便輔助分析用戶撥打和接聽電話的感受。總體分析指標參見表1（含相關算法的說明）。

對于已經收集的數據再次重新分析生成每個用戶的按天統計表。

KPI指標算法說明如下：

位置更新成功率=（位置成功次數/位置更新總次數）%

位置更新失敗率=（位置失敗次數/位置更新總次數）%

總掉話次數=主叫掉話次數+被叫掉話次數

總掉話率=總掉話次數/（主叫應答次數+被叫尋呼次數-尋呼失敗次數）

尋呼成功率=（用戶被叫尋呼總次數-尋呼失敗次數）/用戶被叫尋呼總次數

SMS總失敗次數=MOSM次數-MOSM成功次數+（MTSM次數-MTSM成功次數）

圖2 用戶滿意度CS域客戶感知指標

SMS總失敗率=（總失敗次數/（MTSM次數+ MOSM次數））%

后續對相關指標與用戶滿意度評分進行相關性分析。

圖3 用戶滿意度PS域客戶感知指標統計功能

圖4 用戶滿意度PS域客戶感知指標

3.2 分析周期及樣本量說明

在2014年12月10日，現場分析、統計2014年11月24日—12月7日CS和PS域兩周數據，按用戶的IMSI號碼合并統計項。對于評分為空的用戶，進行去除處理。因此，獲得的有效樣本數據量為：CS域790用戶；PS域上網分析用戶612個。

對于每個IMSI再區分中高端標志、KPI指標與網絡整體質量評分進行相關性分析。經過單項指標分析后，再決定增加平均值相關性分析，因為用戶單項指標與評分相關性弱。下面是詳細的指標和用戶評分相關性分析圖表說明。

圖5 用戶滿意度CSDB業務專項指標

表1 用戶滿意度網絡質量分析維度和指標

4 用戶滿意度CS域業務記錄相關性分析

4.1 按指標均值相關性分析

針對不同評分值，計算獲取相關用戶的多項指標平均值（見表2）。

（1）從圖6可以看出，用戶評分與尋呼成功率、位置更新成功率、SMS失敗率指標之間沒有強相關性指示。

表2 滿意度用戶質量CS域業務質量指標平均值

圖6 網絡整體質量與業務指標的相關性分析

（2）從圖7、8可以看出，用戶評分與平均掉話次數、掉話率之間有一定的相關性指示。即評分高的用戶平均掉話次數低，與掉話率也有弱相關性。

（3）從圖9可以看出，用戶評分與尋呼失敗次數、位置更新失敗次數、SMS失敗次數、重復呼叫次數等指標之間沒有強相關性指示。

4.2 按單項指標相關性分析

針對所有有效評分用戶的單項指標與其所給的評分值進行全部排序及關聯分析，可見下面各個指標的相關性分析圖示：

（1）用戶評分與位置更新失敗次數沒有明顯的相關性。即使評分高的用戶也存在較高的失敗次數，而且非中高端用戶即使失敗次數高，也有評分高的用戶存在。位置更新成功率和失敗率也類似，具體參見圖10、11所示，以區分中高端用戶和非中高端用戶。

（2）用戶評分與總掉話次數沒有強的相關性。即使評分高的用戶也都存在較高的掉話次數，也有掉話次數目前是0的用戶，而且非中高端用戶即使掉話次數高，也有評分高的用戶存在，只是比例有所不同，具體可參見平均值分析說明，掉話率也類似。

圖7 網路整體質量與總掉話次數指標的相關性分析

圖8 網路整體質量與總掉話率指標的相關性分析

圖9 網路整體質量與業務次數指標的相關性分析

圖10 中高端用戶網路整體質量與位置更新失敗次數指標的相關性分析

（3）用戶評分與尋呼成功率和尋呼成功次數沒有強的相關性。即使評分低的用戶也都存在較高的成功率和成功次數，指示評分高的用戶尋呼成功率較高，即所占比例較高。另外，8～10高分用戶的100%尋呼成功率占比高或人數多。

（4）用戶評分與主叫次數沒有強的相關性。用戶評分高8～10且主叫次數高的所占比例明顯高，也即高話務用戶對于網絡質量的整體評分都是高的。

（5）用戶評分與短信發送和接收失敗次數、總失敗率沒有強的相關性，但對于低評分用戶確實存在高失敗次數，無論是中高端還是非中高端。

5 用戶滿意度PS域上網業務記錄相關性分析

5.1 按PS業務指標均值相關性分析

針對PS域相關全部用戶，按照網絡整體質量評分取平均值，然后進行各項指標的相關性分析（見表3）。

用戶網絡質量整體評分與相關成功率、響應時延、下載速率等指標沒有相關性；與HTTP下載平均流量有弱相關性，即流量高的用戶對于網絡質量評分高。

圖11 非中高端用戶網路整體質量與位置更新失敗次數指標的相關性分析

5.2 按PS域單項指標用戶相關性分析

通過對PS域每個用戶的上網業務質量指標進行排序，然后按照網絡整體質量評分進行有效用戶的相關分析，初步分析與各項指標的相關性較弱。

6 用戶滿意度評分與網絡質量相關性分析初步結論

（1）經過多個指標相關性分析，用戶整體網絡質量評分與網絡業務質量多項指標相關性程度較低。

（2）用戶整體網絡質量評分與用戶的平均掉話次數有弱相關性。可針對掉話小區類型居住區、地鐵、商務區等進行用戶歸類跟蹤分析。

（3）用戶整體網絡質量評分與用戶的總話務量趨勢基本一致，即高話務量用戶的評分相對較高，無論中高端還是非中高端。另外，PS業務平均流量高的用戶滿意度評分相對較高。

（4）網絡質量滿意度評分是用戶對網絡質量一個相對比較主觀的評價，切入點除從網絡質量入手外，還可從用戶心理、外部因素（例如運營商資費、服務）等多方面維度進行進一步深入研究。

表3 滿意度用戶質量PS域上網業務質量指標平均值