王鋮岑 何均均 王江舟
中國移動通信集團江蘇有限公司南通分公司
近年來,移動家庭寬帶業務飛速發展,面對寬帶業務同質化嚴重的形勢,如何在日趨激烈的市場競爭中贏得客戶,并提升客戶粘性,網絡質量、服務質量和用戶滿意度成為了關鍵因素。
目前,寬帶質量和服務存在五個急需改善的問題(見圖1):

圖1 寬帶質量和服務存在的問題
(1)網絡質量定性定量困難。網絡質量零散、相關數據關聯困難,無法統一呈現,依靠人工分析,各個層面分析依靠自有專業團隊,導致問題無法徹底暴露和解決。
(2)網絡問題定位準確率低。目前利用各類網管輔助定障,準確度只有40%,無法支撐大數據分析和應用。
(3)服務前后綜合質量量化困難。目前對不滿意用戶的維護,基本依靠上門處置優化,但根據對用戶回訪分析,50%以上的用戶答復無明顯改善,只是對上門表示認可滿意。
(4)評價維度較少。目前較好的評價體系主要基于家庭寬帶一戶一線的特性,健康度評測以個性評價為主,依托于故障投訴、網絡性能、套餐資費等顯性直觀的指標進行整體評價。與手機業務相比,流程業務長,用戶側環境復雜,質差界面不清晰。
(5)評價體系科學性有待提高。目前家客業務維度廣,評價主體多,缺乏對用戶行為及個體主觀感受的深度挖掘,使得用戶個體的服務體驗評價差異未能有效體現。
總體方案如下:
(1)基礎數據獲取及預處理:初選感知點、匹配指標,對用戶行為、故障、性能、業務感知、反饋評價、裝維記錄等抽取、標簽化及預處理。
(2)指標篩選收斂:對連續指標變量進行分箱處理、數據無量綱化處理;選擇算法構建模型,進行關聯指標篩選。
(3)模型優化:選取樣本數據進行模型驗證和迭代優化;得到各變量權重系數,計算各寬帶用戶滿意度得分。
(4)滿意度短板分析:對全網用戶進行畫像分析,指出短板指標,并通過聚類輸出個體及共性不滿意問題點。
(5)滿意度提升:問題點派單到責任單元主動整治;滿意度低用戶提升服務響應優先級。
技術實現方案如圖2 所示。

圖2 基于AI 畫像的家寬用戶多維健康體系技術實現方案
1.2.1 特征抽取與數據預處理
基于DPI 系統、PON 業務支撐平臺、IP 數據網管、HGU軟探針等實時性指標,抽取家寬滿意度相關數據,包括服務質量、業務質量、家庭網絡質量、承載網絡質量、用戶行為等,并完成滿意度數據探索分析、滿意度特征清洗等模型訓練前的特征處理過程。
1.2.2 滿意度模型迭代訓練
對NPS 等滿意度調研樣本和基于經驗值估樣本,進行過采樣處理,構建不滿意標簽用戶訓練數據。通過基于強化學習的三階段機器學習自動化設計、基于自適應連續篩選的模型選擇、基于多保真度和貝葉斯優化的超參優化,實現匹配AI計算12 種差異化模型。如圖3 所示。

圖3 基于自適應連續篩選的模型選擇流程
1.2.3 模型應用與畫像輸出
基于優化后的模型,周期性對全網用戶進行滿意度評價,為每用戶輸出滿意度得分和影響滿意度的短板因素。同時提供區縣、小區維度的滿意度對比、趨勢、共性因素等專題分析等功能。
基于AI 畫像的家寬用戶多維健康體系是基于DPI 系統、PON 業務支撐平臺、IP 數據網管、HGU 軟探針等實時性指標,并同步整合用戶上網行為、投訴反饋等信息,進行系統開發及大數據處理,為全網寬帶建立滿意度評價體系。輸出低滿意度用戶短板清單,針對低滿意度用戶問題點閉環整治,同時支持差異化服務響應,實現感知修復。
該體系基于DPI 系統、PON 業務支撐平臺、IP 數據網管、HGU 軟探針等實時性指標,并同步整合用戶上網行為、投訴反饋等信息,進行系統開發及大數據處理。
通過選取3 種算法對滿意度模型進行訓練效果對比分析和交叉驗證,同時在訓練樣本的調查和經驗抽取階段,細分用戶不同場景(如:城市小區、農村等),實現不同場景的差異化評價訓練,經過模型測試評價,最終選擇確定偏向真實的滿意度模型。
經機器學習后,生成全網家寬用戶質量的定制畫像,并可從區縣、網格、小區維度輸出滿意度短板。同時,可從營銷維度呈現質差路由器,從服務維度呈現質差TOP 小區,從而多手段齊頭并進,提升客戶感知。
通過端到端的42 個屬性綜合分析,實現云管端三個維度的畫像,從宏觀上體現滿意度現狀和痛點,從微觀上實現弱項深鉆,并專項提升。如表1 所示。

表1 端到端智能畫像屬性表

?
家寬用戶多維健康體系于2020 年1 月初步搭建完成,自運行以來,累計發現端到端問題1738 起,其中云端問題162 起、管道端問題381 起、戶端1195 起。
針對第一批846 名質差家寬用戶訓練輸出,呈現數據如圖4 所示(數據未全量呈現)。

圖4 第一批質差家寬用戶訓練輸出數據
通過對用戶回訪發現,846 名用戶中成功回訪用戶251 名,其中188 名質量問題點與平臺輸出一致,47 名用戶反饋寬帶使用無問題,16 名用戶因不在家,對使用情況不清楚。該體系應用成功率超80%,成功率約為原輔助定障系統的2 倍。
根據AI 構建的模型為每位用戶進行滿意度打分,得分區間采用歸一算法進行分布區間的調整。如下分值統計是基于80-100 的區間分布規則,通過對各區縣低于85 分用戶占比及95 分以上用戶占比分析,針對性地對通州、開發、啟東進行弱項提升工作部署。如圖5 所示。

圖5 各區縣低于85 分用戶占比及95 分以上用戶占比分析
3.2.1 在運維上產生的效果
(1)網絡問題分段準確。在端到端的定界上,根據TCP的特征把控,成功將問題分為云端、管道端、戶端。發現并解決OTT、Cache、IDC 等質差內容源7 起,指導內容源提升服務質量和HTTP 成功率。指導管道端誤碼、光功率問題閉環23 起,處理戶端問題1000 余個。如圖6 所示。

圖6 網絡問題分段定位
(2)問題定位準確度提升。根據訓練和驗證情況,目前準確度接近80%。用戶滿意度可量化,根據各維度綜合答復,可真實體現網絡質量滿意度情況。增加了8 大評價維度,通過模型算法得出綜合滿意度情況,結合用戶行為及個體主觀感受的深度挖掘,給用戶提供溫暖的家庭寬帶。
(3)創新帶來的效率提升。在本研究成果完成前,運營商對用戶的實際感知情況處于離散、不完整呈現狀態,需通過多個平臺進行數據采集,人工匯總進行分析。本研究成果完成后將各平臺數據集中于一體,數據高度整合,且通過AI 進行自動分析,輸出檢測報告。更快的訓練效率、低內存使用、更高的準確率、支持并行化學習等創新優勢將工作效率提升
85%。
3.2.2 在滿意度上產生的效果
(1)提升維護效率:基于滿意度畫像,可快速、準確獲取多維度(場景、區域、類型、業務等)用戶感知情況,提前優化感知變差的用戶或區域,使網絡優化由解決用戶投訴的被動模式變為提前優化的主動模式,故障重復投訴率降低2.5pp,故障投訴減少350 次/月。
(2)提升網絡質量:從基于AI 構建的模型,多維度分析滿意度的短板因素,分析影響特征中的可整治要素,通過工單驅動提前實施整治,促進短板改善,2020 年4 月到2020 年5 月寬帶網絡質量滿意度從78.17 提升到80.64。
(3)重點用戶保障:通過重點監控和優化高優先級用戶,使運維工作由基本的網絡維護優化提升為重點客戶用戶滿意度保障和提升。
(4)經濟效益提升:隨著網絡質量的提升,滿意度不斷提高,口碑效應愈發明顯。新用戶及攜轉用戶數大幅增長,同比2019 年新用戶數增長了99%,收益同比增長1.5 億。
(5)社會效應:本研究成果在通信互聯網行業內起到示范帶頭作用,多家互聯網公司學習效仿。全國4 個省26 個地市直接或間接采用了本次研究成果,并取得突出成績。
基于AI 的家寬用戶多維健康體系,是基于用戶服務質量、業務質量、家庭網絡質量、承載網絡質量等信息的融合,通過數據清洗篩選、模型建立并訓練數據等,最終為全網寬帶建立滿意度評分體系,輸出滿意度低用戶短板清單、質差小區清單等,并針對低滿意度問題點閉環整治,同時差異化服務響應,從而實現感知修復。該體系從主動優化維護的角度,不僅可解決投訴用戶的問題訴求,而且可提升潛在投訴用戶的寬帶使用感知,從而帶來家庭寬帶質量口碑的轉變。