智能語音業務質量評估保障方案

李光宇，梁燕萍，余立，王昆，陳揚銘，劉思佳

（中國移動通信有限公司研究院，北京 100053）

1 引言

長期以來，作為運營商的自營業務，語音業務一直是運營商需要重點保障的核心業務。隨著LTE網絡、5G NR網絡的建設和發展，運營商用戶數的持續增加，VoLTE業務量也在逐年增長，業務質量保障需要投入的人力也隨之增加。傳統的VoLTE業務質量保障工作通常由用戶的語音業務質差投訴觸發，優化人員需要在業務質差位置附近區域進行道路測試，使用收發終端撥打語音業務并播放通用語料庫，通過測試工具對比分析收發端的語料質量差異計算得到POLQA（感知客觀聽力質量評估）MOS（mean opinion score）作為語音質量的評分，針對MOS值較低的情況進行信令分析、問題定位及解決。傳統的問題排查及優化手段存在覆蓋面窄、投入資源高、解決周期長的問題，且需要同時拿到收發端語料內容，無法滿足運營商的日常優化需求。為了在不獲取收發端語音內容的前提下進行質量評估，ITU提出了多種通過業務性能指標分析運算得出業務質量結果的無參考方案，以E-model為代表，通過業務丟包率、相對時延等業務傳輸同步、時延引起的質量損傷作為計算因子，估算得出MOS，但估算精度不夠理想。

本文介紹了一套通過網絡側數據包傳輸特征數據、用戶測量數據進行VoLTE業務質量評估及保障的技術方案，該方案基于網絡中全量語音業務通信特征數據，通過人工智能算法建模并利用模型進行業務質量評估，可針對運營商全量語音業務進行高精度質量分析及質差定位解決，以滿足運營商實際生產環節中的優化工作需求。該方案由網絡數據采集、數據特征分析、質量評估、業務質差定位及解決4部分組成，目前已取得較好的保障效果。

2 語音業務質量保障方案

相對于傳統的語音業務質量評估工作，本文提出的方案通過在業務特征的設計與生成、業務特征的分析與選擇、業務評估模型的搭建與優化3方面的重點優化與創新，大幅提升了質量評估的準確性，保證了業務質差的發現成功率。

2.1 業務特征的設計與生成

VoLTE業務發起之前，用戶會進行網絡附著及IMS注冊流程。完成注冊后主被叫用戶建立路由，開始業務數據傳輸。VoLTE業務基于實時傳輸協議（real-time transport protocol，RTP）進行數據包的雙向實時傳輸，并通過實時傳輸控制協議（real-time transport control protocol，RTCP）進行QoS（quality of service，服務質量）控制。VoLTE語音業務在數據包傳輸過程中，通話期每20 ms發送一個語音包，包括RTP/UDP/RLC-security壓縮頭；每160 ms生成一個SID靜默幀，通過噪音提高用戶的業務感受[1-2]。

圖1 VoLTE協議棧及RTP包頭示意圖

VoLTE協議棧及RTP包頭結構如圖1所示，在業務質量監控場景下，業務特征分析不能涉及用戶隱私，因此針對RTP之下的包頭信息進行分析。包頭中序列號（sequence number，SN）用于標識發送的RTP 數據包編號，在業務質量分析中可用于計算丟包情況；時間戳（timestamp）標識RTP數據分組中第一個字節的采樣時間，可用于計算時延及抖動信息[3]。

RTP本身沒有提供任何的機制來確保實時的傳輸或其他的QoS保證，RTCP通過不同報文類型計算端到端丟包數、丟包率、包間抖動等指標，可以更準確地評估語音業務質量信息[4]。

目前，VoLTE語音質量主要通過丟包、時延及抖動3類特征進行分析，當使用業務級特征數據進行網絡中全量語音質量分析時，無法獲取端到端信息，因此無法獲取業務的時延特征。使用現有方案進行業務質量評估時仍存在特征粒度較粗，無法精細化評估秒級業務質量變化情況的弊端。以RTP丟包率及抖動分析為例，目前丟包對業務質量的影響主要通過丟包率是否超過一定門限進行判斷，但針對連續丟包及間歇性丟包對業務質量的不同影響程度未做詳細分析。間歇性丟包與連續丟包對比如圖2所示，當語音業務中出現連續丟包時，雖然丟包率相同，但業務質量會有較明顯惡化，現有方案無法發現問題。

圖2 間歇性丟包與連續丟包對比

同樣，現有方案針對業務抖動檢測采用滑動疊加機制，將當前抖動絕對值與前一時刻的抖動加權相加，計算式如下：

其中，J代表當前抖動結果，D表示兩數據包間抖動，S與R分別表示數據包的發送與接收時間。

現有方案沒有考慮較長時間范圍內抖動的累加效應，且沒有考慮正向抖動和負向抖動的抵消情況。當數據包間隔在標準間隔上下波動時，終端會通過緩沖機制進行調整，保證業務質量不受影響；而當數據包間隔不斷增長時，會導致業務時延逐漸增大，影響業務體驗。這種情況下，現有方案無法區分前者與后者的差別。隨機抖動與正向抖動的對比如圖3所示，圖3（a）的情況時延正常波動，業務質量較好，圖3（b）的情況時延由于抖動的正向累加不斷增加，業務質量劣化明顯，但兩種情況下現有方案計算出的抖動值相同，無法發現圖3（b）的劣化問題。

圖3 隨機抖動與正向抖動的對比

為了解決現有業務質量評估方案的問題，本文介紹的方案將RTP包間抖動的正、負方向，丟包連續性等問題考慮在內，提出了3類新指標：相對時延指標、連續丟包數指標以及最大包間指標。通過新指標的補充運用，可以解決現有方案問題，優化業務質量評估效果。

連續丟包數可以通過最大連續丟包、連續丟包較多的問題出現次數等維度，在整體丟包率的基礎上額外發現業務的局部性或突發性質差問題。連續丟包的計算方式為：將所有收到的RTP數據包根據序列號從小到大排序，分別計算相鄰序列號的差值，若差值大于1，則存在連續丟包。計算式如下：

其中，CPL代表連續丟包數，SN代表排序后的RTP包序列。

相對時延代表每個數據包相對于業務過程中第一個數據包時延的變化情況，計算方式為首包時延加上當前包與首包間所有抖動的累加結果，抖動累加時考慮正向負向。計算式如下：

其中，RD代表相對時延，J代表抖動，RD′代表校準后的相對時延，目的是避免第一個收到的包并非切片內第一個發送包，從而影響相對時延序列的情況。

在VoLTE業務中，通過相對時延，可以準確分辨隨機抖動與連續正向抖動對通話質量的不同影響結果。以圖4為例，圖4（a）和圖4（b）分別是平滑濾波前后的抖動情況，可以看到1 500～3 000 ms時間范圍內是隨機抖動，由圖4（c）可見相對時延計算結果在130 ms以內，通過圖4（d）波形圖看到收發端語音無明顯差別，此時通話過程未感受到質量劣化；而5 000～6 500 ms時間范圍內發生了連續正向抖動，相對時延在6 200 ms后達到200 ms以上且持續增加，通過波形圖可以看到方框標注部分有明顯的收端延后情況，此時通話質量下降明顯。

由此可見，新特征的設計和實現可以有效地彌補現有質量評估方案的不足，更精細地發現業務質量劣化的情況，幫助提升評估效果。基于連續丟包特征，可以設計最大連續丟包、連續丟包超過n個的次數等指標，而相對時延特征可以衍生得到最大相對時延、平均相對時延、非靜默期相對時延等指標，這些指標均為語音業務質量評估的重要特征。

圖4 隨機抖動與正向抖動的時延分析及波形圖對比

2.2 業務特征的分析與選擇

當完成新特征的設計與實現后，特征分析模塊針對基于業務知識設計、選出的重要特征進行重要性分析，目標是篩選其中對業務質量影響程度更高的指標并通過機器學習的手段完成特征處理，促進業務質量評估模型的精度提升。

本方案中使用的特征分析與選擇方案融合了數理統計與機器學習領域常用的特征重要性分析工具。其中，數據統計方式通過繪制各個特征與MOS分的散點分布進行特征相關性分析[5]，結果如圖5所示。

可以看出，最大相對時延及（非靜默期）最大包間隔和MOS之間存在較明顯的負相關性，隨著兩類標簽取值的增加，MOS迅速下降，符合業務邏輯。

機器學習的特征重要性分析通過決策樹模型的構建及訓練，通過每個特征在質量評估過程中被選作劃分點的次數來衡量特征指標的重要性[6-7]。基于決策樹模型得到的特征重要性排序如圖6所示，可以看出平均相對時延、最大包間隔、最大相對時延等均在預測MOS的模型中起到了比較重要的作用，證明新增特征的設計具有必要性。

2.3 業務評估模型的搭建與優化

目前，業界公認的VoLTE業務語音質量評估標準是POLQA MOS。該標準由ITU提出，通過對比VoLTE業務過程中收/發端語音的聲紋信息，經過時間對齊、語音采樣分析、感知分析等操作評估手段語音相對發端語音的劣化程度[8]。在語音業務質量評估過程中，本方案同樣使用含有POLQA MOS的語音業務路測數據建立訓練數據集，針對訓練數據進行特征工程及模型訓練，獲取高精度模型。然后通過該模型評估每一通語音通話的業務質量。

圖5 最大相對時延、（非靜默期）最大包間隔與MOS的分布關系

圖6 特征指標重要性排序

傳統的E-model模型[9]在進行語音業務質量分析時，選取丟包率、時延等指標并人為制定計算式及參數，得到MOS評估結果，評估模型相對簡單粗糙。本方案使用深度神經網絡建立模型，該模型參數豐富，擬合能力強，更有利于學習業務特征數據中RTP丟包、連續丟包、抖動、相對時延、包間隔等業務特征與POLQA MOS的復雜映射關系，評估效果優于E-model模型。

本方案在進行質量分析時，共有特征處理、建模優化、質量評估3個步驟。

（1）特征處理指針對上文理論分析結合特征重要性分析確定的相對時延、丟包、包間隔等重要指標，進行平方、立方、離散化等特征增強操作，增加這些指標對最終MOS分析的影響程度。

（2）建模優化指通過模型訓練和參數優化，使得模型輸出盡量接近POLQA MOS，同時盡量全面地發現質差業務。前者的優化方式通過模型訓練盡可能縮小模型輸出與POLQA MOS的均方差，計算式如下：

其中，n代表語音業務數據樣本量，MOSpredict與MOStrue分別代表模型輸出結果與POLQA MOS。

（3）質量評估：模型發現質差業務的能力通過質差召回率衡量，質差召回率即模型發現的質差數量與所有業務質差數量的比值。目前，本文認為MOS低于3分即質差業務[10]。

通過這樣的訓練目標，評估模型在整體MOS評估準確性與質差業務檢出能力之間達到均衡。模型示意圖如7所示。

圖7 語音業務質量分析模型示意圖

完成建模優化后，模型已經可以較準確地完成MOS評估，并較全面地發現業務質差。此時使用該模型評估網絡中真實發生的VoLTE業務，即可得到接近于路測工具得出的MOS，實現大規模的業務質量分析。

3 系統應用效果

本文提出的方案除了實驗室驗證，也應用在真實網絡環境并取得了較好的效果。本節將介紹方案目前的應用方式及效果。

3.1 質量保障方案結構及部署方式

本文介紹的語音業務質量保障方案由網絡數據采集、數據特征分析、質量評估、業務質差定位及解決4個模塊組成，期間的工作流程及與外部系統的對接情況如圖8所示。

數據采集模塊對接網絡大數據平臺，獲取網絡真實產生的語音業務特征數據用于質量評估，獲取用戶測量（MR）數據用于質差原因定位。語音業務特征數據來源于各類業務過程中的數據包傳輸指標以及包頭信息的解析運算，涵蓋的業務特征包括基本的數據包傳輸時延、抖動、傳輸包數、丟包數及丟包率等；同時，經過數據采集系統的迭代升級，目前業務特征數據中已包含第2節介紹的最大相對時延、最大連續丟包數等新指標，因此適合用于業務級質量分析的特征數據。實際優化工作中發現，VoLTE業務的質差主要是由無線網絡的覆蓋、干擾、移動性參數配置等問題引起的，而MR數據包含無線網絡中用戶測量的服務小區及鄰小區的信號質量，可用于覆蓋及干擾分析，因此本方案通過網管系統的MR數據進行業務質差分析。

圖8 保障方案功能模塊結構及與外部系統的對接情況示意圖

數據特征分析模塊結合不同覆蓋場景的數據特點及VoLTE業務流程特點，分析已有業務特征的重要性，并結合人工智能算法中的常用特征工程方案針對全量語音業務數據進行特征處理，輸出質量評估模塊用于語音業務MOS評估。

質量評估模塊通過深度學習完成建模及優化后，在所有評估模型中挑選效果最優的模型對網絡的語音業務單據進行推理，輸出語音切片級MOS、語音話單級MOS，用于判斷業務質量情況，并將推理結果返回至大數據平臺。

業務質差定位及解決模塊，通過關聯分析質差業務對應的用戶MR數據，將業務質差原因歸納為上下行弱覆蓋、干擾、鄰區漏配等9類問題，并針對每類問題制定解決方案，作為網絡問題排查解決建議[11]。目前，該模塊與網絡優化平臺對接，在故障工單派發過程中將定位的質差原因及解決方案以備注信息的形式隨單下發，幫助一線網優人員迅速定位解決問題，保障用戶業務體驗。

3.2 質量保障方案應用效果

目前，本文提出的保障方案已在北京、浙江、湖南等多地應用，面向全省、市的全量VoLTE語音業務進行質量評估及質差保障。目前該方案每日評估的語音業務超過3億條，經過實地測試驗證，質量評估的效果相對于傳統的E-model模型有明顯提升，本文方案中語音業務質量評估效果與傳統E-model評估結果對比見表1。

表1 本文方案中語音業務質量評估效果與傳統E-model評估結果對比

圖9 MOS評估結果對比（節選）

業務質量較差部分的MOS評估結果對比如圖9所示，可以看到本文介紹的方案評估的MOS（MOS_AI）相對于E-model模型的評估結果（MOS_E-model）更貼近于真實MOS。表1中統計結果顯示本文提出的保障方案對MOS的預測結果與POLQA MOS的誤差相對E-model預測結果更小。目前，本方案將MOS預測結果與真實結果誤差±0.25范圍內認定為準確預測，表1結果顯示業務保障方案評估準確率達到84.7%，明顯優于E-model模型的72.1%。

完成質量評估后，質差定位及解決模塊通過工單派發的形式已經輔助完成數千個質差小區的問題解決，對應小區的業務質差數量明顯降低。

4 結束語

本文介紹了一套基于網絡側獲取的語音業務數據進行業務質量保障的方案，該方案通過在業務特征的設計與生成、特征的重要性分析與選擇、業務質量分析建模與優化工作上的創新與改進，達到了比傳統無參考評估方案有較大提升的業務質量評估效果，同時針對業務質差進行原因定位及方案輸出，提升了實際生產中問題排查解決工作的效率，改善了用戶語音業務質差感知。

該方案的設計思路同樣適用于VoNR、VoIP等語音業務，隨著5G NR用戶數的快速增長及對應數據采集系統功能的逐漸完善，后續也會將本文方案結合VoNR等業務特征進行適配優化，使能更廣泛的語音業務質量保障。