HTTP自適應流媒體直播系統中的用戶體驗質量優化

宋靳錁 張遠 王博

摘要：分析HTTP自適應流媒體直播系統中對終端用戶體驗質量（QoE）產生影響的各類因素及其相互之間的作用關系，對基于服務器端、網絡傳輸以及客戶端的QoE優化策略進行總結。認為HTTP自適應流媒體直播系統的QoE優化重點在于降低延時，提出結合網絡層和應用層影響因素來降低時延并提升用戶QoE的建議。

關鍵詞：流媒體直播；自適應流媒體；用戶體驗質量；優化策略

Abstract： The influence factors on the users quality of experience （QoE） in a hypertext transport protocol （HTTP） adaptive streaming system and the interaction between these factors are studied. Then the QoE optimization strategies from the aspects of the server， network transmission and client side are summarized. The QoE optimization of HTTP adaptive live streaming system focuses on reducing delay， and combination with network layer and application layer factors can reduce delay and improve user QoE.

Keywords： live streaming； adaptive streaming； QoE； optimization strategy

近年來，隨著互聯網與流媒體技術的飛速發展，游戲直播、在線教育等直播服務發展迅速?；诔谋緜魉蛥f議（HTTP）的自適應流媒體技術（HAS）由于其高兼容性、高可擴展性在直播場景中得到了廣泛應用。根據WOWZA發布的《2019 Streaming Video Latency Report》[1]，超過50%的直播服務提供商采用了基于HAS的流媒體直播系統架構。流媒體直播服務的低延時、高質量需求給用戶體驗質量的優化帶來了新的挑戰。

1 基于HAS的流媒體直播系統框架

在HAS技術中，媒體數據源被編碼成不同碼率的媒體切片文件以適應不同的網絡狀況和客戶端設備類型，客戶端根據帶寬或緩沖區狀態請求合適碼率的媒體分片，以減少卡頓事件的發生，提升帶寬利用率。

如圖1所示，基于HAS的流媒體直播傳輸系統框架包括3部分：主播端、服務器端和客戶端。主播端主要用來實現媒體采集、前處理、編碼和封裝的功能，并將封裝好的媒體流推送至服務器。服務器需要對同一媒體內容準備多種碼率的媒體文件，因此需要對主播端推送的媒體流進行實時轉碼，并將每種碼率的媒體內容進行切片處理。服務器端存儲的媒體分片的碼率和時長等信息都被記錄在一個隨直播進行且實時更新的索引文件中?？蛻舳嗽趶姆掌骼∶襟w流時會首先拉取索引文件，再根據索引文件的信息以及當前的估計帶寬或緩沖區狀態對下一個向服務器請求的分片碼率進行自適應決策，并對已下載的媒體分片進行解碼播放。

經典的HAS協議包括Microsoft公司提出的微軟平滑流協議（MSS）[2]、Apple公司提出的HTTP實時流協議（HLS）[3]，以及Adobe提出的HTTP動態流協議（HDS）[4]。雖然這些協議遵循的技術框架相同，但是彼此之間互不兼容；因此，動態圖像專家組（MPEG）與第三代合作伙伴計劃（3GPP）聯合提出了開源的MPEG-動態自適應流媒體（DASH）[5]標準。目前業界廣泛采用的標準是HLS和MPEGDASH，然而直播場景下兩種標準的延時均在6 s以上。近兩年來，針對用戶日益增長的低延時需求，研究者提出了能夠將延時控制在3 s以內的低延時HLS[6]以及基于用媒體應用格式（CMAF）的低延時DASH[7]解決方案。

2 HTTP自適應流媒體直播系統中的用戶體驗質量評估

2.1 QoE影響因素

用戶體驗質量（QoE）通常用來評價流媒體直播系統中終端用戶對服務的滿意程度，其定義為：用戶在一定客觀環境中對使用的服務或者業務的整體認可程度。根據QoE的定義，HTTP自適應流媒體直播系統中的QoE影響因素可分為服務、環境、用戶3個方面，如表1所示。

本文中我們僅考慮服務、環境和用戶層面中與技術相關的因素。如圖2所示，關鍵業務指標、用戶層、環境層可對用戶QoE產生直接影響。關鍵業務指標可從畫面質量、穩定性、流暢性以及實時性4個方面來衡量。碼率和分辨率直接影響直播畫面的清晰度，直播全程的平均碼率和分辨率共同決定了流媒體服務的畫面質量水平；碼率切換的頻次和幅度反映了圖像質量的波動狀況，進而決定了視覺觀感的平穩度；卡頓導致視頻內容不連續、聲音斷續等問題，通常以卡頓次數、頻率以及持續時間來反映流媒體服務的流暢性；延時是媒體流從主播端發出到客戶端接收并觀看所需要的時間，是反映流媒體服務實時性的業務指標，高延時極大地降低了用戶對服務的滿意度；音畫不同步是由于網絡狀況較差（延時、抖動等）及設備處理能力不足造成的視音頻不同步，降低了用戶的服務體驗質量。

由圖2可知，網絡層與主播端、服務器端、客戶端應用層中的影響因素相互作用，共同影響HTTP自適應流媒體直播服務的關鍵業務指標，這也成為QoE的間接影響因素。例如，客戶端的緩沖區狀態和自適應策略直接影響了服務的關鍵業務指標，緩沖區狀態示意如圖3所示。由圖3可知，客戶端的網絡狀態與分片大?。捶制臄祿浚┕餐瑳Q定了緩沖區數據的填充速率。通常，客戶端按正常速率播放，但當緩沖區占用量即將耗盡時，可通過客戶端的自適應策略調慢播放速率，以等待緩沖區數據充盈，降低卡頓事件發生的概率。而當緩沖區占用量較大時，會帶來較大的播放延時，那么則需要加快播放速率以降低播放延時?？蛻舳诉€可以根據緩沖區狀態或當前網絡狀態來進行碼率自適應調節，決定下一請求分片的碼率級別，以盡量避免卡頓事件的發生。

在HTTP自適應流媒體直播服務中，服務器主要實現對視頻進行轉碼和切片。如圖2所示，服務器根據主播端編碼碼率上限和客戶端自適應模塊決策的分片碼率調整轉碼策略。分片碼率與分片時長共同決定了傳送到客戶端的數據量（即分片大小），而分片大小又與客戶端網絡狀態共同影響了緩沖區的填充速率。除限制服務器最高轉碼碼率外，主播端的編碼碼率還決定了上行網絡的傳輸數據量，與上行網絡狀態共同影響源視頻推流到服務器的時間，即上行延時。上行延時與下行延時（即視頻分片傳輸到客戶端的時間）共同構成了直播系統的傳輸延時。需要注意的是，由于前處理、轉碼、切片、解碼等階段的處理延時難以控制，因此圖2中并沒有體現處理延時對整個系統延時的影響。

2.2 QoE建模

QoE建模的目標是分析影響QoE的各項因素，并建立模型描述這些影響因素與主觀測試結果的關系，從而為流媒體直播系統的優化提供參考。現有的大多數針對直播服務的QoE建模流程如圖4所示，首先根據直播業務需求確定主觀測試的客觀環境以及媒體流樣本，再通過對樣本進行主觀測試和數據篩選來建立主觀QoE數據庫，數據庫應包含媒體流樣本素材、樣本對應的主觀分數以及相應的卡頓、畫面質量等客觀測試數據。然后，分析直播業務需求并確定QoE的影響因素，再對各影響因素與預測QoE之間的映射關系建模，并不斷調整模型結構、影響因素的選擇、影響因素分配權重等，來最小化預測QoE分數與主觀QoE得分之間的差距。在實際建模過程中，通常以均方根誤差（RMSE）、斯皮爾曼相關系數（SROCC）以及皮爾遜相關系數（PLCC）來衡量主觀QoE與預測QoE之間的相關程度。

大多數QoE建模采用了經典機器學習方法和深度學習方法。如C. G. BAMPIS等采用各種回歸模型如嶺回歸（RR）、支持向量回歸（SVR）以及隨機森林（RF）等來對畫面質量、碼率下降等QoE影響因素與用戶主觀評分的映射關系建模[8]；N. ESWARA等利用級聯的長短期記憶網絡（LSTM）來捕獲用戶QoE在時間軸上復雜的依賴關系以及對流媒體服務的非線性反應[9]；D. GHADIVARAM等將QoE影響因素分為3類：與卡頓相關的因素、與視頻內容相關的因素以及對客戶端緩沖區狀態的建模，并將這些影響因素分別輸入到如圖5所示的Hammerstein-Wiener[10]非線性模型中，以進一步提取影響QoE的深層特征，然后將提取的深層特征組合輸入到SVR中以預測QoE，顯著提升了主觀QoE和預測QoE之間的相關性[11]。

3 HTTP自適應流媒體直播系統中的QoE優化策略

與點播相比，直播業務對QoE中的延時性能要求更高?？蓮牧髅襟w直播系統中的服務器端、傳輸網絡和客戶端進行旨在提高QoE性能的優化。

3.1 服務器端優化

對于HTTP自適應流媒體直播來說，服務器的功能是提供適配客戶端需求的媒體流，其重點在于如何根據客戶端設備能力和網絡條件來快速準備適合的碼率分片，以降低延時，提高帶寬利用率并減小卡頓事件發生的概率。因此，服務器端的優化主要從調整分片長度和視頻編碼的碼率控制兩個方面進行。

在網絡狀況不穩定時，固定不變的分片時長會引起客戶端加載速率的劇烈變化，從而導致碼率切換頻繁，引起直播延遲與卡頓。針對上述問題，費澤松等根據客戶端請求碼率的變化，使切片長度在預設范圍內隨加載速率改變，并以流暢性作為QoE優化目標，實現了基于HLS的自適應碼率視頻直播的QoE監視與優化方法[12]。針對下載完整分片才能播放視頻的問題，低延時直播視頻傳輸平臺（L3VTP）將視頻傳輸粒度從分片級別降至幀級別，先將轉碼視頻直接推流到內容分發網絡（CDN），再直接推流到客戶端，省去了服務器切片處理和客戶端周期性請求分片的過程，從而降低直播系統的播放延時與處理延時[13]。

在流媒體系統中，視頻編碼器的碼率控制算法通常是針對連續碼流設計的，未將視頻切片情況考慮在內，缺乏對視頻分片層面的控制，從而導致生成的分片碼率相對設定值波動較大，引起帶寬浪費和卡頓。在低延時、小緩存的直播場景中，QoE表現得更差。詹亙等針對上述問題提出了基于切片級別進行比特分配的碼率控制算法[14]。在切片時長固定時，按照設定碼率為每個切片分配目標比特數。在給切片內所有幀分配比特時，對切片的幀類型構成進行預測，并為不同類型幀分配不同權值，再根據權值進行幀級別的比特分配。通過建立基于殘差變換絕對值和（SATD）和量化系數的線性預測模型，利用模型迭代進行宏塊級別的量化系數調整，從而實現單幀碼率的準確控制。實驗結果表明，與x264編碼器相比，該編碼方案將視頻切片碼率波動降低了76%。

3.2 網絡傳輸優化

針對傳輸網絡優化的研究可分為兩類：通過合理部署網絡架構或選擇數據中心的方式來優化傳輸；通過優化或改變流媒體傳輸協議來有效降低傳輸延時。

在保持原有網絡架構的基礎上，可使用軟件定義網絡（SDN）來實現網絡構架的靈活部署。例如，P. H. THING等將所有路由協議集成在一個SDN環境中，通過拓撲管理器收集鏈路拓撲信息，通過流量管理器檢測各路由的網絡狀況，并基于上述拓撲信息和網絡狀況設計了一個動態最優路徑選擇算法，實現了基于SDN的流媒體傳輸最優路徑的選擇，提升了鏈路利用率[15]。直播平臺通常選用租借的云服務器來提供視頻轉碼、傳輸以及響應用戶請求的直播服務，然而由于直播端與客戶端分布廣泛，使用基于云的數據中心來滿足用戶需求仍然具備挑戰性，C. DONG等提出了一種為主播端和客戶端動態選擇數據中心的算法，在保證用戶QoE的前提下，為直播服務提供商節省了運行成本[16]。

大多數直播傳輸方案在傳輸層均依賴于傳輸控制協議（TCP）。然而，TCP在數據傳輸前須完成3次握手以建立連接，如果使用加密Web服務，還須增加一次安全套接字協議/安全傳輸層協議（SSL/TLS）握手。與用戶數據報協議（UDP）相比，這種按序傳輸的可靠連接會引入建立連接、丟包重傳等延時。針對上述問題，TCP快速連接協議（TFO） [17]利用cookie信息在確認字符回到接收端前發送數據，從而在建立握手的同時還進行了有效的數據傳輸，有效降低了延時，但是由于兼容性較差未被廣泛采用；谷歌提出快速UDP網絡連接協議（QUIC），通過類似TFO的技術使傳輸握手和加密同時完成，實現了在一個往返延時（RTT）內建立可靠連接的功能[18]。如圖6（a）所示，客戶端在建立會話時可將cookie和加密數據直接發送至服務器，服務器再利用這些信息對客戶端進行驗證，驗證通過即開始接收數據。之后客戶端可在本地緩存加密認證信息，從而在與服務器恢復會話時實現零RTT的連接延遲，如圖6（b）所示。此外，SHI H.等針對延時敏感業務，提出了延時敏感性傳輸協議（DTP），將若干數據包組成的數據單元抽象為數據塊，根據數據包的接收截止時間和優先級、數據塊的剩余大小以及鏈路網絡狀態來決定數據包發送的先后順序[19]。

3.3 客戶端優化

相對于自適應流媒體點播系統，直播的流媒體數據不是事先制作并保存在服務器中的，而是從主播端實時采集并推流到服務器端的。所以直播客戶端的碼率自適應在考慮點播QoE影響因素的基礎上，還增加了延時因素，通常綜合卡頓、碼率質量、碼率切換以及延時等影響因素來進行客戶端的碼率自適應決策。

客戶端的碼率自適應決策算法可分為啟發式算法和模型法。啟發式算法是一種基于直觀或經驗構造的算法。如XIE L.等認為在直播場景的客戶端小緩沖區前提下，帶寬以及帶寬波動的識別至關重要，因此提出了一種基于緩沖區閾值、帶寬瞬時值以及帶寬波動狀態的碼率自適應算法，以降低卡頓率為目標，實現了低延遲條件下的無縫播放，減少了碼率切換的頻次，提高了用戶體驗質量[20]。針對碼率自適應問題的模型法可以分為：控制理論、效用最優化問題以及強化學習方法等。近年來，客戶端的碼率自適應優化大多基于強化學習的方法，并采用動態獎勵函數來實現直播流媒體碼率的自適應優化。例如BitLat[21]和HD3[22]基于延時、緩沖時間、分片碼率等影響因素建立QoE線性預測模型，并將預測QoE作為動態獎勵函數來實現直播場景下的碼率控制和延遲控制。

除了對下載分片碼率進行自適應調整外，還可以通過調整播放速率來實現基于客戶端的混合自適應控制策略。播放速率自適應（AMP）算法根據網絡狀況和客戶端緩沖區占用量實時調整客戶端視頻的播放速度，以降低客戶端的播放延時。如ZHANG G.等依據直播的低延時要求，提出了一種聯合調整分片碼率和播放速率的自適應算法，最終使得直播視頻在保證一定畫面質量的同時降低了播放時延[23]。此外，客戶端通常還以丟幀的形式來引入延時控制機制，以滿足直播對實時性的要求。如MILLER K.等利用基于客戶端的帶寬預測和對預測誤差分布的估計，通過跳過部分視頻片段來降低延時，并利用碼率過渡函數來避免碼率切換幅度過大帶來的突兀感[24]；HONG R.等通過跳幀的機制來最小化基于直播端到端延時的緩沖區閾值，提升了平均QoE[25]；Vabis[26]是一種跨服務器端和客戶端的QoE優化策略，實現了基于幀級別的細粒度碼率控制，并在客戶端引入了3種延時機制，將直播平均延時降低了32%～77%，并提高了28%～67%的平均QoE。然而，目前針對端到端的自適應流媒體直播系統的優化還比較少，因此在這方面有待于進一步研究與探討。

4 結束語

本文首先介紹了HTTP自適應流媒體直播系統框架，并對其QoE影響因素進行分析，最后針對HTTP自適應流媒體直播系統中的QoE優化策略進行了總結。HTTP自適應流媒體直播系統的優化目前還存在以下問題：

（1）由于自適應機制不可避免地引入包括轉碼、切片、自適應決策在內的處理延時，因此不適用于“電商帶貨”等對超低延時有需求的直播場景。

（2）現有的QoE優化大多針對客戶端應用層的影響因素，或者將傳輸優化和客戶端優化單獨考慮，沒有考慮網絡層和應用層相互作用的關系對QoE的影響，而網絡傳輸延時是整個直播系統延時的重要組成部分；因此，想要從本質上降低整個系統的延時，有必要深入研究網絡層與應用層之間的復雜關系，綜合考慮網絡層與應用層影響因素，實現對自適應流媒體直播系統的跨層QoE優化。

參考文獻

[1] WOWZA. 2019 Video streamimg latency report[EB/OL]. [2020-12-10]. https：//www.wowza. com/wp-content/uploads/Streaming-Video-Latency-Report-Interactive-2020.pdf

[2] Smooth streaming protocol [EB/OL]. （2020-10-30）[2020-12-10]. https：//docs.microsoft.com/en-us/openspecs/windows_ protocols/ms-sstr/8383f27f-7efe-4c60-832a-387274457251

[3] HTTP live streaming [EB/OL]. [2020-12-10]. https：//developer.apple.com/documentation/ http_live_streaming

[4] Configure HTTP dynamic streaming and HTTP live streaming using AMS [EB/OL]. [2020-12-10]. https：//helpx.adobe.com/adobe-media-server/dev/configure-dynamic-streaming-live-streaming.html#overview_of_http_ dynamic_streaming_and_http_live_streaming

[5] SODAGAR I. The MPEG-DASH standard for multimedia streaming over the Internet[J]. IEEE multimedia， 2011， 18（4）： 62-67. DOI：10.1109/mmul.2011.71

[6] Enabling low-latency HLS [EB/OL]. [2020-12-10]. https：//developer.apple.com/documentation/http_live_streaming/enabling_low-latency_hls

[7] DASH-IF. Low-latency modes for DASH [EB/ OL]. [2020-12-10]. https：//dashif.org/docs/ CR-Low-Latency-Live-r8.pdf

[8] BAMPIS C G， BOVIK A C. Learning to predict streaming video QoE： distortions， rebuffering and memory [EB/OL]. [2020-12-10]. https： // arxiv.org/abs/1703.00633

[9] ESWARA N， ASHIQUE S， PANCHBHAI A， et al. Streaming video QoE modeling and prediction： a long short-term memory approach[J]. IEEE transactions on circuits and systems for video technology， 2020， 30（3）： 661-673. DOI：10.1109/tcsvt.2019.2895223

[10] GHADIYARAM D， PAN J， BOVIK A C. A time-varying subjective quality model for mobile streaming videos with stalling events[C]//SPIE Optical Engineering + Applications. International Society for Optics and Photonics. USA： SPIE， 2015

[11] GHADIYARAM D， PAN J， BOVIK A C. Learning a continuous-time streaming video QoE model [J]. IEEE transactions on image processing， 2018， 27（5）： 2257-2271. DOI：10.1109/tip.2018.2790347

[12] 費澤松， 王飛， 孫堯， 等. 一種自適應碼率視頻直播的QoE監控和優化方法： CN105357591A[P]. 2016

[13] YI G， YANG D， WANG M W， et al. L3VTP： a low-latency live video transmission platform[C]//Proceedings of the ACM SIGCOMM 2019 Conference Posters and Demos on -SIGCOMM Posters and Demos， 19. New York， NY， USA： ACM Press， 2019： 138-140. DOI：10.1145/3342280.3342336

[14] 詹亙， 肖晶， 陳宇靜， 等.面向自適應碼率視頻直播的碼率控制算法 [J]. 計算機工程， 2019， 45（3）： 268-272

[15] THINH P H， DAT N T， NAM P N， et al. An efficient QoE-aware HTTP adaptive streaming over software defined networking [J]. Mobile networks and applications， 2020， 25（5）： 2024-2036. DOI：10.1007/s11036-020-01543-1

[16] DONG C， WEN W， XU T， et al. Joint Optimization of data-center selection and video-streaming distribution for crowdsourced live streaming in a geo-distributed cloud platform [J]. IEEE Transactions on Network and Service Management， 2019：1-1

[17] CHENG Y， CHU J， RADHAKRISHNAN S， et al. TCP fast open [R]. RFC Editor， 2014

[18] CUI Y， LI T X， LIU C， et al. Innovating transport with QUIC： design approaches and research challenges [J]. IEEE Internet computing， 2017， 21（2）： 72-76. DOI：10.1109/mic.2017.44

[19] SHI H， CUI Y， QIAN F， et al. DTP： deadline-aware transport protocol [C]//Proceedings of the 3rd Asia-Pacific Workshop on Networking 2019. New York， NY， USA： ACM， 2019： 1–7. DOI：10.1145/3343180.3343191

[20] XIE L， ZHOU C， ZHANG X G， et al. Dynamic threshold based rate adaptation for HTTP live streaming [C]//2017 IEEE International Symposium on Circuits and Systems （ISCAS）. Baltimore， MD， USA： IEEE， 2017. DOI：10.1109/ iscas.2017.8050574

[21] WANG C， GUAN J F， FENG T T， et al. BitLat： bitrate-adaptivity and latency-awareness algorithm for live video streaming[C]//Proceedings of the 27th ACM International Conference on Multimedia. New York， NY， USA： ACM， 2019： 2642–2646. DOI：10.1145/3343031.3356069

[22] JIANG X L， JI Y S. HD3： distributed dueling DQN with discrete-continuous hybrid action spaces for live video streaming [C]// Proceedings of the 27th ACM International Conference on Multimedia. New York， NY， USA： ACM， 2019： 2632–2636. DOI：10.1145/3343031.3356052

[23] ZHANG G H， LEE J Y B. LAPAS： latency-aware playback-adaptive streaming[C]//2019 IEEE Wireless Communications and Networking Conference （WCNC）. Marrakesh， Morocco： IEEE， 2019： 1-6. DOI： 10.1109/ wcnc.2019.8885622

[24] MILLER K， AL-TAMIMI A K， WOLISZ A. QoE-based low-delay live streaming using throughput predictions [J]. ACM transactions on multimedia computing， communications， and applications， 2017， 13（1）： 1-24. DOI： 10.1145/2990505

[25] HONG R Y， SHEN Q W， ZHANG L， et al. Continuous bitrate & latency control with deep reinforcement learning for live video streaming [C]//Proceedings of the 27th ACM International Conference on Multimedia. New York， NY， USA： ACM， 2019： 2637–2641. DOI：10.1145/3343031.3356063

[26] FENG T T， SUN H F， QI Q， et al. Vabis： video adaptation bitrate system for time-critical live streaming [J]. IEEE transactions on multimedia， 2020， 22（11）： 2963-2976. DOI：10.1109/ tmm.2019.2962313

作者簡介

宋靳錁，中國傳媒大學信息與通信工程學院在讀碩士研究生；主要研究方向為流媒體系統的QoE優化。

張遠，中國傳媒大學媒體融合與傳播國家重點實驗室副主任、教授；主要研究方向為多媒體通信、智能媒體分析與處理。

王博，中國傳媒大學信息與通信工程學院在讀碩士研究生；主要研究方向為實時音視頻通信。