基于RTP/RTCP主動丟包的立體視頻傳輸研究

李少博，王曉東，周 宇，陳美子，章聯軍

(寧波大學信息科學與工程學院，浙江寧波315211)

1 概述

隨著多媒體技術和網絡通信技術的迅猛發展，由于立體視頻數據量龐大，在不穩定的網絡中傳輸視頻流容易導致碼流丟失，從而降低終端視頻質量，因此立體視頻相關傳輸技術成為目前廣泛研究的熱點［1］。目前對傳輸技術的研究主要集中在傳輸模式、傳輸控制和差錯控制等3個領域［2］。其中，傳輸模式通常有單播、廣播、組播和P2P模式，單播的傳輸效率及帶寬利用率都比較低，廣播傳輸效率高，但產生了額外的網絡流量，比較實用的是組播和P2P模式，組播效率較高，但中間路由節點管理難度較大，P2P方式傳輸可以通過有效分配網絡帶寬來解決現有的網絡負載過重等問題，獲得較高的傳輸性能，但如何實現有效分配帶寬資源是難點。傳輸控制領域的研究重點是擁塞控制，常見的擁塞控制方法有基于窗口的擁塞控制、基于速率的擁塞控制以及基于丟包的擁塞控制。基于窗口擁塞控制方法主要是通過在發送端或者接收端調整窗口大小以實現TCP友好與公平，其調節方式主要是加性增乘性減(Additive Increase Multiplicative Decrease，AIMD);基于速率的擁塞控制根據丟包率和往返時間RTT來調整發送速率，從而實現媒體流的平滑傳輸。TFRC(TCP-Friendly Rate Control)是基于TCP吞吐量模型的端到端友好擁塞控制協議，能獲得相對平滑的發送速率，在視頻傳輸中應用廣泛;目前，基于丟包的擁塞控制方法研究的重點是如何建立合適的失真模型以區分數據重要性，然后通過主動丟包的方式實現擁塞控制，但往往復雜度比較高。主流的差錯控制技術包括前向冗余糾錯(Forward Error Correction，FEC)、自動請求重傳技術(Automatic Repeat Request，ARQ)和解碼端錯誤隱藏技術，前向冗余糾錯和自動請求重傳技術都會增加額外負載，而解碼端錯誤隱藏技術則不需編碼端的任何反饋信息，不占用信道資源，同時不會產生額外的傳輸延遲，是目前最常用的差錯控制技術。

本文主要研究基于編解碼依賴關系的幀重要性區分方法［3］，對每個GOP中的幀進行重要性劃分，其中，I幀最重要，P幀次之，B幀最不重要，并標記相應的優先級，然后依據優先級分配不等的帶寬。在網絡擁塞時，首先滿足優先級較高的數據所需帶寬，同時在解碼端采用錯誤隱藏技術，進而對視頻進行修復。以此為基礎，本文首先搭建基于NS2的立體視頻傳輸平臺，然后根據解碼依賴關系的幀重要性區分方法和RTP/RTCP協議封裝與反饋機制，在發送端實現基于重要性等級進行的調度管理方案，從而緩解網絡的擁塞程度，降低重要信息在轉發時的丟包幾率，實現對重要信息的保護，同時能增加解碼端的視頻可解碼幀數與視頻平滑度。

2 立體視頻傳輸平臺

立體視頻傳輸系統的構建與實現，無論是對于理論研究還是實際應用，都具有深刻的意義。首先需要分析系統的發展過程得到系統的總體框架［4］。歐盟于2002年開展了 ATTEST項目的研究［5］，在ATTEST項目的基礎上，MERL實驗室于2004年構建了自己的立體視頻傳輸系統，其基本的設計思想來源于ATTEST原型系統。微軟亞洲研究院從交互和傳輸的角度出發，建立了基于 IP(Internet Protocol)組播的多視點視頻傳輸系統［6-8］，該系統定義了3種特效視頻，能夠為用戶提供良好的視覺觀賞體驗。針對手持計算機、移動電話等小型便攜式設備，歐盟于2008年 -2011年間建立了 Mobile 3DTV 系統［9-11］。

文獻［12-13］主要實現了 MPEG，H．264等編碼格式的碼流在NS2平臺的模擬傳輸，但是只考慮了單視點視頻的傳輸仿真，并沒有在提高傳輸效率和魯棒性等方面做更深入的研究。本文為實現立體視頻在網絡中的仿真傳輸，在單視點視頻的傳輸仿真基礎上，提出了基于NS2的立體視頻傳輸框架，并完成了其仿真平臺的搭建工作。立體視頻傳輸仿真框架如圖1所示。

圖1 立體視頻傳輸框架

首先，在JM編碼平臺將左右2個視點的YUV原始序列編碼得到發送端H．264文件，同時輸出Trace_file文件;然后對Trace_file文件進行修正，完成后得到適合NS2傳輸的Send_Trace文件，再通過NS2網絡模擬仿真，得到接收端的接收文件Receive_Trace;之后根據Send_Trace文件、Receive_Trace文件和發送端H．264文件，提取出接收端H．264文件;最后在JM解碼平臺解碼得到左右視點的YUV文件，可在顯示器上播放。

3 擁塞控制策略

由于傳統的擁塞控制沒有考慮視頻的一些特點，例如幀的相關性、適量丟包容忍和延遲時限等。本文通過區分幀重要性，并依據不同重要程度進行不同的調度，適當丟棄一些不重要的數據幀，確保優先級高的數據優先傳輸，從而實現擁塞控制策略。

3．1 幀重要性區分

在立體視頻中，各個視頻幀的重要性是有差異的。目前，幀重要性區分方法主要分為2種:一種是基于編解碼依賴關系的幀重要性區分方法，在一個GOP中，通常認為I幀最重要，P幀次之，B幀最不重要;另一種是根據幀重要性區分模型，對序列中的每一幀進行評估，該方法相比前一種方法來說更加準確，但計算復雜度增加，而且需要對每一幀進行計算，對編碼端要求較高。本文以低復雜度為基準，采用第一種方式對幀重要性進行簡單區分。

在圖2中，第1列序號若為奇數，則該行是左視點幀的相關信息，若為偶數，則是右視點幀的相關信息。從表中的標記區域可以看出，I幀和P幀數據的重要性都為最高等級，而B幀的重要性等級有進一步的劃分。

圖2 標記區域為優先級的相關信息

在立體視頻編碼過程中，左視點幀只有視點內參考編碼模式，而右視點幀既有視點內編碼又有視點間編碼模式，即右視點中的部分幀在編碼時參考了左視點對應幀的信息，由此可知，如果左視點幀丟失不僅會影響左視點后續幀的解碼，同時將會影響右視點當前幀以及后續幀的解碼，而右視點幀丟失則不會出現這種現象。所以在對B幀進行進一步重要性劃分時，充分考慮立體視頻編碼特性，認為左視點B幀的重要性要高于右視點對應時刻的B幀。

因此，如圖2中所示，右視點的B幀重要性等級為3，即為最不重要數據，左視點的B幀等級為2，為次重要數據。

3．2 調度策略

依據幀的不同重要性進行不同優先級的劃分，并根據RTP/RTCP協議封裝與反饋機制，在發送端主動丟棄不重要的幀信息，緩解網絡的擁塞程度，降低重要信息在轉發時的丟包幾率，從而最終實現對重要信息的保護。具體調度策略過程如下:

(1)在數據打包成RTP數據包時標記相對應的優先等級。

(2)將打包后的RTP數據包根據等級存放在不同等級的隊列中，利用RTCP的反饋信息(如丟包、延時、抖動等)，按照不同優先級，以一定的比例去調度不同等級隊列中的數據包，優先級高的隊列發送比例越大，具體流程如圖3所示。

圖3 基于RTP/RTCP主動丟包的調度流程

目前，在隊列調度的研究成果中主要有3種調度算法:輪詢式的調度算法，保證優先級的調度算法以及比例公平的調度算法。輪詢式的調度算法是最公平的，但同時其性能也被認為是最低的。保證優先級的調度算法的優點在于實現比較簡單，同時它能為不同業務提供不同等級的服務;缺點在于，如果高優先級隊列不為空，那么低優先級隊列中的分組就難以得到服務。比例公平的調度算法的原則是通過控制帶寬資源的分配，使得各優先級業務在指定的QoS參數上符合給定的比例。如果用，i=1，2，…，K;j=1，2，…，n 代表第 i個優先級的第 j個性能參數，K代表系統提供的業務優先級類別總數，n代表要保持比例公平的性能參數個數，則比例公平原則可以表示為:

本文依據反饋丟包信息作為性能參數，其優先級之比即為調度主動丟包個數之比:

其中，Δpac_num()為反饋間隔內該等級數據的數據包個數;Δtaltol_pac_num則為當前反饋間隔內所發送數據包個數;pri(i，j，k)表示優先級比例。根據比例公平隊列調度算法的思路，在對數據包進行調度時，采用主動丟包的方式，對低優先級的數據采用最大比例丟棄，相反等級越高丟棄比例越低，如式(3)所示:

其中，dis(i，j，k)為不同等級主動丟棄比例;high，mid，low分別對應相應的等級數據，比例公平的調度算法一方面考慮了不同隊列優先級的差異，另一方面考慮了不同隊列的公平性，是一種綜合性的解決方案。具體算法如下:

當出現擁塞，但丟包個數小于閾值limmin時，只丟棄最低等級的數據，即pri=3的數據，丟棄個數根據丟棄比例而定;當擁塞進一步加劇，反饋間隔內丟包個數處于limmin與limmax之間時，根據丟棄比例，對pri=3和pri=2的幀按照一定的比例進行主動丟棄;當嚴重擁塞時，則3個等級的幀按照比例都要丟棄;當不擁塞以及其他時刻，數據均正常發送。

4 實驗結果與分析

4．1 立體視頻編碼及碼流信息提取

根據本文提出的立體視頻傳輸框架，首先需要對2個視點的原始序列通過JM18．6編解碼平臺進行編碼獲得H．264碼流以及Tracefile文件;再根據Tracefile文件提取如圖2格式的相關數據信息，得到一個適于模擬傳輸的Send_Trace。

4．2 TCL腳本與網絡拓撲

在NS2網絡模擬器中，網絡拓撲結構的搭建都是通過編寫TCL腳本來實現的，為了滿足實驗的需要，本文搭建了如圖4所示的網絡拓撲結構。

圖4 傳輸網絡拓撲

圖4中包含了2個發送節點、2個接收節點以及2個路由轉發節點，本文采用基于RTP/RTCP協議的流媒體傳輸，其中，RTP Sender和RTP Receiver就是建立在該協議基礎進行傳輸的。對于UDP Sender和UDP Receiver加入是為了在傳輸期間提供一個競爭機制，制造擁塞情況的發生，從而調用發送端的主動丟包算法，實現對重要信息的保護。

4．3 碼流提取及解碼

搭建網絡拓撲結構以后，運行腳本文件，模擬流媒體在網絡中的傳輸，在通過碼流提取得到接收端H．264文件，解碼得到如圖5所示的結果。

在該實驗中，左右視點共編碼180幀，即左右視點各90幀，可以看到如果不采用任何主動丟包擁塞控制策略的情況下，接收端只能解碼出13幀的數據，如圖5中左側的一組圖所示;而采用了主動丟棄策略以后能夠解碼出15幀的數據，如圖5中間圖所示，可解碼的幀數有明顯增加。最后采用基于重要性的主動丟包的策略后，可解碼幀數又明顯增加，如圖5右側圖所示，從圖5上下圖中還可以看出，由于采用基于右視點B幀重要性比左視點對應位置B幀高的主動丟包策略，使得左視點可解碼幀數多于右視點。

表1中3組序列，每組序列左右視點均為90幀。通過3組不同序列的解碼幀數可以看出，采用主動丟包的策略后，可以提高接收端的解碼幀數，通過區分幀的重要性，對不同的幀有區別的進行丟棄，保護重要性高的數據，可解碼幀數又明顯增加，提高了視頻的流暢度和觀賞效果。

表1 不同序列可解碼幀數及提高比例

5 結束語

本文搭建了一個基于NS2的適合立體視頻傳輸的仿真平臺，并在此平臺上進行基于RTP/RTCP協議的主動丟包的立體視頻傳輸的研究，該主動丟包策略在現有網絡條件下，能有效保護視頻序列中較重要的數據，增加解碼端的可解碼幀數，提高視頻的平滑性和用戶的觀看質量。在主動丟包的過程中，由于大部分幀都沒有超過一個數據包的大小，都是采用主動丟幀的方式，對于可拆分為多個包的幀來說，并非這一幀內所有的宏塊都是重要的，因此如何根據不同宏塊的重要性進行主動丟包將是下一步研究的重點。

［1］ 周 洋，蔣剛毅，郁 梅，等．面向HBP編碼格式的立體視頻B幀整幀丟失分層錯誤隱藏算法［J］．電子與信息學報，2014，36(2):377-383．

［2］ 王騰飛，王曉東，胡彬彬，等．交互式立體視頻系統傳輸質量研究［J］．寧波大學學報，2014，27(1):37-43．

［3］ 樂德廣，靳 勇，郭東輝，等．基于幀重要性認知的網絡差錯控制策略［J］．通信學報，2011，32(11):11-20．

［4］ 楊 鈾，郁 梅，蔣剛毅．交互式三維視頻系統研究進展［J］．計算機輔助設計與圖形學學報，2009，21(5):569-574．

［5］ Redert A，de Beeck M O，Fehn C，et al．ATTEST:Advanced Three-dimensional Television System Technologies［C］//Proceedings of International Symposium on 3D Data Processing Visualization and Transmission．Thessalonikj，Greece:IEEE Press，2002:258-264．

［6］ Vetro A，Matusik W，Pfstef H，et al．Coding Approaches for End-to-end 3DTV Systems［C］//Proceedings of Picture Coding Symposium．San Francisco，USA:IEEE Press，2004:215-222．

［7］ Matusik W，Pfister H．3DTV:A Scalable System for Real-time Acquisition，Transmission and Autostereoscopic Display of Dynamic Scenes［J］．ACM Transactions on Graphics，2004，23(3):814-824．

［8］ Lou Jianguang，CaiHua，LiJiang．A RealTime Interactive Multi-view Video System［C］//Proceedings of the 13th Annual ACM International Conference on Multimedia．New York，USA:ACM Press，2005:548-557．

［9］ Zuo Li，Lou Jianguang，Cai Hua，et al．Multi-cast of Real-time Multi-view Video［C］//Proceedings of International Conferenceon Multimedia and Expo．Washington D．C．，USA:IEEE Press，2006:326-333．

［10］ Lou Jianguang，Cai Hua，Li Jiang．Interactive Multiview Video Delivery Based on IP Multicast［J］．Advances in Multimedia，2007，25:97535-97542．

［11］Mobile 3DTV Content Delivery Optimization over DVBH System［EB/OL］．(2012-10-21)．http://sp．cs．-tut．fi/mobile3dtv/results/summaries/Mobile3D-TV_FinalPublic Summary．pdf．

［12］ Ke C H，Shieh C K，Hwang W S，et al．An Evaluation Framework for More Realistic Simulations of MPEG Video Transmission［J］．Journal of Information Science and Engineering，2008，24(2):425-440．

［13］ Ke C H． myEvalSVC:An Integrated Simulation Framework forEvaluation ofH．264/SVC Transmission［J］． KSII Transactions on Internet and Information Systems，2012，6(1):378-393．