自適應(yīng)動(dòng)態(tài)視頻流傳輸策略研究

◆金志平 梁志標(biāo) 劉勝華 王宇

（1.中山職業(yè)技術(shù)學(xué)院信息工程學(xué)院 廣東 528400；2.廣州歡聚時(shí)代信息科技有限公司 廣東 510000；3.廣州大學(xué) 廣東 510000）

隨著計(jì)算機(jī)網(wǎng)絡(luò)與多媒體技術(shù)的發(fā)展，通過(guò)網(wǎng)絡(luò)傳輸實(shí)時(shí)多媒體數(shù)據(jù)得到了廣泛的應(yīng)用和發(fā)展。和傳統(tǒng)多媒體技術(shù)相比，網(wǎng)絡(luò)直播等應(yīng)用場(chǎng)景對(duì)視頻傳輸速率和質(zhì)量提出了更高要求。如何降低網(wǎng)絡(luò)環(huán)境對(duì)傳輸性能的干擾，極大程度地保證視頻接收端準(zhǔn)確接收與還原原始數(shù)據(jù)成了廣大學(xué)者和技術(shù)人員研究的熱門課題。

在網(wǎng)絡(luò)上傳輸視頻數(shù)據(jù)時(shí)多采用基于無(wú)連接的UDP 協(xié)議，或是以UDP 為基礎(chǔ)的RTP 協(xié)議[1-2]。而UDP 鏈接及RTP 協(xié)議不具備視頻流數(shù)據(jù)傳輸所需要的擁塞控制、數(shù)據(jù)重傳與幀選擇丟棄等功能，這就需要視頻流傳輸算法設(shè)計(jì)一套適合業(yè)務(wù)需要的策略。視頻信息等流媒體傳輸具有區(qū)別與其他文件傳輸?shù)淖陨硖攸c(diǎn)[3]。而視頻傳輸又因視頻信息的使用場(chǎng)景不同（如視頻監(jiān)控、網(wǎng)絡(luò)直播等）而有所區(qū)別[4-6]。文獻(xiàn)[7]介紹了視頻傳輸系統(tǒng)的基本結(jié)構(gòu)與設(shè)計(jì)方法。文獻(xiàn)[8]討論了在網(wǎng)絡(luò)環(huán)境變化時(shí)的自適應(yīng)策略，即主要提出了網(wǎng)絡(luò)有波動(dòng)等情況時(shí)限制網(wǎng)絡(luò)傳輸速率的策略來(lái)提高網(wǎng)絡(luò)傳輸質(zhì)量。文獻(xiàn)[9]結(jié)合了編解碼來(lái)考慮視頻傳輸?shù)膯?wèn)題。文獻(xiàn)[10]考慮了在公共網(wǎng)絡(luò)異常時(shí)自建網(wǎng)絡(luò)來(lái)提高多媒體網(wǎng)絡(luò)傳輸性能。文獻(xiàn)[11]提出了一種將網(wǎng)絡(luò)編碼與多路徑傳輸結(jié)合后應(yīng)用到互聯(lián)網(wǎng)視頻直播上傳中的方法。文獻(xiàn)[12]設(shè)計(jì)了一種適用于3D 視頻傳輸?shù)哪：赃m應(yīng)算法，選用緩存狀態(tài)和估計(jì)網(wǎng)絡(luò)吞吐量作為視頻質(zhì)量選擇依據(jù)。文獻(xiàn)[13]針對(duì)當(dāng)前多媒體視頻流傳輸控制中存在丟包率和時(shí)延高的問(wèn)題，提出一種多媒體多通道交互視頻流多點(diǎn)傳輸控制方法。文獻(xiàn)[14]提出一種模型，通過(guò)使用PFRING+TNAPI 技術(shù)，并結(jié)合內(nèi)存路由表、多核、多隊(duì)列多線程等相關(guān)技術(shù)確保視頻流的高性能傳輸。綜合目前研究現(xiàn)狀，提高網(wǎng)絡(luò)傳輸音視頻的質(zhì)量的核心在于設(shè)計(jì)一套合適的網(wǎng)絡(luò)傳輸策略來(lái)保證在網(wǎng)絡(luò)狀態(tài)變差的情況下仍有良好的傳輸效果。

基于現(xiàn)有理論與技術(shù)還沒(méi)有得到統(tǒng)一的解決，本文主要探討網(wǎng)絡(luò)環(huán)境出現(xiàn)波動(dòng)，有丟包情況發(fā)生時(shí)的自適應(yīng)視頻流傳輸問(wèn)題。論文以當(dāng)前歷史網(wǎng)絡(luò)狀態(tài)為依據(jù)，對(duì)下一時(shí)刻的網(wǎng)絡(luò)狀態(tài)進(jìn)行預(yù)測(cè)，在此基礎(chǔ)上自動(dòng)調(diào)節(jié)視頻流數(shù)據(jù)傳輸速率，以緩解擁塞現(xiàn)象的加劇。對(duì)于丟失的數(shù)據(jù)包，在網(wǎng)絡(luò)帶寬可以承受的情況下，盡可能地重傳予以恢復(fù)丟包數(shù)據(jù)。當(dāng)控制數(shù)據(jù)流傳輸速率后，如果仍無(wú)法緩解丟包和時(shí)延增大的情況，論文嘗試有選擇性地丟棄非關(guān)鍵性數(shù)據(jù)，從而保證在網(wǎng)絡(luò)環(huán)境惡化時(shí)仍能極大可能地傳輸最基本的視頻圖像信息。

1 自適應(yīng)傳輸算法

網(wǎng)絡(luò)直播、視頻會(huì)議等應(yīng)用通過(guò)網(wǎng)絡(luò)媒介將視頻影像實(shí)時(shí)地傳遞給對(duì)方，使得在不同地方的雙方可以方便地交流與溝通。通過(guò)網(wǎng)絡(luò)傳輸視頻的流程如圖1所示，其中A 為視頻流的上傳端（視頻源提供者，主播端），B 為網(wǎng)絡(luò)媒介，C 為視頻信息接收端（觀眾端）。通常主播和觀眾端不直接相連，而是都與服務(wù)器網(wǎng)絡(luò)相連，主播端將視頻數(shù)據(jù)首先傳送到服務(wù)器，然后服務(wù)器再將數(shù)據(jù)量推送給觀眾端。單個(gè)觀眾端和服務(wù)器的網(wǎng)絡(luò)狀態(tài)不好甚至網(wǎng)絡(luò)連接中斷不影響其他觀眾端從服務(wù)器接收和觀看視頻信息。但是，如果主播端和服務(wù)器的網(wǎng)絡(luò)中斷，或者主播端上傳視頻流到服務(wù)器失敗，所有的觀眾端都無(wú)法正常接收視頻信息。因此主播端的視頻上傳策略直接影響視頻傳輸?shù)馁|(zhì)量。服務(wù)器端向觀眾端轉(zhuǎn)發(fā)視頻流數(shù)據(jù)的策略和主播端向服務(wù)器上傳數(shù)據(jù)的策略類似。

圖1 視頻流傳輸模型

為了量化網(wǎng)絡(luò)質(zhì)量，服務(wù)器接收到發(fā)送端（主播端）發(fā)送的數(shù)據(jù)后給發(fā)送端返回一個(gè)確認(rèn)消息，發(fā)送端統(tǒng)計(jì)發(fā)送出去的數(shù)據(jù)包和接收到的數(shù)據(jù)包數(shù)目，記第i時(shí)刻總發(fā)送出去的數(shù)據(jù)包數(shù)為ni，接收到的數(shù)據(jù)包確認(rèn)數(shù)為mi，定義丟包率為L(zhǎng)i為：

式（1）表示的丟包率簡(jiǎn)單直接，但是受系統(tǒng)抖動(dòng)的影響較大，所以將i時(shí)刻的丟包率修正為

為了提高網(wǎng)絡(luò)傳輸質(zhì)量，我們采用以下幾個(gè)策略來(lái)優(yōu)化系統(tǒng)。

策略1：發(fā)送端重發(fā)在超時(shí)時(shí)間內(nèi)沒(méi)有收到服務(wù)器確認(rèn)的消息包，重發(fā)沒(méi)有確認(rèn)的消息包，但最多只重發(fā)兩次。

發(fā)送端發(fā)送視頻數(shù)據(jù)給服務(wù)器后，由于某種原因?qū)е聰?shù)據(jù)包的丟失，如果不采取補(bǔ)救措施，將會(huì)引起服務(wù)器端的數(shù)據(jù)不準(zhǔn)確，最終導(dǎo)致視頻接收端無(wú)法正確解碼。現(xiàn)采用策略1 對(duì)數(shù)據(jù)包進(jìn)行重傳，從而保證數(shù)據(jù)的完整性。但是也不能一直重復(fù)發(fā)生，否則將會(huì)發(fā)生大量過(guò)時(shí)數(shù)據(jù)，甚至引起網(wǎng)絡(luò)擁塞。

由式（2）得到當(dāng)前網(wǎng)絡(luò)丟包率后，用下式對(duì)下一時(shí)刻的網(wǎng)絡(luò)情況進(jìn)行預(yù)測(cè)

策略2：下一時(shí)刻的網(wǎng)絡(luò)發(fā)包速率策略為

其中vmax 為最大發(fā)包速率。

式（3）綜合考慮了當(dāng)前與歷史時(shí)刻的網(wǎng)絡(luò)狀態(tài)，然后對(duì)下一時(shí)刻的網(wǎng)絡(luò)狀態(tài)進(jìn)行預(yù)測(cè)，從而為后面的發(fā)包速率控制提供依據(jù)。（4）式反映了網(wǎng)絡(luò)狀況與發(fā)包速率的關(guān)系，網(wǎng)絡(luò)狀態(tài)越好，發(fā)送數(shù)據(jù)的速率越快。如若網(wǎng)絡(luò)丟包很嚴(yán)重，不做任何控制還是繼續(xù)發(fā)送大量數(shù)據(jù)，很有可能加重網(wǎng)絡(luò)的擁堵，最終使得系統(tǒng)完全無(wú)法正常工作。相反，在系統(tǒng)網(wǎng)絡(luò)質(zhì)量不好或者系統(tǒng)處理不過(guò)來(lái)的時(shí)候，減緩數(shù)據(jù)發(fā)送，給予系統(tǒng)更大恢復(fù)的可能性，增強(qiáng)整個(gè)系統(tǒng)的自適應(yīng)能力。

策略3：在系統(tǒng)使用策略2 之后還是無(wú)法緩解網(wǎng)絡(luò)狀況時(shí)，丟棄除關(guān)鍵幀以外的數(shù)據(jù)來(lái)減少數(shù)據(jù)量。

當(dāng)網(wǎng)絡(luò)限制網(wǎng)速后，還是存在比較嚴(yán)重的網(wǎng)絡(luò)問(wèn)題時(shí)，如果只是單純的降低網(wǎng)速，而不從源頭減少數(shù)據(jù)總量，會(huì)迅速積累很多過(guò)時(shí)的歷史數(shù)據(jù)，這些過(guò)時(shí)的數(shù)據(jù)就算發(fā)送出去也有可能被接收端當(dāng)作垃圾數(shù)據(jù)丟棄掉。因此，為了最大程度地減輕網(wǎng)絡(luò)負(fù)擔(dān)，從源頭上降低數(shù)據(jù)總量是最合理的選擇。視頻信息中，關(guān)鍵幀I 幀不依賴于其他幀，可以獨(dú)立解析，因此保留這些幀而丟棄其他非關(guān)鍵幀，可以在降低畫質(zhì)的情況的下最大程度地減輕網(wǎng)絡(luò)負(fù)擔(dān)。當(dāng)然，丟棄的比例需要在畫質(zhì)和網(wǎng)絡(luò)狀況之間做出權(quán)衡。

2 系統(tǒng)實(shí)現(xiàn)

我們采用C++語(yǔ)言來(lái)實(shí)現(xiàn)上面策略，主要功能模塊的代碼片段如下所示。calculateVelocity（）函數(shù)計(jì)算當(dāng)前及歷史丟包速率，并對(duì)下一時(shí)刻的發(fā)包速率進(jìn)行預(yù)測(cè)，從而產(chǎn)生對(duì)應(yīng)的發(fā)包策略；onTimer（）函數(shù)重發(fā)超時(shí)沒(méi)有確認(rèn)的消息，并丟棄發(fā)送次數(shù)超過(guò)最大次數(shù)的包；sendVideoPackage（）函數(shù)最終將包發(fā)送給服務(wù)器，同時(shí)如果系統(tǒng)處于網(wǎng)絡(luò)環(huán)境惡劣的情況，丟棄除關(guān)鍵幀意外的其他數(shù)據(jù)。

3 實(shí)驗(yàn)分析

為了驗(yàn)證前述策略的有效性，本文搭建實(shí)驗(yàn)平臺(tái)進(jìn)測(cè)試，測(cè)試結(jié)果如圖1所示。從圖中可以看出，當(dāng)丟包率比較低（小于0.05）的時(shí)候上述兩種策略都能夠通過(guò)重傳策略保證數(shù)據(jù)的完整性，此時(shí)接收端的數(shù)據(jù)準(zhǔn)確性為100%，或者非常接近100%。但是隨著網(wǎng)絡(luò)狀態(tài)變差，丟包率慢慢變大時(shí)，策略2 相比策略1 具有更高的接收端數(shù)據(jù)成功率。

圖2 不同策略下的接收成功率

4 總結(jié)

本文主要考慮了網(wǎng)絡(luò)環(huán)境異常情況下的視頻流數(shù)據(jù)傳輸問(wèn)題。基于歷史和當(dāng)前網(wǎng)絡(luò)狀態(tài)預(yù)測(cè)下一時(shí)刻網(wǎng)絡(luò)情況的策略，為及時(shí)發(fā)現(xiàn)和應(yīng)對(duì)網(wǎng)絡(luò)異常情況提供了一條有效的途徑。重傳算法和主動(dòng)丟棄非關(guān)鍵幀數(shù)據(jù)的策略在實(shí)際應(yīng)用中具有較強(qiáng)的實(shí)用性。