音視頻數(shù)據(jù)通信中自適應(yīng)多碼流網(wǎng)絡(luò)傳輸控制技術(shù)

摘 要 網(wǎng)絡(luò)多媒體通信逐漸成為人們生活、工作以及其他應(yīng)用中方便簡(jiǎn)潔的一種技術(shù)。網(wǎng)絡(luò)音視頻數(shù)據(jù)量相對(duì)于傳統(tǒng)的信息（如文本，圖片等）有更大的數(shù)據(jù)量，在網(wǎng)絡(luò)傳輸中因網(wǎng)絡(luò)硬件及其它因素造成的數(shù)據(jù)傳輸?shù)牟环€(wěn)定。為了保證數(shù)據(jù)的實(shí)時(shí)可靠的傳輸，根據(jù)長(zhǎng)時(shí)間開發(fā)音視頻通信的經(jīng)驗(yàn)，采用了一種從采集、編解碼，到網(wǎng)絡(luò)傳輸?shù)南嗷ヅ浜系谋ＷC數(shù)據(jù)的實(shí)時(shí)可靠的傳輸?shù)姆椒?，稱之為自適應(yīng)多碼流傳輸技術(shù)。

關(guān)鍵字 音視頻 ；流媒體 ；緩沖 ；多碼流

中圖分類號(hào)： TP393.09 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1671-489X（2007）07－0054-02

Adaptive Multi-Stream Web Transport and Control Technique in Multimedia Communication//He Yuhu， Zhou Shuyi

Abstract The internetmultimedia communication gradually becomes a convenient and concise technique in human’s life，work and other application.Because the audio-video multimedia data generallyis larger than traditional data such as text and picture ， the data transmission on web mustn’t steady for net hardware unstable working and other fluctuate.To ensure multimedia data transmission on the real time and reliable way， a method could be adapt which comes my programming experience of the web audio-video communication， that is named self-adapt multi-rate transmission technique which ensures data’s real time and steady operating in coordination in the data collecting ， encode-decode and net transmission .

Key wordAV， multimedia ， buffer ， multi-rate

Author’s address Beijing University of Technology， Beijing 100022

當(dāng)前網(wǎng)絡(luò)上應(yīng)用到音視頻媒體技術(shù)的軟件數(shù)不勝數(shù)：如QQ視頻聊天，MSN視頻會(huì)議，Windows Media流媒體發(fā)布，還有其他的一些如flash流的網(wǎng)絡(luò)音視頻插件。正是因?yàn)橐粢曨l媒體給人以直觀生動(dòng)感覺(jué)信息，可以預(yù)言在將來(lái)的網(wǎng)絡(luò)信息傳播中音視頻數(shù)據(jù)信息將占極大的一個(gè)比重。音視頻信息不同于其他媒體信息，具有實(shí)時(shí)、可容錯(cuò)性的特點(diǎn)，因此面向非連接的UDP/IP協(xié)議成為網(wǎng)絡(luò)傳輸中的首選。但是由于UDP/IP協(xié)議天生的不可靠性，以及目前網(wǎng)絡(luò)通信條件的限制，在實(shí)際應(yīng)用中常出現(xiàn)音視頻不同步，視頻不流暢，花頻，音頻噪音（如有規(guī)律的“嘟嘟”）等。針對(duì)這些問(wèn)題，作者通過(guò)應(yīng)用多碼流與網(wǎng)絡(luò)緩沖結(jié)合，并采用自適應(yīng)負(fù)反饋調(diào)節(jié)，基本解決了以上問(wèn)題，包括在網(wǎng)絡(luò)狀況比較差的64kb/s的modem上實(shí)現(xiàn)音視頻數(shù)據(jù)的比較流暢的傳輸。

1 網(wǎng)絡(luò)狀況分析

在多媒體數(shù)據(jù)傳輸中，網(wǎng)絡(luò)狀況大致可以通過(guò)網(wǎng)絡(luò)平均帶寬、網(wǎng)絡(luò)帶寬抖動(dòng)和網(wǎng)絡(luò)噪聲3方面來(lái)進(jìn)行描述。網(wǎng)絡(luò)平均帶寬反映的是網(wǎng)絡(luò)傳輸數(shù)據(jù)的最大承載量，無(wú)論是單點(diǎn)對(duì)單點(diǎn)，單點(diǎn)對(duì)多點(diǎn)，多點(diǎn)對(duì)多點(diǎn)的通信，其最終可簡(jiǎn)化到單點(diǎn)對(duì)單點(diǎn)的數(shù)據(jù)通信，兩點(diǎn)間的平均帶寬取決于網(wǎng)絡(luò)線路及中間環(huán)節(jié)（路由器，交換機(jī)等）。平均帶寬是一個(gè)相對(duì)恒定的數(shù)值。網(wǎng)絡(luò)帶寬抖動(dòng)是由于中間環(huán)節(jié)在處理中轉(zhuǎn)數(shù)據(jù)過(guò)程中造成的網(wǎng)絡(luò)實(shí)際帶寬隨時(shí)間變化而不斷變化的程度，此抖動(dòng)往往與網(wǎng)絡(luò)的跳數(shù)（中間的路由器和交換機(jī)的個(gè)數(shù)）成比例變化。而網(wǎng)絡(luò)噪聲是由多方面因素造成的，相對(duì)于網(wǎng)絡(luò)帶寬抖動(dòng)，網(wǎng)絡(luò)噪聲沒(méi)有規(guī)律且變化較快，波動(dòng)也比較大。網(wǎng)絡(luò)狀況分析的這3個(gè)方面中，平均帶寬是一個(gè)可測(cè)量（測(cè)兩點(diǎn)間的帶寬，可用不斷增加的發(fā)送速率發(fā)送打戳的UDP包，接收方給出反饋即可測(cè)出），而其他兩個(gè)量不可能測(cè)出，帶寬抖動(dòng)相對(duì)比較穩(wěn)定，可以根據(jù)前面的數(shù)據(jù)估計(jì)，網(wǎng)絡(luò)噪聲隨機(jī)性比較大。

根據(jù)網(wǎng)絡(luò)狀況分析的3方面的特點(diǎn)，給出相應(yīng)的解決策略。

（1）如果平均帶寬構(gòu)成對(duì)多媒體數(shù)據(jù)傳輸?shù)南拗疲ㄆ骄鶐捫∮诨蛘叽笾陆咏嗝襟w碼流），則必須對(duì)音視頻數(shù)據(jù)的碼流進(jìn)行調(diào)整。

（2） 根據(jù)網(wǎng)絡(luò)抖動(dòng)的情況，開辟適當(dāng)大小的音視頻接收緩沖區(qū)。

（3）對(duì)于網(wǎng)絡(luò)噪聲，采用立即增加緩沖和按需求申請(qǐng)重新發(fā)送的策略。

對(duì)于前兩條，并非始終不變，而需要自適應(yīng)變化。

2 自適應(yīng)多碼流

在通信前，對(duì)音視頻碼流進(jìn)行一次估計(jì)：例如320×200采集大小，24位真彩，25幀/秒，H263壓縮的視頻（壓縮比約50：1），8000Hz/秒，兩字節(jié)采樣點(diǎn)，雙聲道，G729壓縮（壓縮比16：1）。則音視頻碼流：L1=320*200*24*25/50+8000*16*2/16=784 kb/s 。

根據(jù)此數(shù)值對(duì)網(wǎng)絡(luò)進(jìn)行網(wǎng)速估計(jì)Vnet：分3步。

（1） 在1秒中發(fā)送784×1.2 /2=470 kb的UDP包群（乘1.2是安全系數(shù)），如果包群接近完全到達(dá)進(jìn)行下一步；否則Vnet=470 kb/s ， 跳出網(wǎng)速估計(jì)。

（2）在1秒中發(fā)送784×1.2 =940 kb的UDP包群（乘1.2是安全系數(shù)），如果包群接近完全到達(dá)進(jìn)行下一步；否則Vnet=940 kb/s ， 跳出網(wǎng)速估計(jì)。

（3）在1秒中發(fā)送784×1.2*2=1980 kb的UDP包群（乘1.2是安全系數(shù)），如果包群接近完全到達(dá)Vnet=1980 kb/s， 否則Vnet=784*1.2*1.5=1510 kb/s ， 跳出網(wǎng)速估計(jì)。

跳出網(wǎng)速估計(jì)后，假如估計(jì)網(wǎng)速Vnet < 音視頻碼流L1， 根據(jù)實(shí)際情況降低音視頻碼流。有兩種方法：①降低采集幀率 ；②提高壓縮比。兩種方法協(xié)同進(jìn)行。如果對(duì)視頻清晰程度有較高的要求，而視頻晃動(dòng)較小的情況下可以考慮著重降低采集幀率的方法，具體做法是在采集后的圖像幀送到壓縮器時(shí)丟棄。如果圖像運(yùn)動(dòng)頻繁，清晰度要求不太嚴(yán)格的情況下，著重考慮提高壓縮比的方法，一般采用動(dòng)態(tài)量化系數(shù)或者動(dòng)態(tài)量化表的方法，去掉更多的圖像細(xì)節(jié)以達(dá)到提高壓縮比的目的。如果網(wǎng)速過(guò)低，這兩種方法不足以達(dá)到要求時(shí)，沒(méi)有辦法，只要像Windows Media 流那樣真正的多碼流了：降低采樣的個(gè)數(shù)，如176×144。

前面所說(shuō)的估計(jì)網(wǎng)速Vnet并不是真實(shí)的網(wǎng)速，因此在實(shí)際傳輸過(guò)程中必須對(duì)Vnet進(jìn)行修正，由于平均帶寬是比較恒定數(shù)值，對(duì)Vnet的修正可以在比較長(zhǎng)的時(shí)間段做分析。具體的做法是設(shè)置一個(gè)變量P代表前一分鐘的丟包率，每一分鐘對(duì)P檢測(cè)，如果P大于某個(gè)數(shù)值則向發(fā)送方發(fā)送申請(qǐng)降低碼流的控制信息，發(fā)送方根據(jù)實(shí)際情況降低碼流；如果P小于某個(gè)數(shù)值，則發(fā)送網(wǎng)絡(luò)狀況良好，可以增加碼流的控制信息，發(fā)送方根據(jù)實(shí)際情況增加或者不改變碼流。P的值的算法在后面會(huì)介紹。

3 網(wǎng)絡(luò)緩沖處理

由于網(wǎng)絡(luò)抖動(dòng)的存在，必須開辟網(wǎng)絡(luò)接收緩沖區(qū)來(lái)減弱網(wǎng)絡(luò)抖動(dòng)造成的媒體數(shù)據(jù)信息傳輸?shù)膩G包現(xiàn)象。網(wǎng)絡(luò)抖動(dòng)一般呈波浪型，設(shè)網(wǎng)絡(luò)帶寬抖動(dòng)由T表示，由實(shí)踐觀察得知，網(wǎng)絡(luò)抖動(dòng)一般在數(shù)秒鐘的數(shù)量級(jí)出現(xiàn)，因此以5秒為一個(gè)觀察間隔。在初始狀態(tài)時(shí)不能預(yù)測(cè)網(wǎng)絡(luò)抖動(dòng)T的大小，就以估計(jì)網(wǎng)速Vnet的20%為初始值，以后在一定時(shí)間內(nèi)自動(dòng)調(diào)整。實(shí)際檢測(cè)中，設(shè)置兩個(gè)60×5=300長(zhǎng)度的整型數(shù)組，分別表示音頻和視頻最近300秒的每秒鐘的丟包數(shù):L[300](下標(biāo)從0到299)，同時(shí)設(shè)置一個(gè)隊(duì)頭指針，指向最新點(diǎn)，當(dāng)網(wǎng)絡(luò)接收丟了若干包后在這個(gè)最新點(diǎn)的數(shù)值加上丟包數(shù)，隊(duì)頭指針由1秒定時(shí)器控制，每秒加一。每5秒設(shè)置一個(gè)網(wǎng)絡(luò)抖動(dòng)計(jì)時(shí)器，用來(lái)記錄網(wǎng)絡(luò)抖動(dòng)的評(píng)估，取一個(gè)5秒鐘的變量Lf表示5秒鐘的丟包數(shù)，如果Lf大于某個(gè)數(shù)值，則網(wǎng)絡(luò)帶寬抖動(dòng)由T需要增加，如果小于某個(gè)數(shù)值則網(wǎng)絡(luò)帶寬抖動(dòng)由T需要減小。相應(yīng)的，前面所說(shuō)的估計(jì)網(wǎng)速Vnet也需要隨時(shí)進(jìn)行調(diào)整，設(shè)置一個(gè)一分鐘的定時(shí)器，取變量Lm表示前一分鐘的丟包數(shù)，根據(jù)Lm的取值對(duì)Vnet進(jìn)行適當(dāng)?shù)恼{(diào)整。

4 網(wǎng)絡(luò)噪聲的處理

網(wǎng)絡(luò)噪聲出現(xiàn)比較隨機(jī)，基本上沒(méi)有比較好的理論上的評(píng)估方案，實(shí)際上對(duì)網(wǎng)絡(luò)噪音的觀察是通過(guò)臨界帶寬通信觀察的數(shù)據(jù)。在網(wǎng)通512 kb/s的ADSL上做了一個(gè)實(shí)驗(yàn)：建立一個(gè)流量為500 kb/s的UDP連接，發(fā)送方每秒發(fā)送64個(gè)1 KB大小的包（即512kb），接收方設(shè)置1秒定時(shí)器，進(jìn)行長(zhǎng)時(shí)間的觀察，記錄如圖：

如圖，可以看到明顯突起的部分是由網(wǎng)絡(luò)噪聲造成的丟包波動(dòng)，時(shí)間維持長(zhǎng)度大約在10秒的時(shí)間段。實(shí)際處理時(shí)，設(shè)置一個(gè)10秒的定時(shí)器，觀察一秒前的丟包數(shù)，若丟包數(shù)大于某個(gè)數(shù)值，則認(rèn)為有網(wǎng)絡(luò)噪聲，增加緩沖區(qū)到某個(gè)數(shù)值，如果丟包數(shù)小于某個(gè)數(shù)值則認(rèn)為網(wǎng)絡(luò)噪聲停止，減小緩沖區(qū)個(gè)數(shù)。

5 結(jié)束語(yǔ)

對(duì)音視頻網(wǎng)絡(luò)數(shù)據(jù)的傳輸控制，有很多種方法，以上是作者在研究中分析總結(jié)自己實(shí)踐中的一些經(jīng)驗(yàn)，當(dāng)然會(huì)有不足之處，希望以后的研究能夠給予補(bǔ)充。