支持ＩＰｖ６的多視點(diǎn)視頻點(diǎn)播系統(tǒng)

摘要：介紹了多視點(diǎn)視頻點(diǎn)播系統(tǒng)的框架結(jié)構(gòu)，提出了多視點(diǎn)視頻系統(tǒng)的關(guān)鍵技術(shù)、網(wǎng)絡(luò)傳輸控制以及具體實(shí)現(xiàn)方法。

關(guān)鍵詞：多視點(diǎn)視頻；系統(tǒng)；編碼；交互

中圖分類號(hào)：TP39文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001－3695(2008)04－1250－04

多視點(diǎn)視頻[1]（multi－view video/3D video）是視頻處理領(lǐng)域中一種全新的應(yīng)用，其通過在場(chǎng)景中放置多臺(tái)攝像機(jī)，記錄下多個(gè)視點(diǎn)視頻數(shù)據(jù)，提供給用戶以視點(diǎn)選擇與場(chǎng)景漫游的交互能力。多視點(diǎn)視頻所使用的多臺(tái)攝像機(jī)按照一定的規(guī)律組合放置。一般有平行、匯聚和發(fā)散三種基本方式，如圖1所示。多視點(diǎn)視頻的提出體現(xiàn)了下一代多媒體應(yīng)用的發(fā)展方向——網(wǎng)絡(luò)化、交互性和真實(shí)感。在未來高速的網(wǎng)絡(luò)環(huán)境下，多視點(diǎn)視頻將在面向高寬帶與高密度存儲(chǔ)介質(zhì)的交互式多媒體應(yīng)用領(lǐng)域具有廣泛的應(yīng)用前景。

目前，國(guó)際標(biāo)準(zhǔn)化組織如MPEG已經(jīng)充分認(rèn)識(shí)到多視點(diǎn)視頻這一新的數(shù)字媒體的重要性和應(yīng)用前景，正在著手制定這方面標(biāo)準(zhǔn)。2001年MPEG會(huì)議提出多視點(diǎn)視頻標(biāo)準(zhǔn)；2002年MPEG會(huì)議正式發(fā)出了3DAV的需求文檔；2005年MPEG會(huì)議形成了3D AV的技術(shù)征集文檔。國(guó)際上多視點(diǎn)視頻系統(tǒng)的相關(guān)工作尚處在初級(jí)階段。歐洲的ATTEST建立了向下2D兼容的3D視頻廣播系統(tǒng)，使用基本層（遵循標(biāo)準(zhǔn)的DVB 編碼格式）+增強(qiáng)層（深度信息，采用MPEG－2/4/7 編碼）的編碼方案[2]。Mitsubishi實(shí)現(xiàn)了一個(gè)全功能端到端的3D－TV系統(tǒng)，它采用具有可擴(kuò)展性的多路視頻獨(dú)立編碼、傳輸?shù)姆桨福趥鬏敳糠种苯佑酶咚倬钟蚓W(wǎng)代替數(shù)字電視的信號(hào)調(diào)制、鏈路傳輸、接收解調(diào)等環(huán)節(jié)。ETRI開發(fā)了一系列3DTV直播設(shè)備并進(jìn)行了一定范圍的試播。它采用的是將兩路視頻的視頻幀分別降低垂直分辨率拼成一個(gè)視頻幀后編碼、傳輸和解碼的視頻幀復(fù)用的系統(tǒng)方案[3]。這些已有的成型系統(tǒng)均存在對(duì)硬件要求過高、無法很好支持視點(diǎn)選擇和場(chǎng)景漫游等用戶的交互功能。

本文將支持IPv6的高帶寬網(wǎng)絡(luò)環(huán)境中構(gòu)建多視點(diǎn)視頻點(diǎn)播系統(tǒng)作為研究目標(biāo)，提出了面向較小規(guī)模的高質(zhì)量交互要求應(yīng)用。筆者建立了支持視點(diǎn)選擇和平滑視點(diǎn)切換等功能的多視點(diǎn)視頻點(diǎn)播系統(tǒng)，采用基于視點(diǎn)間預(yù)測(cè)的多視點(diǎn)分組編碼方案，提高了編碼效率，降低了網(wǎng)絡(luò)帶寬的需求。

1多視點(diǎn)視頻點(diǎn)播系統(tǒng)的結(jié)構(gòu)框架及關(guān)鍵技術(shù)

1．1結(jié)構(gòu)框架

多視點(diǎn)視頻點(diǎn)播系統(tǒng)結(jié)構(gòu)框架如圖2所示。

系統(tǒng)包括服務(wù)器和客戶端兩部分，它們之間通過高速網(wǎng)絡(luò)相連。客戶端的交互控制模塊和服務(wù)器端的交互響應(yīng)模塊分別與各自模塊相連，它們通過高速網(wǎng)絡(luò)鏈路進(jìn)行通信。視頻數(shù)據(jù)處理包括采集、編碼、傳輸、解碼、合成[4]和顯示等。其中的數(shù)據(jù)采集、編碼與合成部分是在服務(wù)器端預(yù)先處理完成的，數(shù)據(jù)的傳輸、解碼和顯示功能是在線實(shí)時(shí)交互點(diǎn)播的。

1．2多視點(diǎn)編碼

高效的多視點(diǎn)視頻編/解碼是多視點(diǎn)點(diǎn)播系統(tǒng)研究的關(guān)鍵技術(shù)之一。在編碼端多路視點(diǎn)的數(shù)據(jù)必須利用多攝像機(jī)之間的空間冗余大幅度降低用于傳輸和存儲(chǔ)的碼流，與傳統(tǒng)視頻碼流相比，增加的三維數(shù)據(jù)應(yīng)不超過一定的上限，以增加新的應(yīng)用的可接受性；同時(shí)，編碼體系還要考慮解碼端基于視點(diǎn)的解碼需求，能夠在有限增加解碼系統(tǒng)復(fù)雜度的前提下支持用戶進(jìn)行交互選擇視點(diǎn)和觀察方向。

由于多路視頻除了本身具有前后時(shí)間上的關(guān)聯(lián)外，在拍攝空間上還有相互的關(guān)聯(lián)，需要利用這些時(shí)空關(guān)聯(lián)信息以實(shí)現(xiàn)高效的多視點(diǎn)視頻的編碼[5]。

1．2．1視點(diǎn)組中關(guān)鍵幀的編碼

在一個(gè)視點(diǎn)編碼組內(nèi)，關(guān)鍵幀是包含信息量最大的視頻幀，同時(shí)同一視點(diǎn)軸上的關(guān)鍵幀采集于同一場(chǎng)景的同一時(shí)刻，采集的攝像機(jī)又是位置相鄰，所以它們之間包含了較大的空間冗余信息。于是筆者采用視點(diǎn)間預(yù)測(cè)的辦法來進(jìn)行視點(diǎn)組中關(guān)鍵幀的編碼，以提高總的多視頻編碼效率。由于在視點(diǎn)軸上的視頻幀都是同步采集，不存在先后順序關(guān)系，而位于采集位置中央的視點(diǎn)顯然包含有與其他視點(diǎn)的差異最小、最適合作為其他視點(diǎn)的參考視點(diǎn)，于是選取位于視點(diǎn)組中間視點(diǎn)的關(guān)鍵幀采用幀內(nèi)編碼模式最先編碼，兩旁的視頻幀依次向中間參考直至中間視點(diǎn)[6]。其編碼預(yù)測(cè)結(jié)構(gòu)如圖3所示。

在一個(gè)視點(diǎn)組內(nèi)關(guān)鍵幀視點(diǎn)間的預(yù)測(cè)被限定在一定的范圍內(nèi)，位于視點(diǎn)組中間的視點(diǎn)的關(guān)鍵幀采用幀內(nèi)編碼，其無須參考任何其他視點(diǎn)；解碼需要最多的其他視點(diǎn)參考幀的是視點(diǎn)組內(nèi)的位于最兩邊的視點(diǎn)，不過其關(guān)鍵幀解碼也僅限于需要橫向參考該視點(diǎn)組內(nèi)一半數(shù)目的視點(diǎn)。

采用這種關(guān)鍵幀預(yù)測(cè)結(jié)構(gòu)設(shè)計(jì)，可以基于視點(diǎn)分組策略，在單個(gè)視點(diǎn)組內(nèi)進(jìn)一步地降低視點(diǎn)間關(guān)聯(lián)程度，降低單路視點(diǎn)視頻解碼代價(jià)以及視點(diǎn)切換延時(shí)。

1．2．2視點(diǎn)組中非關(guān)鍵幀的編碼

在一個(gè)視點(diǎn)編碼組內(nèi)，關(guān)鍵幀采用視點(diǎn)間同一時(shí)刻對(duì)應(yīng)視頻幀預(yù)測(cè)提高了整個(gè)視點(diǎn)組的編碼效率。在多視點(diǎn)視頻的視頻序列中，通常會(huì)出現(xiàn)平移或者旋轉(zhuǎn)的運(yùn)動(dòng)。圖4中的第二個(gè)視點(diǎn)的當(dāng)前時(shí)刻視頻幀無法在第一個(gè)視點(diǎn)當(dāng)前時(shí)刻對(duì)應(yīng)幀找到合適的參考。不過，它卻可以在第一視點(diǎn)已經(jīng)過去了的前面時(shí)刻視頻幀找到非常合適的參考。這樣，非同一時(shí)刻的視點(diǎn)間預(yù)測(cè)在這種情況下可以得到非常好的編碼效果。

基于這樣的考慮，在編碼方案設(shè)計(jì)中，視點(diǎn)編碼組內(nèi)的非關(guān)鍵幀編碼采用非同一時(shí)刻的視點(diǎn)間預(yù)測(cè)。非關(guān)鍵幀之間的視點(diǎn)間預(yù)測(cè)，在編碼方案中不再被使用。即各非關(guān)鍵幀編碼參考其視點(diǎn)GOP 內(nèi)關(guān)鍵幀和時(shí)間順序前一幀，除此以外，各非關(guān)鍵幀編碼還可以參考其視點(diǎn)GOP 內(nèi)關(guān)鍵幀所參考的其他視點(diǎn)關(guān)鍵幀。這樣做除了基于多視點(diǎn)視頻的視頻內(nèi)容特點(diǎn)考慮外，更重要的是為了降低單路視點(diǎn)視頻的提取代價(jià)。由于在時(shí)間軸上各個(gè)視頻幀相關(guān)性非常大，各非關(guān)鍵幀通過時(shí)間軸的預(yù)測(cè)已有很高的編碼效率。不采用非關(guān)鍵幀之間的視點(diǎn)間預(yù)測(cè)，可以很好地降低視點(diǎn)間相關(guān)性，使得單路視點(diǎn)視頻的提取代價(jià)大為降低，同時(shí)總的編碼效率也不會(huì)有明顯損失。

1．2．3視點(diǎn)組的編碼預(yù)測(cè)結(jié)構(gòu)

多視點(diǎn)視頻編碼方案是一種綜合考慮多視點(diǎn)視頻的壓縮效率、單路視點(diǎn)解碼代價(jià)、視點(diǎn)切換延時(shí)、并行處理等需求的完整的多視點(diǎn)視頻編碼方案。各個(gè)視點(diǎn)組均按照這樣的方案編碼，視點(diǎn)組之間編碼過程相互獨(dú)立。例如包含五個(gè)視點(diǎn)的視點(diǎn)組編碼預(yù)測(cè)結(jié)構(gòu)如圖5所示。

編碼方案中在關(guān)鍵幀上采用視點(diǎn)間預(yù)測(cè)編碼，其余幀和Simulcast 同樣采用時(shí)間軸的預(yù)測(cè)編碼，所以編碼整個(gè)視頻流所能獲得的收益取決于關(guān)鍵幀的間隔，而多視點(diǎn)視頻的應(yīng)用通常要求較小的關(guān)鍵幀間隔以實(shí)現(xiàn)快速的視點(diǎn)切換，這樣編碼方案可以較明顯地提高整個(gè)視頻流的編碼效率，同時(shí)又支持低延時(shí)的隨機(jī)訪問。

1．3交互功能

支持視點(diǎn)選擇和平滑視點(diǎn)切換等交互功能也是多視點(diǎn)點(diǎn)播系統(tǒng)研究的關(guān)鍵技術(shù)。由于用戶能夠交互地選擇場(chǎng)景視點(diǎn)，即實(shí)際傳輸?shù)接脩艚K端的視頻流可以是多視點(diǎn)視頻碼流中的一路或多路，多視點(diǎn)視頻流化傳輸研究將集中在系統(tǒng)層的多路視頻流/解復(fù)用、交互控制通路、基于交互請(qǐng)求的多視點(diǎn)視頻轉(zhuǎn)碼，以及網(wǎng)絡(luò)自適應(yīng)碼流剪裁。

多視點(diǎn)視頻點(diǎn)播系統(tǒng)除了普通視頻點(diǎn)播功能之外，還需要提供以下交互功能來支持多視點(diǎn)視頻應(yīng)用。

1．3．1視點(diǎn)的交互選擇

在線用戶從服務(wù)器磁盤存儲(chǔ)的多路視頻流中任意選擇一路進(jìn)行播放。播放過程中可以在不同視頻流的同一時(shí)刻上進(jìn)行切換，即從多路視頻流中任意選擇一路進(jìn)行播放。

1．3．2時(shí)間暫停的視點(diǎn)切換

多攝像機(jī)連續(xù)切換。在用戶選擇的切換點(diǎn)，服務(wù)器將同一時(shí)刻的各路攝像機(jī)視頻幀按位置順序?qū)懭刖彺婧蟀l(fā)送給用戶，形成某一時(shí)刻的場(chǎng)景全景，如圖6所示。用戶利用收到的各路攝像機(jī)在該時(shí)刻的視頻幀進(jìn)行本地的視頻合成，形成連續(xù)平滑的切換過程，作為比賽中的精彩全景畫面進(jìn)行回放。用戶可以在觀看回放過程中選擇最佳的視點(diǎn)繼續(xù)播放。

1．3．3時(shí)間連續(xù)的視點(diǎn)切換

連續(xù)視點(diǎn)切換過程按照攝像機(jī)位置順序和時(shí)間順序，服務(wù)器一次選取各路視頻流中對(duì)應(yīng)時(shí)刻的視頻幀寫入緩存后發(fā)送給用戶，相當(dāng)于體育比賽中的回放，如圖7所示。交互機(jī)制與時(shí)間暫停的后臺(tái)合成視點(diǎn)切換相同。合成過程需要解碼起始視點(diǎn)到中止視點(diǎn)中間各路視頻合成時(shí)間段內(nèi)的碼流，進(jìn)行每一時(shí)刻兩幀圖像間的插值合成。

2多視點(diǎn)視頻點(diǎn)播系統(tǒng)的實(shí)現(xiàn)

2．1播放器功能界面

本文實(shí)現(xiàn)的多視點(diǎn)視頻點(diǎn)播系統(tǒng)如圖8所示。用戶指定服務(wù)器地址和服務(wù)目錄信息來連接到視頻服務(wù)器；服務(wù)器響應(yīng)客戶可用的視點(diǎn)數(shù)和相關(guān)配置信息；用戶在選擇相應(yīng)播放模式后可以同時(shí)播放四路視點(diǎn)視頻，播放的同時(shí)也可以進(jìn)行視頻切換和播放暫停、停止等功能控制。

當(dāng)用戶選擇平滑切換時(shí)，客戶端進(jìn)行切換視頻的合成，用戶可以對(duì)合成好的視頻進(jìn)行播放、反向播放以及拖動(dòng)進(jìn)度條等操作來選擇最佳視點(diǎn)繼續(xù)觀看視頻。其中最右下角視頻框?yàn)槠交x擇切換窗口。

2．2多路播放功能的實(shí)現(xiàn)

利用DirectShow提供的一系列標(biāo)準(zhǔn)模塊來進(jìn)一步實(shí)現(xiàn)多視點(diǎn)點(diǎn)播功能。傳統(tǒng)的DirectShow軟件FilterGraph結(jié)構(gòu)在程序初始化時(shí)就已經(jīng)確定，標(biāo)準(zhǔn)的DirectShow FilterGraph鏈路只支持一個(gè)媒體對(duì)象的播放控制，如圖9所示。其中主要包括三個(gè)部分：source rilter負(fù)責(zé)讀取文件，提供視頻源；decoder filter負(fù)責(zé)視頻解碼和視頻處理；render filter負(fù)責(zé)顯示，但是它無法在程序運(yùn)行的過程中動(dòng)態(tài)地創(chuàng)建或者刪除視頻流，只能銷毀已有的FilterGraph結(jié)構(gòu)，再重新創(chuàng)建。當(dāng)前視頻流的播放必須被中止，這樣將花費(fèi)大量的系統(tǒng)開銷。這在多視點(diǎn)視頻系統(tǒng)中是無法接受的。顯然，如何設(shè)計(jì)軟件的FilterGraph結(jié)構(gòu)是在多視點(diǎn)視頻點(diǎn)播系統(tǒng)實(shí)現(xiàn)中所面臨的重大挑戰(zhàn)。

為了支持多路視頻同時(shí)播放，筆者構(gòu)建了如圖10所示的FilterGraph鏈路。使用一個(gè)video mixing renderer的filter可以接收多路解碼后的視頻流輸入在屏幕上顯示。但這種FilterGraph鏈路仍然無法獨(dú)立分別控制多路視頻的播放，既不能在一路播放的過程中對(duì)另一路視頻進(jìn)行暫停、停止、搜索等操作，也無法在一路視頻的播放過程中不受影響地打開新的視頻播放或進(jìn)行其他處理。

在實(shí)現(xiàn)多路視頻能夠同時(shí)播放后，為了實(shí)現(xiàn)相互獨(dú)立的播放控制以及對(duì)其中一路視頻進(jìn)行倒播或?qū)Χ嗦芬曨l進(jìn)行平滑切換等功能，筆者采用了一種特殊的FilterGraph結(jié)構(gòu)設(shè)計(jì)共享Allocator－presenter的FilterGraph結(jié)構(gòu)，如圖11所示。

這種結(jié)構(gòu)能夠很好地解決多視點(diǎn)視頻系統(tǒng)實(shí)現(xiàn)中多路視頻流獨(dú)立處理的特殊需求問題。它具有如下特點(diǎn)：

a)每一個(gè)視頻流都創(chuàng)建一條獨(dú)立的FilterGraph 鏈路和一個(gè)VMR（video mixing renderer）實(shí)例，并由其獨(dú)立的FilterGraph manager來管理。

b)所有VMR不使用默認(rèn)的Allocator－presenter，而是共享一個(gè)由應(yīng)用程序提供的Allocator－presenter。

c)由共享的Allocator－presenter來控制最終顯示視頻的大小、位置以及其他效果。

4)每條視頻流的FilterGraph鏈路完全獨(dú)立控制，甚至可以動(dòng)態(tài)添加和刪除。

2．3支持IPv6的網(wǎng)絡(luò)傳輸和控制功能的實(shí)現(xiàn)

點(diǎn)播系統(tǒng)的網(wǎng)絡(luò)傳輸控制協(xié)議如圖12所示。其中采用RTSP協(xié)議來進(jìn)行交互控制，包括建立連接、初始化視點(diǎn)以及用戶交互命令的發(fā)送等。RTSP的消息內(nèi)容是由消息類型、視點(diǎn)號(hào)兩部分組成。采用RTP協(xié)議進(jìn)行視頻數(shù)據(jù)傳輸，使用RTCP協(xié)議監(jiān)督和控制RTP協(xié)議對(duì)視頻數(shù)據(jù)的傳輸[7，8]。

在傳輸視頻幀前，需要封裝相關(guān)視點(diǎn)和交互信息以支持多視點(diǎn)視頻點(diǎn)播系統(tǒng)的應(yīng)用。視頻幀封裝頭長(zhǎng)度設(shè)定為16 bit，如圖13所示。前2 bit 用來定義幀類型：bit 0=0，正常播放時(shí)I 或P 幀；bit 0=1，表示視頻切換；bit 0~1=10，用于視點(diǎn)切換的I幀；bit 0~1=11，用于視點(diǎn)平滑切換的I幀。bit 2~6用于未來功能擴(kuò)展保留的4 bit。bit 6~15是用來標(biāo)志該幀所在的視點(diǎn)ID。

由于DirectShow提供的source filter沒有提供支持IPv6的功能，為了使多視點(diǎn)視頻點(diǎn)播系統(tǒng)能在IPv6網(wǎng)絡(luò)環(huán)境下實(shí)現(xiàn)，本文采用微軟提供的WMASFReader作為播放系統(tǒng)的source filter。微軟提供的WMASFReader為視頻流在IPv6環(huán)境下的應(yīng)用提供了很好的支持，這樣在DirectShow環(huán)境下實(shí)現(xiàn)了支持IPv6的視頻點(diǎn)播功能。使用的WMASFReader的FilterGraph參考圖如圖14所示。

3系統(tǒng)性能指標(biāo)

在MPEG 3DAV小組提供的標(biāo)準(zhǔn)多視點(diǎn)視頻測(cè)試數(shù)據(jù)EE2進(jìn)行合成實(shí)驗(yàn)，筆者選用了其中水平拍攝的16 個(gè)

視點(diǎn)數(shù)據(jù)，圖像分辨率為320×240 ，相鄰攝像機(jī)夾角為22.5°，視頻播放幀率為30 fps。局域網(wǎng)內(nèi)實(shí)際測(cè)試性能如表1所示。

最后通過原型系統(tǒng)實(shí)際運(yùn)行測(cè)試，在視點(diǎn)交互選擇響應(yīng)、視點(diǎn)平滑切換響應(yīng)等多視點(diǎn)交互性能指標(biāo)上均取得了滿意的性能。

4結(jié)束語(yǔ)

本文介紹了基于高速網(wǎng)絡(luò)環(huán)境下支持視點(diǎn)選擇和平滑視點(diǎn)切換等交互功能的多視點(diǎn)視頻點(diǎn)播系統(tǒng)的具體實(shí)現(xiàn)方法。該系統(tǒng)大大提高了多視點(diǎn)視頻點(diǎn)播的性能，讓人們看到了多視點(diǎn)視頻的發(fā)展?jié)摿ΑＯ乱徊降墓ぷ鲗⒀芯扛咝实亩嘁朁c(diǎn)視頻編碼算法和網(wǎng)絡(luò)傳輸機(jī)制。

參考文獻(xiàn)：

［1］MPEG.ISO/IEC JTC1/SC29/WG11 MPEG2005 N5877，Application and requirements for 3DAV[S]. Poznan:[s.n.]，2005.

［2］BEECKDE M O，WILINSKI P，F(xiàn)EHN C，et al.Towards an optimized 3D broadcast chain[C]//Proc of SPIE.Boston:[s.n.]，2002:42－50.

［3］HUR N， LEE G， YOU W，et al.An HDTV－compatible 3DTV broadcasting system[J].ETRI Journal，2004，26(2):71－82.

［4］LI Fang，YANG Shi－qiang.Virtual viewpoint synthesis in multi－view video system[C]//Proc ofVisual Communications Image Proces－sing (VCIP).Beijing:[s.n.]，2005:1246－1254.

［5］XIE Jian， SUN Li－feng， CHENG Xiao－yu，et al.A multi－view video coding scheme for interactive streaming with low decoding cost[C]//Proc of Picture Coding Symposium.Beijing:[s.n.]，2006.

［6］CHEN G，CHEUNG N M，WANG H S.ISO/IEC/JTC1/SC29/WG11 MPEG2004/m10512，Using inter－view prediction for multi－view video compression[S]. Munich:[s.n.]，2004.

［7］鐘玉琢，向哲，沈洪.流媒體和視頻服務(wù)器[M].北京:清華大學(xué)出版社，2003:61－82.

［8］JOHANSON M.Stereoscopic video transmission over the Internet[C]//Proc of the 2nd IEEE Workshop on Internet Applications (WIAPP).San Jose:[s.n.]，2001:12－19.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”