基于語義的關(guān)鍵幀的提取

包頭醫(yī)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系 唐思源

基于語義的關(guān)鍵幀的提取

包頭醫(yī)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系 唐思源

關(guān)鍵幀反映了一段視頻圖像的主要內(nèi)容，提取關(guān)鍵幀信息對(duì)觀察者意義重大。本文在總結(jié)了風(fēng)光片特點(diǎn)及用戶注意力的基礎(chǔ)上，利用鏡頭類型和運(yùn)動(dòng)矢量特征表現(xiàn)了用戶關(guān)注的焦點(diǎn)，提出了一種基于語義的關(guān)鍵幀提取方法。首先根據(jù)P幀運(yùn)動(dòng)矢量的幅度和夾角，判斷鏡頭運(yùn)動(dòng)的類型；然后分別根據(jù)平移運(yùn)動(dòng)速度、持續(xù)時(shí)間及運(yùn)動(dòng)矢量的分布等特征提取關(guān)鍵幀。實(shí)驗(yàn)證明使用該方法提取的關(guān)鍵幀能較好地反映用戶的關(guān)注焦點(diǎn)和視頻鏡頭的內(nèi)容。

關(guān)鍵幀；風(fēng)光片；用戶注意力

1 引言

在收集視頻圖像的時(shí)候，不是所有視頻信息都是用戶需要的，一些關(guān)鍵的圖像信息對(duì)整個(gè)視頻內(nèi)容起到解釋說明作用，從視頻圖像中提取某一張視頻圖片，我們稱為關(guān)鍵幀，一個(gè)關(guān)鍵幀通常可以反映圖像幀的主要內(nèi)容。所以，對(duì)視頻圖像中關(guān)鍵幀的提取也是觀察者們研究的熱點(diǎn)，因?yàn)椋疚膽?yīng)用基于語義的方法來提取視頻圖像中的關(guān)鍵幀。

在國內(nèi)及國外提取關(guān)鍵幀的方法有很多，但在提取的時(shí)候，首先要判斷視頻的類型，根據(jù)類型的不同，可以選擇基于鏡頭邊界提取關(guān)鍵幀[1]，基于圖像信息提取關(guān)鍵幀[2]，基于運(yùn)動(dòng)分析提取關(guān)鍵幀[3]，基于MPEG壓縮流的宏塊統(tǒng)計(jì)特性提取關(guān)鍵幀[4]等。這些方法都有各自的優(yōu)點(diǎn)，同時(shí)在不同類型的視頻中，由于采用的拍攝手法、表現(xiàn)內(nèi)容的方式，以及用戶關(guān)注焦點(diǎn)的不同，提取關(guān)鍵幀的方法也應(yīng)該不同。例如在故事片中，存在大物體的運(yùn)動(dòng)時(shí)用戶關(guān)注的焦點(diǎn)是該物體，而在風(fēng)光片中，即使存在大物體運(yùn)動(dòng)，用戶關(guān)注的焦點(diǎn)仍然是背景。如何將用戶關(guān)注的焦點(diǎn)與關(guān)鍵幀提取聯(lián)合起來，已經(jīng)成為當(dāng)前的研究重點(diǎn)。

2 鏡頭運(yùn)動(dòng)

2.1 鏡頭運(yùn)動(dòng)的類型

鏡頭的運(yùn)動(dòng)可以分為無運(yùn)動(dòng)，大物體運(yùn)動(dòng)和攝像頭運(yùn)動(dòng)等三種[5]。無運(yùn)動(dòng)是指一個(gè)鏡頭的前景和背景都沒有大的變換；大物體運(yùn)動(dòng)是指鏡頭中存在大物體，并且該物體的運(yùn)動(dòng)幅度比較大；攝像頭運(yùn)動(dòng)是指鏡頭的全局運(yùn)動(dòng)發(fā)生有規(guī)律的變換，鏡頭的背景變化比較大。在風(fēng)光片中，攝像頭運(yùn)動(dòng)模式主要包括攝像頭的平移運(yùn)動(dòng)和推拉運(yùn)動(dòng)。

（1）推拉運(yùn)動(dòng)：拍攝者可以通過推近和拉遠(yuǎn)相機(jī)的焦距來觀察所拍攝的場(chǎng)景，如果鏡頭的焦距推近，可以更清晰的觀察近距離的場(chǎng)景，仔細(xì)的拍攝物體的運(yùn)動(dòng)情況，如果想觀察更全面的場(chǎng)景，可以拉遠(yuǎn)鏡頭焦距，觀察更多的物體運(yùn)動(dòng)情況，不管是推近還是拉遠(yuǎn)，每一幀的運(yùn)動(dòng)速度和運(yùn)動(dòng)矢量都相差無幾。

（2）平移運(yùn)動(dòng)：當(dāng)觀看全景時(shí)，往往采用平移鏡頭，其中主要的運(yùn)動(dòng)方向時(shí)左右搖動(dòng)和上下?lián)u動(dòng)。當(dāng)鏡頭為平移運(yùn)動(dòng)時(shí)，每一幀的運(yùn)動(dòng)速度和運(yùn)動(dòng)矢量就有很大差別，根據(jù)移動(dòng)的方向，運(yùn)動(dòng)矢量的值也不同，可以通過該值來判斷平移的距離及平移多少最適合觀察。

（3）大物體運(yùn)動(dòng)：在拍攝場(chǎng)景中有大運(yùn)動(dòng)對(duì)象出現(xiàn)時(shí)，例如參觀的人群。為了更全面和清晰的拍攝大運(yùn)動(dòng)物體，要通過相鄰來決定鏡頭移動(dòng)的情況，通過鏡頭重復(fù)采集畫面，把大運(yùn)動(dòng)物體的鏡頭畫面疊加，計(jì)算出相鄰MB的運(yùn)動(dòng)矢量的值，來判斷鏡頭移動(dòng)的情況，采集視頻幀，能更有效的拍攝大物體的運(yùn)動(dòng)情況。

3 關(guān)鍵幀的提取

我們根據(jù)鏡頭的運(yùn)動(dòng)類型和鏡頭持續(xù)的時(shí)間，使用不同的方法提取關(guān)鍵幀[6]。

（1）當(dāng)鏡頭運(yùn)動(dòng)為無運(yùn)動(dòng)時(shí)，表明鏡頭中視頻幀的內(nèi)容幾乎沒有變化。此時(shí)只需要提取一個(gè)關(guān)鍵幀，為了計(jì)算簡(jiǎn)單，就選取每個(gè)鏡頭的第一幀為關(guān)鍵幀。

（2）當(dāng)鏡頭運(yùn)動(dòng)為平移運(yùn)動(dòng)時(shí)，關(guān)鍵幀提取方法為：首先計(jì)算平移運(yùn)動(dòng)的速度，平移速度的定義為兩個(gè)I幀之間宏塊的移動(dòng)位數(shù)；然后根據(jù)平移速度和鏡頭的持續(xù)時(shí)間，確定選取的I幀，再根據(jù)鏡頭的運(yùn)動(dòng)方向，將選取的I幀進(jìn)行合并生成新的圖像。該新圖像為關(guān)鍵幀。

（3）當(dāng)鏡頭運(yùn)動(dòng)為推拉運(yùn)動(dòng)時(shí)，關(guān)鍵幀提取方法為：分別選取第一幀，中間幀和最末幀。

（4）當(dāng)鏡頭運(yùn)動(dòng)為大物體運(yùn)動(dòng)時(shí)，鏡頭的關(guān)鍵幀提取方法為：根據(jù)運(yùn)動(dòng)矢量的分布，選取背景盡可能多的幀為關(guān)鍵幀。

4 實(shí)驗(yàn)結(jié)果

為了檢測(cè)算法的效果，我們從風(fēng)光片中抽取了運(yùn)動(dòng)不同的視頻序列進(jìn)行測(cè)試，該視頻序列的幀大小是576× 704。我們首先對(duì)這些視頻序列檢測(cè)鏡頭邊界，然后根據(jù)P幀的運(yùn)動(dòng)矢量判斷鏡頭運(yùn)動(dòng)類型，在此基礎(chǔ)上提取了關(guān)鍵幀。下面給出了部分實(shí)驗(yàn)的結(jié)果。圖1（a）是一個(gè)鏡頭的所有I幀，該鏡頭存在一個(gè)從下向上搖動(dòng)。其運(yùn)動(dòng)速度為I幀之間具有3個(gè)宏塊的移動(dòng)距離，持續(xù)時(shí)間為19個(gè)I幀，所得到的關(guān)鍵幀如圖1(b)所示。同理，圖2表明了存在左右搖動(dòng)時(shí)，從鏡頭提取到的關(guān)鍵幀。圖3表明了存在推拉運(yùn)動(dòng)時(shí)，分別選取近景、中景和遠(yuǎn)景三個(gè)幀作為關(guān)鍵幀的例子。圖4（a）是在介紹尼羅河上的一座橋，圖中的人和船只是陪襯，因此選擇了圖4（b）作為關(guān)鍵幀。實(shí)驗(yàn)證明使用該方法提取的關(guān)鍵幀能較好地反映視頻鏡頭的內(nèi)容。

圖1 攝像頭上下?lián)u動(dòng)

圖2 攝像頭左右搖動(dòng)

圖3 攝像頭推拉運(yùn)動(dòng)

圖4 大物體運(yùn)動(dòng)

5 結(jié)論

文中針對(duì)紀(jì)錄片的特點(diǎn)和用戶關(guān)注的焦點(diǎn)，提出了一種基于語義的關(guān)鍵幀提取方法[7]。在平移運(yùn)動(dòng)時(shí)，提取的關(guān)鍵幀不是某幾個(gè)幀，而是把不同內(nèi)容的幀進(jìn)行合并，用一幅圖表示完整的內(nèi)容。在大物體運(yùn)動(dòng)時(shí)，不是提取多個(gè)關(guān)鍵幀，而是提取背景盡可能多的幀為關(guān)鍵幀。實(shí)驗(yàn)證明使用該方法提取的關(guān)鍵幀能較好地反映視頻鏡頭的內(nèi)容。

[1]A．Nagasaka L．Tanaka,Automatic video indexing and full video search for object appearances,in Visual Database System 1992．

[2]H．Zhang, J．Wu,D．Zhong and S．W．Smoliar, an integrated system for content based video retrieval and browsing, Pattern Recognition,vol．30 no．4, pp． 643-658,1997

[3]W．Wolf, key frame selection by motion analysis, in Proc．IEEE Int．Conf． Acoust,Speech, and Signal Proc．,1996

[4]P．O．Gresle T．S．Huang,Gisting of video documents:A key frames selection algorithm using relative activity measure, in The 2nd Int． Conf．On Visual information System,1997．