代表幀及其提取方法*

王新舸，羅志強

（1.石家莊陸軍指揮學院，河北 石家莊 050084；2.第二炮兵指揮學院，湖北 武漢 430012）

1 引言

關鍵幀提取技術是實現視頻檢索的一項重要技術，目前視頻關鍵幀的提取技術已較為成熟，但無論哪一種技術都很少考慮視頻制作者的意圖，筆者在傳統關鍵幀概念的基礎上，針對作者意圖提出了一種新的關鍵幀類型。

2 關鍵幀的分類

關鍵幀是反映一組鏡頭中主要信息內容的一幀或若干幀圖像。目前提取關鍵幀的技術大致可分為5類：基于鏡頭邊界的方法、基于視覺內容的方法、基于運動分析的方法、基于鏡頭運動的方法和基于聚類的方法。這些算法主要目的是將視頻分割成獨立的鏡頭，但如何從鏡頭中選擇出最能代表制作者意圖的幀，或者制作者最想展示給觀眾的幀，卻很少考慮。

僅僅將關鍵幀理解為鏡頭的分割點[1]，實際上縮小了關鍵幀的范圍。關鍵幀應能反映鏡頭中的主要內容信息，而鏡頭分割點處的幀雖然代表鏡頭的初始內容，對反映鏡頭內容有重要的作用，但卻未必是鏡頭中最有代表性的幀。關鍵幀可分成兩種：一種是鏡頭的起始幀和結束幀，稱為定位幀；另外一種則是在鏡頭中最能反映制作者意圖，能夠代表鏡頭主要內容的若干幀，稱為代表幀。

代表幀在需要對視頻進行快速瀏覽時具有非常重要的意義，通過觀看鏡頭的定位幀和代表幀可快速判斷出視頻的主要內容，在從大量視頻中快速查找鏡頭時非常有用。目前也在一些實際運用中使用了代表幀，如電視節目視頻編目，通常是取每個鏡頭最接近時間中點的幀作為代表幀，但這一做法并不能很好地滿足實際需要。

3 代表幀提取原理

要想從一個鏡頭中選取出最能反映制作者意圖的幀，首先要分析制作者的制作方法，制作者通常在最想展現的內容出現時，留給觀眾接受的時間，在這段時間內，鏡頭通常會保持相對的穩定，圖像的變化較其他幀要小。例如，制作者要反映一個小船上的船夫會選擇從水面的遠景，逐漸轉移到小船，再轉移到船夫，然后鏡頭在船夫的身上停留一段時間，再轉移到其他位置。在這個過程中，鏡頭從水面到小船和從小船到船夫的移動過程都是比較快的，而一旦轉移到船夫身上時，移動過程會明顯減慢甚至停止一段時間，除非制作者不想著重表現船夫。再比如要表現一個人物的臉部時，可能會先從人物的側面開始，逐漸旋轉到人臉的正面，然后停留一段時間。

利用制作者的這一處理方法，不難發現代表幀的判斷方法[2-3]：首先利用傳統的方法找出定位幀，將視頻分割成鏡頭，再利用同一鏡頭內部相鄰幀間的某種特征差值，找到相鄰幀間特征值變化最小的若干幀，即這些差值的谷值點，作為代表幀。

4 代表幀提取的實現方法

代表幀的提取是基于定位幀獲取算法的[4-7]，首先給出一種定位幀的提取算法。

4.1 定位幀提取

定位幀提取原理比較簡單，當視頻中有鏡頭切換時，在切換前后的相鄰兩幀每一個對應的像素點上，會產生很大的顏色變化，利用這一特征可以設計如下算法來提取定位幀。

兩幀每一個對應像素點的平均顏色差（以下簡稱幀差）的計算公式為

式中，Dc（x，y）表示兩幀中坐標為（x，y）的 2 個像素的顏色差。顏色差始終保持為正值，可使用灰度值進行計算，也可以使用RGB三色空間的色距表示。考慮到連續幀中的局部區域也會出現顏色較大變化，因此對顏色差進行一次開方處理，以減少局部區域變化對幀差的影響。

圖1是一段視頻中每一幀與其相鄰前一幀的幀差曲線，其中橫坐標是時間，縱坐標是幀差。

從圖1中可以明顯看出，在場景切換時，會在圖上留下一條特別明顯的高脈沖線（如9.0 s，11.0 s，12.6 s等位置），利用這一特征可提取出視頻中的定位幀：設置一個高閾值A，一旦某一幀與其前一幀幀差超過A值，即可判定當前幀是定位幀，為防止非定位幀被誤判，A值也不能過小，圖1中A值應該在6～7之間。

圖中還有一部分幀（如 0.8 s，2.0 s，6.5 s等位置）有鏡頭切換，也出現了較高脈沖，但幀差值比有些無鏡頭轉換的幀（如9～10 s之間）的幀差還小一些。這部分定位幀不能僅使用高閾值A來判斷，從圖1可觀察到這些幀的幀差仍比其前面一段幀的幀差明顯大一些。

可以設計如下算法對這部分定位幀進行提取：設置一個低閾值B和一個變化閾值C，當幀差值在A值和B值之間時，進一步判斷該幀差與平均幀差之比是否大于變化閾值B，大于則可判定為定位幀，否則不是定位幀。

平均幀差可使用加權法計算，公式為

式中：fn代表新的平均幀差，f代表當前幀差，f0代表舊的平均幀差，K代表加權系數。K的取值范圍是0～1，K值越大，表示當前幀差對平均幀差的影響越大，平均幀差變化越快。

圖2是提取定位幀的流程圖。

4.2 代表幀提取

提取了定位幀，就可以將視頻劃分成很多鏡頭，在定位幀的基礎上，進一步對鏡頭的內容進行分析，提取出鏡頭的代表幀[8-10]。

提取代表幀需要先確定幀差曲線的谷值位置，即必須要對視頻進行2次分析，第1次繪制出幀差曲線，找到谷點，第2次提取谷點位置的幀數據，這種方法雖然能準確找到代表幀的位置，但效率較低，如果需要在視頻采集的過程中同步提取代表幀，就不能使用這種算法。

如何能在第1次分析時，既找到谷點又能在相應位置提取出關鍵幀呢？采用谷值預測技術能有效解決只進行一次分析提取代表幀的問題。圖3和圖4是使用谷值預測技術提取代表幀的流程圖，圖4是圖3中“產生新代表幀”的流程圖。

在鏡頭的第1幀，先預設一個參考幀差F，只有幀差低于這一值時才有可能被判定為代表幀。然后依次分析每一幀，一旦遇到幀差比參考值低，就判斷當前處于曲線的下降通道，此時嚴格的講，每當幀差下降一次，就有可能已經達到曲線的谷點，應臨時保存該幀的數據為新的代表幀，但這樣會在曲線的下降過程中臨時保存大量的幀數據，降低程序運行效率。

為解決這一問題，可增加一個參數D，在曲線下降時，并不立即將當前幀作為代表幀，只有當幀差與參考幀差F之比低于參數D時，才將當前幀設置為預測代表幀，同時將當前幀差設置為參考值。預測代表幀并不一定是真正的代表幀，若幀差繼續下降，與參考幀差F之比再次低于參數D時，就將該點設置為新的預測代表幀，同時刪除舊的預測代表幀。若幀差開始進入上升通道或當前鏡頭結束（遇到了定位幀），則將最后一次提取的預測代表幀設置為代表幀。若幀差從上升通道轉到下降通道，就以峰值為參考值，繼續進行新的代表幀判斷。

5 小結

嚴格地講，在現有人工智能發展狀況下，代表幀的提取要完全依賴計算機智能提取是不現實的。但任何一種技術的發展都離不開大量的嘗試和經驗的積累，希望本文能夠為視頻內容智能識別帶來新的思路。

[1]陳曉藝，姜秀華.MPEG視頻的鏡頭分割技術[J].中國傳媒大學學報：自然科學版，2004，11（1）：26-29.

[2]除忠強.電視新聞節目基于內容的視頻檢索技術及其實現[J].電視技術，2008，32（10）：72-74.

[3]陳靜.基于代表幀的視頻摘要算法[J].現代計算機，2006（6）：82-84.

[4]王彥?，馬駟良.基于關鍵幀提取的視頻分割算法[J].吉林大學學報：理學版，2004，42（4）：570-571.

[5]胡雙演，李釗.基于內容的視頻分析技術研究[J].綜合電子信息技術，2006，32（5）：42-44.

[6]蔡肯，梁曉瑩.基于內容的視頻檢索技術[J].現代計算機，2007（12）：59-61.

[7]葉軍，周卉，李建良.基于視頻分割的關鍵幀提取[J].計算機工程與設計，2008，29（1）：109-111.

[8]劉佳兵.視頻檢索中的關鍵幀提取技術[J].福建電腦，2007（12）：55.

[9]周政，劉俊義，馬林華，等.視頻內容分析技術[J].計算機工程與設計，2008，29（7）：1766-1769.

[10]佟超，吳文怡.基于顏色的關鍵幀圖像檢索技術研究[J].電視技術，2008，32（10）：17-18.