兩種鏡頭檢測算法的對比

徐磊

（重慶郵電大學通信學院，重慶 400065）

0 引言

基于內容的視頻檢索技術的第一步就是鏡頭邊界檢測。一個鏡頭就是同一個攝像機在同一個場景拍攝到的一組連續的幀圖像，從內容上看這組幀圖像是一致的[1]。鏡頭檢測分為兩種，一種是突變，就是兩個幀圖像之間直接切過去，沒有多余的變化。一種是漸變，就是視頻后期加入的特殊效果，例如淡入淡出、疊化、擦除、糙化/褪色等等，漸變發生時，是連續的多個幀之間緩慢變化[2]。

近年來，這方面的研究成果頗為顯著，鏡頭檢測算法常用步驟為：先把要檢測的一段視頻分割成一幀一幀的幀圖像，然后通過數學方法提取每個幀的特征向量一個或多個，作為這個幀的特征值，最后進行幀與幀之間的對比，從而得出突變和漸變鏡頭邊界[3-6]。本文主要對其中兩種鏡頭檢測算法進行了詳細介紹，最后通過仿真結果進行對比并得出結論。

1 基于小波變換的邊界檢測算法

1.1 小波變換（DWT）

小波分析是當前應用數學和工程學科中一個迅速發展的新領域。與傅里葉變換相比，小波變換是空間（時間）和頻率的局部變換，因而能有效地從信號中提取信息。通過伸縮和平移等運算功能可對函數或信號進行多尺度的細化分析，最終達到高頻處時間細分、低頻處頻率細分，能自適應時頻信號分析的要求，從而可聚集到信號的任意細節，解決傅里葉變換的許多問題。一幅幀圖像通過小波變換可分解為4個分量：低頻分量（LL）、水平高頻分量（HL）、垂直高頻分量（LH）、對角線高頻分量（HH）。低頻分量看起來與原始圖很相似，但是尺寸要比原圖小的多，水平分量包括圖像的水平方向像素的信息特征，垂直分量表示的是圖像垂直方向像素的信息特征，同樣對角分量表示的是對角方向的信息特征。

1.2 特征提取

為了檢測出兩個幀圖像是突變還是漸變，就必須尋找出一種兩個幀之間的測量方法。由于視頻種類的多樣化，用一個特征向量代表一幅幀圖像很難有效地檢測出鏡頭邊界。在這種方法中我們使用多特征向量，用顏色信息、水平、垂直、對角邊界信息4個特征值作為一幅幀圖像的特征向量。顏色和邊界特征值在突變鏡頭發生時變化會很大，在漸變鏡頭發生時會有一串連續的幀圖像發生變化。鏡頭內物體的移動和攝像機的移動以及閃光燈會造成鏡頭檢測的許多錯誤，當這些情況發生時，顏色特征值會發生很大的變化，但是邊界特征值變化很小，可以利用這一點來消除燈光變化和運動。

首先把每幀圖像分很多小塊，每一個小塊尺寸為32×32像素，然后對每一塊進行同一尺度的小波變換。通過小波變換結果中LL分量就可以計算兩幀圖像的顏色特征值，用HL、LH、HH分別代表變化后的水平、垂直、對角特征值。

1.2.1顏色特征值的提取

式中A(l) 代表一幅幀圖像中第L塊的低頻系數LL之和，Cl(k) 是L中第k個像素的低頻系數值，M是第L塊中總的像素數。兩幅連續幀圖像中L塊的顏色特征值的差別可以用如下公式計算獲得，t代表t時刻的幀圖像，t+1代表t時刻后的一幅幀圖像。

最后，基于兩幅幀圖像的顏色特征值的差別得如下公式，N代表一幀中總的塊數：

1.2.2 邊界特征值的提取

根據式(1)～(4)計算，兩幀圖像的邊界差值在水平方向、垂直方向、對角方向分別為、、

圖1顯示了突變鏡頭的檢測結果，由圖可見，在突變鏡頭發生時，有明顯的峰值。前3個分量看起來還比較滿意，但是最后一個對角分量就不好，這表明如果閾值選擇得不好，效果就很差。

圖2顯示了小波變換中只有近似分量測試的視頻突變鏡頭。很明顯在這個分量上的測試效果非常好。

圖1 算法一的突變鏡頭檢測

2 基于顏色特征的鏡頭檢測算法

顏色特征相對于運動來說有很好的不敏感性，因此它經常用于鏡頭檢測。日常生活中，RGB顏色空間是使用最廣泛的，但是它還不是最接近人們的視覺感知，HSV（色調、飽和度、數值）顏色空間是人們用來從調色板或顏色輪種挑選顏色（如顏料和墨水）所用的彩色系統之一。該顏色系統更接近于人們的經驗和對顏色的感知。因此，首先要先將RGB空間轉換為HSV空間。

具體算法如下，按照人們平時的視覺辨別能力，把H分量分為12份，S分量和V分量各分為5份，由此，兩幀圖像之間的相似度用如下公式計算：

式中，H(i)、S(i)、V(i)分別代表H、V、S分量中滿足第i份的像素數的總和。

圖3顯示了此算法測試結果，總體看起來效果很好。

3 實驗結果分析和結論

鏡頭檢測算法經常用查準率和查全率以及F1來評估，它們的定義為，A：正確的檢索結果；B：檢測出錯誤的結果；C：漏檢。

TREC-2001[9]視頻數據庫經常被用來評估鏡頭檢測算法的好壞，這里包括了很多不同風格的視頻片段，而且這些片段的年代和質量都不相同，最重要的是片段里的突變鏡頭和漸變鏡頭已經被NIST列出，不用人為的觀察。本文采用了網站上提供的10個片段，包括動畫、戰爭、娛樂、紀錄片4種類型。由于檢測漸變鏡頭算法還需要在上面兩種算法基礎上進行深一步的研究，所以在此只列出了突變鏡頭檢測的結果。算法一和算法二檢測的結果如表1和表2所示。

表1 評價算法一性能的結果

表2 評價算法二性能的結果

從實驗結果可以看出，兩種方法在檢測突變鏡頭時算法二明顯優于算法一，而且由于算法一步驟比較復雜，中間處理數據多，造成算法一在MATLAB里面程序運行時間要明顯長于算法二。實踐證明突變鏡頭比較容易檢測，因此在研究檢測突變鏡頭算法時，簡單有效的顏色直方圖對比就可以，沒必要采用過于復雜的算法。在檢測過程中，發現兩種算法對攝像機運動都很敏感，比如在記錄片中有很多都是攝像機的運動，這造成了很多誤檢，直接影響了算法的效率。在數字視頻高度發展的今天，越來越多的視頻加入了特殊的編輯效果，使檢測算法變的更加困難和復雜，所以今后在漸變鏡頭方面的檢測算法會成為人們研究的熱點和難點。

[1]U.Gargi, R.Kasturi and S.H.Strayer.Performance characterization of video-shot-change detection methods[J].IEEE Trans.on Circ.and Sys.for Video Tech,2000,11:1-13.

[2]J.H.Yuan, H.Y.Wang, and B.Zhang.A formal study of shot boundary detection[J].IEEE Transactions on Circuits and System for Video Technology,2007,17(2):168-186.

[3]R.Zabih, J.Miller,K.Mai.A Feature-based algorithm for detecting and classifying scene break[J].Proc.ACM Mult.95, San Francisco,California,1995,11:189-200.

[4]H.J.Zhang, A.Kankanhalli ,S.Smoliar.Automatic portioning of full-motion video[J].Mult.Sys.,1993,2(7):10-28.

[5]Y.Liu, W.Wang, W.Gao , W.Zeng.A Novel compressed domain shot segmentation algorithm on H.264/AVC[C].Proc.Intl.Conf.on Image Proc.(ICIP2004)，Singapore,2004,10:2235-2238.

[6]A.Ekin, A.M.Tekalp and R.Mehrotra.Automatic soccer video analysis and summarization[J].IEEE Trans.on Image Proc., 2003,7:796-807.

[7]Jun Li, Youdong Ding, Yunyu Shi, Qingyue Zeng.DWT-based Shot Boundary Detection Using Support Vector Machine[C].IEEE 2009 Fifth International Conference on Information Assurance and Security43-438 2009.

[8]Zhiyi Qu, Ying Liu, Liping Ren, Yong Chen, Ruidong Zhang.A Method of Shot Detection Based on Color and Edge Features[C].IEEE 2009 Fifth International Conference on Information Assurance and Security2009.

[9]Videos in the 2001 TREC video retrieval test collection.http://www.open-video.org/.