音視頻重復序列檢測技術在廣告節目智能檢測中的應用研究

隨著廣播電視的不斷發展，廣播電視行業積累了海量的多媒體數據。一方面，由于缺乏有效的電視節目結構信息和內容標注，人們很難從大量的廣播電視多媒體數據中快速準確的查找到需要的信息。另一方面，國家廣電相關監管部門關注廣告播出的內容是否合法，播出的時間、形式是否合規。國家廣電總局針對廣告的播出情況有較多的條文進行規范，例如《17號令》、《61號令》、《72號文》、《39號文》等。

因此，現在亟需研究針對廣播電視多媒體數據的分析技術，以輔助人們方便地對廣播電視數據進行管理。本文以廣播電視數據為研究對象，以廣播電視中的廣告節目智能檢測為立足點，深入研究了重復序列檢測技術。

由于廣播電視中的廣告節目具有在當天或多天內多次滾動播出的特點，因此在全天或多天的廣播電視中存在重復播出的特征，本文正是基于上述特點，采用了一種魯棒的在廣播電視流中檢測重復序列的方法，并與傳統的音視頻模板匹配技術相結合，提升了廣告節目智能檢測的查全率。

圖1

如圖1中所示，該方法首先采用傳統的音視頻模板匹配技術，根據已有的廣告模板在全天的廣播電視節目中識別已知廣告節目，對于剩余的時段（空檔）則采用廣播電視流中檢測重復序列的方法，主動發現多次重復播出的音視頻片段，結合廣告5秒、10秒、15秒、30秒的時長特征，智能判別為疑似的廣告節目，最后由人工審核確認是否為廣告節目，從而在傳統的采用音視頻模版匹配技術只能夠發現已知廣告的基礎上，實現了未知廣告的智能識別，進一步提升了廣告節目智能檢測的查全率。

在本項目中，采用了一種魯棒的檢測重復序列的方法，首先將重復序列檢測問題轉化為隱馬爾科夫模型（HiddenMarkovModel，HMM）中的解碼問題。在這個框架中，我們明確定義待檢測的目標是最長松弛連接序列，該目標將重復序列檢測與相似架格中的最優路徑聯系起來。由于傳統的解決HMM解碼問題的方法維特比算法在此處不能直接適用，因此我們采用一種近似維特比的方法來檢測局部最優路徑。最長松弛連接序列的松弛性定義及近似維特比算法的靈活性，使得提出的算法對信號畸變具有很強的抵抗力。

然后，我們將重復序列檢測算法應用于無監督的重復節目檢測。在應用時，我們發現重復節目，尤其是廣告節目的實際播出情況非常復雜，包括長短版本廣告、連續出現廣告，這些實際播出的復雜情況使得節目的重復模式也異常復雜。為了解決這個問題，我們提出了重復序列檢測算法應用于重復節目檢測的三個基本準則：最長重復原則、獨立出現原則、等價原則。實驗證明提出的準則可以很好的檢測獨立重復節目，其流程如圖2中所示。

圖2

首先，一個多媒體數據流被分割為一序列基本的單元，比如鏡頭、片段等。然后，每個基本的單元都提取音頻或視頻特征。通過計算音視頻的特征的距離確定基本單元之間的相似度，從而構成基本單元之間的相似度度量矩陣。最后從相似度度量矩陣中提取重復序列。

在特征提取方面，和傳統的音視頻模板匹配技術中使用的特征類似，可以分為音頻特征和視頻特征。視頻方面主要是顏色、紋理、運動等特征[1,2]；音頻方面主要是一種時頻域的能量峰值特征[3]，對于背景噪音比較魯棒。但是這種特征對于結構聲音（比如鈴聲）等比較有效，對于自然界的聲音（比如開門聲）效果不太好。在本文中，則同時使用了音頻特征和視覺特征，首先以音頻指紋特征作為第一步重復性查找的特征，然后再提取視頻特征用來確認，取得了不錯的檢測效果。

在相似度度量方面，則采用了Herley[4]提出的降維技術降低特征維數的方法，從而提高搜索的效率。至于重復序列識別這一步，則采用將前后具有時間一致性關系的片段連接起來的方法。

總的來講，基于上述方法，能夠在傳統的采用音視頻模版匹配技術只能夠發現已知廣告的基礎上，實現了未知廣告的智能識別，進一步提升了廣告節目智能檢測的查全率；同時，采用重復序列檢測技術的優點是不需要訓練數據（例如訓練廣告音視頻模板），可以無監督的進行廣告節目的檢測，但是缺點也很明顯，即假設并不總是成立，比如，有時廣告節目只播出了一次，這種廣告節目就無法通過重復性檢測出來。

[1]John M Gauch and Abhishek Shivadas.Identication of new commercialsusing repeated video sequence detection.In Image Processing, 2005.ICIP2005.IEEE International Conference on, volume 3,pages II{1252. IEEE,2005.

[2]John M Gauch and Abhishek Shivadas. Finding and identifying unknowncommercials using repeated video sequence detection.Computer Visionand Image Understanding, 103(1):80-88,2006.

[3]James P Ogle and Daniel PW Ellis.Fingerprinting to identify repeatedsound events in long-duration personal audio recordings.In Acoustics,Speech and Signal Processing,2007.ICASSP 2007.IEEE InternationalConference on,volume 1,pages I-233.IEEE,2007.

[4]Cormac Herley.Argos:automatically extracting repeating objects frommultimedia streams. Multimedia,IEEE Transactions on, 8(1):115-129,2006.