監控視頻的摘要提取方法研究

姚 彬，史 萍，葛 菲，謝志揚

（中國傳媒大學 信息工程學院，北京 100024）

1 引言

數字視頻監控系統是以數字視頻處理技術為核心，綜合利用光電傳感器、計算機網絡、自動控制和人工智能等技術的一種新型監控系統。數字視頻監控具有傳統模擬監控無法比擬的優點。由數字視頻監控系統生成監控視頻多數是以原始的、未經編輯的形式存放在硬盤中，信息量非常大，用戶對視頻的查找和瀏覽極為不便。

視頻摘要技術所解決的問題是如何使視頻數據能夠被有效表示和快速訪問，利用對視頻內容的分析來減小視頻存儲、分類和索引的代價，提高視頻的使用效率、可用性和可訪問性。因而，如何有效提取監控視頻的視頻摘要，縮短視頻長度，節省用戶的查找和瀏覽時間，是當今需要迫切解決的問題。

2 監控視頻的特點

監控視頻一般是用監控設備所拍攝的，由于拍攝者、拍攝工具、拍攝內容和拍攝手段的限制，形成了不同于其他視頻資料的一些顯著特點：

1）監控視頻沒有明顯的結構特征。監控視頻主要記錄了某個特定空間內人物的活動情況等，沒有人為設計的故事情節或是特定的結構特征。

2）監控視頻一般無鏡頭切換或鏡頭切換不頻繁。監控視頻中經常發生的情況是對于某一個固定的地方做長時間的攝錄，鏡頭切換往往發生在人物的位置變化的時候。

3）監控視頻中含有大量冗余內容。監視視頻包含了大量沒有經過編輯的、原始的視頻信息，可能會出現一長段時間內都是同一靜止畫面的無用內容。

4）監控視頻的觀眾是一個固定的群體。監視視頻的觀眾一般僅限于監控視頻的管理者，他們對于視頻摘要的要求更多的是對某一段時間內監視情況的回顧或者是對某個特征人物或物體的查找[1]。

根據監控視頻的這些特點，筆者將監控視頻分為運動片段和靜止片段。運動片段包含了人物的活動情況，為有用的視頻信息，靜止片段中長段時間內都是同一靜止背景畫面，為無用的視頻信息。本文中監控視頻的視頻摘要提取的主要目的是去除視頻中的靜止片段，縮短視頻長度。

3 監控視頻的摘要提取

對于視頻內容的分析有像素域和壓縮域兩種思路。目前的視頻摘要算法多針對像素域，如模板匹配法、基于塊的比較、直方圖比較等。在壓縮域對視頻進行分析可以大大降低計算復雜度和處理時間，提高效率[2]。由于監控視頻的數據量非常大，處理時間為主要考慮因素，因而對視頻的分析在壓縮域進行。摘要提取算法如圖1所示。

3.1 幀運動量的計算

圖1 監控視頻摘要的提取過程

為了將監控視頻自動地分割為運動片段和靜止片段，首先需要了解視頻運動活動性的概念。視頻的運動活動性是指視頻序列給用戶視覺上的感知運動強弱程度。很顯然，監控視頻中運動片段的運動活動性比靜止片段要大很多。文獻[3]以MPEG碼流中宏塊的運動矢量為基礎，檢測每個P幀中具有較強運動的塊連接而成的區域大小，形成不同面積的活動區域的直方圖，以此描述視頻鏡頭的活動性。文獻[4]用計算相鄰兩幀之間塊運動矢量模的均值和相繼三幀對應塊之間的運動差矢量模的均值作為活動性描述。文獻[5]提出一種基于局部活動性直方圖（LAH）描述視頻運動活動性的方法。該方法首先對視頻進行運動分析得到二維運動矢量場，然后在此基礎之上形成強度標記圖 （STI），并用一個空間模板掃描STI，得到局部活動性直方圖來描述運動矢量的空間分布，最后結合運動矢量的強度信息和LAH形成視頻運動活動性描述子。

筆者引入幀運動量的概念來描述視頻中一幀圖像的運動活動性。幀運動量由以下3個參數來表征：

塊運動矢量模總和為

式中：m和n分別為當前幀中水平方向和垂直方向塊的個數，0≤i≤m，0≤j≤n，vi，j（x）為當前塊的運動矢量在水平方向的值，vi，j（y）為當前塊的運動矢量在垂直方向的值，N為運動矢量模不為0的塊個數。

當運動對象在圖像中占據的面積較大時，塊運動矢量?？偤偷闹禃貏e大。當運動對象較小時，塊運動矢量模總和的值不會特別大，但塊運動矢量模均值仍會比較大。當這兩者的值都不大，但最大塊運動矢量模較大時，仍可判定該幀的運動量較大。通過這3個參數綜合衡量一幀的運動活動性，可將所有視頻幀分為運動幀（運動活動性較大的幀）和靜止幀（運動活動性較小的幀）。

3.2 運動片段和靜止片段的分割

由于對實時性的要求，監控視頻的編碼一般不采用B幀。運動片段和靜止片段的分割采用圖2所示的算法。

圖2 監控視頻片段分割流程

4 實驗結果及分析

在目前的視頻監控系統中，主流的壓縮格式是MPEG-4，主流分辨力是CIF。本文實驗選取MPEG-4，352×288的視頻格式。實驗結果如表1和表2所示。表1為原始視頻與摘要視頻的參數比較，可以看出無論在視頻長度還是在視頻大小上，摘要視頻都比原始視頻小很多，達到了前文所提到的縮短視頻長度的目的。表2為人工在原始視頻上劃分的運動片段與視頻摘要中系統自動劃分的運動片段的比較。 00：00：05—00：00：07沒有運動人物出現，但是畫面中存在大量運動的陰影，因而也被作為運動片段分割出來；00：09：26—00：09：29，00：09：31—00：09：34兩段運動片段之間的間隔較短，因而被分割到同一運動片段；00：16：58—00：17：11，00：19：40—00：20：02運動人物進入鏡頭后交替進行運動和停止兩種狀態，因而被分割為不同的運動片段；00：14：24—00：14：29，00：24：18—00：24：21，00：25：35—00：25：37，00：28：11—00：28：15，00：28：24—00：28：28，00：29：40—00：29：43 運動人物在圖像背景中比較靠后的樓梯中出現，占整個畫面比例太小，因而沒有被檢測出來。其他運動片段均被正確分割出來，起始點都較為精確，由于系統的算法和運動陰影的影響，結束點一般比人工劃分的結束點延后幾秒。

表1 原始視頻與摘要的視頻參數比較

表2 摘要提取結果

整體來看，生成的摘要視頻去除了原始視頻中大量靜止的無用信息，保留了主要的運動信息，滿足了監控視頻的摘要需求。

5 小結

本文采用基于幀運動量計算和運動片段分割的方法來提取監控視頻的摘要。實驗結果表明，該方法具有快速、準確的特點，可應用于監控視頻的內容分析及檢索系統。進一步的改進工作包括自適應選取閾值、優化算法提高運動片段分割的精度，以達到更好的實用效果。

[1]張振領.基于內容的監視視頻摘要技術研究[J].電腦知識與技術，2008（10）：154-156.

[2]張嫘，黃焱.一種壓縮域原始視頻資料的摘要方法[J].廣播電視與技術，2008（1）：55-58.

[3]DIVAKARAN A，PEKER K，SUN Huifang.A region based descriptor for spatial distribution of motion activity for compressed video[C]//Proceeding of2000 IEEE InternationalConference ofImage Processing.[S.l.]：IEEE Press，2000：287-290.

[4]許先斌，汪長城，陳勇華.一種基于運動特征的快速鏡頭邊界檢測方法[J].計算機應用，2004（12）：4-6.

[5]曾煒，高文，袁祿君.一種新的視頻運動活動性的描述與檢索方法[EB/OL].[2009-09-20].http∶//www.jdl.ac.cn/doc/2002/%E4%B8%80%E7%A7%8D%E6%96%B0%E7%9A%84%E8%A7%86%E9%A2%91%E6%B4%BB%E5%8A%A8%E6%80%A7%E6%8F%8F%E8%BF%B0%E4%B8%8E%E6%A3%80%E7%B4%A2%E6%96%B9%E6%B3%95.pdf.