智能視頻內容分析系統設計與實現

盛仲飆

摘要：智能視頻內容分析系統已經在許多領域得到了廣泛的應用，已經成為智能化處理的一個熱點。該系統的主要任務是對于一段給定的視頻，檢測出其中的運動物體，再從眾多的運動物體中識別出滿足特定要求的物體，最后完成對識別出的運動物體的跟蹤。針對背景減去法和幀差法的缺點，采用背景減去法與幀差法相結合的方法進行目標檢測;采用基于kalman濾波器的Camshift跟蹤算法進行跟蹤。該系統有效地提高了跟蹤的準確度和運行速度，真正實現視頻監控的智能化。

關鍵詞：運動目標檢測;運動目標識別;Camshift算法;kalman濾波器

中圖分類號：TP311? ? 文獻標識碼：A

文章編號：1009-3044（2021）33-0083-03

開放科學（資源服務）標識碼（OSID）：

Design and Implementation of Intelligent Video Content Analysis System

SHENG Zhong-biao

（School of Computer Science and Technology， Weinan Normal University， Weinan 714019， China）

Abstract： Intelligent video content analysis system has been widely used in many fields and has become a focus in the intelligent processing. The main task of the system is to detect the moving objects in a given video， and then to identify to objects that meet the specific requirements from a number of moving objects， and finally to complete the tracking of the identified moving objects. Aiming at the shortcomings of background subtraction and frame difference method， background subtraction and frame difference method are combined to detect the target. The system adopts Camshift tracking algorithm based on Kalman filter for tracking. The system improves the tracking accuracy and running speed effectively， and realizes the intelligentization of video surveillance.

Key words： moving target detection; moving target tracking; Camshift algorithm; kalman filter

1 前言

伴隨著人們安全意識的不斷提高，攝像頭等視頻采集設備數量不斷增加，人們對視頻處理的需求也越來越高。生活中，視頻監控無處不在，在交通、銀行、生產生活、公共安全等各個領域都得到了廣泛的應用，視頻監控已經成為安全防護中不可或缺的重要組成部分[1]。然而，目前的視頻監控平臺并不能實現真正意義上的監控，只是做到了對當時場景的錄制以及視頻的存儲。面對海量的視頻數據，要想從中找到有價值的信息將會消耗大量的人力、物力與財力。

本文所研究內容是對于一段給定的視頻，檢測出其中的運動物體，然后從眾多的運動物體中識別出滿足特定要求的物體，最后實現對該物體的跟蹤。從而實現視頻監控的真正智能化。

2 系統概要設計

首先對從視頻中提取的每一幀圖像進行預處理，其次，利用背景減去法和幀差法相結合的方法檢測出視頻中的運動物體，然后，利用基于顏色的識別與基于模板的識別這兩種方法從眾多的運動物體中篩選出特定顏色的車，最后利用基于kalman濾波器的Camshift跟蹤算法完成對識別出來的車進行跟蹤[2]。

（1）圖像預處理模塊主要是對視頻序列的每一幀圖像進行一些處理，為后續工作做鋪墊;

（2）運動目標檢測模塊主要是檢測出視頻中運動的人、車、動物等;

（3）運動目標跟蹤模塊主要是實現對檢測并識別出來的特定顏色的車的跟蹤;

（4）運動目標識別模塊主要是從上一步檢測到的眾多運動目標中識別出特定顏色的車。

3 系統詳細設計

3.1 圖像預處理模塊

該模塊主要用到了圖像灰度化、圖像濾波、圖像二值化、形態學濾波等方法。

（1）圖像灰度化

去除彩色圖像中的彩色信息，使圖像只含有亮度信息。灰度圖像包含的信息量較少，計算方便簡單，更容易實現實時處理。具體函數：cvCvtColor（）。

（2）圖像去噪

圖像去噪是為了減少圖像上的噪聲或者失真。具體函數：cvSmooth（）。

（3）圖像二值化

采用閾值法，即：設置一個合適的閾值，并用此閾值將圖像分為背景和目標兩部分，在實際中，常用255表示背景，用0表示目標。具體函數：cvAdaptiveThreshold（）。

（4）形態學處理

采用函數：cvMorphologyEx（）對圖像進行形態學處理。

3.2 運動目標檢測模塊設計

3.2.1背景減去法

首先，可通過均值法來獲得背景模型，其次，計算當前圖像與背景圖像的差值，設置合適閾值，將差值與該閾值做比較，如果差值大于設定的閾值，則認為是前景點，否則認為是背景點，最后利用公式（1）更新背景模型[3]。

[backk+1x，y=1-a×backkx，y+imagek（x，y）]? （1）

3.2.2幀差法

幀差法就是將相鄰兩幀圖像對應的像素點進行減法運算，設置合適的閾值，并將得到的差值與該閾值做比較，如果差值大于設定的閾值，則認為是前景點，否則認為是背景點[4]。

3.2.3背景減去法與幀差法相結合的方法

該運動目標檢測算法的具體實現過程：首先利用前20幀圖像通過均值法得到背景模型，之后的每一幀圖像減去背景圖像，從而獲得前景圖像fore_image1，并且利用當前幀更新背景模型。其次，將當前幀與前一幀相減得到前景圖像fore_image2， 最后將前景圖像fore_image1與fore_image2進行與操作，得到最終的前景圖像。利用cvfindcontours（）函數提取每個運動物體的輪廓。

3.3 運動目標識別模塊設計

3.3.1 基于顏色的識別

首先將源圖像中需要判斷顏色的圖像塊轉化為HSV圖像，這樣可以避免光照等因素的干擾。其次，將該HSV圖像分解為色調（H），飽和度（S），亮度（V）這三個通道。最后判斷圖像塊中每個點的這三個通道的值是否在指定顏色所對應的范圍之內，如果有50%以上的點在范圍之內，則認為圖像塊為指定顏色。

3.3.2 基于模板的識別[5]

整個過程分為三步：創建樣本、訓練Haar分類器、利用Haar分類器判斷是否為車。

（1）創建樣本

樣本包含正樣本和負樣本，其中正樣本為不同車在不同角度拍攝的照片，負樣本為周圍背景環境的照片且不能包含車的特征。所有樣本被歸一化為20×20。

v為正樣本創建描述文件，命令如下：dir ＼b >positive.txt

再將bmp改為bmp 1 0 0 20 20。

利用OpenCV自帶的opencv_createsamples.exe為正樣本創建向量文件，命令如下：opencv_createsamples.exe –info postive.txt –vec postive.vec -num 2000 -w 20 -h 20

v 為負樣本創建集合文件

命令如下：dir ＼b >negative.txt

（2）訓練Haar分類器

利用OpenCV自帶的opencv_haartraining.exe來訓練Haar分類器。命令為：opencv_haartraining.exe –data cascade -vec postive.vec -bg negative.txt -npos 2000 -nneg 6000 -w 20 -h 20 -mem 1000 -nstages 18 –mode? ALL –nonsym。

（3）利用Haar分類器判斷是否為車

首先使用函數cvLoad（）加載已經訓練好的分類器mode.xml，其次對圖像進行直方圖均衡化并歸一化到同樣大小，然后使用函數 cvHaarDetectObjects（）來尋找與訓練目標相似的物體（如：本系統中的車），如果該函數返回的CvSeq序列的長度不為0，則認為有車存在，否則認為沒有車存在。

3.4 運動目標跟蹤模塊設計

3.4.1 Camshift算法

Camshift算法的基本原理是利用目標的顏色直方圖來尋找目標在圖像序列中出現的位置和大小。在搜索之前，利用目標的當前位置和大小來初始化搜索窗口，計算搜索窗口的質心，并將窗口的中心移到質心處，不斷迭代，直至窗口的中心與計算得到的質心的差值小于一定閾值，此時就找到目標在當前圖像中的位置和大小，重復以上過程實現目標的連續跟蹤[6]。

3.4.2 基于kalman濾波器的跟蹤算法

kalman 濾波器可以根據目標上一次出現的位置以及跟蹤模型精確地預測目標將要出現的位置，主要分為兩個階段[7][8]：

（1）預測階段，即：用前面得到的信息來修正跟蹤模型，并預測出目標在下一幀圖像中將要出現的位置

（2）校正階段，即：利用匹配法得到目標位置的測量值，并與由上一次測量值預測出的預測值進行調整。

3.4.3 基于kalman濾波器的Camshift跟蹤算法

基于kalman濾波器的Camshift跟蹤算法的基本過程如下：

（1）假設在第i幀圖像中檢測并識別出特定顏色的車，利用該車的當前位置來初始化kalman濾波器，并為該車建立運動模型。

（2）利用kalman濾波器根據該車在第i幀圖像中的位置預測出該車在下一幀圖像（即第i+1幀圖像）中可能出現的位置，具體函數為cvKalmanPredict（）。

（3）在第i+1幀圖像，根據該車的預測位置來設置搜索范圍以及搜索窗口，利用Camshift算法在該指定搜索范圍內查找該特定顏色的車是否出現以及出現的具體位置。

（4）利用步驟3得到的該車的實際位置來糾正kalman濾波器，具體函數為cvKalmanCorrect（）。

（5）重復上述步驟2、3、4直到視頻結束。

3.5 用戶界面設計

4 系統實現

本系統所采用的環境是VS2013、OpenCV、QT5.3。配置OpenCV庫的目的是在程序中調用其中的圖像處理函數等。

（1）選擇“選擇視頻”按鈕，選擇要分析處理的視頻。

（2）在特征欄選擇要檢測跟蹤的車的顏色，在功能選擇區中點擊開始跟蹤按鈕后，視頻將會開始播放，此時信息欄的備注信息將顯示“the video is played”，表示視頻正在播放中;當點擊重新開始播放按鈕后，視頻將會從頭開始播放。界面如圖3。

（3）在視頻播放過程中，進行運動目標檢測，并判斷運動的物體是否是特定顏色的車。在某一時刻檢測并識別出視頻中要跟蹤的特定顏色的車后，開始跟蹤該車，并用紅色方框將該車標記出來，且紅色方框的大小會隨著該車大小的改變而發生改變。例如：當車輛開向遠方時，車輛在視頻中將會逐漸變小，那么紅色方框也會隨著逐漸變小。此時信息欄的備注信息將顯示“Tracking target appears ！”，表示紅色的車已經被檢測并識別出來，并且處于跟蹤狀態中。界面如圖4：

5 結論

智能視頻內容分析系統的主要任務是對于給定的一段視頻，檢測出其中的運動物體，并從眾多的運動物體中識別出紅色車，最終實現對紅色車的跟蹤。本系統達到了預期的效果，并具有較好的魯棒性與準確度。

參考文獻：

[1] 潘晶晶.網絡視頻實時監控系統的設計與實現[D].北京：北京郵電大學，2010.

[2] 趙光磊.視頻監控中運動車輛的檢測研究[D].石家莊：河北科技大學，2014.

[3] 喻旭勇.基于視頻的車輛檢測與跟蹤算法研究[D].上海：東華大學，2013.

[4] 嚴馳.視頻運動目標檢測算法綜述[J].科教導刊-電子版（中旬），2015（10）：130.

[5] 詹群峰.基于OpenCV的視頻道路車輛檢測與跟蹤[D].廈門：廈門大學，2009.

[6] 陳藝.改進Camshift算法的多行人目標跟蹤方法[J].導航定位學報，2019，7（4）：30-36.

[7] 梁娟，項俊，侯建華.基于Camshift和Kalman濾波的自動跟蹤算法[J].微型機與應用，2011，30（24）：28-31.

[8] 徐磊.Camshift與Kalman濾波相結合的跟蹤技術研究[D].南京：南京理工大學，2012.

【通聯編輯：梁書】