基于背景減除法的視頻序列運動目標檢測

劉仲民,何勝皎,胡文瑾,李戰明

(1.蘭州理工大學 電氣工程與信息工程學院，蘭州 730050; 2.西北民族大學 數學與計算機科學學院，蘭州 730000)

基于背景減除法的視頻序列運動目標檢測

劉仲民1*,何勝皎1,胡文瑾2,李戰明1

(1.蘭州理工大學 電氣工程與信息工程學院，蘭州 730050; 2.西北民族大學 數學與計算機科學學院，蘭州 730000)

(*通信作者電子郵箱liuzhmx@163.com)

視頻序列中運動目標的檢測是目標識別、標記和追蹤的重要組成部分，背景減除法是運動目標檢測中被廣泛應用的算法。針對光線變化、噪聲和局部運動等影響運動目標檢測效果的問題，提出一種基于背景減除法的視頻序列運動目標檢測算法。該算法結合背景減除法和幀間差分法，對當前幀像素點的運動狀態進行判斷，分別對靜止和運動的像素點進行替換和更新，采用最大類間方差(Otsu)法對差分圖像進行目標提取，并使用數學形態學運算去除目標中的噪聲和冗余信息。實驗結果表明，所提算法對于視頻序列中運動目標的檢測具有較好的視覺效果和較高的準確度，能夠克服局部運動以及噪聲等缺陷。

視頻序列；背景減除法；幀間差分法；最大類間方差；目標檢測

0 引言

近年來，隨著人工智能的發展，機器視覺的研究越來越熱門。從視頻序列中檢測出運動目標，也成了研究中的熱點。目前常用的檢測算法主要有幀間差分法[1]、背景減除法[2]和光流法[3-4]等。光流法利用序列圖像中每一幀圖像中各個像素的矢量特征來檢測運動區域，當目標運動時，運動目標形成的光流矢量會發生變化，從而實現運動目標的檢測。該算法能有效地提取和跟蹤運動目標，但計算較為復雜，抗噪性能差，難以進行實時處理。此外，還有許多關于視頻序列運動目標的算法，主要有：混合高斯模型(Gaussian Mixture Model, GMM)[5]、Codebook[6]、自組織背景檢測(Self-Organization Background Subtraction, SOBS)模型[7]、樣本一致性(SAmple CONsensus, SACON)背景建模[8]、ViBe[9]等背景建模算法。混合高斯模型能夠在復雜場景下對目標檢測，但是該算法對噪聲敏感，且計算量大；基于Codebook的算法，雖然具有較好的效果，但是對光線的變化比較敏感；SOBS對光照有一定的魯棒性，若輸入圖片較大時，計算量相應增大；SACON通過對每一個像素進行樣本一致性計算估算背景模型，對噪聲較為敏感；ViBe算法總體速度快，是目前應用較多的一種算法，但是該算法對光線敏感且噪聲抑制能力較差。綜合考慮現有算法的優缺點，本文采用背景減除法進行運動目標檢測。

背景減除法所要解決的關鍵問題是建立高效的背景模型，通常在背景建模時要考慮光照強度的變化、噪聲以及背景的及時更新等問題[10]。文獻[9]通過建立背景樣本模型，將當前像素隨機的與背景像素樣本集進行對比判斷該像素的運動狀態，縮減了對像素運動狀態的判斷時間；文獻[11]通過連續兩幀快速匹配確定初始候選背景像素點，候選的背景像素點通過穩定信號訓練器，產生精確背景像素；文獻[12]在Σ-Δ濾波的思想上，結合背景減除法和幀間差分法產生穩定的背景像素點；文獻[13]通過背景減除法和幀間差分法產生運動差分圖像，采用區域塊熵可產生合適的閾值，進行像素點運動狀態判斷；文獻[1]采用連續兩幀同一位置像素的相關性來判斷像素的狀態，可以有效地平滑窗口區域的噪聲。本文提出的基于背景減除法的視頻序列運動目標檢測算法，結合了幀間差分法和背景差分法，可以有效地獲取像素當前的運動狀態和抑制噪聲，并能及時更新背景模型。

1 運動目標檢測的基本算法

1.1 背景減除法

背景減除法[1]是利用背景的參數模型來近似圖像的像素值，將當前幀與背景圖像作差分比較以實現運動目標的檢測。該算法對運動目標的檢測，重點在于建立一個魯棒的背景模型，能夠適應光照的變化、背景內微小目標的移動和噪聲的影響等。背景減除法如式(1)所示：

(1)

式中：It(x,y)、Bt(x,y)分別表示當前幀與背景幀圖像；BDt(x,y)表示背景差分圖像；t表示幀數(t=1,2,…,N)；τ1為閾值。背景減除法能夠有效地檢測出完整的運動區域，但是對噪聲和局部運動比較敏感。

1.2 幀間差分法

幀間差分法[2]是基于視頻序列中相鄰幀圖像具有強相關性而提出的檢測方法，利用視頻序列中相鄰的兩幀或者兩幀以上作差分運算來實現運動目標檢測。幀間差分法如式(2)所示：

(2)

式中：It(x,y)、It-1(x,y)分別表示當前幀與前一幀圖像；FDt(x,y)表示背景差分圖像；τ2為閾值。幀間差分法對于動態場景具有較強的適應性，在檢測運動目標時可以有效地檢測出連續兩幀圖像中沒有明顯變化的像素點，并且能夠適應光線的變化，但不能提取完整目標信息，對于運動過快的目標，會產生“鬼影”，對于運動過慢的目標會產生“孔洞”。

2 視頻序列運動目標檢測算法

2.1 背景初始化

為了產生一個初始參照模型，本文采用改進的滑動均值模型[11]，對視頻序列取K幀來初始化背景模型，如式(3)所示：

Bt(x,y)=Bt-1(x,y)+(It(x,y)-Bt-1(x,y))/t

(3)

其中：t是選取視頻序列的幀數；Bt-1(x,y)是前一幀背景。該背景模型只將當前幀和前一幀背景相關聯，節省了內存空間，且基本保留了實際背景中的特征信息。

2.2 像素點估計

在視頻序列中，取連續兩幀序列It-1(x,y)、It(x,y)，以及前一幀背景Bt-1(x,y)與當前背景Bt(x,y)，分別對當前幀使用式(1)～(2)作背景減除和幀間差分，產生初始背景像素候選點。選擇合適的閾值τ1和τ2，分別對兩幅差分圖像進行運動像素和靜止像素的標記，用“1”表示運動像素，“0”表示靜止像素，如式(4)、(5)所示：

(4)

(5)

為了盡可能避免漏檢靜止像素，對兩幅標記圖采用“或”運算，從而產生穩定的靜止像素和估計運動的像素，如式(6)所示：

(6)

2.3 背景更新

在得到像素的運動狀態后，用當前幀It(x,y)和前一幀背景Bt-1(x,y)去更新背景模型，以此精確地逼近當前幀下的背景圖像Bt(x,y)。對FBMt(x,y)中被標記為靜止的像素點，使用當前幀It(x,y)中對應的像素點替換；FBMt(x,y)中被標記為運動的像素點，使用一個新的像素代替，如式(7)所示：

(7)

一般情況下，運動區域的背景像素的更新，直接使用前一幀背景Bt-1(x,y)中對應的像素。當運動目標移動緩慢時可能會產生“鬼影”。為了能夠迅速更新運動區域的背景像素，結合當前幀It(x,y)和前一幀背景Bt-1(x,y)，使用滑動均值的思想來更新運動區域的背景像素，因此將式(7)描述為如式(8)所示：

Bt(x,y)=

(8)

式中：α為學習參數(又稱速率參數)，α的取值大小直接決定了背景的更新速率。依據不同場景，1/α的取值范圍為0.012 5至0.125 0，在本文中取經驗值0.012 5。

對當前幀It(x,y)和當前背景Bt(x,y)進行差分，得到差分圖像Dt(x,y)，如式(9)所示：

Dt(x,y)=|It(x,y)-Bt(x,y)|

(9)

式中Dt(x,y)為當前幀差分圖像。

2.4 目標提取

為了能精確、快速地提取運動目標，本文采用最大類間方差(Otsu)算法[14]，對Dt(x,y)進行目標提取。算法步驟如下：

設一幅灰度圖像的灰度級為L，ni表示灰度值為i的像素數，n代表圖像總的像素數，pi代表圖像中灰度值為i像素出現的概率，則pi=ni/n。若利用閾值t將圖像中的像素按照灰度值分成目標C0和背景C1兩類,其中C0={1,2,…,t},C1={t+1,t+2,…,L-1}。

步驟1C0和C1出現的概率；

(10)

(11)

步驟2C0和C1灰度均值分別為：

(12)

(13)

其中目標圖像的平均灰度記為：

(14)

圖像的總平均灰度記為：

(15)

(16)

步驟4 求得閾值τ3；

(17)

步驟5 使用閾值τ3對Dt(x,y)分割，得到二值圖像掩模RMt(x,y)；

(18)

為了去除噪聲和冗余信息對目標提取的影響，采用形態學中閉運算對目標圖像進行濾波，去除產生的噪聲和冗余信息。

3 實驗結果與分析

為了驗證本文算法的有效性，本文將該算法和一些典型的算法作實驗對比。實驗環境為Windows10操作系統、Inteli5處理器、8GB內存，實驗平臺為MatlabR2014a。本文選取CVDatasetsontheweb的視頻序列IBS、LAB、OCL、OSU1、OSU2。其產生環境、圖像大小、背景屬性、目標的大小和數量，如表1所示。

表1 原始視頻序列

3.1 實驗結果

本文利用不同算法對選取的5組視頻序列進行實驗，其部分視覺效果如圖1所示。

圖1 不同視頻序列不同算法實驗結果比較

從圖1實驗結果的視覺效果來看，ViBe、Codebook、GMM和本文提出的算法都能夠較完整提取出運動目標信息，幀間差分法(inter-FrameDifference,FD)只提取了目標的輪廓。在對視頻序列IBS、OCL和OSU1進行目標檢測的時候，用本文所提算法基本提取出了目標的完整信息，雖然有局部的信息被丟失了，但是減少了噪聲和局部運動的影響。而使用ViBe、Codebook、GMM算法進行目標檢測，并不能很好地克服背景中的局部運動(如：樹葉的擺動)，且產生的目標都有欠分割現象，特別是GMM算法產生的結果，局部運動很明顯，且對視頻序列中所含的噪聲很敏感，果對OCL序列的檢測還產生了“鬼影”。IBS序列的初始就包含運動目標，使用ViBe和Codebook這兩個算法進行目標檢測的時候，不能很迅速地將背景信息更新，所以會產生“空洞”，且這兩個算法并不能很好地克服局部運動，對噪聲的抑制能力也比較差。對于光線突變，幀間差分法算法具有優勢，ViBe、Codebook、GMM和本文所提算法對光線的突變都敏感。本文使用半徑為1的圓形結構元素，對目標提取的結果進行形態學閉運算，從而去除目標提取產生的冗余信息。

在背景更新時，通常會有目標在背景中靜止，這時的目標在一段時間之后將被更新為背景。另外一種情況是，原來在背景中靜止的目標發生了運動，那么原來目標所在的區域則需要更新。IBS序列的初始化背景模型中包含了靜止的目標，當目標在第60幀發生移動之后，原來目標所在的區域就產生了明顯的“空洞”，如圖2所示。通過式(8)對該區域的像素進行更新。第102幀時，“空洞”被完全更新為背景。背景更新的快慢取決于學習參數α。通常情況下，α越大背景更新越快，但由于目標運動速率不同，學習參數則需要根據不同場景選擇。

本文提出的算法進行目標檢測時，結合幀間差分和背景更新模型，將強度大小不連續變化的噪聲視為運動目標點，在更新背景的時候將噪聲去除。在不同的場景下，通過調節學習參數，使得背景更新速度符合場景的變化速率，避免了“孔洞”和“鬼影”的產生。該算法在光線突變的時候，具有更短的恢復時間。從視覺效果上來看，本文所提算法具有明顯的優勢。

圖2 IBS序列背景更新實驗結果

3.2 實驗結果評價

為了表明該算法所得的運動目標檢測結果的質量，本文采用Recall、Precision、F1和Similarity[11]等性能指標，并和其他算法所得結果進行對比分析。

Recall是檢索出的相關信息量和相關信息的總量的比值，Precision是檢索出的相關信息量和檢索出的總量的比值，如式(19)～(20)所示：

Recall=tp/(tp+fn)

(19)

Precision=tp/(tp+fp)

(20)

其中：tp(true positive pixels)表示檢索出的相關信息量；fn(false negative pixels)表示未檢索出的相關信息量；fp(false positive pixels)表示檢索出的無關信息量。

由于Recall只反映丟失運動目標內部信息的相關性，Precision只反映丟失運動目標外部信息的相關性，因此利用Recall或Precision都不能充分衡量不同算法的有效性。一般情況下，Recall高則Precision低，Recall低則Precision高。在兩者都要求高的情況下，引入F1和Similarity來度量，如式(21)～(22)所示。

F1=2×Recall×Precision/(Recall×Precision)

(21)

Similarity=tp/(tp+fp+fn)

(22)

所有參數的值都在0到1之間，參數值越大，說明得到的結果越精確。對視頻序列分別使用ViBe、Codebook、混合高斯模型(GMM)、幀間差分法(FD)、目標提取(ObjectExtraction)和本文所提算法(Proposedalgorithm)進行實驗，得出相關指標參數如表2所示。

從表2數據可以看出，Codebook、ViBe和GMM算法具有較高的Recall，最高達0.944 00，說明在進行運動目標檢測時，這幾種算法能夠較完整地檢測到目標的全部信息；三種算法的Precision最高為0.581 00，說明在進行運動目標檢測時，算法對噪聲敏感，易將噪聲點誤判為運動像素點；同時，三種算法的F1和Similarity整體偏低，說明在進行運動檢測時，會丟棄部分目標信息。幀間差分法的平均Recall、Precision和F1均在0.630 00以上，說明該算法在進行目標檢測時，能夠較好地克服噪聲，且能較為準確地提取目標信息，但Similarity的均值為0.462 75，說明進行運動檢測時會丟失目標信息，這也說明該算法在檢測運動目標時，得到了運動目標的輪廓信息。

表2中給出了通過Otsu算法進行目標提取結果和本文所提算法(閉運算之后)的指標參數。從目標提取結果的指標參數來看，目標提取結果Recall的均值為0.746 25，高于幀間差分法，和Codebook接近，說明通過目標提取算法能夠較完整提取目標的大部分信息；目標提取結果的Precision最高達0.760 00，均高于其他算法，說明通過目標提取算法能夠精確提取信息；目標提取結果的F1和Similarity也具有較高的數值，說明通過目標提取算法能夠有效地抑制噪聲，摒棄冗余信息。由于閉運算修復了運動目標內部不連續的部分，所以閉運算之后的指標參數較未使用閉運算之前平均提高了2.96%。因此，從算法的性能參數來看，本文所提算法在目標像素點的精確提取方面，相比于其他算法優勢更加明顯。

表2 不同算法相關指標參數比較

4 結語

本文在對背景減除法的研究基礎上，結合幀間差分法和背景減除法，判斷像素點的運動狀態，分別對靜止和運動的像素點替換和更新，產生與實際背景接近的背景模型。最后使用Otsu算法進行目標提取，并使用形態學中的閉運算去除噪聲和冗余信息。實驗結果證明，本文所提算法具有較高的Precision、F1和Similarity，相比于其他算法產生的結果精度高，而且能夠很好地克服局部運動、抑制噪聲、避免“孔洞”和“鬼影”等問題，有良好的視覺效果。

)

[1]SPAGNOLOP,ORAZIOTD,LEOM,etal.Movingobjectsegmentationbybackgroundsubtractionandtemporalanalysis[J].Image&VisionComputing, 2006, 24(5): 411-423.

[2]XUEGJ,SUNJ,SONGL.Backgroundsubtractionbasedonphasefeatureanddistancetransform[J].PatternRecognitionLetters, 2012, 33(12): 1601-1613.

[3]LUCASBD,KANADET.Aniterativeimageregistrationtechniquewithanapplicationtostereovision[C]//IJCAI’81:Proceedingsofthe7thInternationalJointConferenceonArtificialIntelligence.SanFrancisco,CA:MorganKaufmann, 1981: 674-679.

[4] 王曉衛,寧固.一種改進的基于光流的運動目標的檢測算法[J].武漢大學學報(信息科學版),2003,28(3):351-353.(WANGXW,NINGG.Amodifiedobjecttrackingalgorithmbasedonoptical-flow[J].GeomaticsandInformationScienceofWuhanUniversity, 2003, 28(3): 351-353.)

[5]STAUFFERC,GRIMSONWEL.Adaptivebackgroundmixturemodelsforreal-timetracking[C]//Proceedingsofthe1999IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.Washington,DC:IEEEComputerSociety, 1999: 246-252.

[6]KIMK,CHALIDABHONGSETH,HARWOODD,etal.Real-timeforeground-backgroundsegmentationusingcodebookmodel[J].Real-TimeImaging, 2005, 11(3): 172-185.

[7]MADDALENAL,PETROSINOA.Aself-organizingapproachtobackgroundsubtractionforvisualsurveillanceapplications[J].IEEETransactionsonImageProcessing, 2008, 17(7): 1168-1177.

[8]WANGH,SUTERD.Backgroundsubtractionbasedonarobustconsensusmethod[C]//Proceedingsofthe2006 18thInternationalConferenceonPatternRecognition.Washington,DC:IEEEComputerSociety, 2006: 223-226.

[9]BARNICHO,VANDROOGENBROECKM.ViBe:auniversalbackgroundsubtractionalgorithmforvideosequences[J].IEEETransactionsonImageProcessing, 2011, 20(6): 1709-1724.

[10] 蘇延召,李艾華,姜柯,等.改進視覺背景提取模型的運動目標檢測算法[J].計算機輔助設計與圖形學學報,2014,26(2):232-240.(SUYZ,LIAH,JIANGK,etal.Improvedvisualbackgroundextractormodelformovingobjectsdetectingalgorithm[J].JournalofComputer-AidedDesign&ComputerGraphics, 2014, 26(2): 232-240.)

[11]HUANGSC.Anadvancedmotiondetectionalgorithmwithvideoqualityanalysisforvideosurveillancesystems[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2011, 21(1): 1-14.

[12]KUMARS,YADAVJS.Segmentationofmovingobjectsusingbackgroundsubtractionmethodincomplexenvironments[J].Radioengineering, 2016, 25(2): 399-408.

[13]KUMARS,YADAVJS.Videoobjectextractionanditstrackingusingbackgroundsubtractionincomplexenvironments[J].PerspectivesinScience, 2016, 8(C): 317-322.

[14]OTSUN.Thresholdselectionmethodfromgray-levelhistograms[J].IEEETransactionsonSystems,Man&Cybernetics, 1979, 9(1): 62-66.

ThisworkispartiallysupportedbytheNationalNaturalScienceFoundationofChina(61561042),theTalentIntroductionFoundationofNorthwestMinzuUniversity.

LIU Zhongmin, born in 1978, Ph. D. candidate, associate professor. His research interests include machine vision, intelligent information processing, pattern recognition.

HE Shengjiao, born in 1992, M. S. candidate. His research interests include intelligent information processing, pattern recognition.

HU Wenjin, born in 1981, Ph. D., associate professor. Her research interests include machine vision, intelligent information processing, pattern recognition.

LI Zhanming, born in 1962, M. S., professor. His research interests include complex system modeling and control, intelligent information processing, pattern recognition.

Moving object detection based on background subtraction for video sequence

LIU Zhongmin1*, HE Shengjiao1, HU Wenjin2, LI Zhanming1

(1.CollegeofElectricalandInformationEngineering,LanzhouUniversityofTechnology,LanzhouGansu730050,China; 2.CollegeofMathematicsandComputerScience,NorthwestMinzuUniversity,LanzhouGansu730000,China)

Moving object detection is the essential process of object recognition, marking and tracking in video sequences, the background subtraction algorithm is widely used in moving object detection. Concerning the problem that illumination changing, noise and local motion seriously affect the accuracy of moving object detection, a moving object detection algorithm based on background subtraction for video sequences was proposed. The background subtraction was combined with inter-frame difference to estimate the motion state of current frame pixels. The related pixels in the static and motion region were replaced and updated respectively. The Otsu method was used to extract moving object and the mathematical morphological operation was used to eliminate the noise and redundant information in the objects. The experimental results show that the proposed algorithm has good visual effect and high accuracy for detecting moving objects in video sequences, and it can overcome the shortcomings such as local movement and noise.

video sequence; background subtraction method; inter-frame difference method; Otsu; object detection

2016- 11- 10;

2016- 12- 26。

國家自然科學基金資助項目(61561042)；西北民族大學引進人才基金資助項目。

劉仲民(1978—)，男，甘肅靖遠人，副教授，博士研究生，主要研究方向：機器視覺、智能信息處理、模式識別； 何勝皎(1992—)，男，甘肅金昌人，碩士研究生，主要研究方向：智能信息處理、模式識別； 胡文瑾(1981—)，女，甘肅慶陽人，副教授，博士，CCF會員，主要研究方向：機器視覺、智能信息處理、模式識別； 李戰明(1962—)，男，陜西武功人，教授，碩士，主要研究方向: 復雜系統的建模與控制、智能信息處理、模式識別。

1001- 9081(2017)06- 1777- 05

10.11772/j.issn.1001- 9081.2017.06.1777

TP391.4

A