四幀間差分和改進混合高斯模型對運動目標的檢測

李 笑, 楊 宇, 徐一鳴

(武警工程大學信息工程學院，西安 710086)

運動目標檢測是計算機視覺處理的基礎，在人群密度檢測、車輛檢測、異常分析、入侵檢測、態勢預測等方面發揮著重要作用[1]。目前對運動目標的提取主要有三種方法：幀間差分法、背景減除法和光流法。其中背景減除法是利用一定的方法將前景與背景分離，一般需要建立背景模型并更新，但是受光線變化的影響較大[2]；幀間差分法利用相鄰幀差分相減得到運動輪廓，無需提取和更新背景，可快速完成前景與背景的分離，計算量最小，背景是動態或靜態均可以適應，但容易產生運動目標空洞、拖影現象[3]；光流法用像素的速度矢量來表示整個圖像的運動場，可檢測攝像機運動的情況，但計算復雜，對硬件要求很高，實時性難以滿足[4-5]。

目前，背景減除法是使用最為廣泛的運動目標檢測方法之一[6]，其中Stauffer等[7]提出的混合高斯模型作為一種背景建模在前景目標提取方面被廣泛使用和改進，但是該方法的參數設置會影響整個模型的效率。針對這個問題，Chen等[8]試圖通過結合codebook模型和GMM(Gaussian mixture model)來確定合適的參數值。汪兆棟等[9]改進了碼本模型，結合高斯正態分布，以像素點的均值和方差作為碼本背景中碼字的參數，并改進參數更新方式，增加頻率閾值，實現復雜場景下的視頻實時處理。Berjon等[10]提出一種非參數模型，用于GPU的前景和背景的時空建模，通過粒子濾波更新參考數據的位置并降低處理時間。

背景減除法中，混合高斯模型作為一種建模方法，具有良好的前景分離能力。目前針對該模型有許多改進算法。

(1)自適應混合高斯模型[5]。結合其他感興趣區域的提取方法，在完成粗略運動區域提取之后，利用GMM，并動態改變模型更新率α。其中改變α的方式有：利用背景更新計算公式[11]使學習率從小到大變化，加快模型的收斂；利用文獻[5]中的公式動態改變學習率，消除最初幾幀圖像由于學習率變化過快使目標混入背景的情況；根據前后幀的幀運動量的改變來選擇不同的學習率[12]。

(2)臨時高斯分布(TGM)模型清理機制[13]。根據影響該模型的性能因子——模型個數k，及時清理陳舊的高斯模型，保留新近建立的以及近期有過多次匹配的模型，提高計算速度。

(3)動態分配高斯分量[14]。將高斯分量的權值與手動設置的閾值相比，低于和閾值相似的分量被刪去、合并，以降低運算復雜度。但閾值的選取是難點，閾值過大自動刪去部分必要的高斯分量，閾值過低造成高斯分量冗余，并且小噪聲會增加該算法的計算復雜度。楊陽[15]提出利用空間相關性先對像素估算一個先驗概率，利用領域信息改變與模型匹配的概率，修正置信度，提高模型適應性。對于變化不大的環境，采用基于重采樣的貝葉斯算法[16]可以脫離對學習率的依賴。

針對已有的幀間差分結合混合高斯算法效率低、準確度難以滿足檢測要求的問題，提出四幀間差分結合改進的混合高斯算法，以期解決其他算法對檢測場景適應性差、處理速度慢的問題。研究內容主要是對混合高斯模型改進，通過對視頻分幀和灰度處理，在四幀間差分獲取差分圖像的基礎上，對運動區域使用改進的混合高斯模型，以達到前景目標的快速、精確提取的目的。

1 傳統的混合高斯模型

混合高斯模型(Gaussian mixture modle,GMM)是一種基于像素的概率密度函數模型，對圖像中的每個像素建立k個高斯分布以對像素聚類，可對多峰值類型數據建模，如圖1所示。檢測到當前像素的概率密度公式為

(1)

圖1 混合高斯模型聚類示意圖Fig.1 Gaussian mixture model clustering diagram

2 四幀間差分結合改進的自適應混合高斯模型

2.1 改進的自適應混合高斯模型

在混合高斯模型中，主要的影響因素是背景建模的數量k和背景更新率α，而魯棒的背景模型有利于前景與背景的區分，因此，從這兩個參數入手，提出一種改進的自適應混合高斯模型算法，在四幀間差分法的基礎上，采用基于計數器[17]的混合高斯模型，利用計數器計算每個像素的變化，并結合到高斯模型的分量中，動態改變每個高斯分量，提高該模型的自適應能力；為了降低對學習率的依賴，引入敏感參數S[18-19]，該參數代表高斯模型中區別像素為前景或背景的最小閾值。在傳統的混合高斯模型中，因參數在持續更新，這增加了模型的運算量。針對此問題，本文算法設定背景模型的參數在視頻幀的像素有變化時才更新。具體做法為：將灰度圖像幀中的運動區域平均分成n×n大小(n為像素數，由人為確定)的像素塊，計算像素塊中單位像素的灰度，根據灰度與閾值V的大小關系，確定該像素塊中所有像素應該建立的高斯分量的個數k；在參數更新過程中，根據屬于該像素的計數器的累計值，超過既設閾值時更新模型參數，其中學習率α取值不恒定，在四幀間差分處理圖像的基礎上，確定原灰度圖像中的運動區域，使用式(3)對像素塊分類，將運動區域進一步分為運動目標區域A和背景顯露區域B，A區域使用文獻[5]中的方法動態改變學習率，以降低噪聲的干擾并避免運動目標被檢測成背景；B區域取較大值以適應該區域的變化[20]。選擇背景高斯分量時取敏感參數S與3σij的最大值作為分離前景和背景的閾值。

(3)

式(3)中：μ(x,y)表示單位像素值。

2.2 算法設計

四幀間差分利用相鄰四幀的相減完成前景與背景的分離，其具有的上下幀相關性比三幀差分更強，計算冗余度比五幀差分低，因此使用四幀間差分算法，用當前幀分別與后三幀差分相減，得到三個二值化結果d1、d2、d3，相鄰兩個結果之間進行邏輯“與”運算，得到k1、k2，二者再邏輯“或”運算，得到最終的結果Dk。

傳統的幀間差分與混合高斯模型結合的算法是將二者分別計算，將得到的結果進行邏輯與運算并形態學處理，這樣做雖然有較高的準確性，但是對預處理后的視頻幀直接使用混合高斯模型計算，其速度相比之下沒有優勢，因此采用先幀間差分法后混合高斯模型的運算順序，先利用四幀差分得出運動區域、背景區域，再對運動區域使用改進的自適應混合高斯模型確定運動目標，最后使用形態學處理以填補目標的空洞。算法流程如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flowchart

2.2.1 運動區域的獲取

對視頻序列分幀后灰度處理并降噪，取連續的四幀，將第k幀分別與后3幀差分并二值化，四幀分別為Ik(x,y)、Ik+1(x,y)、Ik+2(x,y)、Ik+3(x,y)。為了減少幀差圖像的拖影現象，利用文獻[21]的自適應閾值對四幀間差分改進。

(4)

(5)

式中:d1、d2、d3為幀間差；Ik(x,y)為第k幀像素值；Ik+1(x,y)為第k+1幀像素值；λ為抑制系數;ij為圖像的像素;M為固定閾值;Δm1、Δm2、Δm3為動態閾值，可以適應光照的變化，減少拖影。最后，為了使獲得的目標空洞更少并減少拖影，使用先“與”后“或”的邏輯操作，得到最終的差分圖像Dk。

(6)

2.2.2 前景目標的檢測

根據上一步得到的粗略運動區域，對相應的灰度圖的像素使用式(3)確定幀間同一像素塊中像素的灰度的變化，將運動區域分為運動目標區域A和背景顯露區域B。

(1)背景高斯模型的訓練。利用計數器對高斯模型調整，使其更能適應背景的變化。對A和B區域對應的二值圖像里的各個像素每隔10幀設置一個計數器CCp，p∈{1,2,3}，這樣在每30幀里每個像素創建了三個計數器，每30幀計算一下計數器的總數τt(x,y)。計數器的值在每次相鄰幀中的像素發生0～255或者255～0的變化時加1，根據計數器的總值與所選閾值的比較，確定像素的變化。計數器每計完相應幀數后，值被重置。為了避免重置τ時參數的突然變化，用式(8)來計算t時刻的參數τ，式(9)表示被改進的高斯模型，γ為固定的更新參數。

τ(x,y)=CC1(x,y)+CC2(x,y)+CC3(x,y)

(7)

τt(x,y)=(1-φ)τt-1(x,y)+φτt(x,y)

(8)

(9)

(10)

式(10)中：CC1(x,y)表示第1個計數器的值；P(fi)為概率密度。

取前N幀灰度圖像，僅對其中A、B兩個區域建立高斯模型。對A區域，將得到的第一幀圖像中A區域的第j個像素的灰度xjn作為該像素第1個高斯分量的均值，標準差設為v0，權值設為1，初始學習率設為0.1，此時背景成分kj設為1。用匹配參數L來檢測第n幀圖像的第j個像素xjn是否與已有的高斯分量匹配。對B區域采用同樣的方式建立高斯模型。

(11)

式(11)中用max(3σij，S)代替閾值3σij，S越小結果越好。如圖3所示，多高斯像素是指需要兩個或兩個以上個高斯分量加權之后才能有效表示其特征像素，匹配每個像素時，需要一步步檢驗分量是否符合該像素的特征，分量越多計算量就越大。實驗表明，學習率α的增加使多高斯像素增加，因此增加了計算量，而S會抵消α對高斯分量生成的影響，因而可以設置較大的學習率并保證多高斯像素時在一定程度上降低運算量。L是匹配高斯模型的指標，如果存在匹配關系，則第j個像素的第l個高斯分量的參數被更新。

圖3 S對高斯分量的影響Fig.3 Influence of S on Gaussian component

(12)

ωij=ωij/∑ωij

(13)

(2)背景高斯模型的確定。背景高斯分量具有較大的權值和較小的標準差，因此，根據ωij/σij可以將像素的高斯分量分類。ωij和σij分別是第j個像素第i個高斯分量的權值和標準差。

(14)

式(14)中：Gj為第j個像素的高斯的集合；Gij為Gj的子集；|Gij|為Gij的模；閾值T=0.7，得到第j個像素的背景高斯的集合Bj。

(3)分離背景與前景像素。經過前幾步的處理，讀取第N+1幀圖像，用式(15)判斷該幀中第j個像素是否滿足背景高斯的條件。若滿足，則判斷為背景，否則為前景。視頻中相鄰幀間像素值的變化不大，因此為了減小運算量，可每隔m幀選取一幀來檢測目標，m根據視頻的幀率和運動目標的運動速度而定，需要檢測的幀稱為關鍵幀。

(15)

式(15)中:yin為二值化的幀的集合，1代表前景，0代表背景βj為第j個像素的背景高斯集合；μbj為第j像素的第b個高斯分量的均值。

(4)檢測前景后參數的更新。在前景檢測的過程中，使用訓練好的模型分離前景像素，并在該過程中不斷更新模型參數以獲得更準確的運動目標，但這帶來了巨大的運算量。利用2.2.2節中的計數器，對關鍵幀像素進行統計，像素在0～255的變化次數代表了運動目標的運動速度，計數器的值越大(假定背景為靜態)，運動速度越快，相應地要對參數更新；值越小，運動速度越慢，對參數則不予更新，通過這種方式進一步減小運算量。

3 實驗及結果分析

3.1 實驗數據及參數

使用硬件平臺為Intel?Core(TM) i7- 6700K，CPU4.00 GHz 4.01 GHz處理器，RAM為16 GB，操作系統Windows10，軟件平臺為Matlab R2018a，選擇數據集PETS2009、UCF-ARG、UCSD_Anomaly作為實驗對象，對比算法為單獨的四幀差分、光流法、傳統混合高斯模型法、文獻[20]算法、文獻[13]算法，圖4～圖7分別為選取的view001、view005、walking、running數據集中第180幀(768×576)、185幀(720×576)、96幀(960×540)、70幀(960×540)。圖8為選取UCSD_Anomaly中Train007的第62幀(238×158)灰度圖像使用不同算法的處理結果，實現從單個目標、多個目標、慢速目標(人的正常步行速度)、快速目標(人的跑步速度)、遠小目標五個方面對算法的性能驗證。

圖4 不同算法對PETS2009-view001中第180幀的處理結果Fig.4 Processing results of frame 180 in PETS2009-view001 by different algorithms

圖5 不同算法對PETS2009-view005中第185幀的處理結果Fig.5 Processing results of the 185th frame in PETS2009-view005 by different algorithms

圖6 不同算法對UCF-ARG-walking中第96幀的處理結果Fig.6 Processing results of the 96th frame in UCF-ARG-walking by different algorithms

圖7 不同算法對UCF-ARG-running中第70幀的處理結果Fig.7 Processing results of frame 70 in UCF-ARG-running by different algorithms

圖8 不同算法對UCSD_Anomaly中第62幀的處理結果Fig.8 Processing results of frame 62 in UCSD_Anomaly by different algorithms

3.2 實驗結果對比

由仿真結果可知，單獨使用四幀差分結果出現較大空洞，文獻[13]方法的空洞有明顯減少，但是目標輪廓仍不完整，在PETS2009數據集的檢測結果出現了重影，并且對遠處的目標檢測并不完整；傳統混合高斯算法得到的前景目標不連續、空洞大；文獻[20]的方法檢測結果中前景分離較好，但是對遠小目標提取不完整，當目標數量多時，提取目標出現較多噪點；光流法提取目標有空洞、噪點多；本文算法處理較少的運動目標時，可以提取出清晰的前景，而且無重影，噪點、空洞極少，當提取多個目標時，目標輪廓很完整，漏檢、錯檢現象很少，檢測快速運動的目標，結果并沒有受到影響，目標邊緣連續、完整。在其他算法對分辨率較低的UCSD圖像檢測結果十分不理想的情況下，該算法檢測結果有更少的噪點和空洞。

3.3 實驗結果分析

暖色中彩度越高代表的數值越大，冷色中彩度越高代表的數值越小，可見數值呈上升趨勢；圖12、圖13為處理單幀圖像的時間對比圖，數值呈下降趨勢；表1～表3分別為P、R、F1和不同算法處理時間、未改進與已改進GMM算法處理時間的具體數值。

圖9 不同算法的PFig.9 P of different algorithms

圖10 不同算法的RFig.10 R of different algorithms

圖11 不同算法的F1Fig.11 F1 of different algorithms

圖12 未改進與已改進算法處理時間的對比Fig.12 Comparison of unmodified and improved algorithm processing time

圖13 不同算法處理時間的對比Fig.13 Comparison of processing time of different algorithms

由圖9～圖11可以看出，本文算法在查準率和查全率上的平均值都優于其他算法，與已有算法的性能相比，查準率和查全率的調和平均值提高了約44.80%。尤其是F1遠高于其他算法。對不同數據集，F1維持在98.51%以上，說明不論是單目標還是多目標，均能保持較好的檢測性能。采用文獻[13]、文獻[20]方法對不同數據集的檢測，P的平均值分別為58.97%、78.75%，R的平均值分別為38.02%、80.17%，均低于本文算法。而F1的值最低與最高分別相差19.97%、30.74%，說明其他算法對于不同的數據集處理結果不穩定。從效率(圖12、圖13)來看，傳統混合高斯算法平均處理單幀圖像的時間約為本文算法的54倍，文獻[20]、文獻[13]方法約為本文算法的4倍和1.56倍，可見本文算法運算速度更快，實時性好。提出結合四幀差分法對混合高斯模型的改進也得到驗證，訓練和檢測每幀圖像的速度各提高了約6.3倍、3.6倍。

表1 不同算法處理五種場景的查準率、查全率、調和平均值的對比Table 1 Comparison of precision, recall, and average of five scenarios for different algorithms

表2 在五種場景中單獨使用未改進的GMM算法與改進的GMM算法的處理時間的對比Table 2 Comparison of processing time between unmodified and improved algorithms of GMM in five scenarios

表3 在四種場景中使用不同算法的處理時間的對比Table 3 Comparison of processing time using different algorithms in four scenarios

4 結論

所提出四幀差分結合改進的自適應混合高斯模型算法檢測運動目標，可以充分發揮四幀差分法快速獲取粗略運動區域、混合高斯模型適合對復雜背景和多目標場景檢測的優點。在改進的算法中，采用基于計數器的混合高斯模型，動態調整每個高斯分量，目標提取的準確度有很大提高；使用敏感參數S降低了傳統混合高斯模型對學習率的依賴，在學習率取較大值時，單個像素所需的高斯分量并沒有增多，使得在確保精確度的同時，模型收斂速度更快；利用計數器使模型參數在視頻幀的像素有變化時才更新，進一步降低更新參數所用的時間。而單獨使用幀間差分，前景目標空洞多，文獻[13]的方法速度有所提高，但是目標輪廓不完整，部分結果有重影；傳統混合高斯算法、光流法運算量較大，所得目標不完整；文獻[20]的方法對檢測場景要求高，不能適應多種場景且運算速度低，本文算法克服了以上問題，降低運算復雜度的同時進一步獲得了更準確的運動目標。