基于自適應混合高斯的改進三幀差分算法

楊嘉琪，韓曉紅

(太原理工大學 大數據學院，山西 晉中030600)

0 引 言

目前，運動目標檢測常用算法有背景差分法、幀間差分法及光流法[1-4]。背景差分法簡單、算法復雜度低，但對光照引起的動態環境敏感，需要依靠穩定的背景模型來獲得完整的目標特征[5]。文獻[6]提出一種可自動更新速率的混合高斯背景模型，該方法減弱了噪聲對模型建立的干擾，但目標邊緣信息缺失，算法復雜度仍較高。幀間差分法實時性好，對動態環境的適應性強，但易出現空洞和誤檢現象[7]。文獻[8]中采用三幀差分法與魯棒主成分分析(RPCA)相結合的方法。該算法簡單易行，能準確提取運動目標輪廓，但目標信息提取不完整。文獻[9,10]提出三幀差分與邊緣提取相結合的運動目標檢測算法，提高了目標檢測的準確性，但空洞問題仍然存在。光流法可在未知場景信息的情況下檢測出運動目標，但其計算量大、算法復雜度高，導致可用性和實時性差[11-13]。而背景差分法與幀間差分法因其實時性較好、算法復雜度低，在現實生活中的應用范圍更廣[14]。

本文提出基于自適應混合高斯的改進三幀差分運動目標檢測算法，解決了三幀差分法在對運動緩慢的物體進行檢測時無法完整獲取運動目標，容易出現空洞及誤檢現象，以及背景差分法對光照引起的動態環境敏感，需要依靠穩定的背景模型來獲得完整目標特征的問題。

1 基于自適應混合高斯的改進三幀差分算法

本文提出基于自適應混合高斯的改進三幀差分運動目標檢測算法，算法的改進如下：

(1)該算法為了彌補傳統三幀差分中相鄰幀間進行差分所產生的空洞問題，改進了圖像幀的差分方式，采用任意兩幀進行差分，由此豐富差分圖像所包含的目標信息，提高目標獲取的可行性。

(2)提出自適應學習率的混合高斯背景建模，引入幀數閾值TH，在前TH幀與后TH幀采用不同的學習率，當幀數小于閾值時，由于初始幀中通常存在運動物體，應采用較大的更新率以去除初始幀中的干擾像素，在一定程度上減少算法因物體發生“忽然”運動而造成的誤判；當背景模型趨于穩定之后，以像素點與背景模型間的比配度為依據對模型學習率進行更新，從而實現背景模型的自適應選擇。

(3)為解決目標邊緣間斷、不連續的問題，采用Canny算子提取邊緣信息，并與三幀差分結合，由此豐富目標的邊緣信息，使得目標輪廓的提取更加準確。最后對所得圖像進行形態學膨脹與腐蝕操作，獲得前景信息，即為運動目標。

1.1 融合邊緣提取的三幀差分算法

傳統的三幀差分算法相比較幀間差分算法，有效豐富了所提取的前景信息，增加了檢測的準確性，在一定程度減小了幀間差分算法所造成的空洞現象[15]。但是所提取的運動目標邊緣模糊、不連續，而且在3幀差分中閾值的選取尤為重要，固定的閾值在提取目標時容易造成缺失，使信息不完整，同時，空洞現象仍然存在。因此本文對傳統的三幀差分進行改進，在原算法只有相鄰幀間進行差分的基礎上，增加存在間隔的兩幀圖像的差分運算，可使差分圖像所包含的目標信息更加豐富，從而減小因物體運動緩慢所造成的空洞問題。同時采用自適應閾值——最大類間方差法(OTSU)對差分圖像二值化，實現對圖像中像素點的準確分類。并針對三幀差分后目標邊緣像素不清晰的問題，通過Canny算子彌補不足，使得物體的邊緣連續且平滑，豐富所需的目標信息。

算法描述如下：

(1)首先從經過預處理后的視頻序列中提取連續的3幀圖像Ik-2、Ik-1、Ik，對相鄰幀進行差分運算，如式(1)所示

Dk1(x,y)=|Ik-1(x,y)-Ik-2(x,y)|Dk2(x,y)=|Ik(x,y)-Ik-1(x,y)|Dk3(x,y)=|Ik(x,y)-Ik-2(x,y)|

(1)

式中：Ik-2(x,y)為前一幀的灰度圖，Ik-1(x,y)為中間幀的灰度圖，Ik(x,y)為當前幀的灰度圖，Dk1(x,y)為Ik-1與Ik-2的差分圖像，Dk2(x,y)為Ik與Ik-1的差分圖像，Dk3(x,y)為Ik與Ik-2的差分圖像。

(2)隨機初始化一個閾值T，對差分圖像進行分割，計算圖像中目標像素點的占比及平均灰度w0、μ0；背景像素點的占比及平均灰度w1、μ1，圖像的總平均灰度記為μ,g為類間方差。如式(2)所示

(2)

不斷改變閾值T的值，從0-255進行遍歷，方差g代表了前景與背景之間的差異，故當g最大時，其灰度值T為最佳閾值。

(3)將差分后的圖像Dk1(x,y)、Dk2(x,y)、Dk3(x,y)分別與自適應閾值T進行比較來確定背景區域和前景區域。當某一像素點的值大于閾值T時，說明該像素點發生了變化，可確定其為目標像素；當某一像素點的值小于閾值T時，說明像素點未變化，則確定其為背景像素。如式(3)所示

(3)

(4)使用Canny算子提取當前幀的邊緣信息C，先將邊緣圖像與二值圖像Rk2進行“或”運算，補充其目標輪廓，再將剩余二值圖像“或”運算得到較為豐富的目標內容，最后確定兩者的相交區域，得到目標圖像O，以精確目標內容。差分結果與邊緣信息的融合方式為

O=(Rk1orRk3)&(Rk2orC)

(4)

1.2 基于自適應學習率的混合高斯背景建模

改進后的三幀差分算法雖然一定程度上減少了傳統三幀差分造成的目標缺失，但仍然存在“空洞”問題。而背景差分能夠有效提取圖像的前景信息，保證所獲取目標的完整性，因此將背景差分與三幀差分相結合尤為必要，從而解決三幀差分算法中的“空洞”問題[16]。背景差分法是將當前幀與所建立的背景模型進行差分運算，以此來檢測運動目標。

設視頻幀序列建立的背景模型為Ib(x,y)，當前幀為Ik(x,y)，將Ik(x,y)與Ib(x,y)按式(5)進行差分運算

Dk(x,y)=|Ik(x,y)-Ib(x,y)|

(5)

將得到的差分圖像按式(6)進行二值化，二值化后的圖像進行形態學處理即可得到運動目標

(6)

式中：Dk(x,y)為差分圖像，Rk(x,y)為二值圖像，T2為選取的閾值。

背景差分的關鍵點是背景模型的建立，傳統的方法是選用最初的、無運動目標的視頻圖像作為背景模型，此方法只適用于靜態環境下的目標檢測，在動態環境中無法有效提取目標，且容易受到環境噪音的影響。因此本文采用混合高斯背景建模法，它可以根據視頻環境，動態建立背景模型，并隨著目標圖像的變換，不斷更新所建立的模型，將不屬于運動目標的背景變化過濾，有效減少了視頻圖像中噪音對目標提取的干擾。

同時，為解決混合高斯背景建模中學習率α較低時，模型更新不及時，容易出現“鬼影”現象及適應動態環境的能力較弱的問題；α取值過大時，容易出現誤檢的問題。本文采用自適應學習率的背景建模方法，引入幀數閾值TH，在閾值前后采用不同的學習率，在模型在初期創建時，由于初始背景通常存在運動物體，需要通過加快模型的學習率，通過背景模型的不斷更新去除物體運動狀態轉換帶來的干擾及模型中存在的無關因素；在背景模型逐步穩定后，為適應動態背景，選擇目標像素點與背景模型間的匹配次數作為學習率設定的依據，實現自適應更新。模型學習率如式(7)所示

(7)

式中：λ1，λ2為常數，f為幀數，ΔF為學習率更新的參考量，ΔF如式(8)所示

ΔF=(2n-t)

(8)

式中：n為不匹配次數，t為匹配次數。當檢測效果不佳時，像素點的不匹配次數增多，模型的學習率將得到提升，從而增加對環境的適應性；當檢測結果較好時，像素點的匹配次數增多，模型學習率降低，從而減少模型快速更新造成的目標漏檢，保證了算法的可靠性。

算法描述如下：

混合高斯模型是通過建立多個高斯函數來對某一像素點的分布進行表示，從而準確反映整幅圖像的變化。在圖像中應用多個高斯分布函數可以有效抑制動態環境所產生的細微噪聲，減弱背景的影響。

對于隨機變量x，x的數據集{x1,x2,x3…xn}，xt={rt,gt,bt}為t時刻像素的樣本，則單個采樣點xt其服從的混合高斯分布概率密度函數為

(9)

τi,t=δi,tI

式中：K為高斯模型總數，η為t時刻第i個高斯分布，wi,t為t時刻第i個高斯分布的權重，μi,t為其均值，τi,t為其協方差矩陣，δi,t為方差。

模型的匹配與更新：

用當前幀中的像素點與所建立的K個高斯分布進行匹配，直到找到與像素點相匹配的高斯分布，如式(10)所示

|xt-μi,t-1|≤D·σi,t-1

(10)

式中：D為置信參數，一般取2.5，σi,t-1為t-1時刻第i個高斯分布的標準差。

如果某一高斯分布滿足上述要求，則對該高斯分布的參數進行更新，如式(11)所示

wi,t=(1-α)wi,t-1+αMi,t

μi,t=(1-ρ)μi,t-1+ρxt

(11)

式中：α為學習速率，ρ=α·η為參數的更新速率，Mi,t取1。

背景模型的建立：

當像素點與K個高斯分布都不匹配時，需要創建新的高斯分布，用以取代權值較小的高斯分布，新高斯分布的均值為當前像素的像素值，并進行參數的歸一化處理。

之后，按照公式λi,t=wi,t/σi,t計算各個高斯分布的優先級，均值大，標準差小的高斯分布排列在前。在其中將前B個高斯分布組成背景模型，并將xt與其匹配，當其中任意一個高斯模型滿足特定條件時，則判定當前像素點為背景點，否則判定其為前景點。高斯分布的選擇如式(12)所示

(12)

式中：b為初始參數，T3為預先設定的閾值。

1.3 算法的模塊構建

本文算法由3個模塊構成，分別為三幀差分模塊、背景差分模塊、邊緣提取模塊，如圖1所示為算法的模塊構建。其中，三幀差分模塊采用任意兩幀視頻圖像進行差分運算并二值化，由此豐富差分結果，一定程度上彌補由于物體運動緩慢所造成的空洞問題，避免漏檢現象；邊緣提取模塊采用Canny算子提取當前幀的目標邊緣，抑制噪聲引起的偽邊緣，使得邊緣細化，呈現出完整的目標輪廓；背景差分模塊中選用混合高斯背景建模的方法實現背景模型的自適應更新，通過對不同時期的高斯模型設定相匹配的學習速率，加快模型的收斂速度，使獲得的目標信息更加完整，消除物體運動造成的“鬼影”。針對三幀差分模塊所提取的目標輪廓不連續，且不完整的問題，采用三幀差分模塊與邊緣提取模塊相結合的方式，依靠邊緣提取模塊所獲得的邊緣信息，完善目標輪廓，豐富邊緣圖像，提高算法的實時性。同時，為了進一步解決三幀差分模塊中所存在的“空洞”現象，將其與背景差分模塊結合，通過背景差分模塊對前景圖像提取的完整性，彌補三幀差分模塊目標信息提取不完整的弊端，完善目標信息，增加算法在動態環境中的提取效率，有效提高對運動目標的檢測精度。由于目標圖像中存在噪聲干擾的問題，將所得結果再采用形態學濾波進行處理。先通過膨脹將前景區域進行擴充，使目標區域中斷裂的部分連接起來，再采用腐蝕將前景區域(白色區域)進行縮減，消除目標區域中不相關的細節，使得被處理后的圖像可以將運動目標信息完整呈現出來。

圖1 模塊構建

2 實驗結果及分析

本文實驗在配置為CPU類型corei5-8300H，內存容量8 GB，顯存容量4 GB，顯卡類型1050Ti，固態硬盤512 G的Windows操作系統上實現，使用了matlab2018b和Visio等軟件開發工具，算法的初始參數中λ1=15，λ2=0.03，TH=18。

2.1 驗證基于自適應學習率的混合高斯背景建模

為驗證基于自適應學習率的混合高斯背景建模的可行性，本文選用CDW-2014數據集中的視頻作為實驗數據，分別用文獻[5]、文獻[6]及本文算法對視頻中的第40、第60、第80幀圖像進行處理，實驗結果如圖2所示。

圖2 算法對比

由上述實驗可知，文獻[5]所用算法可以有效消除背景噪聲的干擾(晃動的燈)，且目標特征提取較為完整，但邊緣信息缺失嚴重；文獻[6]提取的運動目標較文獻[5]更為完整，目標邊緣較為平滑，但仍存在部分信息缺失的問題；本文算法在提高檢測精度的同時，通過與邊緣提取的結合，所得目標輪廓清晰、完整。

為驗證算法的有效性，本文用目標完整度來評價算法的檢測效果，即所檢測到的目標像素點占總目標像素的比例，其結果見表1。

表1 目標完整度

表1為不同幀數下各算法的目標完整度，由表1可知，文獻[5]所得目標完整度較低，沒有充分提取目標特征。文獻[6]的目標完整度較文獻[5]有所提升，但仍存在不足。本文算法所得目標更為完整，與實際目標相符。

2.2 驗證基于邊緣提取的三幀差分算法

為驗證基于邊緣提取的三幀差分的可行性，選用CDW-2014數據集中的視頻作為實驗數據，分別用傳統三幀差分、Canny算子及本文算法對視頻中的第30、第40、第50幀圖像進行處理，實驗結果如圖3所示。

圖3 算法對比

由上述實驗可知，傳統三幀差分算法由于相鄰幀間差分，所得運動目標空洞現象嚴重，且部分目標輪廓獲取不完整；Canny算子較為完整的提取了目標邊緣，但存在部分干擾像素點；本文算法在完整獲取目標邊緣的同時一定程度上減少了空洞現象的影響。

2.3 運動目標檢測的多場景驗證

為驗證本文算法的性能，選取了不同背景的視頻圖像作為檢測數據，分別文獻[6]、文獻[7]及本文算法對檢測數據進行處理并分析實驗結果。

2.3.1 靜態背景的運動目標檢測

本實驗選用靜態背景下同一視頻圖像的不同幀作為實驗數據，分別使用3種算法進行檢測并對比結果，驗證本文算法在靜態環境中有更好的檢測準確度，更高的目標完整度。

實驗1結果如圖4所示，在對背景穩定的視頻圖像提取運動目標時，采用文獻[6]算法獲取了目標圖像的大部分信息，但其邊緣信息不完整，出現間斷與丟失現象；采用文獻[7]算法對于目標邊緣的獲取更為有效，減少了內部信息的丟失，但由于鄰近幀間位移較小，仍有部分信息未充分獲取；使用本文算法，目標的完整度得到提升，“空洞”問題得到有效解決，且物體的邊緣信息完整。

圖4 靜態背景算法對比

2.3.2 動態背景的運動目標檢測

本實驗選用動態背景下同一視頻圖像的不同幀作為實驗數據，分別使用3種算法進行檢測并對比結果，以此驗證本文算法在復雜環境的檢測中可以有效消除背景噪音對檢測結果的影響，保證所提取目標的完整性。

實驗2結果如圖5所示，文獻[6]算法所提取的運動目標較為完整，由于采用了混合高斯背景建模的方法，對于圖像中出現的細微噪聲有較好的去除能力(如：搖晃的樹葉)，但目標細節處理不準確，邊緣粗糙，同時在目標與背景顏色相近時，會丟失部分信息。文獻[7]算法獲取的目標輪廓更為清晰，并且通過與邊緣信息的結合，使得目標邊緣連續且完整，但在目標內部出現了空洞問題。通過本文算法處理后的視頻信息，更為充分提取圖像中的目標信息，在消除背景噪音的同時較大程度緩解了邊緣粗糙與內部缺失的問題，得到了完整的運動目標。

圖5 動態背景算法對比

表2為3種算法在實驗1及實驗2中檢測結果的完整度對比。

表2 3種算法目標完整度

由表2可知，不同背景下本文算法所得目標的完整度明顯高于文獻[6]及文獻[7]，表明本文算法的檢測準確率更高，能很好地適應不同環境下的目標檢測。

為進一步驗證本文算法的優越性，本文選用精準率(precision)、召回率(recall)、F-Measure作為算法的評價指標，兩者的定義如式(13)所示

(13)

式中：TP為準確檢測到的目標數，FP為錯誤檢測的目標人數，FN為未檢測出的目標人數，F-Measure為精確率與召回率的加權調和平均,其值越大代表算法越可靠。

表3為各算法在實驗1及實驗2中每隔10幀獲取各算法的查全率、查準率、F值，并求平均值。從表3中可知，由于視頻中檢測物體的相對位移較小，文獻[7]算法相比文獻[6]算法在檢測過程中丟失的目標數更少，漏檢率降低，召回率較高；文獻[6]算法檢測精確度較文獻[7]算法有所提高，但在目標與背景間的色差度降低時，仍存在一定程度的漏檢率；本文算法結合兩者的優勢，在檢測率方面得到有效提升，并能完整獲得目標輪廓，保證了目標的完整性。

表3 算法評價結果

綜合以上實驗，將文獻[6]、文獻[7]及本文所提算法在統一實驗條件下檢測運動目標消耗時間進行對比，如圖6所示。由于文獻[7]算法復雜度低，計算簡單，在實際檢測過程中效率高，平均檢測速率為12.32幀/s；文獻[6]算法，采用改進后的背景差分方法，復雜度有所下降，但仍保持較繁瑣的檢測步驟，模型更新速度慢，檢測所用時間最多，平均檢測速率為6.76幀/s；本文算法實現了三幀差分與混合高斯背景建模的結合，一定程度上增加了算法的檢測時間，復雜度較文獻[7]算法有所增加，但檢測所需時間明顯低于文獻[6]算法，且檢測準確度與實用性得到提升，檢測速率為10.32幀/s。

圖6 算法檢測時間

3 結束語

本文提出了基于自適應混合高斯的改進三幀差分目標檢測算法，該算法對傳統三幀差分中相鄰幀間進行差分的方式予以調整，轉變為任意兩幀間進行差分，由此增加差分圖像所包含的目標內容，減少“空洞”，并采用最大類間方差法(OTSU)實現閾值的自動選取，從而使得二值圖像達到最佳。所得結果通過與Canny算子邊緣信息的結合，細化目標邊緣，使目標信息更加完整；同時為了進一步消除三幀差分算法中的“空洞”問題，采用自適應學習率的混合高斯背景建模，由此豐富圖像中的目標信息，保證所提取前景的完整性。該算法將三幀差分高效性、快速性等優勢與混合高斯背景建模對復雜環境的高適應性、對運動目標提取的完整性結合，實驗結果表明，本文算法能夠在背景復雜、噪音強度高的環境下較為完整獲取目標內容，準確度與完整性都得到了保證。