基于拉普拉斯混合尺度模型的目標(biāo)檢測算法

邵澤瑞

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

運(yùn)動(dòng)目標(biāo)檢測對(duì)于許多計(jì)算機(jī)視覺應(yīng)用至關(guān)重要，例如基于視頻的壓縮編碼、目標(biāo)行為試別和監(jiān)控對(duì)象跟蹤。因此，在過去幾十年里，許多運(yùn)動(dòng)目標(biāo)檢測方法被先后被提出來。文獻(xiàn)[1]通過簡單的統(tǒng)計(jì)學(xué)方法，例如平均值和直方圖模型，來直接區(qū)分前景與背景的像素，文獻(xiàn)[2]通過使用高斯混合模型（GMM）對(duì)像素值進(jìn)行建模進(jìn)而達(dá)到對(duì)視頻幀像素進(jìn)行分類的目的，但是這些方法并沒有充分使用到視頻幀間的時(shí)間相似性和前景目標(biāo)的空間相似性，當(dāng)處理具有相機(jī)抖動(dòng)和動(dòng)態(tài)背景等復(fù)雜視頻數(shù)據(jù)時(shí)，這些算法的性能將會(huì)明顯下降。

近年來，通過使用背景低秩性和前景稀疏性的先驗(yàn)，基于魯棒主成分分析（RPCA）的方法在運(yùn)動(dòng)目標(biāo)檢測任務(wù)中取得了顯著的成功。例如，文獻(xiàn)[3]提出的PCP算法使用l1范式對(duì)稀疏分量進(jìn)行約束，使用對(duì)視頻幀數(shù)據(jù)進(jìn)行批處理（Batch）的方式提取前景部分；文獻(xiàn)[4]提出了ORPCA算法用于提取視頻幀的前景部分，該算法是PCP算法的在線（Online）處理方式，我們一般稱PCP算法和ORPCA算法為傳統(tǒng)的RPCA方法；文獻(xiàn)[5]提出的DECOLOR算法使用馬爾可夫隨機(jī)場（MRF）對(duì)前景部分進(jìn)行稀疏約束，并使用l0范式對(duì)稀疏分量進(jìn)行正則化約束；文獻(xiàn)[6]提出的OMoGMF+TV算法，在不使用固定的前景分布概率的情況下，使用混合高斯分布（MoG）對(duì)前景部分進(jìn)行建模。

雖然傳統(tǒng)的RPCA方法在運(yùn)動(dòng)目標(biāo)檢測領(lǐng)域取得了巨大成果，但在實(shí)踐中它們的前景提取性能存在著一個(gè)主要的限制：由于實(shí)際應(yīng)用中的場景過于復(fù)雜，前景部分不一定是真正稀疏的，因而l1范式所規(guī)定的稀疏性假設(shè)對(duì)于復(fù)雜的前景而言往往過于嚴(yán)格，進(jìn)而影響到RPCA方法在提取前景時(shí)的性能。文獻(xiàn)[3,6,8-11,20]提出了相應(yīng)的改進(jìn)算法，在本文中我們提出使用拉普拉斯尺度混合（LSM）模型取代l1范式對(duì)前景部分進(jìn)行約束，進(jìn)而提高對(duì)前景物體的提取性能。如圖1中的前景提取結(jié)果所示，我們分別使用PCP算法、ORPCA算法和本文所提出的LSM_RPCA算法對(duì)測試視頻幀序列進(jìn)行前景提取，圖中的實(shí)驗(yàn)結(jié)果表明，與LSM模型相比，基于l1范式的前景建模方法無法有效地提取出完整的運(yùn)動(dòng)物體，從而進(jìn)一步說明l1范式對(duì)于前景的稀疏假設(shè)過于嚴(yán)格。

第一行結(jié)果選自I2R數(shù)據(jù)集WaterSurface序列中的第1541幀，第二行結(jié)果選自Wallflower數(shù)據(jù)集WavingTrees序列中的第1248幀。

1 相關(guān)研究

1.1 在線的魯棒主成分分析（Online RPCA）

文獻(xiàn)[4]中提出了在線的魯棒主成分分析（ORPCA）算法，該算法使用l1范式對(duì)前景部分進(jìn)行稀疏約束。ORPCA的目標(biāo)函數(shù)如公式（1）所示：

其中，D=[d1,d2,…,dT]∈Rp×T是由T個(gè)視頻幀所構(gòu)成的數(shù)據(jù)矩陣，dt∈Rp表示第t幀，p=m×n表示視頻幀的維度。前景部分與背景部分分別由矩陣L=UVT=[l1,l2,…,lT]∈Rp×T和 矩 陣 S=[s1,s2,…sT]∈Rp×T表示。背景部分被假設(shè)為低秩的，矩陣U∈Rp×r和矩陣V∈RT×r分別被用來表示背景部分的基和系數(shù)，其中r?p,T，這兩個(gè)矩陣的乘積UVT也就是低秩部分L，參數(shù)λ和η分別用來平衡稀疏與低秩部分。

1.2 拉普拉斯尺度混合（LSM）模型

最近，拉普拉斯尺度混合（LSM）模型已經(jīng)被廣泛地應(yīng)用于稀疏信號(hào)的建模問題當(dāng)中，文獻(xiàn)[13]提出使用LSM模型為圖像編碼和壓縮感知恢復(fù)問題建立稀疏編碼系數(shù)之間的關(guān)系；LSM模型被文獻(xiàn)[14]用來去除圖像的混合噪聲；文獻(xiàn)[15]提出使用LSM模型對(duì)多幀圖像和視頻進(jìn)行去噪處理。在實(shí)際應(yīng)用情況中，前景部分的先驗(yàn)分布P(S)是很難通過估計(jì)得出的。

在LSM模型中，每個(gè)前景像素被表述為si,t=bi,t·αi,t，其中αi,t是隨機(jī)拉普拉斯變量，bi,t是正的隱藏乘數(shù)值。si,t是st的第i個(gè)像素，它的值被一個(gè)具有bi,t標(biāo)準(zhǔn)差的零均值拉普拉斯分布建模，即該拉普拉斯分布可以被表述為：P( si,t|bi,t)=1 2bi,texp(-| si,t| bi,t)，分布P(bi,t)被用來對(duì)參數(shù)bi,t建模，在本文中我們所使用文獻(xiàn)[16]中所使用到的分布：P(bi,t)=1 bi,t，此時(shí)si,t的LSM模型可以被表示為P(si,t)=∫0∞P(si,t|bi,t)P(bi,t)dbi,t。因此，使用最大后驗(yàn)估計(jì)（MAP）從數(shù)據(jù)矩陣D中提取背景部分L和前景部分S的目標(biāo)函數(shù)如公式（2）所示：

其中，P( D|L,S)具有σ2w方差的零均值高斯似然項(xiàng)，B是乘數(shù)值bi,t所構(gòu)成的矩陣，L的概率分布由P(L)∝exp(-η‖ L‖*)表示。通過假設(shè)bi,t和si,t是相互獨(dú)立的，且S中的每個(gè)元素是獨(dú)立同分布的，公式（2）可以被重寫為公式（3）：

其中，S=B⊙A表示稀疏部分，A是由拉普拉斯變量αi,t所組成的矩陣，⊙表示兩個(gè)矩陣之間的點(diǎn)乘運(yùn)算。

1.3 基于LSM的在線運(yùn)動(dòng)目標(biāo)檢測算法

通過1.2與1.3部分的推導(dǎo)過程可以得出基于LSM的在線運(yùn)動(dòng)目標(biāo)檢測算法，該算法我們稱之為LSM_RPCA算法，結(jié)合公式（1）和公式（3）可得到在線處理的基于LSM的運(yùn)動(dòng)目標(biāo)檢測算法的目標(biāo)函數(shù)，如公式（4）所示：

2 算法的優(yōu)化

我們提出了一種對(duì)公式（4）進(jìn)行高效迭代求解的優(yōu)化算法，該算法可以逐幀提取視頻幀中的運(yùn)動(dòng)物體，并根據(jù)視頻幀信息的實(shí)時(shí)變化完成對(duì)背景部分的更新。優(yōu)化公式（4）可以通過求解如下幾個(gè)子問題解決。

2.1 求解V子問題

對(duì)于每一幀，當(dāng)給定st和U的時(shí)候，優(yōu)化V的子問題可以被描述為公式（5）：

公式（5）的封閉解決為：

其中，I表示r×r的單位矩陣。

2.2 求解S子問題

對(duì)于每一幀，當(dāng)給定vt和U的時(shí)候，由于st=bt°αt，因此優(yōu)化S的子問題可以再被分成以下兩部分的優(yōu)化問題。

（1）求解bt子問題

對(duì)于每一幀，當(dāng)給定αt時(shí)，bt的優(yōu)化問題可以被表述為公式（7）：進(jìn)而，每個(gè)bi,t值可以通過公式（8）進(jìn)行獨(dú)立求解：

雖然公式（8）的右邊部分的非凸的，但是其封閉解可以通過對(duì)其求導(dǎo)獲得，因而公式（8）的解可由下式獲得：

其 中，ai,t=αi,t2，hi,t=-2(di,t-li,t)αi,t，q=4σ2w，Ti,t=min{f(0),f(b*)}。b*是公式（8）右邊部分求導(dǎo)的駐點(diǎn)值，被定義為：

2.3 求解U子問題

其中，C0=0,F0=0。在本文中，采用文獻(xiàn)[7]中提出的雙邊隨機(jī)投影法初始化U，如公式（16）所示：

其中，R1∈Rn×r和R2∈Rm×r代表兩個(gè)雙邊高斯隨機(jī)投影矩陣，A1=AR1,A2=ATR2和A∈Rm×n表示初始化背景的矩陣。綜上所述，本文提出的基于LSM的在線運(yùn)動(dòng)目標(biāo)檢測方法LSM_RPCA的算法流程總結(jié)在算法1中。

3 實(shí)驗(yàn)

為了證明LSM_RPCA算法的有效性，我們將其與9個(gè)運(yùn)動(dòng)目標(biāo)檢測的經(jīng)典算法進(jìn)行對(duì)比，這9個(gè)算法包括：文獻(xiàn)[2]中提出的GMM算法，文獻(xiàn)[3]中提出的PCP算法，文獻(xiàn)[5]中提出的DECOLOR算法，文獻(xiàn)[6]提出的OMoGMF+TV算法，文獻(xiàn)[8]中提出的RegL1算法，文獻(xiàn)[9]中提出的TVRPCA算法，文獻(xiàn)[10]中提出的GRASTA算法，文獻(xiàn)[11]中提出的incPCP算法和文獻(xiàn)[12]中提出的SC-SOBS算法。

運(yùn)動(dòng)目標(biāo)檢測性能的評(píng)價(jià)指標(biāo)我們選用F-measure值，F(xiàn)-measure的定義如公式（17）所示：

其中，Precision=TP/(TP+FP)，Recall=TP/(TP+FN)，TP值（True Positives）表示正確分類為前景像素的像素?cái)?shù)量，F(xiàn)P值（False Positives）表示被錯(cuò)誤分類為前景像素的像素?cái)?shù)量，F(xiàn)N值（False Negatives）表示錯(cuò)誤分類為背景像素的像素?cái)?shù)量。

測試數(shù)據(jù)集我們選用3個(gè)較為經(jīng)典的具有長視頻幀的數(shù)據(jù)集，它們分別是在文獻(xiàn)[17]中提出的CDnet2014數(shù)據(jù)集，在文獻(xiàn)[18]中提出的I2R數(shù)據(jù)集和在文獻(xiàn)[19]中提出的Wallflower數(shù)據(jù)集，對(duì)于CDnet2014數(shù)據(jù)集，我們選用其中的8個(gè)種類的子數(shù)據(jù)集進(jìn)行了測試，它們分別是：“Baseline”，“Dynamic Background”，“Camera Jitter”，“Shadow”，“Thermal”，“Intermittent Object Motion”，“Bad Weather”和“Low Framerate”。

表1和表2展示了不同對(duì)比算法在3個(gè)數(shù)據(jù)集上的前景檢測性能，表中的數(shù)據(jù)均來自于參考文獻(xiàn)中提供的原始數(shù)據(jù)，N/A表示在參考文獻(xiàn)中沒有提供相關(guān)數(shù)據(jù)。通過表1中的數(shù)據(jù)不難看出，LSM_RPCA算法提取前景的平均性能是最好的，只有在“Dynamic Background”子數(shù)據(jù)集上的性能比OMoGMF+TV算法低，在“Shadow”數(shù)據(jù)集上的性能低于DECOLOR算法，其他用于測試的子數(shù)據(jù)集上的評(píng)價(jià)性能均由于其他對(duì)比算法，LSM_RPCA算法的性能比排在第二位的OMoGMF+TV算法高出0.05，比排在第三位的DECOLOR算法高出0.08。通過表2中的數(shù)據(jù)可以看出，LSM_RPCA算法在I2R和Wallflower數(shù)據(jù)集上的性能也是最好的，LSM_RPCA算法在I2R數(shù)據(jù)集上的性能比排在第二位的OMoGMF+TV算法高出0.01，比排在第三位的DECOLOR算法高出0.04，LSM_RPCA算法在Wallflower數(shù)據(jù)集上的性能比排在第二位的OMoGMF+TV算法高出0.02，比排在第三位的TVRPCA算法高出0.23。

圖2和圖3中展示了部分前景提取的效果，對(duì)于圖中所展示的視覺效果不難看出，LSM_RPCA算法的前景檢測效果是最接近數(shù)據(jù)集原始標(biāo)簽結(jié)果的。

圖2不同算法在CDnet2014數(shù)據(jù)集上的視覺效果

視頻幀從上到下依次來自于Baseline”，“Dynamic Background”，“Camera Jitter”，“Shadow”，“Thermal”，“Intermittent Object Motion”，“Bad Weather”和“Low Framerate”子數(shù)據(jù)集。

視頻幀從上到下依次來自于“Campus”，“Curtain”，“Fountain”和“WavingTrees”視頻幀序列。

圖3不同算法在I2R和Wallflower數(shù)據(jù)集上的視覺效果

表2 不同對(duì)比算法在I2R和Wallflower數(shù)據(jù)集上的F-measure值

4 結(jié)語

表1 不同對(duì)比算法在CDnet2014數(shù)據(jù)集上的F-measure值

目前，基于RPCA的運(yùn)動(dòng)目標(biāo)檢測算法已經(jīng)取得了巨大成功，但是由于傳統(tǒng)RPCA使用l1范式對(duì)前景進(jìn)行稀疏約束，導(dǎo)致RPCA的運(yùn)動(dòng)物體檢測性能受到很大的限制。本文結(jié)合LSM理論，提出了在線的基于RPCA的運(yùn)動(dòng)目標(biāo)檢測算法LSM_RPCA，該算法使用LSM模型對(duì)前景部分進(jìn)行建模，極大提升了運(yùn)動(dòng)物體檢測的性能。大量的實(shí)驗(yàn)結(jié)果證明，LSM_RPCA算法在運(yùn)動(dòng)物體檢測方面具有很好的效果。