基于誤差補償的復雜場景下背景建模方法

秦明　陸耀　邸慧軍　呂峰

基于誤差補償的復雜場景下背景建模方法

秦明1，2陸耀1，2邸慧軍1，2呂峰1，2

在基于子空間學習的背景建模方法中，利用背景信息對前景誤差進行補償有助于建立準確的背景模型.然而，當動態背景（搖曳的樹枝、波動的水面等）和復雜前景等干擾因素存在時，補償過程的準確性和穩定性會受到一定的影響.針對這些問題，本文提出了一種基于誤差補償的增量子空間背景建模方法.該方法可以實現復雜場景下的背景建模.首先，本文在誤差補償的過程中考慮了前景的空間連續性約束，在補償前景信息的同時減少了動態背景的干擾，提高了背景建模的準確性.其次，本文將誤差估計過程歸結為一個凸優化問題，并根據不同的應用場合設計了相應的精確求解算法和快速求解方法.再次，本文設計了一種基于Alpha通道的誤差補償策略，提高了算法對復雜前景的抗干擾能力.最后，本文構建了不依賴于子空間模型的背景模板，減少了由前景信息反饋引起的背景更新失效，提高了算法的魯棒性.多項對比實驗表明，本文算法在干擾因素存在的情況下仍然可以實現對背景的準確建模，表現出較強的抗擾性和魯棒性.

背景建模，抗干擾的誤差補償，空間連續性，Alpha通道，中值模板

引用格式秦明，陸耀，邸慧軍，呂峰.基于誤差補償的復雜場景下背景建模方法.自動化學報，2016，42（9）：1356-1366

對視頻中的背景信息進行有效建模是視頻分析領域（如目標跟蹤、步態識別、視頻摘要及壓縮等）重要的研究內容［1-3］.近年來，攝像頭逐漸被應用到各種復雜場景中，對背景建模算法的準確性和抗干擾性提出了更高的要求.

傳統的背景建模方法［4-5］通常對每個像素點進行單獨建模.近年來，為了充分利用圖像的空間相關性，基于子空間學習的背景建模算法［6-16］被廣泛提出，并取得了較好的效果.本文主要關注基于子空間學習的背景建模方法.該方法大體上可以分為以下三種類型.

基于魯棒主成分分析（Principal component analysis，PCA）的背景建模方法［6-7］通常先構建一個包含多個圖像幀的矩陣（矩陣中的每一列代表一個向量化的圖像幀），然后通過低秩分解算法將該矩陣分解為低秩的背景矩陣和稀疏的前景矩陣.這類算法通常可以取得較好的前景檢測效果.但是，魯棒PCA方法通常以批量的方式進行數據處理，這在一定程度上限制了其應用范圍.

基于背景基選擇的背景建模方法［8-10］通常直接選擇不包含前景的視頻幀來構建背景基矩陣，并通過線性回歸實現背景估計和前景檢測.這類算法較好地保留了背景信息的細節，并在一定程度上實現了增量的前景檢測.不過，當前景干擾頻繁出現時，背景基的選擇是一個難點問題［11］.

基于子空間正交基的背景建模方法［12-14］利用子空間基向量（如PCA中的特征向量）來構建背景基矩陣，并通過子空間投影來進行背景重構.這類方法通常具備增量前景檢測的能力，并且對背景變化的適應性較強.不過，當圖像幀中的前景信號較強時，該方法可能會將前景信息建模到背景模型中，影響背景建模的準確性［16］.為了解決這個問題，一些基于前景誤差補償的子空間背景建模方法［15-16］被提出.這類方法一般先利用已有的背景模型獲得一個當前幀的誤差估計，然后通過設定閾值來對每個像素點進行前景/背景分類.隨后，該類方法將前景點的像素值替換為背景模板（一般來自于背景模型，如PCA方法中的均值圖像）中相應位置的值，從而實現前景誤差的背景信息補償.這種基于單點信息的分類補償策略在補償前景信息的同時保留了當前幀的背景信息，減少了前景信息對背景更新過程的干擾，在普通場景下取得了較好的前景檢測效果.但是，在一些干擾較大的復雜場景下，該策略可能存在如下問題：

首先，基于單點誤差信息的前景點/背景點判定過程沒有考慮到前景的空間連續性，這可能導致一些誤差較大的動態背景點（如波動的水面、風中的樹葉、自動扶梯等）被判定為前景點，進而被背景模板中的信息所誤補償，影響背景建模的準確性.

其次，基于誤差閾值的前景/背景二分類補償算法在誤差閾值附近較為敏感，對背景模板的準確性要求較高，魯棒性相對較差.在一些前景頻繁出現的場景下（如商場、機場等人流量相對較大的地點），前景信息可能會被引入到背景模型中.這部分前景信息會影響到前景誤差估計的準確性，從而導致基于誤差閾值的前景/背景分類出現偏差.在這種情況下，背景模板中的前景信息會被錯誤地應用于補償過程，導致背景模型中的前景信號被錯誤地加強.這種前景信息的正反饋可能會在補償過程中不斷出現，影響前景檢測的準確性.

針對上述問題，本文提出了一種新的基于誤差補償的增量PCA背景建模方法，該方法可以實現復雜場景下的前景檢測.本方法首先在誤差估計過程中引入了前景的空間連續性約束，提高了對動態背景的區分能力.其次，本文將前景誤差估計過程歸結為一個凸優化問題，并分別針對不同的應用場合設計了相應的精確求解算法和快速求解方法.隨后，本文提出了一種基于Alpha通道的平滑補償策略，增強了算法的魯棒性.最后，本文設計了不依賴于子空間背景模型的補償模板，阻斷了前景信息的正反饋通道.本文提出的算法框圖如圖1所示.

本文的主要貢獻可歸納如下：

1）將前景的空間連續性約束引入到前景誤差補償過程中，實現了對動態背景和前景的有效區分.

2）本文將誤差估計過程歸結為一個凸優化問題，并根據不同的應用場合設計了相應的精確求解算法和快速求解方法.

3）在補償過程中，設計了一種基于Alpha通道的平滑補償策略.這種補償方式減少了對誤差閾值的依賴，增強了對誤差干擾的適應性.

4）構建了不依賴于子空間模型的補償模板，減少了前景信息正反饋的產生，提高了補償算法的魯棒性.

本文的剩余部分組織如下.第1節介紹了基本的增量PCA背景建模方法和基于單點信息的誤差補償策略.第2節詳細介紹了提出的誤差補償方法和相應的前景檢測算法.第3節展示了多個對比實驗的結果，并進行了相關討論.第4節得出了最后結論.

1　增量PCA背景建模與基于單點信息的誤差補償算法

基于增量PCA的背景建模方法［12，14-15］已經被廣泛應用于前景檢測領域.為了解決該類方法中存在的前景干擾問題，一些基于單點信息的誤差補償策略［15-16］被提出，并取得了較好的效果.本節主要介紹基本的增量PCA背景建模方法和相應的基于單點誤差的補償策略.

1.1基于增量PCA的背景建模方法

對于一個總計T幀的視頻序列，如果用列向量ot∈Rd（d為向量的維度）表示視頻的第t幀圖像，用bt表示相應的背景圖像，用ft表示相應的前景圖像，那么圖像ot可以表示為：

圖1　基于抗干擾誤差補償的背景建模算法流程示意圖Fig.1The flow chart of the proposed robust error compensation based background modeling method

考慮到前景的稀疏性［8-9］，基于增量PCA的前景檢測可以被描述為如下的目標優化問題：

其中，||·||1是1范數約束.這個目標優化問題可以通過交替優化的策略進行求解，具體方式如下：

其中，μ，y是增廣拉格朗日方法的參數，||·||F是F范數約束，〈·〉是內積符號.式中，第一、二項是數據約束項（下文將用來表示），第三項是稀疏約束項（下文將用ES（ft）來表示）.這個優化問題可以用下面的算法進行求解：

其中，k是迭代次數，soft（α，β）=max（α-β，0）-max（-α-β，0）是軟閾值函數（Soft-thresholding function）［18］，ρ（ρ＞1）是增廣拉格朗日算法的參數，前景f的初始值

2）當ft，xt已知時，背景模型，Ut的更新可以用增量PCA算法［19］實現.在不考慮誤差補償的情況下，背景模型的更新通常使用原始視頻幀ot進行［19］.

1.2基于單點信息的分類誤差補償策略

前一小節介紹了直接利用視頻幀ot進行增量PCA更新的背景建模方法.在這種方法中，視頻幀ot中存在的前景可能會影響背景模型的準確構建［16］.基于單點信息的誤差補償算法可以在一定程度上解決這一問題.

基于單點信息的誤差補償算法主要包括兩個步驟：首先，利用在式（3）中獲得的誤差估計ft對視頻幀ot中的像素點進行前景/背景分類；然后，用背景模板中的背景信息代替ot中相應的前景信息.具體操作如下.

對于視頻幀ot中的第i個像素點oti，判斷其屬于前景還是背景可以通過設定誤差閾值F實現：

其中，lti=1表示像素點oti被判定為前景點，lti=0表示oti被判定為背景點.

隨后，用背景子空間均值信息替代前景點信息，并獲得補償后的圖像?ot：

其中，⊙是點乘符號，lt=［lt1，lt2，···，ltd］是由式（5）得到的前景/背景分類標識向量.

最后，將補償后的圖像?ot用于第1.1節中的背景更新環節.這個誤差補償過程可以在一定程度上避免將前景信息引入到背景模型中.

2　基于空間連續性約束的抗干擾誤差補償

第1節介紹的基于單點信息的分類誤差補償策略在一般情況下是有效的.但是，當動態背景或者復雜前景（如頻繁出現的前景）出現時，這種補償方法可能存在如下問題：

首先，根據單點誤差信息進行前景/背景分類可能會導致某些動態背景點被誤判為前景點，并被錯誤地進行補償.在這種情況下，動態背景信息將無法被準確地建模到背景模型中.圖2第二行展示了動態背景存在時采用單點誤差信息進行前景/背景分類的結果.由圖可知，動態背景很容易被誤判為前景.

圖2　前景的空間連續性約束Fig.2The spatial continuity constraint on foreground

圖3　前景信息的正反饋問題Fig.3The positive feedback of foreground information

其次，當前景干擾較大時（如圖3第一行所示，場景中前景頻繁出現），部分前景信息可能會被建模到背景模型中，從而引起前景/背景二分類的偏差（如圖3第三行和第四行中白色圓圈位置所示，前景誤差和背景估計均出現偏差）.這種分類偏差將會導致背景模板中的前景信息被錯誤地應用于補償過程.在這種情況下，背景模板中的前景信息會得到錯誤地加強，并可能持續駐留在背景模板中（見圖3第二行圖像，從第300幀到第900幀，白色圓圈位置的前景始終存在于背景模板中），影響背景模型的正確更新.

為了解決復雜場景下的背景建模問題，本節提出了一種基于空間連續性約束的抗干擾誤差補償方法.針對上文提到的第一個問題，設計了一種基于空間連續性約束的前景誤差估計過程，并針對不同的應用場合設計了相應的快速求解算法和精確求解算法.針對第二個問題，提出了基于Alpha通道的平滑補償策略，并設計了不依賴于子空間模型的背景模板.

2.1基于空間連續性約束的誤差估計

在空間上，動態背景通常呈現出分散分布的特性，而前景一般是連續分布的.因此，本文通過引入空間連續性約束來區分前景點和動態背景點，以減少對動態背景的誤補償.

本文用總變分（Total variation）［20］來實現對前景的空間連續性約束.加入總變分約束后，前景誤差估計可以描述為如下的目標優化問題：

式（7）是一個凸優化問題，可以采用交替方向乘子法（Alternating direction method of multipliers，ADMM）［17］進行迭代求解：

文獻［17］給出了這類問題的詳細解法.

第二步，利用軟閾值函數［18］計算的精確解

上述算法可以求得式（7）的精確解.但是，該算法的迭代時間相對較長，可能不適用于有實時性要求的場合.因此，本文設計了一種求解式（7）的快速近似算法，可以滿足實時性要求.快速算法的求解思路如下：

式（7）用總變分項實現了對前景的連續性約束.作為一種鄰域約束，總變分約束可以認為是非局部（Non-local）約束［22］的一種特殊形式.因此，式（7）中的總變分項ETV（ft）可以被如下的非局部項（Non-local term）ENL（ft）所替代：

其中，Ni是圖像中第i個像素點的鄰域點集合.當鄰域集合Ni=｛i+1｝時，非局部約束等價于總變分約束.

通過引入非局部項ENL（ft）和前景誤差輔助變量，式（7）中的優化問題可以轉化為：

式（12）中的第二步優化可以看作是對空間域中值濾波過程的近似［22］，其目的是獲得空間上平滑的誤差估計.因此，這一步也可以用中值濾波算法進行近似求解.式（12）中的第一步優化是讓誤差的稀疏估計ft盡量接近平滑解.這一步的求解方法與式（3）類似［17］.為了進一步提高算法效率，也可以考慮將式（12）中第一步優化獲得的稀疏估計ft與中值濾波得到的平滑估計進行加權平均，以得到近似的前景誤差估計

上文介紹的快速算法求解速度較快，但求解精度一般.因此，可以考慮將快速算法的解作為精確求解算法的迭代初始值.這種求解策略可以在一定程度上提高精確算法的求解速度.

圖2第三行展示了考慮空間連續性約束后的前景誤差估計結果（閾值二值化后的結果）.通過與圖2第二行對比可知，加入空間連續性約束有助于區分動態背景點和前景點.

由式（12）所得到的前景誤差估計不僅為后面的誤差補償過程提供了信息支撐，也可以直接用來得到當前幀的掩膜結果Maskt：

其中，Maskti是掩膜向量Maskt第i維的值，F1是前景檢測閾值.

2.2基于Alpha通道的平滑補償策略

基于誤差閾值的前景點/背景點分類策略如圖4（a）所示.當誤差fti小于閾值F，點oti被判定為前景，反之則被判斷為背景.這種二值化的分類策略對閾值的依賴程度較大.在閾值附近，一個輕微的干擾就可能引起分類錯誤.

圖4　二值分類函數與保留距離信息的分類策略Fig.4Comparison between binary classification function and distance information preservation based classification strategy

當前景干擾較大時，前景信息可能被更新到背景模型中.這時，由閾值敏感性所引起的分類偏差會使得背景模型中的前景信息被錯誤地應用于補償過程，從而強化前景信息在背景模型中的存在.這個強化過程是個正反饋的過程，所以前景信息可能較長時間駐留在背景模板中，影響前景檢測的準確性.如果可以降低分類過程的閾值敏感性，就可以在一定程度上減少正反饋過程的發生.

仔細觀察圖4（a）可以發現，二值化的分類過程采用了一種將連續誤差信息轉化為離散分類信息的策略.這種分類策略只關注誤差相對于閾值的方向，而忽略了兩者之間的距離信息.因此，當誤差與閾值之間距離較大時，分類對擾動信息不敏感.當誤差與閾值之間的距離較小時，分類對擾動非常敏感.

基于上述觀察，如果我們將閾值附近的距離信息在分類過程中加以保留，并將其引入到補償過程中，就可以減輕分類過程的閾值敏感性，增強算法的抗干擾性.

依據這一思路，在閾值點附近，我們可以用連續的分類函數代替圖中的間斷分類函數，從而在一定程度上保留閾值附近的距離信息（如圖4（b）所示）.本文用Sigmoid非線性變換來實現距離信息的保留.此外，我們借鑒摳圖（Image matting）［23］中的補償方式，較好地利用了距離信息，實現了對圖像的平滑補償.本文提出的補償過程介紹如下：

首先，對從第2.1節獲得的前景誤差fti進行閾值分類，并進行下列線性變換：

其中，gti是變換后的誤差結果，s是縮放系數.這個線性變換將區間［0，F］內的誤差縮放到區間［-s，0］中，并將在區間［F，255］內的誤差縮放到區間［0，s］中.

然后，對線性變換后的結果gti進行Sigmoid非線性變換，獲得包含距離信息的分類結果hti：

由于hti中包含了距離信息，式（6）中的誤差補償方式已經無法直接進行應用，因此，我們設計了一種新的補償方式.

前景/背景分類問題與摳圖問題［23］存在著較為密切的聯系：兩者都需要進行物體的區分和提取.從摳圖的角度看，分類信息hti∈（0，1）類似于Alpha通道的值，可以看作是點oti中前景成分所占的比例［23］.由于基于Alpha通道的對象提取通常可以提供比較平滑的結果，我們將這一思路借鑒到誤差補償過程中，提出了如下的誤差補償方式：

2.3不依賴于子空間模型的背景模板構建

在第2.2節中提到，當前景干擾較大時，前景信息的正反饋過程可能會干擾背景模型的更新.圖5中的三條虛線簡單描述了這個前景信息的正反饋回路.在這個回路中，背景均值模板既為補償環節提供背景信息，同時又受到子空間更新環節的影響.換句話說，均值模板連接了誤差補償環節和背景更新環節，在客觀上為正反饋回路的形成提供了條件.

圖5　前景信息的正反饋回路Fig.5The positive feedback loop of foreground information

因此，如果我們可以構建不依賴于子空間模型的背景模板，就可以切斷均值模板中前景信息向補償環節的傳遞，從而破壞信息的正反饋回路（圖5中虛線上的黑叉代表該條線路被切斷）.依據這一思路，本文提出了一種基于時域中值信息的背景模板構建方法.

在離群點（Outlier）存在的情況下，中值估計通常比均值估計更準確.在視頻序列中，同一個空間位置上不同幀的像素值可以看作是對該位置圖像信息的時間域采樣.對位置相同的采樣點來說，大部分點體現了背景信息，少部分點（可以看作是離群點）體現了前景信息.因此，我們可以對圖像上每個空間點的采樣信息進行時間域的中值估計，并將估計值合成為一幅背景中值圖像.這個中值圖像可以作為補償過程的背景模板.背景中值圖像的詳細計算過程如下：

首先，我們定義一個可以儲存q幀視頻圖像的緩沖區OM=｛oM1，oM2，···，oMq｝，其中oMi（i∈｛1，2，···，q｝，Mi∈｛1，2，···，T｝）是原始視頻圖像.

隨后，我們令緩沖區每隔p幀進行一次視頻幀更新（每次只更新一個視頻幀）.緩沖區的更新采取先進先出的策略，最早被存入的視頻幀將最先被替代.為了避免前景出現在緩沖區中多個視頻幀的同一位置，p值不宜過小.

其中，median（·）是取中值函數.此時，誤差補償過程變為：

由式（17）得到的背景模板不依賴于子空間模型，因此在較大程度上預防了前景信息正反饋的發生.此外，由于中值估計受離群點（前景信息）的影響較少，可以提供更準確的背景估計，因此提高了前景檢測算法的準確性.

圖3最后兩行分別展示了由本文算法計算得到的前景和背景估計的結果.由圖可知，與基于閾值的二分類補償算法（圖3第三、四行）相比，本文提出的補償算法在較大程度上減少了前景信息的正反饋.

3　實驗結果及分析

為了驗證算法性能，本節在多個包含動態背景和復雜前景的測試視頻［24］（Bootstrap視頻、Campus視頻、Curtain視頻、Escalator視頻、Fountain視頻、ShoppingMall視頻、WaterSurface視頻和Hall視頻）上進行了算法測試，驗證了本文算法各個組成部分的有效性.此外，我們將本文算法與DPGMM算法［25］、RPCA算法［6］、GoDec算法［7］、GRASTA算法［13］、LRFSO算法［10］、RFDSA算法［20］和DECOLOR算法［26］等主流方法進行了實驗對比.

在下面的所有實驗中，本文算法均設置了相同的參數.在前景誤差估計環節，為了強調前景的空間連續性，選擇較大的參數λ=5.掩膜閾值設為F1=25（與LRFSO［10］算法相同）.在Alpha通道補償環節，誤差閾值也設為F=25.為了充分利用Sigmoid函數的平坦區域，縮放系數選為s=6.在背景中值模板構建環節，為了減輕計算負擔，選擇較小的緩沖區q=3和較大的更新間隔p.圖6展示了不同的p取值對算法平均性能的影響.可以看出，當p值大于15時，算法在測試視頻上的平均F-score得分分布在區間［0.6812，0.6865］內.因此，p的取值對算法性能影響較小.根據圖6，本文設定更新間隔p=27.

本文選用F-score作為算法性能的定量評價標準.F-score是在前景檢測領域被廣泛應用的評價方法［10，12，20］，其計算公式如下：

其中，Recall是召回率，Precision是準確率.

圖6　背景模板更新間隔p對算法平均性能的影響Fig.6The average F-score performance with respect to different parameter p

3.1對算法三個組成部分的有效性分析

本文提出的補償算法主要包括基于空間連續性約束的誤差估計、基于Alpha通道的補償策略和背景模板構建等三個環節.為了分別驗證這三個環節的有效性，本文設置了四組不同的實驗，并將對應的算法分別應用于測試視頻.在這些視頻中，Bootstrap、Escalator、ShoppingMall和Hall視頻包含頻繁出現的復雜前景，Campus、Curtain、Escalator、Fountain和WaterSurface視頻包含不同類型的動態背景.四組實驗的設置如下.

實驗1：基于單點稀疏性約束的前景誤差估計；基于閾值二分類的誤差補償策略；以背景均值作為背景模板.

實驗2：基于空間連續性約束的前景誤差估計；基于閾值二分類的誤差補償策略；以背景均值作為背景模板.

實驗3：基于空間連續性約束的前景誤差估計；基于Alpha通道的誤差補償策略；以背景均值作為背景模板.

實驗4：基于空間連續性約束的前景誤差估計；基于通道的誤差補償策略；以背景中值作為背景模板.

實驗1是基準實驗，采用了第1.2節中介紹的誤差補償方法.在實驗1的基礎上，后三組實驗分別按次序添加本算法的三個主要環節.具體實驗結果如圖7所示（其中，橫坐標從左到右分別代表Bootstrap視頻、Campus視頻、Curtain視頻、Escalator視頻、Fountain視頻、ShoppingMall視頻、WaterSurface視頻和Hall視頻）.對比實驗1和實驗2的結果可知，空間連續性約束的引入明顯提高了算法在視頻Campus、Escalator和Fountain（這些視頻包含動態背景）上的性能.此外，實驗2、實驗3和實驗4的結果對比表明，基于Alpha通道的誤差補償策略和背景中值模板的構建分別提升了前景檢測算法在視頻Bootstrap、ShoppingMall和Hall（這些視頻包含復雜前景）上的性能.圖7的最后一組柱狀圖反映了四組實驗在全部測試視頻上的平均性能對比.綜合來看，本文算法的三個組成部分有效提高了算法的平均性能.

圖7　本文算法的三個主要組成部分的有效性展示Fig.7The effectiveness of the main three components in the proposed algorithm

除上述結果外，圖2和圖3還展示了一些定性的實驗結果.圖2展示了添加空間連續性約束前后的前景估計效果對比，圖3中展示了添加Alpha通道補償策略和中值模板前后的前景檢測效果對比.可以看出，圖2和圖3中展示的結果進一步驗證了這三個組成部分的有效性.

3.2與其他算法的對比實驗

我們將本文算法與DPGMM算法［25］、RPCA算法［6］、GoDec算法［7］、GRASTA算法［13］、LRFSO算法［10］、RFDSA算法［20］和DECOLOR算法［26］等主流前景檢測方法進行了實驗對比.這些算法的F-score得分如表1所示.表1的倒數第二列和倒數第一列分別給出了本文提出的快速求解算法（如式（8）所示）和精確求解算法（如式（12）所示）的性能得分.

為了公平對比，所有參與對比實驗的程序均下載自文章作者網站，且未做任何修改.此外，我們借鑒LRFSO算法的思路［10］，將每個算法的掩膜閾值都設為25.

由表1可知，在八個測試視頻中，本文提出的精確求解算法（表1中用Ours（accurate）表示）得到了五個最高分和兩個第二高分，并且得到了最高的平均分（表1最后一行展示了所有算法的平均分）.本文提出的快速求解算法（表1中用Ours（fast）表示）的性能與DPGMM算法接近，在所有算法中處于中等偏上位置.

在表1的最后一列，我們還展示了所有算法的運行速度（由于DPGMM算法提供的是C++代碼，而其他算法都提供了Matlab代碼，公平起見，表1中沒有列出DPGMM算法的運行速度）.由表1可知，本文提出的快速求解算法的運行速度是35.34幀每秒，可以在一定程度上滿足實時性要求.本文提出的精確求解算法的運算速度略高于RFDSA算法，但可以實現較高的準確度.本文提出的兩種求解算法分別適用于不同的應用場合.此外，與DECOLOR算法和RFDSA算法相比，本文算法可以實現增量的背景建模與更新，因此適用范圍更廣.綜合來看，本文算法具有一定的優越性.

表1　本文算法與其他算法的F-score得分（%）Table 1The F-score results（%）of the proposed method and the other methods

圖8　不同前景檢測算法的前景掩膜結果Fig.8The foreground masks obtained from different foreground detection algorithms

除了表1中提供的定量實驗結果外，我們還在圖8中展示了由不同前景檢測算法得到的前景掩膜圖像.圖8中，左起第一列是輸入圖像，第二列到第十一列分別是真值（Ground truth）圖像、DPGMM算法結果、RPCA算法結果、GoDec算法結果、GRASTA算法結果、LRFSO算法結果、RFDSA算法結果、DECOLOR算法結果、本文的快速算法結果和本文的精確算法結果.

圖8的前四行分別展示了不同的前景檢測算法在Campus、Curtain、Fountain和WaterSurface這四個包含動態背景的測試視頻上獲得的掩膜圖像.可以看出，動態背景對RPCA算法、GoDec算法和GRASTA算法的影響較大.LRFSO算法、RFDSA算法、DECOLOR算法和本文算法對動態背景均表現出了較強的適應能力.比較而言，本文算法由于采用了誤差補償過程，并且可以自適應地對背景子空間進行增量更新，因此對動態背景的識別能力更強.

圖8的第五行至第七行分別展示了不同算法在Bootstrap、ShoppingMall和Hall這三個包含復雜前景的測試視頻上獲得的掩膜圖像.可以看出，DPGMM算法出現了一些漏檢.RPCA算法和GoDec算法性能類似，都出現了部分散點狀誤檢.LRFSO和DECOLOR算法將某些分散的前景連成一片，造成一些誤檢.GRASTA算法在ShoppingMall測試視頻上出現了漏檢（最左側的人沒有檢出）.相比較而言，在復雜前景存在的情況下，本文算法的檢測結果更接近于真值.

圖8的最后一行展示了不同算法在Escalator測試視頻上獲得的掩膜圖像.這個測試視頻同時包含動態背景與復雜前景，因此具有較高的挑戰性.可以看出，本文提出的快速算法存在一定的誤檢，但是精確算法可以較好地區分動態背景與前景.

定量實驗與定性分析表明，在存在動態背景和復雜前景的場景下，本文算法具備較強的抗干擾能力，可以實現準確的背景建模.

4　結論

本文提出了一種基于誤差補償的增量PCA背景建模方法，該方法可以實現復雜場景下的前景檢測.首先，本文將前景的空間連續性約束引入至前景誤差估計環節，有效地區分了動態背景和前景.其次，本文將前景誤差估計過程歸結為一個凸優化過程，并針對不同的應用場合分別設計了精確求解算法和快速優化方法.隨后，本文設計了一種基于Alpha通道的平滑補償策略，減少了補償過程的閾值敏感性，增強了算法對前景干擾的適應性.最后，本文構建了不依賴于子空間模型的中值背景模板，在一定程度上破壞了前景信息的正反饋通道，增強了補償算法的魯棒性.大量實驗表明，本文提出的兩種算法較好地協調了準確度與運行速度的矛盾，可以實現復雜場景（包括動態背景和復雜前景）下的增量背景估計和前景檢測.在未來的研究工作中，我們考慮將更多的圖像特征（如顏色、紋理等）和多尺度的方法融入到我們的算法框架中，并將致力于研究運動場景下的背景建模方法，以不斷拓展本文算法的應用領域.

References

1 Huo Dong-Hai，Yang Dan，Zhang Xiao-Hong，Hong Ming-Jian.Principal component analysis based codebook background modeling algorithm.Acta Automatica Sinica，2012，38（4）：591-600（霍東海，楊丹，張小洪，洪明堅.一種基于主成分分析的Codebook背景建模算法.自動化學報，2012，38（4）：591-600）

2 Chu Jun，Yang Fan，Zhang Gui-Mei，Wang Ling-Feng.A stepwise background subtraction by fusion spatio-temporal information.Acta Automatica Sinica，2014，40（4）：731-743（儲王君，楊樊，張桂梅，汪凌峰.一種分步的融合時空信息的背景建模.自動化學報，2014，40（4）：731-743）

3 Wang Yong-Zhong，Liang Yan，Pan Quan，Cheng Yong-Mei，Zhao Chun-Hui.Spatiotemporal background modeling based on adaptive mixture of Gaussians.Acta Automatica Sinica，2009，35（4）：371-378（王永忠，梁彥，潘泉，程詠梅，趙春暉.基于自適應混合高斯模型的時空背景建模.自動化學報，2009，35（4）：371-378）

4 Stauffer C，Grimson W E L.Adaptive background mixture models for real-time tracking.In：Proceedings of the 14th IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins，USA：IEEE，1999.246-252

5 Elgammal A M，Harwood D，Davis L S.Non-parametric model for background subtraction.In：Proceedings of the 6th European Conference on Computer Vision.Dublin，Ireland：Springer-Verlag，2000.751-767

6 Cand′es E，Li X D，Ma Y，Wright J.Robust principal component analysis？Journal of the ACM，2011，58（3）：Article No.11

7 Zhou T Y，Tao D C.GoDec：randomized low-rank&sparse matrix decomposition in noisy case.In：Proceedings of the 28th International Conference on Machine Learning.Bellevue，USA：ACM，2011.33-40

8 Dikmen M，Huang T S.Robust estimation of foreground in surveillance videos by sparse error estimation.In：Proceedings of the 19th International Conference on Pattern Recognition.Tampa，USA：IEEE，2008.1-4

9 Xue G J，Song L，Sun J，Wu M.Foreground estimation based on robust linear regression model.In：Proceedings of the 18th International Conference on Image Processing. Brussels，Belgium：IEEE，2011.3269-3272

10 Xue G J，Song L，Sun J.Foreground estimation based on linear regression model with fused sparsity on outliers.IEEE Transactions on Circuits and Systems for Video Technology，2013，23（8）：1346-1357

11 Qin M，Lu Y，Di H J，Huang W.Background basis selection from multiple clustering on local neighborhood structure. In：Proceedings of the 2015 IEEE International Conference on Multimedia and Expo.Torino，Italy：IEEE，2015.1-6

12 Seo J W，Kim S D.Recursive on-line（2D）2PCA and its application to long-term background subtraction.IEEE Transactions on Multimedia，2014，16（8）：2333-2344

13 He J，Balzano L，Szlam A.Incremental gradient on the Grassmannian for online foreground and background separation in subsampled video.In：Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence，USA：IEEE，2012.1568-1575

14 Wang L，Wang M，Wen M，Zhuo Q，Wang W Y.Background subtraction using incremental subspace learning.In：Proceedings of the 2007 IEEE International Conference on Image Processing.San Antonio，USA：IEEE，2007.V-45-V-48

15 Jiang Jian-Guo，Jin Yu-Long，Qi Mei-Bin，Zhan Shu.Moving target detection in natural scene based on sparse representation of residuals.Acta Electronica Sinica，2015，43（9）：1738-1744（蔣建國，金玉龍，齊美彬，詹曙.基于稀疏表達殘差的自然場景運動目標檢測.電子學報，2015，43（9）：1738-1744）

16 Xu Z F，Gu I Y H，Shi P F.Recursive error-compensated dynamic eigenbackground learning and adaptive background subtraction in video.Optical Engineering，2008，47（5）：525-534

17 Boyd S，Parikh N，Chu E，Peleato B，Eckstein J.Distributed optimization and statistical learning via the alternating direction method of multipliers.Foundations and Trends?in Machine Learning，2011，3（1）：1-122

18 Donoho D L.De-noising by soft-thresholding.IEEE Transactions on Information Theory，1995，41（3）：613-627

19 Ross D A，Lim J，Lin R-S，Yang M H.Incremental learning for robust visual tracking.International Journal of Computer Vision，2008，77（1-3）：125-141

20 Guo X J，Wang X G，Yang L，Cao X C，Ma Y.Robust foreground detection using smoothness and arbitrariness constraints.In：Proceedings of the 13th European Conference on Computer Vision.Zurich，Switzerland：Springer，2014. 535-550

21 Wang L C，You Y，Lian H.A simple and efficient algorithm for fused LASSO signal approximator with convex loss function.Computational Statistics，2013，28（4）：1699-1714

22 Sun D Q，Roth S，Black M J.A quantitative analysis of current practices in optical flow estimation and the principles behind them.International Journal of Computer Vision，2014，106（2）：115-137

23 Porter T，Duff T.Compositing digital images.In：Proceedings of the 11th Annual Conference on Computer Graphics and Interactive Techniques.Minneapolis，USA：ACM，1984. 253-259

24 Li L Y，Huang W M，Gu I Y H，Tian Q.Statistical modeling of complex backgrounds for foreground object detection.IEEE Transactions on Image Processing，2004，13（11）：1459-1472

25 Haines T S F，Tao X.Background subtraction with Dirichlet process mixture models.IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（4）：670-683

26 Zhou X W，Yang C，Yu W C.Moving object detection by detecting contiguous outliers in the low-rank representation. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（3）：597-610

秦明北京理工大學計算機學院博士研究生.主要研究方向為前景檢測與動作識別.

E-mail：050689@bit.edu.cn

（QIN MingPh.D.candidate at the School of Computer Science，Beijing Institute of Technology.His research interest covers foreground detection and action recognition.）

陸耀北京理工大學計算機學院教授.主要研究方向為神經網絡，圖像和信號處理，模式識別.本文通信作者.

E-mail：vis_yl@bit.edu.cn

（LU YaoProfessor at the School of Computer Science，Beijing Institute of Technology.His research interest covers neural network，image and signal processing and pattern recognition.Corresponding author of this paper.）

邸慧軍北京理工大學計算機學院講師.主要研究方向為計算機視覺，模式識別，機器學習.

E-mail：ajon@bit.edu.cn

（DI Hui-JunLecturer at the School of Computer Science，Beijing Institute of Technology.His research interest covers computer vision，pattern recognition and machine learning.）

呂峰北京理工大學計算機學院博士研究生.主要研究方向為目標跟蹤與動作識別.

E-mail：lvfeng@bit.edu.cn

（LV FengPh.D.candidate at the School of Computer Science，Beijing Institute of Technology.His research interest covers object tracking and action recognition.）

An Error Compensation Based Background Modeling Method for Complex Scenarios

QIN Ming1，2LU Yao1，2DI Hui-Jun1，2LV Feng1，2

Compensating foreground error with background information usually helps to build an accurate background model for the subspace learning based background modeling method.However，dynamic background（swaying tree or waving water surface）and complex foreground signal may have bad influences on the compensation process.To solve the problem，we propose an error compensation based incremental subspace method for background modeling，which aims to build an accurate background model in complex scenarios.First，we bring a spatial continuity constraint to the foreground error estimation process，which helps to preserve more dynamic background information and increase the accuracy of the background model.Second，we formulate the foreground estimation task into a convex optimization problem，and design an accurate optimization algorithm and a fast optimization algorithm，respectively for different applications.Third，an alpha-mating based error compensation strategy is designed，which increases the anti-interference performance of our algorithm.At last，a median background template which does not rely on background model is constructed，which increases the robustness of our algorithm.Multiple experiments show that the proposed method is able to model background accurately even in complex scenarios，demonstrating the anti-interference performance and the robustness of our method.

Background modeling，anti-interference error compensation，spatial continuity，alpha-mating，median template

Manuscript December 18，2015；accepted April 20，2016

10.16383/j.aas.2016.c150857

Qin Ming，Lu Yao，Di Hui-Jun，Lv Feng.An error compensation based background modeling method for complex scenarios.Acta Automatica Sinica，2016，42（9）：1356-1366

2015-12-18錄用日期2016-04-20

國家自然科學基金（61273273，61175096，61271374），高等學校博士學科點專項科研基金（2012110110034），北京市教委共建項目資助

Supported by National Natural Science Foundation of China（61273273，61175096，61271374），Research Fund for the Doctoral Program of Higher Education of China（2012110110034），and Specialized Fund for Joint Building Project of Beijing Municipal Education Commission

本文責任編委桑農

Recommended by Associate Editor SANG Nong

1.北京理工大學計算機學院北京1000812.智能信息技術北京市重點實驗室北京100081

1.School of Computer Science，Beijing Institute of Technology，Beijing 1000812.Beijing Laboratory of Intelligent Information Technology，Beijing 100081