基于FPGA的混合高斯背景建模實(shí)現(xiàn)

孫 猛，袁小龍，王麗紅

（北京交通大學(xué) 電子信息工程學(xué)院，北京 100044）

運(yùn)動目標(biāo)檢測是計(jì)算機(jī)視覺領(lǐng)域的一個重要研究方向，是各種后續(xù)高級處理，如目標(biāo)分類、行為理解等的基礎(chǔ)，在安全監(jiān)控、智能交通等領(lǐng)域都有著廣泛的應(yīng)用。一個魯棒性的運(yùn)動目標(biāo)檢測方法有利于后期的特征提取、目標(biāo)跟蹤等步驟。

常見的三種目標(biāo)檢測方法是背景差分法、幀間差分法和光流法[1]。其中背景差分法最常用，它通過當(dāng)前幀圖像與參考背景圖像相減檢測運(yùn)動目標(biāo)，該方法的關(guān)鍵在于創(chuàng)建和維護(hù)一個可靠的背景。有很多不同的背景模型被研究人員提出，Haritaoglu等人利用最小、最大強(qiáng)度值和最大時間差為場景中的每個像素進(jìn)行統(tǒng)計(jì)建模，并且進(jìn)行周期性的背景更新[2]；Stauffer和 Grimson采取為每個像素點(diǎn)進(jìn)行混合高斯建模的方法構(gòu)建自適應(yīng)的混合高斯背景模型，該模型能夠在線更新模型參數(shù)和權(quán)重，魯棒性地克服了光照變化、樹枝晃動等因素造成的影響[3]；Stauffer和 Grimson算法采用固定的更新率來更新各高斯分布函數(shù)的參數(shù)，這樣會降低對運(yùn)動目標(biāo)檢測的靈敏度；Kaew-TraKulPong等人提出了改進(jìn)的混合高斯背景建模算法[4]，有效地改善了這一問題；OpenCV依據(jù)這個改進(jìn)的算法提供了實(shí)現(xiàn)混合高斯背景模型的函數(shù)庫[5]。

基于自適應(yīng)混合高斯背景模型的背景差分法對靜態(tài)背景場合下的運(yùn)動目標(biāo)檢測有良好的魯棒性，但由于算法的計(jì)算量巨大，在PC上只能達(dá)到較低的幀率，遠(yuǎn)不能滿足實(shí)時性要求。FPGA近年來發(fā)展迅速，它有著接近ASIC的高速度和接近軟件設(shè)計(jì)的靈活性，為計(jì)算機(jī)視覺和數(shù)字圖像處理的提速提供了一個很好的平臺。

本文的算法基于OpenCV函數(shù)庫，對原算法進(jìn)行適當(dāng)?shù)男薷?，做出折中的定點(diǎn)化方案并針對FPGA的特性設(shè)計(jì)了適合FPGA實(shí)現(xiàn)的結(jié)構(gòu)，在Stratix IV開發(fā)平臺上成功實(shí)現(xiàn)了1 280×1 024高清視頻的背景建模和運(yùn)動目標(biāo)檢測，具有較好的監(jiān)測效果和很好的實(shí)時性。

1 背景建模算法

最常見的背景建模算法是自適應(yīng)的單峰背景模型，使用一個背景值表示一個像素點(diǎn)，并維護(hù)這個背景值，因?yàn)榈陀?jì)算量和存儲量的要求，使這種模型被廣泛應(yīng)用。但當(dāng)畫面出現(xiàn)像雨雪之類的擾動時，此模型會得到很差的結(jié)果。解決上述環(huán)境擾動的更好方案就是多峰背景模型，即每個像素點(diǎn)用多個單峰背景模型表示。最著名的就是Stauffer和Grimson提出的自適應(yīng)混合高斯模型，對復(fù)雜背景有著較強(qiáng)的抗干擾能力，尤其是KaewTr-aKulPong和Bowden對此算法做出了改進(jìn)后，使其算法更具魯棒性。

1.1 混合高斯模型

每個像素點(diǎn)用K個高斯分布混合表示。則某一像素點(diǎn)的值為Xt的概率為：

其 中 ，μi，t、σi，t和 ωi，t是t時刻組成像素X的第i個高斯分布的均值、標(biāo)準(zhǔn)差和權(quán)重參數(shù)，η是高斯概率密度函數(shù)。對于每一個新的像素值，檢測它是否與K個高斯分布匹配，匹配條件為：

如果Xt與任一高斯分布都不匹配，則添加一個均值為Xt、方差和權(quán)值自設(shè)定的高斯分布，用它替換歷史中優(yōu)先級最低的高斯分布。權(quán)重的更新等式如下：

其中，α 是學(xué)習(xí)率，當(dāng)有匹配時 mi，t為 1，否則為 0。

只有匹配成功的高斯分布才更新它的均值和方差，其他的分布不變，均值和方差的更新公式如下：

其中學(xué)習(xí)率：ρ=αη(Xt|μt，σt)

每次更新后根據(jù)(ωk/σk)對K個分布進(jìn)行排序，由前B個分布決定當(dāng)前像素的背景值。

1.2 改進(jìn)的算法

以上經(jīng)典算法都是采用固定的更新率來更新各高斯分布函數(shù)的參數(shù)，這樣會降低運(yùn)動目標(biāo)檢測的靈敏度，尤其在初始階段。針對這一問題，Kaew-TraKulPong提出了改進(jìn)的算法，在更新的不同階段采用不同的更新策略，有效改善了這一問題。OpenCV依據(jù)這個改進(jìn)的算法提供了實(shí)現(xiàn)混合高斯背景模型的函數(shù)庫，本設(shè)計(jì)的算法即基于OpenCV函數(shù)庫。

OpenCV加入了兩個重要變量：win_size為兩種更新策略的分界幀數(shù)，對于前后兩種策略，學(xué)習(xí)率α和ρ的選取原則不同；match_sum記錄每個高斯分布的歷史匹配次數(shù)。改進(jìn)后算法流程見圖1。

圖1 改進(jìn)后算法流程圖

各步驟操作如下：

第一幀創(chuàng)建高斯模型：用第一幀圖像給所有高斯分布參數(shù)賦初值。

匹配檢測：檢測每個像素點(diǎn)與對應(yīng)K個高斯分布的匹配情況。

更新方式(1)：win_size幀前沒有匹配情況的更新。

更新方式(2)：win_size幀前有匹配情況的更新。

更新方式(3)：win_size幀后沒有匹配情況的更新。

更新方式(4)：win_size幀后有匹配情況的更新。

排序：對每個像素更新后的K個高斯分布根據(jù)(ωk/σk)排序。

圖像尺寸和每個像素高斯分布的個數(shù)直接影響軟件運(yùn)行速度和FPGA資源占用。在VS2005環(huán)境下進(jìn)行軟件驗(yàn)證，選取 win_size為 200，高斯分布個數(shù)為3可以達(dá)到一個較好的檢測效果；應(yīng)用背景是1 280×1 024高清視頻的實(shí)時運(yùn)動目標(biāo)檢測，對原始視頻直接進(jìn)行混合高斯背景建模需要很大的數(shù)據(jù)率，是FPGA所不能達(dá)到的。針對這一問題提出了如下改進(jìn)策略：

(1)RGB空間轉(zhuǎn)換成灰度。此操作丟失顏色信息保留亮度信息，亮度信息完全可以滿足檢測目標(biāo)區(qū)域的要求，數(shù)據(jù)量減少了2/3。其轉(zhuǎn)換公式如下：

(2)縮減圖像尺寸(Resize)處理、減小視頻尺寸、確定小尺寸圖像內(nèi)運(yùn)動目標(biāo)區(qū)域后再做出同比例的反Resize，得到原始1 280×1 024視頻中的目標(biāo)區(qū)域。為了盡可能少地丟失原圖像信息，對每個4×4鄰域窗口16個像素取均值得到1個新像素。通過大量實(shí)驗(yàn)驗(yàn)證，此方案可以達(dá)到很好的檢測效果。

上述改進(jìn)算法在VS2005環(huán)境下運(yùn)行，PC配置為：Intel雙核3.17 GHz處理器，3 GB DDR2內(nèi)存，完成一幀高斯背景更新的時間約為85 ms，完成一幀檢測的時間約為92 ms，待處理視頻為60幀/s，幀更新時間為 16.7 ms，遠(yuǎn)不能滿足實(shí)時性要求?；旌细咚贡尘八惴ㄐ枰獮槊總€像素建立多個分布，這些分布的更新操作在PC中是串行處理的，耗費(fèi)大量的運(yùn)行時間。而FPGA的并行處理能力可以同時對多個分布進(jìn)行更新，再加上流水線結(jié)構(gòu)帶來的高數(shù)據(jù)吞吐量，F(xiàn)PGA可以大大縮減算法的運(yùn)行時間。

(3)軟件中的高斯參數(shù)均為64 bit浮點(diǎn)數(shù)，對于FPGA實(shí)現(xiàn)，需要片外存儲器件暫存每幀的高斯參數(shù)。必須對各參數(shù)做出合理的定點(diǎn)化方案，以減小對片外存儲容量和數(shù)據(jù)率的要求。在Matlab R2008a環(huán)境下進(jìn)行定點(diǎn)化仿真，經(jīng)過大量的實(shí)驗(yàn)，對高斯參數(shù)做出如下定點(diǎn)化方案（I表示整數(shù)位，F(xiàn)表示小數(shù)位）：

定點(diǎn)化后每個高斯分布參數(shù)需要40 bit，每個像素3個高斯分布共120 bit。此時要求的片外存儲容量為9.375 Mbit，數(shù)據(jù)率為590 Mb/s。選用的FPGA硬件平臺為Stratix IV開發(fā)套件，開發(fā)板上的4 MB QDR II+SRAM數(shù)據(jù)速率最高可以達(dá)到1 600 Mb/s，完全滿足此方案的需求。

2 FPGA設(shè)計(jì)

系統(tǒng)整體模塊劃分見圖2。

圖2 系統(tǒng)整體框圖

Resize&RGB2gray模塊完成1 280×1 024 RGB圖像到320×256灰度圖像的轉(zhuǎn)換，將每幀的灰度值暫存于片上RAM，每完成一幀的轉(zhuǎn)換發(fā)出幀開始信號給高斯模塊和差分模塊；差分模塊完成當(dāng)前幀與背景的差運(yùn)算，選取合適的閾值得到二值圖像；膨脹/腐蝕模塊用數(shù)學(xué)形態(tài)學(xué)處理（膨脹和腐蝕）去除噪聲和填補(bǔ)孔洞，在FPGA中采用line-buffer結(jié)構(gòu)實(shí)現(xiàn)。高斯模塊需要大量的存儲和運(yùn)算，是本設(shè)計(jì)的重點(diǎn)和難點(diǎn)，下面著重介紹高斯模塊的實(shí)現(xiàn)。

高斯模塊主要由數(shù)據(jù)調(diào)度、創(chuàng)建高斯、更新高斯、寫回4部分組成，如圖3所示。

(1)數(shù)據(jù)調(diào)度模塊完成像素灰度值的請求、與QDR II+SRAM控制器[6]的數(shù)據(jù)交互。QDR II+SRAM控制器可以提供72 bit，250 MHz的用戶數(shù)據(jù)接口，并可以讀寫操作同時進(jìn)行，高斯模塊的最高工作頻率為110 MHz，控制器的數(shù)據(jù)率完全可以滿足120 bit、110 MHz的要求。

(2)創(chuàng)建高斯模塊利用第一幀數(shù)據(jù)初始化高斯模型的各參數(shù)。

(3)更新高斯模塊完成高斯模型的更新，是最重要的一個模塊。3個高斯分布的匹配檢測和參數(shù)更新操作并行執(zhí)行。因?yàn)槟Ｐ蛥?shù)更新中涉及到一些乘除法操作，為了達(dá)到更高的處理速度，提高系統(tǒng)的數(shù)據(jù)吞吐量，此模塊采用17級的深度流水線。更新操作中不同分支路徑的延時不同，最長路徑需要17個時鐘周期，為了組成流水線短路徑采用寄存處理使所有更新分支均為17個時鐘周期。17個時鐘周期大體分為三個階段：

第一階段需要5級流水，完成匹配檢測和更新權(quán)值。匹配檢測是判斷當(dāng)前像素值與歷史高斯分布的匹配情況，得到匹配信息給后級模塊使用；更新權(quán)值即預(yù)先計(jì)算出有無匹配的兩種權(quán)值更新結(jié)果，參數(shù)更新模塊根據(jù)匹配信息選擇出實(shí)際情況的權(quán)值。

第二階段需要6級流水，此階段完成所有高斯參數(shù)的更新。對于匹配的分布更新均值、方差、match_sum，選擇相應(yīng)的權(quán)值輸出；當(dāng)所有分布均不匹配時創(chuàng)建新的分布替換優(yōu)先級最低的分布。

第三階段需要 6級流水，根據(jù)(ωk/σk)對更新后的 3個高斯分布排序。

(4)寫回模塊將更新后的高斯參數(shù)寫回數(shù)據(jù)調(diào)度模塊，然后由QDR II+控制器寫回 SRAM；同時將最高優(yōu)先級高斯的均值存于片上RAM作為當(dāng)前的背景值。

3 資源耗用及結(jié)果分析

所有模塊采用Verilog-HDL編寫，整個系統(tǒng)在Modelsim進(jìn)行功能仿真，在Altera Stratix IV開發(fā)套件上進(jìn)行驗(yàn)證，核心芯片為 EP4SGX230KF40C2，資源耗用見表1。系統(tǒng)的最高工作頻率為110 MHz，完成一幀320×256圖像背景更新的最短時間為745 μs，視頻源更新幀數(shù)據(jù)時間為16.7 ms，此模塊具有很好的實(shí)時性。

測試方案：由PC播放視頻，DVI輸入FPGA處理，F(xiàn)PGA處理結(jié)果輸出至 DVI顯示。1 280×1 024 60 Hz的DVI視頻時鐘頻率為108 MHz，F(xiàn)PGA系統(tǒng)最高時鐘頻率為110 MHz，測試時直接采用DVI時鐘作為系統(tǒng)運(yùn)行時鐘。

表1 FPGA資源耗用

使用Signal Tap II和Matlab聯(lián)合進(jìn)行板級調(diào)試，具體做法是：將Signal Tap II的采樣深度設(shè)為128 K，可以采到一整幀(320×256×8 bit)數(shù)據(jù)，利用 create signalTap II list File命令可以將當(dāng)前觀測窗口內(nèi)的所有信號值導(dǎo)出，然后將導(dǎo)出的數(shù)據(jù)用Matlab顯示分析。圖4為一段視頻中第602幀F(xiàn)PGA的處理結(jié)果，從左到右依次為Resize后的灰度圖、高斯背景、差分、膨脹腐蝕后的二值圖像。圖5為同一幀視頻在VS2005中的運(yùn)行結(jié)果。

圖4 FPGA處理結(jié)果

圖5 VS2005運(yùn)行結(jié)果

比較可知，軟件找到的目標(biāo)區(qū)域更加準(zhǔn)確，說明軟件得到的背景要比FPGA得到的背景可靠。因?yàn)镕PGA中對高斯參數(shù)進(jìn)行了定點(diǎn)化操作，運(yùn)算精度要低于軟件。FPGA實(shí)現(xiàn)雖然性能上有所降低，但可以滿足檢測要求。軟件每秒只能處理10幀左右，而FPGA處理一幀圖像只需要1.5 ms，F(xiàn)PGA達(dá)到了很好的實(shí)時性。

在Altera Stratix IV開發(fā)套件上成功實(shí)現(xiàn)了1 280×1 024高清視頻的混合高斯背景建模和運(yùn)動目標(biāo)檢測，設(shè)計(jì)采用基于自適應(yīng)混合高斯背景模型的背景消減法，對環(huán)境擾動具有很好的適應(yīng)性。針對高斯建模中復(fù)雜的運(yùn)算操作，設(shè)計(jì)采用了17級深度流水線，使系統(tǒng)最高工作頻率達(dá)到110 MHz；針對原算法的高數(shù)據(jù)率要求，設(shè)計(jì)了合理的Resize和定點(diǎn)化方案，使性能和資源耗用達(dá)到了一個較好的平衡點(diǎn)。經(jīng)過Modelsim仿真和板級驗(yàn)證，本設(shè)計(jì)可以達(dá)到較好的檢測效果并具有非常好的實(shí)時性。此實(shí)現(xiàn)方案在嵌入式系統(tǒng)和視覺觀測系統(tǒng)都有廣泛的應(yīng)用。

[1]吳曉陽.基于OpenCV的運(yùn)動目標(biāo)檢測與跟蹤[D].杭州：浙江大學(xué)，2008：47-55.

[2]HARITAOGLU I，HARWOOD D，DAVIS L.Real-time surveillance of people and their activities[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2000，22(8)：809-830.

[3]STAUFFER C，GRIMSON W.E.L.A daptive background mixture models for real-time tracking[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer.Soc，1999，2.

[4]KaewTraKulPong，Bowden.An improved adaptive background mixture model for real-time tracking with shadow detection[C].In Proceeding.2nd European Workshop on Advanced Video Based Surveillance Systems，AVBS01.2001，9.

[5]劉瑞禎，于仕琪.OpenCV教程[M].北京：航空航天大學(xué)出版社，2007.

[6]Altera Corporation.QDR II and QDR II+SRAM controller with UniPHY user guide.2010.