基于智能視頻監控系統的運動目標檢測和跟蹤

蔣 巍，張 健，曾 浩

（1.重慶郵電大學通信與信息工程學院，重慶400065;2.中國電子科技集團公司第三研究所音視頻研發部，北京 100015）

隨著視頻監控的應用范圍的不斷擴大，視頻處理技術的迅速發展，智能監控系統應運而生。智能監控系統通過對采集到的圖像序列進行分析和處理，對運動目標進行檢測和跟蹤，掌握其運動特征，判斷其運動趨勢，并及時作出信息反饋，廣泛應用于安防、刑偵、金融、醫療衛生等領域。而在當今智能視頻監控領域，利用嵌入式穩定性高、尺寸小、硬件可裁剪、模塊化程度高而且支持以太網等特點，結合現代圖像處理技術，提高系統的智能化程度，已經成為技術改良的新方向。

在智能監控的具體應用環境中，例如刑事偵查、交通管理系統，對運動目標檢測的需求不斷提高，要求系統在保證實時性的前提下同樣達到精確程度上的提升。目標檢測中，在傳統的光流法、幀間差分法、背景差分法的基礎上，一些新的算法例如基于特征點和基于背景建模結合的算法、Surendra型背景更新算法等。但是基于算法復雜程度和實現環境條件限制的問題，實際應用較難。所以，結合嵌入式系統實現更有效的運動目標檢測、識別和追蹤，也成為本文研究和需要解決的重點問題。

本文結合具體項目需求，硬件系統處理器選用TI公司的基于DaVinci技術的TMS320DM365，其ARM926EJ-S內核可到300 MHz速率，具有視頻處理子系統（VPSS），同時集成了 H.264，MPEG-4，MPEG-2，MJPEG 和 VC1 編解碼器，并提供了免專利費編解碼套件以及高級音視頻套件，可以同時輸出720p，D1，CIF等碼流或更多組合方式。TMS320DM365還集成了多種組件和多種板載外設，可有效地降低開發成本。本文以該處理器為核心，完成周邊基礎硬件模塊的配置，搭建智能監控系統硬件平臺。在此基礎上，針對系統設計需求，設計軟件流程，構建軟件平臺，對目標檢測跟蹤部分進行算法的分析改進。利用改進型背景更新的差分方法對監控圖像中的運動目標進行檢測和提取，同時保證了檢測的實時性和準確性;利用Kalman濾波法，對運動目標進行跟蹤，實現該模塊的功能流程。通過對仿真實驗的結果分析，可以說明，改進型背景跟新算法對實時背景的更新具有明顯的效果，對監控環境光線變化的適應能力提高;引入Kalman濾波可以有效地對運動目標進行跟蹤，滿足設計需求。

1 基于TMS320DM365的硬件模塊配置

1.1 硬件模塊設計

該系統平臺的構成需要為上述選定的TMS320DM365配套硬件模塊，硬件模塊構成結構示意圖如圖1所示。

1.2 各模塊功能介紹

1）電源模塊

圖1 系統硬件結構示意圖

TMS320DM365內核與DDR2需要各自不同的電源，其中內核需1.35 V;內核和外圍需3.3 V，1.8 V;USB設備需5 V。電路的輸入電源為12 V，3.3 V與5 V采用DCDC，可以提高效率，降低發熱量。

2）Flash模塊

TMS320DM365提供的異步外部存儲器接口（Asynchronous External Memory Interface，AEMIF）支持 Nand 和Nor Flash。考慮到開發的成本和便捷性，選用K9F1G08U0BPCB00_TSOP1芯片，用作內核文件的存儲。

3）SDRAM模塊

TMS320DM365提供了專門的DDR2控制接口（DDR2/mDDR Memory Controller），這個接口支持兼容JESD79D.2A標準的DDR2 SDRAM設備和兼容移動DDR SDRAM的設備，可支持256 Mbyte的存儲空間，作為系統程序的運行空間。

4）接口模塊

RS-485協議采用SN65HVDl2D作為RS-485的主IC，并且根據RS-485的時序，利用觸發邏輯，使得RS-485可以自動切換傳輸方向。當主機端無數據發送時，RS-485為讀狀態，當主端發送數據時，為寫狀態。

5）網絡模塊

由于TMS320DM365集成了MAC控制器EMAC，直接選擇PHY芯片KS8001L即合格。EMAC由器件的ARM CPU控制而不受DSP CPU控制，EMAC控制從系統到PHY的數據包，MDIO模塊控制PHY的配置和狀態監視。主要負責對以太網的接入，并提供數據包的緩存。

6）視頻采集模塊

系統要求在TMS320DM365的1個輸入口輸入多路信號，選擇實現疊加的數模轉換芯片TW2835，此款芯片支持NTSC/PAL信號，并可以對微弱信號、噪聲信號進行鎖存。

7）視頻處理模塊

視頻處理模塊由視頻處理前端（VPFE）和視頻處理后端（VPBE）組成。其中VPEE由CCD控制器（提供連接數字圖像傳感器和數字視頻源的接口）、預覽引擎（把原始圖形轉變為YCbCr422數據）、柱狀模塊（控制自動聚焦/自動白平衡/自動曝光的循環）、硬件（構成統計發生器）。VPBE由線視頻顯示處理器（將視頻數據和顯示/位圖數據整合后，以YCbCr形式提供給視頻編碼器）和視頻編碼器（產生NTSC/PAL、SECAM等格式的模擬視頻輸出）和數字LCD控制區組成（產生數字RGB/YCbCr數據輸出）。

2 軟件平臺的設計

2.1 軟件開發平臺的搭建

在完成了硬件平臺的基礎上，需要對軟件平臺進行搭建。基于對實時性、編碼效率、開發成本的考慮，本文選擇在Linux環境下進行編譯開發。確定了操作系統之后，需要對交叉編譯環境進行搭建。首先在宿主機安裝Vmware workstation，再在其基礎上安裝Red Hat 9.0系統和交叉編譯器，交叉編譯器生成的文件可以最終燒寫入目標機得以運行。在完成操作系統和編譯器的安裝后，需要進行處理器開發包的安裝，燒寫Flash、UBOOT、Linux內核等，完成以上流程后，即可對TMS320DM365進行編程燒寫。

2.2 視頻圖像處理平臺

軟件流程圖如圖2所示。

圖2 軟件流程圖

以上過程可以表述為:視頻采集設備輸入的PAL流模擬信號，首先進行A/D轉換，將模擬信號轉化為數字信號;對數字信號進行視頻編碼操作，轉化為適合傳輸的格式;編碼后的碼流經過處理，可以轉入存儲，或者經過傳輸，進入視頻解碼器，經過視頻解碼后的信號傳入視頻智能化處理單元進行處理后輸出至顯示端。

視頻智能化處理單元是研究的重點，它包括圖像的檢測和跟蹤。此單元的圖像處理不僅僅關系到圖像的質量、系統的性能，更是系統智能化程度的重要體現。其中的目標檢測部分選用改進型的背景更新差分算法，并用Kalman濾波對運動目標進行跟蹤。本文希望通過以上算法的引入對系統智能檢測和跟蹤的性能進行改善。

3 改進的運動目標檢測

目前，對運動目標檢測中較為常用的方法主要有幀間差分法、光流法、背景差法。其中光流法運算相對復雜，運算量大，難以滿足實時性的要求。本文在綜合考慮系統模塊對應用環境、實時性、運算復雜難易度的前提下，利用改進型背景更新差分法對運動目標進行識別和檢測。該算法合理利用了幀間差分法的實時性強、檢測快速的優勢，同時結合背景差分方法對背景進行實時更新，保證了檢測的精確程度，也彌補了傳統背景差分法對于環境光照強度變化適應能力的不足。

3.1 傳統的幀差分法

該算法的主體可以表述為:先利用幀間差分法將圖像序列中相鄰幀或相隔幀t幀、t+n幀在同一方向進行圖像的差分，可以在相對短的時間內檢測出待測幀之間圖像像素強度的變化。對像素強度的變化設定相應閾值，對運動目標進行檢測。

運動檢測部分的算法流程圖如圖3所示。

圖3 幀差分法算法流程圖

根據以上的思想，可以建立以下數學模型

式中:St和St+n分別代表所選取的t和t+n幀的圖像，Bt（x，y）和Bt+n（x，y）代表第t幀和第t+n幀的背景圖像，V（x，y）和V（x+Δx，y+Δy）代表第t幀和第t+1幀中的運動目標，其中Δx和Δy是兩幀圖像間的運動矢量，Nt（x，y） 和 Nt+n（x，y））分別代表 t，t+n 幀中的噪聲部分。

設定

式中:ΔSt+n/t代表第t幀和第t+n幀之間的差分結果，［Bt+n（x，y） － Bt（x，y）］+［V（x+ Δx，y+ Δy） － V（x，y）］代表運動部分像素強變化，［Nt+n（x，y）－Nt（x，y）］代表殘留噪聲部分的強度變化。

設K（x，y）為二值差分圖像，則有

式中:K（x，y）如果取1，表示所選兩幀之間的像素強度變化達到超過閾值T，可認為目標發生運動;如果取0，表示所選兩幀之間的像素強度發生變化小于閾值T，可認為是靜止區域。其中，閾值的選取關系到檢測的精確度，設定動態閾值T=α+3β，其中α代表噪聲分布的期望，β代表噪聲分布的方差。

3.2 改進的實時背景更新差分法

此算法的主要思想是在原幀差分方法的基礎上，標記像素強度的變化區域，得到修正后的背景，通過累計差分得到提取背景圖像進行自適應更新，再根據上一幀圖像得到當前幀的背景圖像，通過差分方法量化光照幅度變化，并以此對參考背景進行光照強度的補償，得到最終實時背景的更新。改進型背景差分法背景更新部分算法流程圖如圖4所示。

圖4 實時背景更新算法流程圖

根據前文所述，同理可知，ΔSt－n/t表示選取的t幀同t-n幀間的差分。設P（x，y）為二值差分圖像，公式為

如果（x，y）處的二值差分圖像P（x，y）不為0，表示該像素點屬于運動區域，不能構成實時更新的背景;如果此處的Pxy為0，則表示該像素點屬于背景區域上的點，構成實時更新的背景。可用St幀的像素代替背景區域以便得到修正后的背景值。設定在非零區域內采樣Bm和其他區域采樣Bn，可得實時背景圖像B為

然后逐幀循環進行上述過程，不斷累積更新背景模板，保證背景提取的可靠。用更新的背景圖像BM表示為B和Bm的加權和，表示如下

由于實施背景更新的質量受權值σ對更新速度影響較大，所以使用所選取幀之間的光照幅度的變化作為自適應的權值，可以滿足光照適應度的需求。

圖像背景的實時更新中，需要借助當前幀t圖像的背景Bt作為參照得到t+1幀的實時背景Bt+1，而且時間進程中，圖像光照強度的驟變是影響實時更新質量的主要問題。根據鄰幀差分法的原則，被認為是運動目標的區域像素強度跳變較大，而其他像素區域強度變化相對較小。此處，應用時域內的鄰幀差分法，取連續相鄰幀St+1和St的差分的平均值作為平均光照幅度的變化值，以若干相鄰幀差分的均值來量化光照變化的幅度，可以減小以單幀背景作為參考時環境突變帶來的準確性方面的影響。

光照幅度的變化為

取得光照幅度的變化值CBt+1/t的目的在于為實時更新的圖像背景進行光照強度的補償，而對于光照強度變化甚小的圖像進行逐一像素的補償，不僅增加運算量，對更新質量的提高也很小。所以，考慮到系統設計盡量降低運算復雜度的要求，設定光照強度變化的閾值TS（通常取0.5～1），即在光照強度的變化大于TS的前提下，才進行光照補償，之后實時更新背景圖像。

設更新后的背景圖像為

3.3 基于Kalman濾波的運動目標的跟蹤

在本文設計的系統中，通過圖像的快速處理，追蹤目標的運動軌跡是其實現智能監控的的基礎之一。系統的時效性要求引入的算法盡可能地縮小搜索范疇，減少運算量。基于上述要求，本文在運用改進型背景更新法對運動目標進行檢測的基礎上，選擇Kalman濾波方法作為運動目標跟蹤的方法。

Kalman濾波是在時域內對動態系統的序列采用遞歸原則進行最小均值誤差估計的方法，它利用觀測值修正估計值的狀態，對運動系統狀態進行可靠的估計和描述。用建立數學模型的方法來表示Kalman濾波的具體流程，系統狀態方程為

式中:Xk代表系統在k時刻的狀態矢量，Ak+1/k代表系統由k時刻到k+1時刻的狀態轉移矩陣，wk代表系統k時刻系統輸入隨機噪聲矢量。

系統觀測方程為

式中:Zk代表系統觀測矢量，Hk代表系統觀測矩陣，vk代表系統共觀測噪聲矢量。由于一般情況下系統隨機噪聲和觀測噪聲符合高斯白噪聲過程，因此，本文假設系統噪聲{wk，k≥0}和{vk，k≥0}是不相關且均值為0的高斯白噪聲，協方差分別為Qk和Rk。

系統狀態的估計，需要依照估計準則和獲取的觀測信息。Kalman濾波的估計準則可以表示為

式中:E［~Xk］=E［Xk］表示估計是Xk的無偏和最小方差估計。

Kalman預估在先不考慮系統和觀測噪聲的前提下獲得狀態的先驗估計，并推算出狀態變量。由于先驗估計值與真實值之間存在誤差，所以再用先驗估計值和觀測變量的加權線性組合構成得到后驗估計，當后驗估計協方差取得最小值時可取得系統狀態的最優估計值。根據以上思想，可建立先驗估計的狀態矢量預測方程以及狀態矢量協方差方程為

Kalman增益矩陣為

后驗估計的狀態矢量更新方程以狀態矢量協方差更新方程為

上述式（12）～式（17）中，~X'k+1表示先驗估計的系統狀態，是利用上一時刻的狀態矢量預測的結果;P'k+1表示先驗估計的誤差方差矩陣;Pk+1表示狀態最優估計的誤差方差矩陣;Kk代表使系統狀態獲得最優估計時的系數矩陣，即Kalman增益，用作最小化k時刻的后驗估計在誤差協方差;~Xk+1表示對系統狀態的最優估計。

4 試驗結果分析

用改進型背景差分算法的代碼在TMS320DM365上運行，設定幀率為12，光照變化強度的閾值TS設定為0.5。同時采用改進型背景差分方法和一般背景差分方法對圖像進行目標的檢測提取，實施背景更新，光照適應能力的測試并進行比對。以視頻序列前20幀作為初始化參考幀。在第15幀，一個著黑衣男子進入監控圖像。圖4a代表目標出現在序列第一幀;圖4b代表第200幀后利用改進型方法得到的更新背景圖像;圖4c代表用一般背景差分法得到的背景圖像，從對比細節可以看出利用改進型方法得到的背景圖像更準確;圖4d代表第300幀的圖像;圖4e代表利用改進型方法檢測到的目標;圖4f代表用一般背景差分法檢測到的目標，從對比中可以發現利用改進型方法檢測到的目標像素區域判斷較為準確，利用一般背景差分法得到的運動區域存在對背景像素區域的重疊和誤判;圖4g代表新一視頻序列中發生光照強度突變時的圖像;圖4h代表利用改進型方法進行光照補償后得到的實時背景更新圖像;圖4i代表利用一般背景差分法得到的背景圖像，存在光強度的誤差，從對比中可以明顯發現光照強度的差異，說明光照補償在背景更新中具有顯著的作用。

5 結論

在對智能監控系統的軟硬件完成配置后，本文重點對運動目標檢檢測、識別和跟蹤部分進行了研究。利用改進型的背景差分方法對運動目標進行檢測，利用Kalman濾波法對運動目標進行跟蹤。實驗結果表明，相對于一般背景差分方法，利用改進型背景差分法進行目標檢測和跟蹤，檢測目標區域的判定更為準確，背景更新更具實時性，并且保證了精確性，在光照強度變化的環境中，自適應能力更強，滿足了系統設計性能要求。

：

［1］TI Incorporated.TMS320DM365 Digital Media System-on-Chip（DMSoC）［EB/OL］.［2011-10-20］.http://ishare.iask.sina.com.cn/f/14960771.html?from=like&retcode=0.

［2］趙其杰，屠大維，高健，等.基于Kalman濾波的視覺預測目標跟蹤及其應用［J］. 光學精密工程，2008，16（5）:937-942.

［3］萬琴，王耀南.一種多運動目標檢測、跟蹤方法研究與實現［J］.計算機應用研究，2007，24（1）:199-202.

［4］王建東，王亞飛，張晶.基于卡爾曼濾波器的運動目標跟蹤算法［J］.數字通信，2009（6）:53-57.

［5］趙龍，吳康.新型自適應Kalman濾波算法及其應用［J］.壓電與聲光，2009，31（6）:908-911.

［6］楊賀.基于TMS320DM642的運動目標檢測跟蹤系統的設計［D］.哈爾濱:哈爾濱工程大學，2007.

［7］王徐華，樊曉光，徐顯亮.基于TMS320DM642的視頻圖像處理系統設計與實現［J］. 電視技術，2009，33（10）:28-31.

［8］施家棟，王建中.動態場景中運動目標檢測與跟蹤［J］.北京理工大學學報，2009（10）:858-860.

［9］陳勇.智能視頻監控中運動目標檢測技術研究［D］.武漢:武漢理工大學，2007.