基于DM642的全景多目標檢測系統的設計與實現

劉歆瀏+田瑞娟+蔣飛+周建平

摘 要： 為了實現全方位監控和智能預警，設計了一套以DM642為核心的全景多目標檢測系統。從硬件設計和軟件設計兩個方面分析了系統和算法的構建、實現和優化。針對該系統復雜的功能和架構，詳細分析其工作流程，采用了基于DSP/BIOS的框架搭建，并且設計和采用基于能量累計的背景建模和基于SIFT的圖像匹配等關鍵圖像處理算法。并最終通過系統調試驗證其設計的可行性。

關鍵字： DM642； DSP/BIOS； 多目標檢測； 背景建模； SIFT

中圖分類號： TN964?34 文獻標識碼： A 文章編號： 1004?373X（2014）16?0123?04

Design and implementation of panorama multi?target detection system based on DM642

LIU Xin?liu1， TIAN Rui?juan1， JIANG Fei2， ZHOU Jian?ping1

（1. Department of Armament Products， No. 58 Research Institute of China Ordnance Industry， Mianyang 621000， China；

2. Equipment Research Institute of Chinese Peoples Armed Police Forces， Beijing 100000， China）

Abstract： To achieve omni directional monitoring and intelligent warning， a DM642?based panorama multi?target detection system was designed. The construction， achievement and optimization of the system and algorithm are analyzed in the aspects of hardware design and software design. A detail analysis of the systems operation flaw is done in allusion to complex functions and architecture. The framework is built by DSP/BIOS. The background modeling based on energy accumulation and critical image processing algorithm based on SIFT are applied. Finally， the feasibility was verified by the system debugging.

Keywords： DM642； DSP/BIOS； multi?target detection； background modeling； SIFT

基于視頻的目標檢測與跟蹤在軍事武器、機器人導航、智能監控系統等領域具有廣泛的應用，它是一種融合了圖像處理、模式識別、人工智能、自動控制等多領域先進技術的綜合應用技術。全景視頻是對單攝像機視頻的擴展，它綜合應用圖像配準、圖像融合技術，無縫拼接生成的更大的視場范圍。傳統的智能視頻分析系統[1?2]包括X86體系設計和嵌入式平臺設計兩種架構。基于X86體系的安防系統維護成本高、功耗體積大，并且實時性不強，使用范圍限制大。基于嵌入式平臺的設計是當今智能監控系統的發展趨勢。但現有的嵌入式視頻分析系統，單個設備大多數都只是針對單路視頻的分析處理[3]，同時只能完成某一個智能分析功能。這樣不僅使用成本高，而且功能非常單一，工程化的局限性非常大。本文以TI公司的TMS320DM642為核心，設計并實現了全景多目標檢測系統。能夠同時實現三路視頻的采集，實時拼接輸出更大視場范圍的全景視頻；同時對全景視頻進行了不間斷的多目標智能檢測、識別和追蹤，以及虛擬警戒區域的預警。本文從硬件設計和軟件設計兩個方面，對該智能視頻分析系統進行了詳細的描述。

1 系統硬件組成

本系統是以TMS320DM642[4]為核心硬件構成的，配合豐富的輔助硬件設備，完整地形成了一套具有實效性的智能視頻監控系統，實現對現場全景的覆蓋監控，以及對多目標的搜索捕獲以及鎖定跟蹤。主要由三路視頻輸入、DM642處理器、視頻編解碼模塊、電源模塊、存儲模塊、電源轉換電路等組成，如圖1所示。

三路標準模擬視頻信號通過CVBS接口接入系統[5]，由三個獨立視頻解碼芯片分別進行采集，編碼器選擇了Ti的TVP5150，分別由DM642的Video PortVP0A，VP1A，VP2A）進行采集。完成處理的實時全景通過SAA7121芯片進行D/A后輸出。

DM642作為系統的主控芯片，負責了整個智能視頻系統的三路的視頻捕獲，全景圖像的拼接和輸出，威脅目標的檢測和跟蹤，預警規則的設置等核心功能。同時，它與串口芯片TL16C752相連，通過串口與外部進行通信；與FLASH和SDRAM相連，用于外部存儲功能的擴展及程序的保存和燒寫。

圖1 硬件組成圖

為實現全景拼接顯示，視頻輸入選擇為光軸近似相交于一點、環形均布的3個高清晰低照度攝像機組成，如圖2所示。每一個攝像機的視場角為60°，相鄰的攝像機有10%的視場交叉，這樣3個相機以55°的夾角進行安裝，用于進行拼接和融合的公共參考區域。3個相機將共同生成大于150°的超大視場。

圖2 安裝示意圖

2 系統軟件

2.1 系統工作流程

本系統的軟件內嵌于DSP內部的嵌入式軟件。系統在完成了對DSP內部接口、EMIF模式、存儲空間以及串口、網口和VIDEO PORT等的初始化后。分成兩條流程運行。一條流程用于串口數據通信，實時接收外部的通信數據，發送預警信息和目標信息；另一條流程接收三路圖像信息，進行視頻圖像采集、處理和輸出。根據視頻數據更新的速度，該線程40 ms循環運行。工作流程如圖3所示。

圖3 工作流程圖

在圖像處理的這條流程中，包含了兩個并行處理的子線程，一條是對三路視頻進行對拼接、融合，色差調整和裁剪整合；另一條用于對三路視頻進行實時監測，實現多目標的檢測和跟蹤。最后將捕獲的多目標在全景視頻里面進行標定顯示。

2.2 DSP/BIOS框架搭建

從系統組成可以看出，本系統是一個多任務、多算法，同時處理多路視頻的復雜軟件系統。而傳統的DSP軟件設計，是基于main函數的無限循環、中斷處理這一順序框架來構建的。這樣的架構在處理復雜系統時容易被阻塞，使得整個系統的實時性不能滿足需求，并且無法準確掌握處理器的運行狀態。為了解決這些問題，本系統采用DSP/BIOS實時系統內核進行軟件的框架搭建。DSP/BIOS是TI公司為DSP開發的一套用于實時多任務軟件開發的嵌入式操作系統[6]。它本身占用極少的CPU資源，提供豐富的面向用戶的API，用于編寫各種結構復雜、實時性強、運行效率高的應用軟件， 并提高調試效率。并且針對RTOS開發提供對象的創建和刪除、多線程服務、線程之間的通信。在DSP/BIOS下系統軟件框架如圖4所示。

本軟件框架包含4個任務[7]（tasks），其中TSKcapture，TSKparanorma，TSKdisplay負責核心流程任務，循環地實現了從底層驅動獲取視頻圖像，視頻圖像的全景拼接以及視頻編碼轉換輸出顯示，優先級最高。TSKcom承載了串口通信的任務，優先級最低。TSKmultiobj則是負責目標的檢測和跟蹤，優先級居中。

圖4 軟件框架圖

TSKcapture線程在獲取到一幀圖像后，便將圖像BUFFER的指針隨同SCOM消息同時發送到TSKparanorma，TSKmultiobj線程的SCOM接收隊列。隨后，TSKcapture線程將由運行態轉為掛起態，等待來自TSKparanorma，TSKmultiobj線程的SCOM消息將其激活。TSKparanorma線程完成圖像處理后，將經處理的圖像數據存儲在內核輸出所指向的buffer中，并且將這一指針隨同一個SCOM消息發送給TSKdisplay線程。TSKmultiobj線程通過郵箱MBX以及信號燈SEM與TSKparanorma線程以及TSKcom進行通信，接收外部對此線程的控制命令以及目標疊加信息和預警信息的輸出。

2.3 圖像處理算法設計

在本系統中，多目標檢測與跟蹤線程TSKmultiobj和全景拼接融合TSKparanorma是圖像處理的核心模塊。在考慮到系統的功能和實時性的技術要求，以及針對DM642的運算能力算法優化考慮，這是一路極其復雜的軟件架構。兩個模塊采用的是并行處理模式，并且每個模塊也是同時對三路視頻進行處理。它們的算法流程設計如圖5所示。多目標檢測與跟蹤模塊中的三路視頻都采用了完全相同的算法，圖5（a）為單路視頻的目標檢測跟蹤算法流程，圖5（b）為全景拼接融合的算法模塊。

整個系統功能包含了圖像處理的多個算法，并有機的結合組成。其中涉及的圖像算法包括：背景建模和更新、多目標提取[8]、目標跟蹤、虛擬警戒判定、圖像匹配、圖像融合、圖像標定定位以及色差自動調平等算法。其中背景建模和更新、圖像匹配是其中的難點和關鍵。為建立穩定而且準確的背景模型，同時形成一套背景更新體系[9]，筆者建立了基于能量累計的雙模型架構的背景建模法。此方法的核心就是在背景建模中融入幀間差分的能量累計，建立背景模型和能量累計模型，將能量累計與背景進行直接對應。當累計值觸發質變的閾值，該像素點的背景將進行建立和更新。

公式如下：

[Ex，y，t=Ex，y，t-1+1，Fx，y，t-Fx，y，t-1>θ0， Fx，y，t-Fx，y，t-1≤θBx，y，t=Bx，y，t，Ex，y，t>σFx，y，t，Ex，y，t≤σ]

式中：E為能量模型；B為背景模型；F為當前圖像。[θ]和[σ]為背景更新的兩個閾值，[θ]代表背景變化的劇烈程度，[σ]為背景更新周期的快慢。

圖5 算法流程圖

通過實際工程檢驗，這種背景算法高效簡便，滿足三路視頻并行處理的實時性要求，同時能夠迅速感應背景變化進行更新。由于相機光學構造和整個系統結構設計的固定偏差，無法將光軸完全于相交一點。在進行全景圖像拼接時，三路視頻的匹配區域會由于成像距離的不同產生變化。這就需要兩兩圖像進行實時匹配，找到準確的匹配區域。本系統采用了尺度不變特征變換方法（SIFT）算法[10]，針對特征點進行匹配。

首先使用高斯差分函數對圖像進行處理：

[Dx，y，σ=Gx，y，kσ-Gx，y，σ*Ix，y =Lx，y，kσ-Lx，y，σ]

通過該算子，取這些高斯差分圖像中的局部極值，得到尺度空間域上的圖像特征點。然后形成包括位置、尺度、方向等信息的特征向量。最后對特征向量進行匹配完成該算法。在本系統中，由于攝像機固定安裝，所以最后將匹配區域最大范圍縮小，極大地提高了算法的執行效率。

3 系統調試結果

系統最后針對場景形成了一套完整的全景智能監控系統。3組攝像機拼接成了一幅全景視頻，對監控區域形成了全覆蓋，同時在攝像機之間的交界處沒有明顯的圖像差異和色差。在圖6中，通過跟蹤波門的顯示，實現了對多個目標的鎖定和跟蹤。兩個紅色的區域是通過串口所設置的兩個虛擬警戒區，當入侵目標進入該區域，則會自動報警。

圖6 顯示效果圖

4 結 論

本文針對現有的監控系統存在諸多不足，提出了基于DM642的全景多目標檢測系統，解決了包括智能預警、全視場覆蓋、多目標跟蹤等多個技術難題，并且通過工程化的實現，驗證了系統的可行性和實用性。并且架構清晰、可靠性高、誤報率低，具有廣闊的應用前景。

參考文獻

[1] 張濤，車彥寧，李賀寧.基于DM6467的視頻監控系統設計[J].電子產品世界，2013（1）：66?67.

[2] 葛長偉.嵌入式智能視頻監控系統的研究及實現[D].大連：大連海事大學，2012.

[3] 周建平，劉歆瀏，賴文娟.基于DM8168的高清視頻智能分析系統設計與實現[J].現代電子技術，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 謝晶.基于DM6467的多通道視頻網絡傳輸系統的硬件設計 [J].微型機與應用，2012，14（31）：21?23.

[6] 張葉，曲宏松，李從善，等.基于TMS320C6x系列DSP/BIOS平臺的實時電視跟蹤系統設計[J].電子器件，2007（2）：300?302.

[7] 閆建強，馬莉.基于DSP/BIOS的視頻監控系統多線程調度研究[J].機電工程，2010（9）：32?36.

[8] 劉歆瀏，田瑞娟，陳陽，等.基于高速球的運動目標自適應PTZ跟蹤研究[J].兵工自動化，2009，28（9）：78?81.

[9] 劉翠微，趙友東，梁瑋.基于時空視頻塊的背景建模[J].北京理工大學學報，2012（4）：390?394.

[10] 杜京義，胡益民，劉宇程.基于區域分塊的SIFT圖像匹配技術研究與實現[J].現代電子技術，2013，36（8）：52?58.

3 系統調試結果

系統最后針對場景形成了一套完整的全景智能監控系統。3組攝像機拼接成了一幅全景視頻，對監控區域形成了全覆蓋，同時在攝像機之間的交界處沒有明顯的圖像差異和色差。在圖6中，通過跟蹤波門的顯示，實現了對多個目標的鎖定和跟蹤。兩個紅色的區域是通過串口所設置的兩個虛擬警戒區，當入侵目標進入該區域，則會自動報警。

圖6 顯示效果圖

4 結 論

本文針對現有的監控系統存在諸多不足，提出了基于DM642的全景多目標檢測系統，解決了包括智能預警、全視場覆蓋、多目標跟蹤等多個技術難題，并且通過工程化的實現，驗證了系統的可行性和實用性。并且架構清晰、可靠性高、誤報率低，具有廣闊的應用前景。

參考文獻

[1] 張濤，車彥寧，李賀寧.基于DM6467的視頻監控系統設計[J].電子產品世界，2013（1）：66?67.

[2] 葛長偉.嵌入式智能視頻監控系統的研究及實現[D].大連：大連海事大學，2012.

[3] 周建平，劉歆瀏，賴文娟.基于DM8168的高清視頻智能分析系統設計與實現[J].現代電子技術，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 謝晶.基于DM6467的多通道視頻網絡傳輸系統的硬件設計 [J].微型機與應用，2012，14（31）：21?23.

[6] 張葉，曲宏松，李從善，等.基于TMS320C6x系列DSP/BIOS平臺的實時電視跟蹤系統設計[J].電子器件，2007（2）：300?302.

[7] 閆建強，馬莉.基于DSP/BIOS的視頻監控系統多線程調度研究[J].機電工程，2010（9）：32?36.

[8] 劉歆瀏，田瑞娟，陳陽，等.基于高速球的運動目標自適應PTZ跟蹤研究[J].兵工自動化，2009，28（9）：78?81.

[9] 劉翠微，趙友東，梁瑋.基于時空視頻塊的背景建模[J].北京理工大學學報，2012（4）：390?394.

[10] 杜京義，胡益民，劉宇程.基于區域分塊的SIFT圖像匹配技術研究與實現[J].現代電子技術，2013，36（8）：52?58.

3 系統調試結果

系統最后針對場景形成了一套完整的全景智能監控系統。3組攝像機拼接成了一幅全景視頻，對監控區域形成了全覆蓋，同時在攝像機之間的交界處沒有明顯的圖像差異和色差。在圖6中，通過跟蹤波門的顯示，實現了對多個目標的鎖定和跟蹤。兩個紅色的區域是通過串口所設置的兩個虛擬警戒區，當入侵目標進入該區域，則會自動報警。

圖6 顯示效果圖

4 結 論

本文針對現有的監控系統存在諸多不足，提出了基于DM642的全景多目標檢測系統，解決了包括智能預警、全視場覆蓋、多目標跟蹤等多個技術難題，并且通過工程化的實現，驗證了系統的可行性和實用性。并且架構清晰、可靠性高、誤報率低，具有廣闊的應用前景。

參考文獻

[1] 張濤，車彥寧，李賀寧.基于DM6467的視頻監控系統設計[J].電子產品世界，2013（1）：66?67.

[2] 葛長偉.嵌入式智能視頻監控系統的研究及實現[D].大連：大連海事大學，2012.

[3] 周建平，劉歆瀏，賴文娟.基于DM8168的高清視頻智能分析系統設計與實現[J].現代電子技術，2013，36（22）：90?92.

[4] Texas Instruments. TMS320DM642 video/imaging fixed?point digital signal processor data manual [M]. USA： Texas Instruments， 2004.

[5] 謝晶.基于DM6467的多通道視頻網絡傳輸系統的硬件設計 [J].微型機與應用，2012，14（31）：21?23.

[6] 張葉，曲宏松，李從善，等.基于TMS320C6x系列DSP/BIOS平臺的實時電視跟蹤系統設計[J].電子器件，2007（2）：300?302.

[7] 閆建強，馬莉.基于DSP/BIOS的視頻監控系統多線程調度研究[J].機電工程，2010（9）：32?36.

[8] 劉歆瀏，田瑞娟，陳陽，等.基于高速球的運動目標自適應PTZ跟蹤研究[J].兵工自動化，2009，28（9）：78?81.

[9] 劉翠微，趙友東，梁瑋.基于時空視頻塊的背景建模[J].北京理工大學學報，2012（4）：390?394.

[10] 杜京義，胡益民，劉宇程.基于區域分塊的SIFT圖像匹配技術研究與實現[J].現代電子技術，2013，36（8）：52?58.