基于目標檢測的視頻圖像跟蹤監控系統設計

馬昱弘

摘? 要： 針對傳統視頻圖像跟蹤監控系統準確率低的問題，引入目標檢測技術，設計一種新的視頻圖像跟蹤監控系統。利用DSP+FPGA構成硬件的核心部分，通過Camera Link，HD?SDI輸入接口將視頻信號轉換為FPGA能夠識別的TTL電平信號，應用驅動伺服技術實現目標的穩定跟蹤，重點設計了圖像輸入采集模塊和圖像處理模塊。在硬件平臺上設計了軟件相關算法，通過雙邊濾波和跟蹤算法實現軟件編程。為檢測跟蹤監控系統效果，與傳統系統進行實驗對比，結果表明，設計的系統能夠更加準確地定位出目標圖像，即使在復雜背景下也能夠穩定地跟蹤目標，實時性高，采集能力強。

關鍵詞： 跟蹤系統; 監控系統; 視頻圖像; 目標檢測; 視頻跟蹤; 圖像處理

中圖分類號： TN948.64?34; TN710? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）11?0047?04

Design of video image tracking and monitoring system based on target detection

MA Yuhong

（East China University of Science and Technology， Shanghai 200237， China）

Abstract： In view of the low accuracy of the traditional video image tracking and monitoring system， a new video image tracking and monitoring system is designed by introducing target detection technology. In the system， DSP+FPGA is used to construct the core part of the hardware， the input interfaces of Camera Link and HD?SDI are used to convert the video signals into TTL level signals that FPGA can recognize， the drive servo technology is used to achieve stable tracking of the targets， and the image input acquisition module and image processing module are mainly designed. The software related algorithms are designed on the hardware platform. The bilateral filtering algorithm and tracking algorithm are used to achieve the software programming. In order to detect the effect of the tracking and monitoring system， contrastive experiments are performed between the designed system and the traditional system. The results show that the designed system can locate the target image more accurately， and can stably track the target even in a complex background. In addition， it is of excellent real?time performance and powerful acquisition capability.

Keywords： tracking system; monitoring system; video image; target detection; video tracking; image processing

0? 引? 言

視頻圖像跟蹤技術起源于20世紀60年代，視頻圖像跟蹤系統的設計過程應用了光學、機械學、電子科學，是一種機器視覺應用系統[1]。由于跟蹤監控系統具有很強的直觀性，所以在軍事與民事活動上得到了廣泛的應用[2]。

最初的視頻圖像跟蹤系統在研制時僅對硬件進行設計，選擇的結構也是單一結構，通過模擬體制進行設計，很難處理復雜背景，也無法進行智能判斷，不具備靈活性[3]。隨著目標跟蹤技術的成熟，視頻圖像跟蹤系統也愈加多樣，目前研發的視頻圖像跟蹤系統不僅能夠接收可見光傳來的圖像，同時能夠接收紅外傳感器傳來的視頻圖像，利用傳感器修正位置誤差，從而實現對目標的全程跟蹤[4]。

雖然目前研究的跟蹤系統隱蔽性好，具有可成像顯示功能，但是依舊存在如下幾個問題：不能全天工作，成像光譜范圍相對狹隘;與智能技術連接不夠緊密，難以向著智能化方向發展;對于復雜背景的圖像，或者是被遮擋的圖像，難以精準預判，跟蹤能力依舊很弱[5]。

為了更好地提高系統的適應性、高效性和時效性，本文引入目標檢測技術，設計了一種新的視頻圖像跟蹤系統。詳細地闡述了系統硬件各設備組成以及模塊設計，根據硬件結構設計了系統軟件，最后通過對跟蹤系統進行實驗驗證，探討了系統性能。本文系統在算法設計上進行了強化處理，采取多模式跟蹤算法代替傳統的簡單算法，使得系統即使在復雜多樣的背景下，也可以精準地完成跟蹤工作，具有高效性和實時性。

1? 系統硬件設計

本文設計的視頻圖像跟蹤監控系統能夠同時實現接收數據、處理數據、分發數據和調度數據的工作，各個組件協同工作。系統以DSP+FPGA為設計思想，電路結構完整，工作性能可靠，計算能力優越，開發難度適中，能夠高速地跟蹤目標圖像，同時進行邊緣增強[6]。系統硬件結構配置了多個高速數據口，隨時可以進行升級和擴展，也保障了系統跟蹤過程的精確性。

基于目標檢測的視頻圖像跟蹤監控系統硬件結構如圖1所示。

觀察圖1可知，本文設計的跟蹤系統DSP芯片選用了2片TMS320C6455芯片，FPGA芯片選用了1片5SGXEA7N2740。系統硬件結構外部含有兩種輸入接口，分別為Camera Link，HD?SDI，能夠同時接收各種傳感器傳來的視頻信號，并將視頻信號轉換為FPGA能夠識別的TTL電平信號，根據系統設定的時鐘頻率完成信號采樣工作，對得到的數據進行篩選處理，確定有效數據[7]。存儲部件能夠同時完成數據緩存和數據處理工作，利用DSP芯片提取出來的灰度圖像完成目標跟蹤，由RS 422接口將輸出目標區偏離視場中心的誤差量上傳給控制機構，通過DSP配合FPGA實現可視信息疊加，利用驅動伺服技術實現目標的穩定跟蹤。除此之外，系統還設置了通信模塊，通信模塊可以負責下達命令和收集反饋信息兩項工作。

不同的硬件負責不同的功能，系統的各個硬件部分相互配合，完成調度工作，確保順利實現跟蹤。系統硬件中的各設備所負責的工作如表1所示。

1.1? 圖像輸入和采集模塊設計

給出的圖像輸入和采集模塊能夠同時采集三種視頻信號：可見光視頻、紅外視頻和可見光照片?？梢姽庹掌诓杉罂梢灾苯哟嫒氲紻DR中進行緩存，而可見光視頻和紅外視頻在采集到信號后，還需要通過電平轉換，轉換成系統可以讀取的信號，再由FPGA將灰度圖像存入到SRAM中[8]。

通過HD?SDI接口接收可見光攝像機采集到的圖像，HD?SDI接口的幀頻設定為30 f/s，設定分辨率為1 980×1 020，接口的數據格式為YCbCr（4[∶]2[∶]2），像素深度的有效位為18 bit，可見光視頻輸入過程的詳細時序邏輯如圖2所示。

通過上述時序完成可見光視頻的輸入工作，利用SDI接口采集可見光視頻信號。本文采用的接口芯片為GS7921芯片，該芯片具有極快的采集速度，最高可以達到3.00 Gb/s，芯片外圍電路簡單，開發移植十分容易。GS7921芯片能夠在短時間內將SDI信號轉換成LVTTL電平，像素時鐘為78.21 MHz。

通過LVDS接口接收紅外視頻。由于LVDS消耗功率低，工作過程很少受到外界干擾，出現誤碼，所以很適合作紅外視頻接收接口[91]。LVDS接口的幀頻設定為50 f/s，設定分辨率為600×710，能夠在同一時刻輸出525行數據，每行含有的有效像素為500個，像素時鐘為18.25 MHz。

紅外視頻輸入過程的詳細時序邏輯如圖3所示。

硬件通過DS90CR288芯片完成編碼工作，采集紅外視頻信號，將像素時鐘設為基準，同時采集水平信號、垂直信號和圖像信號，最多能夠讀取8位數字信號，將讀取到的信號回傳給后續的處理模塊[10]。

采用Camera Link接口采集可見光照片，設定接口的分辨率為6 000×5 000，接口的最大工作速率為1.6 Gb/s。接口結構如圖4所示。

可見光照片采集過程芯片的詳細時序邏輯如圖5所示。

通過DS90CR288芯片對可見光照片進行編碼，設定像素時鐘為基準，同時采用水平信號、垂直信號和圖像信號，最多能夠讀取16位數字信號，篩選有效信號傳給后續的處理模塊。

1.2? 圖像處理模塊設計

圖像處理模塊主要負責處理輸出的圖像，篩選有效圖像，處理模塊結構示意圖如圖6所示。

觀察圖6可知，本文設計的跟蹤監控系統通過FPGA完成預處理工作，采用的芯片為StratixV芯片，芯片內部擁有700個I/O接口，486個乘法器，乘法器為16×16，21個時鐘網絡，預處理模塊的容量為70 Mb，傳輸的峰值為6 Gb/s。該芯片能夠有效提高系統的靈活性，加強系統的集成度，降低工作成本和消耗功率[11]。單芯片的加入使處理模塊的密度更高，標準功能更豐富，處理過程中支持PCI EXPRESS接口協議，用戶可以使用40G/100G/400G等專用功能。相較于傳統系統的處理模塊，本文系統的處理模塊功耗降低超過30%。在預處理過程中，充分發揮了FPGA的靈活性和流水處理功能，系統能夠同時完成濾波和去噪，DSP算法的處理壓力也得到有效減少[12]。

DSP負責跟蹤處理工作，運行各類跟蹤算法，DSP跟蹤處理單元選擇的芯片為C6455芯片，該芯片由TI公司生產，具有極高的性價比和處理能力，處理過程的最高主頻為1.5 GHz，運算能力峰值為10 000 MIPS。豐富的外圍接口使系統能夠在同一時間段支持多種工業標準接口協議[13]，內部組成結構如圖7所示。

兩個DSP芯片負責不同的工作，DSP?1負責檢測可疑目標，并對可疑目標進行跟蹤，具有很高的時效性，利用系統的主CPU運行;DSP?2負責控制字符，輔助DSP?1工作，利用系統的協助CPU運行。

2? 系統軟件設計

在對圖像進行預處理時，采用的濾波算法為雙邊濾波算法，該算法在計算過程中能夠有效去除外界信息干擾，同時，能夠將圖像紋理等細節特征最大程度地保留下來。雙邊濾波同時利用了領域內圖像像素點局部加權的平均結果、灰度相似度信息、空間臨近度信息，防止處理過程對圖像的損壞。

雙邊濾波計算過程如下：

設定圖像[M]在坐標點[U=（x，y）]的灰度值為[MU]，經過濾波處理后得到的圖像[N]在坐標點[U=（x，y）]的灰度值為[NU]。

[NU=1WUZ∈SGσs（U-Z）Gσr（MU-NZ）MU] （1）

根據式（1）進而得到：

[WU=Z∈SGσs（U-Z）Gσr（MU-NZ）MU] （2）

式中：[Z=（a，b）]是中心像素[U]的圖像鄰域像素點;[S]表示圖像各個領域的像素點集合;[WU]表示被跟蹤圖像的歸一化因子;[Gσs]是圖像的灰度相似因子;[Gσr]是圖像的空間臨近度因子。

本文使用的跟蹤算法為模板匹配算法，通過設立模板，計算圖像與模板之間的相關系數，當相關系數達到最大，則二者最為相似。跟蹤算法流程圖如圖8所示。

3? 實驗研究

3.1? 實驗目的

為了檢測本文設計的基于目標檢測的視頻圖像跟蹤監控系統的實際效果，與傳統跟蹤監控系統進行了對比，并分析實驗結果。

3.2? 實驗參數設置

設置實驗參數見表2。

3.3? 實驗結果與分析

得到的跟蹤準確性實驗對比結果如圖9所示。

觀察圖9可知，在對三種輸入視頻進行跟蹤時，本文研究的系統跟蹤結果準確率始終高于傳統跟蹤系統的準確率。當跟蹤時間達到1.0 ms時，本文系統對于目標圖像的跟蹤能力最高可以達到90%，而傳統系統對于目標圖像的跟蹤能力最高僅為50%。由此可見，本文系統的跟蹤能力更強。

4? 結? 語

通過查找大量文獻總結當前目標檢測技術，并基于目標檢測技術設計了新的跟蹤監控系統，對系統的基本設計原理和架構進行介紹，根據硬件結構給出了相關軟件算法。本文研究的圖像跟蹤系統具有實時采集和顯示的功能，即使在復雜背景下也能夠穩定地跟蹤目標。當出現遮擋物時，跟蹤系統也可以及時地做出跟蹤判斷，當遮擋結束后，對目標進行重新定位并再次跟蹤。本文設計的跟蹤系統能夠應用在多種機載光電偵察設備中，系統內部選用的技術十分成熟，跟蹤能力強。

參考文獻

[1] 張亞昕.嵌入式監控系統的運動目標檢測與跟蹤[J].系統仿真技術，2017，13（1）：38?42.

[2] 馮瑩瑩，趙莎莎.基于智能視頻監控系統的運動目標檢測和跟蹤研究[J].赤峰學院學報（自然科學版），2017，33（2）：15?17.

[3] 魏國鵬.智能監控系統中特殊背景下移動目標檢測跟蹤的設計與實現[J].信息通信，2018（10）：32?33.

[4] 傅赟，王桂麗，周旭廷，等.交通監控系統中視頻運動目標檢測算法研究[J].計算機技術與發展，2017，27（8）：156?158.

[5] 梁興建，雷文，陳超.基于多路圖像融合的目標跟蹤系統設計[J].四川理工學院學報（自科科學版），2017，30（6）：40?46.

[6] 胡輝，黃思博，胡松，等.一種基于異常事件檢測的智能視頻監控系統[J].現代計算機，2017（3）：30?33.

[7] 戴麗麗，杜蘭.應用于嵌入式視頻監控系統的運動目標檢測方法[J].電子技術與軟件工程，2018（15）：178?179.

[8] 蔡映雪，胡輝，黃思博，等.一種基于視頻分析的異常事件檢測技術[J].現代計算機，2017（4）：42?45.

[9] 杜啟亮，曾東明，田聯房，等.基于IMX6的手扶電梯智能視頻監控系統設計[J].現代電子技術，2017，40（21）：153?157.

[10] 張文杰，戚飛虎，江卓軍.實時視頻監控系統中運動目標檢測和跟蹤的一種實用方法[J].上海交通大學學報，2017，36（12）：1837?1840.

[11] 趙向梅，蘇春莉，陳宏.基于視頻圖像的目標檢測技術研究[J].電子設計工程，2013，21（16）：114?116.

[12] 胡繼強.視頻圖像活動輪廓目標檢測跟蹤研究[J].計算機仿真，2012，29（1）：273?276.

[13] 楊陽.基于特定特征識別的運動視覺跟蹤系統設計[J].現代電子技術，2017，40（2）：94?98.

[14] 丁躍利，張波，張朗，等.多路遙感圖像高速小型化實時拼接的實現[J].西安工程大學學報，2017，31（5）：627?632.