虛擬果園視頻跟蹤系統的設計與實現

劉可可

（南京農業大學工學院，江蘇南京 210031）

虛擬果園視頻跟蹤系統的設計與實現

劉可可

（南京農業大學工學院，江蘇南京 210031）

為提高果園設施的安全性，避免浪費不必要的人力和財力，設計開發了一套可對果園進行實時監控的視頻跟蹤系統。該系統通過將金字塔Lucas-Kannade算法與背景差分法融合，實現了對運動目標位置、速度和大小的提取。然后利用電子郵件將運動目標的信息發送給客戶端，并將運動目標的圖像實時同步至云空間，是一套具有較高實時性與魯棒性的虛擬果園視頻跟蹤系統。

視頻跟蹤；虛擬果園；運動檢測

作為機器視覺的重要組成部分，視頻跟蹤系統就是通過各種傳感器（光、電、磁、聲等）獲得的圖像序列，對目標進行自動提取和跟蹤的系統，目前已在軍事和民用上得到了廣泛應用。在軍事中，視頻跟蹤系統在導彈飛機等目標的預警、精確制導武器、火控系統、無人機系統中起著至關重要的作用。在民用方面，它可用于社區、大型公共場所及重要設施的安全監控；智能交通系統中，它可用于無人駕駛系統設計，監控車流量、車速等。此外，視頻跟蹤技術在視頻會議、視頻分析、視頻檢索、基于視頻的運動分析和合成、基于運動信息的身份識別、機器人、圖像檢索、水文觀測、港口管理、醫學圖像分析，以及遠距離測量、零部件質量檢測等許多領域也都大有作為。

隨著農業人口的減少和果園等農業用地的集成化和規?；?，國內農業的智能化水平得到了巨大的發展和提高。由于農業人口減少，果園的安全問題變得日益突出，比如果園里時常發生偷盜行為和火災。如果通過人為地看守果園，將浪費大量的人力物力，而且人為看守也不適用于大規模的果園。本文利用OpenCV軟件技術、圖像預處理技術（包括高斯濾波和二值形態學濾波）、HS光流算法、金字塔LK光流算法、背景差分法等，開發了一種基于光流法和背景差分法的虛擬果園視頻跟蹤系統，以期解決這一問題。

1 系統的總體設計與實現

該系統的硬件平臺包括：裝有Windows 7系統的計算機一臺，USB攝像頭一個。軟件平臺為帶有OpenCV2.4.4庫的Visual Studio 2010及百度云同步軟件。

該系統可實現光流法和背景減法的融合，并最終實現3個功能：運動目標屬性顯示功能（包括運動目標的位置、速度和大小的顯示）；郵件發送功能，即將運動目標的屬性通過郵件進行實時傳輸；圖像共享功能，即將帶有運動目標的圖片存儲在計算機上，并在云端實時共享（圖1）。

圖1 金字塔LK法與背景差分法的融合結構

2 系統詳細設計

虛擬果園視頻跟蹤系統的詳細設計結構如圖2所示。

2.1 視頻預處理模塊

主要用于初始化變量，捕捉視頻的當前幀和歷史幀，為捕捉到的圖像幀分配內存然后將其轉化為灰度圖，并且為背景減法模塊中的歷史幀進行高斯濾波。

利用cvCaptureFromFile函數打開視頻，并將前幀復制存儲下來，變量名改為pFrameA，作為后面運算的歷史幀；同時為圖像和矩陣分配內存空間，將歷史幀轉為灰度圖pBk Img與pFrImg，并將當前幀和歷史幀轉化為灰度圖imgA與imgB，其中pBk Img與pFrImg用于背景差分法的計算，imgA與imgB用于光流法的計算。

圖2 虛擬果園視頻跟蹤系統的詳細設計結構

2.2 角點檢測模塊

用于檢測歷史幀中感興趣的點，即強角點。然后根據強角點檢測亞像素級角點。

2.3 光流法模塊

在該模塊中，我們比較了兩種典型的光流算法：HS光流法和金字塔LK光流法。前者代表了稠密光流法，后者則是稀疏光流算法的代表。其性能對比結果如表1所示。

表1 HS光流法與金字塔LK光流法的比較

從表1可以看出，HS光流法計算的光流點數為76 800，即320×240圖像中所有的點；而金字塔LK光流法只需要計算500個角點即可，所以金字塔LK光流法的運算量小，實時性更高。HS光流法顯示的光流為40，而金字塔LK光流法顯示的光流為112，說明LK算法能提取更多的運動點，這樣最后算出的平均光流（約等于目標速度）誤差也會更小。HS光流法的光流數值標準差為10.70，而金字塔LK光流法光流數值的標準差為2.27，說明金字塔LK光流法的光流數值浮動較小，更穩定。綜上，金字塔LK光流法比HS光流法具有更高的實時性和魯棒性。

通過程序演示發現，HS光流法的速度太慢，容易引起計算機死機，且無法實時處理視頻，該算法只能應用于圖像研究，而且該算法生成的光流噪點較多，無法代表物體運動的真實速度。圖3為HS光流法與金字塔LK光流法的效果圖。從圖3中可以看出，HS光流法中的光流大小的離散程度較大，而金字塔LK光流法中光流的大小離散程度較小，基本上穩定在10左右，由此可見金字塔LK光流法能更加真實地反映運動目標的速度。因此，在虛擬果園視頻跟蹤系統中，選擇使用金字塔LK光流法來實現光流法模塊。

圖3 HS光流法與金字塔LK光流法的效果

2.4 光流顯示模塊

通過查找發生運動的光流點，對光流進行顯示。

2.5 背景差分模塊

利用背景幀和當前幀的差分圖分離出前景，并且閾值化得到二值圖，然后對二值圖進行形態學濾波。

2.6 運動屬性顯示模塊

首先利用光流值的平均數計算出運動目標的速度，利用前景圖計算出運動物體面積；然后將速度小于某個值或面積小于某個值的點的速度和面積置為0，以消除攝像機或者背景抖動帶來的影響；最后顯示運動目標的速度和大小。

2.7 郵件發送模塊

利用SMTP協議和郵箱建立連接。當檢測到有目標運動時，每隔一定的時間將采集到的運動目標的信息實時發送給目標郵箱。

2.8 圖像共享模塊

先將運動目標圖像存儲在本地文件夾中，存儲頻率可以自行設置，本研究中使用的存儲頻率為10幀，即當有目標運動時，每隔10幀保存一次圖片。然后將存儲在本地的圖片通過同步軟件在云端實時同步。

3 小結

果園經常會出現偷盜行為和火災等情況，如果人為看守將浪費不必要的財力，而且人眼的可靠性并不高。如果用視頻跟蹤系統對果園進行實時監控，則有利于提高果園設施的安全性，而且可以避免不必要的人力和財力浪費。傳統的視頻跟蹤系統只能判斷視頻中有無運動目標出現。本研究利用金字塔光流法和背景減法進行融合，成功提取了目標的位置、大小和速度，并加入了郵件發送和云同步功能，使果園主人能隨時隨地掌握果園的信息。此外，該系統也解決了視頻跟蹤系統魯棒性和實時性不高的問題。

［1］ 劉雅坤，王艷紅.科技啟迪未來［J］.世界汽車，2013（5）：42-43.

［2］ 張秀麗.四足機器人節律運動及環境適應性的生物控制研究［D］.北京：清華大學，2004.

［3］ 盧曉鵬.視頻序列中目標跟蹤技術研究［D］.北京：中國科學院研究生院，2007.

［4］ 侯杰.基于視頻圖像的高大空間建筑火災探測研究［D］.北京：清華大學，2010.

［5］ 黃琛，丁曉青，方馳.一種魯棒高效的人臉特征點跟蹤方法［J］.自動化學報，2012，38（5）：788-796.

［6］ 張建倉，楊哲輝，孫啟富.基于二自由度云臺的目標跟蹤系統設計［J］.計算機測量與控制，2013，21（9）：2579-2581.

（責任編輯：高 峻）

TP 391

A

0528-9017（2014）11-1774-03

文獻著錄格式：劉可可.虛擬果園視頻跟蹤系統的設計與實現［J］.浙江農業科學，2014（11）：1774-1776.

2014-06-18

劉可可（1991-），女，山東棗莊人，本科在讀，所修專業為電子信息科學與技術。E-mail：849495892@qq.com。