ssd模型和kalman濾波器的電子圍欄實現方法

劉啟道 羅云吉 趙立平 范志英 陳世坤

摘要：隨著深度學習理論和計算機硬件技術的發展，使得基于深度學習的圖像目標檢測任務的性能遠遠超過了以往基于特征提取方法的性能，圖像目標檢測技術在檢測精度和實時性上已經達到工程化應用的要求。在視頻監控電子圍欄應用中關鍵的問題有兩個1、在保證較高召回率的前提下精確的檢測出目標物體的位置和類別，2、對檢測到的目標物體進行準確的跟蹤，克服各種光線變化、目標區域發生遮擋、物體形狀扭曲等因素的干擾。在本文中我們提出了一種基于深度神經網絡模型ssd和kalman濾波器的電子圍欄工程化應用方法，在本文中我們深入的分析了各種基于深度學習模型的目標檢測方法的性能，并對比了kalman濾波器跟蹤技術和粒子濾波器跟蹤技術在圖像目標跟蹤場景中的性能差異，我們的分析結果顯示ssd物體檢測模型能夠很好的在檢測精度和算法時間復雜度之間找到一個較好的平衡點，而kalman濾波器跟蹤能夠有效的克服目標區域的遮擋、性變干擾，兩個結合實現的電子圍欄應用誤報率為0.5%。

關鍵詞：深度學習? SSD模型? YOLO模型? kalman濾波? 粒子濾波

1引言

目前我國已經進入了信息化高速發展的時期，信息化進程中出現的各項新成果已經逐步進入到了我們的日常生活中。計算機視覺技術是人工智能的重要組成部分，它由計算機圖形學發展而來已經有了非常悠久的歷史。要將計算機視覺技術成功的應用到實際生產中我們就必須實現三個基本的任務1、圖像分類，2、目標檢測;3、實例分割。由于深度學習技術的出現imageNet上的圖像分類任務已經被基本解決，目前計算機視覺技術中還存在目標檢測和實例分割兩大具有挑戰性的任務。在生產和生活中我們常常需要對一些區域進行實時的監控和無人值守即電子圍欄，如果采用人工的方式對監控的內容進行研判那么將嚴重的影響系統的客觀性、實時性、準確性[1]。因此，我們需要研究出一種能夠實時準確檢測圖像中物體的算法，以及在克服外界各種干擾的一種目標跟蹤算法以實現電子圍欄應用。

目前我們通過使用大量電子傳感器如紅外對射來實現電子圍欄功能，但是這種系統需要在監控場景周圍部署非常多的傳感器和附屬設備才能實現電子圍欄。除此以外，也不利于系統管理人員的交互式部署，部署和拆除需要耗費大量的人力物力。所以研究一種基于視頻圖像處理技術的電子圍欄應用技術有很的社會實用價值，為人工自能技術從理論走向實用化做出了有利的證明。傳統的基于圖像的目標檢測算法主要是采用滑窗和特征提取的方式來完成目標檢測任務的[2]，常用的特征提取算子有hog特征[3]，haar特征， hog特征可以被認為是尺度不變性特征變換和形狀內容特征的一種重要改進，為了平衡特征不變性（如平移變換，尺度變換，光照強度變換）和非線性性（如不同類別目標之間的差異）這個算子在空間上計算均勻致密網格的梯度方向直方圖特征。為了檢測不同尺度的目標，hog算子在保持檢測窗口不變的情況下需要對原始輸入的圖像進行多次縮放。由于使用了密集網格和滑動窗口的策略這種目標檢測方法不能被廣泛的應用到生產種。

近年來深度學習技術的出現打破了這種限制，在圖像識別和分類這個領域取得了舉世矚目的成績，將識別的精度提升到了與人類相當的水平。因為在深度學習中特征提取的步驟是通過機器自動完成的不在受人工的控制，對特征表達的節點達到了幾百萬個甚至上億個。目前，Faster Rcnn[4]模型在圖像識別和分類領域是最優的模型，但是其在檢測效率上遠遠落后于SSD模型[5]和YOLO模型[6]。從目標檢測算法基本結構和步驟出發我們將目標檢測算法劃分為了兩種類型1、一階段檢測算法如YOLO系列算法、SSD系列算法;2、二階段檢測算法如RCNN系列。相比兩種檢測算法一階段檢測算法的檢測速度要快于二階段檢測算法;而在檢測精度上來看二階段檢測算法要高于一階段檢測算法。在信號處理領域內kalman濾波器和粒子濾波器一直都是線性濾波和非線性濾波的代表，在視頻目標跟蹤中為了達到實時性要求，我們不能夠采用比較復雜深度特征而只能選擇較為簡單的位置和顏色特征，所以在顏色特征不明顯的目標區域，粒子濾波器跟蹤效果沒有kalman濾波器的跟蹤效果好，在目標區域發生遮擋情況下也同樣存在這樣的問題，故在本文中我們選擇kalman濾波器作為目標跟蹤的算法。在本文中我們通過工地檢控過程中拍攝的行人視頻圖像作為數據源，我們在公開的數據集coco和voc上對我們的模型（yolov3， yolo-tiny， mobile-ssd）進行了訓練，然后我們使用opencv中的dnn模塊對模型進行加載檢測目標，最后使用kalman濾波器對目標進行跟蹤在時間序列上對目標的軌跡進行判斷。

2 算法流程

根據對工地監控場景圖像的觀察研究并結合實際工程應用的硬件條件，在本文中我們將采用mobile ssd模型作為在圖像中檢測物體目標的檢測器，而選擇kalman濾波器做為目標跟蹤的算法，在下文中我們將詳細介紹mobile ssd物體檢測模型和kalman濾波器的基本原理。

2.1目標檢測ssd模型

mobile ssd物體檢測是通過使用深度神經網絡具有強大擬合能力來實現在圖像中檢測物體的位置和類別，它記錄了訓練數據集中卷積特征圖上區域特征與物體類別和物體精確位置之間的關系（統一的多任務回歸網絡）。ssd模型網絡架構如圖1所示，單網絡模型的檢測速度要遠遠快于雙網絡模型，所以目前能夠對視頻流進行實時性檢測的只有SSD和YOLO模型，兩個模型在網絡的整體結構上是一致的，SSD模型是在YOLO初級模型的基礎上加入了多尺度和多種層次信息融合的思想，故我們以SSD模型為例對網絡模型做簡要的介紹。

SSD物體識別模型的工作原理為：（1）輸入一張待識別的圖像和在訓練過程中所標識的每一個識別目標的真實邊框;（2）我們通過卷積的方法來評價不同尺度的特征圖上每一個位置的不同縱橫比例的默認邊框小集合;（3）我們預測每一個默認邊框的形狀偏移和與每個待識別目標類的相似信度。

2.2 目標跟蹤kalman濾波

卡爾曼濾波[7]一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統狀態進行最優估計的算法。由于觀測數據中包括系統中的噪聲和干擾的影響，所以最優估計也可看作是濾波過程。斯坦利·施密特（Stanley Schmidt）首次實現了卡爾曼濾波器。卡爾曼在NASA埃姆斯研究中心訪問時，發現他的方法對于解決阿波羅計劃的軌道預測很有用，后來阿波羅飛船的導航電腦使用了這種濾波器。 關于這種濾波器的論文由Swerling （1958）， Kalman （1960）與 Kalman and Bucy （1961）發表。數據濾波是去除噪聲還原真實數據的一種數據處理技術， Kalman濾波在測量方差已知的情況下能夠從一系列存在測量噪聲的數據中，估計動態系統的狀態. 由于， 它便于計算機編程實現， 并能夠對現場采集的數據進行實時的更新和處理， Kalman濾波是目前應用最為廣泛的濾波方法， 在通信， 導航， 制導與控制等多領域得到了較好的應用。

Kalamn濾波是對離散數據線性濾波問題的最優解，這個濾波器可以在求解一個容易受到高斯白噪聲干擾的線性系統的最優估計中被推導出來。在給定一個離散時間過程時可以使用以下的方程組來確定一個線性系統。

系統狀態模型：

觀測模型：

kalman濾波算法描述了對估計和誤差方差的有效線性測量更新，Kalman濾波算法可以被劃分為兩個部分：1 時間更新（預測）方程，2 測量更新方程。

時間更新預測方程：

這些方程在時間上將系統的狀態從k時刻轉移到k+1時刻，從當前狀態和誤差的協方差的估計去獲得對下一個時刻的先驗估計。

測量更新矯正方程：

這個觀測更新方程將一個新的觀測值加入到一個先驗估計中，這個先驗估計是從時間更新方程中獲取到的一個改進的后驗估計中。為了將Kalman濾波理論應用到我們的實際視頻圖像目標跟蹤過程中，我們將跟蹤目標的系統狀態向量定義為：x=[x，y，w，h，dx，dy]，系統的測量定義為：z=[x，y，w，h]，結合時間更新預測方程和測量更新方程就可以對目標進行跟蹤。

3 實驗分析

在本文中我們使用的行人檢測模型的訓練數據來自于coco2017數據集和voc2007、voc2012數據集，行人樣本的統計結構如下：訓練集70584個，測試集6098個。我們采用tensorflow1.x中提供的物體檢測api對mobile ssd模型進行了訓練，在實驗過程中我們使用的硬件配置為i7第八代12核，顯卡為GEFORCE GTX1080TI，ubuntu18.04系統，tensorflow1.9版本，cuda9.0，cudnn7.1.4。我們分別對比了yolov3模型，yolov3-tiny模型，mobile ssd模型在cpu和gpu下的檢測性能，測試圖像的分辨率為512*512，測試結果如下表1所示。

從表1中我們可以看到，對于同尺寸輸入圖像mobile ssd模型的檢測速度是最快的在cpu硬件運行條件下檢測幀率已經達到了準實時的效果，在我們真實的電子圍欄應用中我們不需要那么高的檢測幀率。在50米景深的監控范圍內，視頻分析算法的幀率能搞達到5fps即可以滿足電子圍欄分析的要求。在檢測到行人目標后我們將對目標區域進行kalman濾波跟蹤我們選擇目標區域的中心坐標和矩形框的大小作為目標區域的狀態，將區域的中心坐標作為系統的觀測值，對目標區域進行跟蹤，跟蹤的效果如圖2所示。

4 結論

隨著信息化技術的發展各種數據都以幾何倍數增長，硬件技術的發展使得運算和存儲設備的性能有了極大的提升，基于以上兩方面的原因促使了大數據和人工智能時代的到來。人們對智能化的無人值守應用的需求越來越迫切，在本文中我們提出了一種基于mobile ssd物體檢測模型和kalman濾波器跟蹤中的電子圍欄解決方案，首先，我們通過coco數據集和voc數據集訓練一個行人檢測的模型;之后我們通過opencv中的dnn模塊對物體檢測模型進行加載檢測出輸入圖像中的目標物體;最后我們使用kalman濾波器對目標區域進行跟蹤得目標區域得軌跡，通過目標區域與圍欄區域進行進行交跨關系來實現電子圍欄的功能。

參考文獻：

[1]劉海中，電子圍欄中心監控平臺的設計與開發，華中師范大學碩士論文，2012.

[2]P.Viola and B.J.Jones，Robust real-time face detection， Internatinal jaurnal of conputer vision， vol，57，no，2，pp.137-154，2004

[3]N.Dala and B.tringgs，Histograms of oriented gradients for hunman detection，in Conputer vison add pattern Recognition，2005，CVRP 2005.

[4]Grishick R. Fast R CNN[C]. IEEE International conference on Computer Vision. 2015.

[5] WeiLiu， Dragomir Anguelov， Dumitru Erhan， Christian Szegedy， SSD：Single Shot MultiBox Detector. In：CVPR（2017）.

[6] Joseph Redmon， Santosh Divvala， Ross Girshick， Ali Farhadi， You Only Look Once： Unified， Real-Time Object Detection. In：CVPR.（2016）.

[7] Rudolf Emil Kalman， A New Approach to Linear Filtering and Prediction Problems， 1960.