基于無人機航拍的車輛檢測系統

韓杰，卿粼波，熊淑華，何小海

（四川大學電子信息學院，成都 610064）

基于無人機航拍的車輛檢測系統

韓杰，卿粼波，熊淑華，何小海

（四川大學電子信息學院，成都 610064）

在智能交通管理中，針對如何解決反映各路段全方位交通狀況的問題，設計基于無人機航拍的車輛檢測系統，該系統對車輛在視頻中位置進行檢測，并對車輛數量進行統計。以此作為現有交通管理系統的有力輔助手段。首先設計系統的整體框架。接著設計實現基于金字塔L-K光流法的視頻穩像，并在NVIDIA Jetson TX1嵌入式平臺上實現基于深度學習的車輛檢測算法。探索在嵌入式平臺上，應用ROS系統框架組織多進程協同運行與通信。該系統實現對于現有交通路段上動態可靠的車輛數量統計和車輛在視頻中位置檢測功能，對于視頻的處理幀率達到14fps。

無人機航拍；穩像；深度學習；ROS

0 引言

隨著人們生活水平的提高，汽車數量的激增為我們的工作生活帶來了極大便利，同時也為現有交通管理帶來了許多問題。因此智能交通日漸成為加強交通管理、改善交通狀況的手段之一。道路上車輛位置及數量的檢測便是其中的內容之一[1]。目前對于實現重點路段、停車場等場合車輛監測的主要手段是在各路段安裝攝像頭進行電子拍攝，但這種方法并不能精確地提供關于交通車輛的位置及數量的準確數據。同時監控攝像頭在現有交通中雖然已完備架設，但不能自由選擇角度檢測，故存在大量的監控盲區?；跓o人機體積小、重量輕、攜帶方便、圖傳清晰等一系列優點[2]，針對現有交通監控中的不足，本文提出了應用無人機航拍技術實現對特殊時段，重點路段的車輛數量統計及在視頻中位置的檢測，彌補現有交通監控管理中的不足。實現對航拍視頻進行車輛檢測的算法有基于SIFT算法的運動目標檢測算法[3]，基于塊分割創建背景，應用背景差分進行運動目標檢測算法[4]。以上兩種方法實現了移動目標的檢測，由于航拍視頻具有場景復雜，目標多樣的特點，對于車輛精準檢測，以上兩種方法并不能達到理想效果，誤檢與漏檢也比較嚴重。另外還有基于SVM（支持向量機）和OCR人工神經網絡的目標檢測方法[5]，這種方法彌補了以上兩種算法的不足。由于SVM支持對于較少數據量的訓練，無需另構特征，對于多樣性車輛檢測存在一定不足。

近年來，隨著硬件系統的更新換代，深度學習算法得到了飛速的發展。深度學習是在多層神經網絡上運用各種機器學習算法解決圖像，文本等各種問題的算法集合。在圖像處理中比傳統算法以及人工神經網絡有更高效，精確的優勢。所以本文中采用了深度學習算法實現車輛檢測功能。

1 基于無人機航拍的車輛檢測系統總體設計

1.1 系統整體框架設計

本文所設計的基于無人機航拍的車輛檢測系統主要由云臺（攝像頭）、無人機圖像傳輸系統、視頻數據處理系統及移動終端組成，如圖1所示。

圖1 系統結構圖

本系統使用大疆M100無人機為基礎框架。由于嵌入式平臺NVIDIA Jetson TX1具有強大的圖像處理性能、豐富的外接接口以及其在深度學習方面強大的處理能力，這里將NVIDIA Jetson TX1作為圖像處理平臺（圖1虛線框內過程在此平臺下進行），用于對航拍視屏做視頻穩像和車輛檢測的處理平臺。在航拍的過程中由于自然環境的影響會出現不確定性的視頻抖動現象，進而影響檢測效果，所以需要對無人機航拍的視頻做穩像處理[6]。然后再對穩像后的視頻做檢測。

系統應用攝像頭進行實時航拍，將拍攝到的視頻分別傳輸給NVIDIA Jetson TX1嵌入式平臺和圖像傳輸系統。嵌入式平臺分別對視頻數據進行穩像處理和車輛檢測（如圖1虛線框所示），將檢測結果傳輸到圖像傳輸系統。由于Lightbridge圖像無線傳輸系統不能傳輸處理后的視頻，所以將原視頻數據與車輛檢測信息同時傳輸到手機終端顯示。

1.2 軟件框架設計

在本系統的嵌入式平臺下需要無人機航拍，視頻穩像與車輛信息檢測三個模塊同時運行，故應用基于ROS（機器人操作系統）系統框架的系統設計方法。ROS系統框架能夠提高代碼的復用率，它以節點為基本單元，采用分布式處理框架，這使得可執行文件能被單獨設計，并且在運行時松散耦合[7]。將不同的視頻處理階段分別作為ROS系統的節點，各節點的處理結果通過消息傳輸到相對應的節點。

ROS首先運行一個主節點（/ros_out），其他進程作為ROS子節點并行運行，并且最終通過消息（/ros_out）連接到主節點。視頻獲取節點（/image_publisher）獲取從云臺拍攝到的視頻，將視頻數據打包成消息發送到視頻穩像節點（/videoStable）。視頻穩像節點運行視頻穩像程序對原視頻進行穩像處理，并將處理后的視頻數據打包成消息（/dji_sdk/videoStab），通過該消息將數據傳送給車輛檢測節點（/ros_detectNet），車輛檢測節點檢測車輛坐標位置、車輛數量信息，并將該消息發布給圖像傳輸系統。

圖2 車輛檢測運行節點狀態圖

本設計應用了大疆提供的無人機云臺及其開發SDK來獲取視頻，可直接獲取分辨率為1280×720的視頻。開發重點主要在視頻穩像和車輛檢測兩個模塊，下面將對這兩個模塊做詳細介紹。

1.3 基于金字塔Lk 光流法的視頻穩像

本文應用Harris角點檢測、金字塔LK光流法、Kalman濾波算法實現視頻穩像。如圖3所示為本文視頻穩像的流程框圖。

圖3 視頻穩像框圖

首先對讀入的視頻數據進行顏色空間轉換。然后獲取圖像特征點，本文采用Harris角點檢測算法來實現對輸入視頻幀數據的特征點檢測。這里設定每1000個特征點里面取1個最優特征點，以使視頻幀數據達到快速處理并優化的效果。將檢測后得到的特征點矩陣輸入到下一步操作。

通過Harris角點檢測得到了視頻幀的特征點矩陣。應用金字塔LK光流法來計算當前幀的特征點位置[8]。首先要對接受到的視頻數據進行金字塔表示。應用LK光流法的目的是通過已知幀I內特征點位置u，找到它在下一幀J的相關位置v，d相同特征點為如式（1）：

為了計算視頻幀J中v的值，需要找到殘差位置向量d=[dxdy]T，使得匹配到的幀圖像殘差函數?最小，如式（2）。其中I(x,y)表示特征點在I幀內位置，J(x+dx,y+dy)表示相同特征點在 I后一幀J中的位置。

通過式（2）找到殘差位置向量d后，結合式（1）可計算出圖像J中的特征點矩陣v。

通過以上光流法得到視頻幀J的特征點矩陣v（即公式中dst[i]），同時通過Harris角點檢測算法計算得到J前一幀I的特征點矩陣u（即公式中src[i]），可以計算出兩個矩陣之間的映射矩陣T，計算公式如式（4）：

其中通過式（4）可以得到矩陣[A|b]，令T=[A|b]，其中T為2×3的float型矩陣。

最后根據得到的映射矩陣T計算出當前的補償幀數據，即最終視頻數據。計算公式如下（其中矩陣M為前面得到的最優映射矩陣）：

為了進一步優化幀間過度的平滑性，這里應用Kalman濾波對映射矩陣做進一步濾波處理[9]。本工程中應用Kalman濾波算法，根據整個視頻幀間的映射矩陣Tt-1估計當前幀的映射矩陣Tt，隨著視頻幀數據的依次處理不斷自適應更改參數以調整獲得最優映射矩陣Tt'。

根據式（5）應用經過Kalman濾波優化后的映射矩陣Tt'計算出當前視頻幀，并將補償得到的穩定的視頻幀數據存儲為下一幀數據處理循環的前一幀數據。通過消息（/dji_sdk/videoStab）將該視頻幀發布出去，為下一步的車輛檢測提供數據。

2 基于全卷積網絡（FCN）的車輛檢測

車輛檢測節點（/ros_detectNet）接收來自穩像節點通過消息（/dji_sdk/videoStab）發送的視頻數據，應用全卷積網絡對車輛的數量和位置進行快速檢測，并將檢測到的信息發布給圖像傳輸系統。檢測信息包括檢測到的車輛數量和每個被檢測到的車輛在視頻中的位置坐標。

本文中用到的DetectNet的FCN子網絡與GoogLeNet有著相同的結構，沒有數據輸入層、最后的池化層和輸出層。相對應的這里應用了預訓練模型，即減少了模型的訓練時間，又提高訓練的準確率。FCN是沒有全連接層的CNN，這樣它就可以接受不同尺寸的圖像，同時在預測階段效率更高。

車輛的數量和位置的檢測部分主要分3個步驟完成：（1）擴展數據集；（2）訓練數據模型；（3）編寫檢測程序并打包成ROS框架的節點。

2.1 擴充數據集

Kitty目標檢測數據集提供了行人，汽車等8類目標檢測的數據集[10]，這里應用Kitty數據集與預訓練模型 GoogLeNet模型對檢測網絡（detectnet_network.prototxt）進行訓練與測試。應用到實際的無人機視角進行測試時對于車輛的檢測與位置效果并不是特別理想。為了能夠綜合考慮無人機航拍過程中的所有角度，即無人機水平，俯視與側視等角度（結合應用背景與無人機性能，這里采用的是低空俯視角度，高度為10到20米），能夠拍攝到的各種車型，需要對現有數據集進行擴展。

本設計中應用無人機實際拍攝大量的航拍視頻作為樣本數據對原有數據進行擴充，并參考Kitty目標檢測數據集格式，應用無人機航拍得到的視頻制作相對應的圖片數據與label文件。應用擴充后的數據集對原模型（bvlc_googlenet.caffemodle）進行重訓練。

2.2 訓練數據模型

本文中的訓練網絡參考了GoogLeNet FCN（全卷積網絡）。訓練網絡共分為3部分：（1）接受圖像數據及標簽參數層；（2）GoogLeNet FCN用于特征提取、預測目標類及每網格內目標邊框；（3）損失函數同步檢測目標覆蓋與每網格的目標邊框檢測。

在4.1節的數據集里，不同圖像中目標的數量不同。如果采用長度和維度不同的標簽格式，對定義目標損失函數十分困難。針對這個問題，DetectNet使用一種固定的3維度標簽格式，使得網絡可以接受圖像中數量和尺寸不一的目標樣本[11]。

圖4 檢測網絡處理數據

圖4說明了應用DIGITS接受帶標記的圖像數據集訓練DetectNet中的數據處理過程。根據數據集提供的與每一張圖像對應的label文件，DIGITS用一張網格來覆蓋整張圖片，其中每一網格大小略小于圖片中最小目標，這樣可以使得每個目標被精確標記。其中每個網格標記兩項內容，目標類別和目標邊框到方格中心距離。沒有目標的地方標為dontcare，像素坐標為（0,0,0,0），有目標的地方標明目標類別和相應像素坐標。覆蓋值0和1也表明該網格內是否有目標存在。

訓練過程如圖5所示，從圖中可以看出在訓練開始后很快就成功的學習到了車輛特征，目標邊框損失函數和目標分類損失函數實現很好的收斂。在目標得分閾值設置為0.6的情況下，訓練30 epochs后獲得了75%左右的準確率，召回率達到62%左右，平均精度mAP為47%左右。

圖5 DetectNet訓練過程

應用DIGITS對圖5訓練的模型進行測試，得到結果如圖6所示。

2.3 車輛檢測在工程中的預測過程實現

通過對數據集訓練已經得到權值模型，在工程中需要應用該模型對實際航拍視頻進行實時預測，這里就需要一個可靠的預測引擎。由于NVIDIA TensorRT相對于傳統預測引擎（例如caffe）具有高效的深度學習預測優化的特點[12]。所以在實現統計車輛數量與檢測車輛位置坐標的這一過程中，應用該工具對接收到的視頻數據進行預測（即車輛的檢測）。

為了能夠提高檢測車輛的速度，結合NVIDIA Jetson TX1平臺本身的優越性能，在預測過程中采用了GPU編程方式，數據存儲采用CUDA編程中的零拷貝技術，使得預測過程花費的時間大大縮減。經過試驗測試得到檢測平均幀率為10fps。

得到車輛的數量和位置坐標值后通過ROS系統的消息將該信息發布給無線圖像傳輸系統，最終圖像傳輸系統將視頻與檢測信息發送給地面手機端進行顯示。

3 實驗結果與分析

在這一節中對實驗的結果做了測試。在穩像功能部分為了測試穩像效果，采用了幀間差分、特征點位置跟蹤、特征點位置坐標幀間差分三種方法。通過具體的曲線圖體現幀間過度的平滑程度（即穩像的效果）。在最后的車輛檢測部分，展示了在嵌入式平臺本地檢測結果，并在手機終端顯示了本設計的運行效果。

3.1 穩像結果及分析

視頻穩像實現的是視頻幀間的平滑過渡。為了能夠直觀的體現幀間的這種關系，首先，用幀間差分的方法直觀查看幀間過渡的平滑程度。對穩像前后視頻數據分別做幀間差分，然后從幀間差分后的視頻中隨機抽取了一幀圖像。如圖7所示，可以看到，穩像后幀間過渡趨于平滑。

圖7 左圖為穩像前幀間差分結果右圖為穩像后幀間差分結果

圖8所示，為了更直觀的查看穩像效果，采用了跟蹤特征點運動軌跡的方法。如果視頻抖動劇烈，則特征點運動軌跡抖動劇烈。從工程中提取特征點x，y軸的運動軌跡，幀間的特征點運動軌跡曲線。

圖8 穩像處理前后的特征點x，y方向運動軌跡

另外，特征點位置的幀間偏導值變化情況也可以反映視頻抖動的程度。如式（8）（9）所示，(x1,y1)，(x2,y2)分別為視頻中某一幀中特征點坐標位置和下一幀中同一特征點坐標位置。對其相同軸做偏導可以看到視頻幀間的過渡平滑度，即穩像效果。

如果視頻抖動越劇烈，則特征點位置的幀間偏導值變化越劇烈。

由圖9看出穩像處理后的視頻特征點位置偏導值變化較處理前平滑許多。

3.2 車輛數量與位置坐標檢測結果及分析

本設計的檢測信息主要包括當前視野內車輛數量，車輛在當前視野內的坐標位置兩項信息。對航拍視頻做測試的結果如圖10。

如圖11所示為實際無人機工作過程中手機終端的顯示效果，右上角顯示到了檢測到的汽車數量，并用紅框具體定位到了檢測到的車輛?；救繖z測到了視野內的汽車，在背景嚴重遮擋的情況下存在少量漏檢或誤檢。

4 結語

本文設計了基于無人機航拍的車輛檢測系統，結合當前交通管理背景，實現了無人機航拍過程中對交通路段的車輛數量統計和檢測車輛位置的功能。為現代智能交通管理系統在無線遙感方向的應用提供了一定的參考。本系統仍存在一定的缺陷，由于嵌入式平臺本身性能的局限性以及大疆無人機本身的圖傳系統不能發送處理后視頻的缺陷，手機終端顯示時存在著檢測信息顯示延遲的問題（由圖11可以看出），有待于 進一步解決。

圖9 穩像前后視頻數據的特征點位置x，y方向偏導（上圖為穩像前，下圖為穩像后）

圖10 對航拍視頻車輛檢測結果

圖11 手機終端顯示效果圖

[1]姚偉.基于視頻的車流量檢測系統研究與實現[D].南昌航空大學,2015.

[2]簡明全.無人機在交通管理中的獨有優勢[J].中國公共安全,2016（12）：40-44

[3]韓露.基于航拍圖像的目標檢測系統設計與實現[D].北京：北京理工大學,2015,1

[4]Wang A T,Zhang R.Study of Moving Object Detecting and Tracking Algorithm for Video Surveillance System[J].Proc Spie,2010,7659：76590N-76590N-6.

[5]董建成,蔣樂天.小型無人機交通輔助系統[J].電子產品世界,2014(11)：49-50.

[6]趙菲.視頻穩像技術研究[D].國防科學技術大學,2007.

[7]曹正萬,平雪良,陳盛龍,等.基于ROS的機器人模型構建方法研究[J].組合機床與自動化加工技術,2015(8)：51-54.

[8]Bouguet J Y.Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm[J].Opencv Documents,1999,22(2)：363-381.

[9]Welch G,Bishop G.An Introduction to the Kalman Filter[M].University of North Carolina at Chapel Hill,1995.

[10]Urtasun R,Lenz P,Geiger A.Are We Ready for Autonomous Driving?The KITTI Vision Benchmark Suite[C].Computer Vision and Pattern Recognition.IEEE,2012：3354-3361.

[11]Andrew Tao,Jon Barker,Sriya Sarathy.DetectNet：Deep Neural Network for Object Detection in DIGITS[EB/OL].(2016-8-11)https：//devblogs.nvidia.com/parallelforall/detectnet-deep-neural-network-object-detection-digits/

[12]NVIDIA.Nvidia TensorRT High Performance Deep Learning Inference for Production Deployment[EB/OL].https：//developer.nvidia.com/tensorrt

Vehicle Detecting System Based on Airborne Video of Drone

HAN Jie，QING Lin-bo，XIONG Shu-hua，HE Xiao-hai
（College of Electronics and Information Engineering,Sichuan University,Chengdu 610064）

Aiming at the problem of how to get status of traffic in real time,designs a system which can be used for detecting positions and numbers of vehicles that are shown in airborne video.And it is used in traffic filed as a potent way.First,designs the system’s integrated framework.Next,explains in detail that the way of stabilizing video based on pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm and realizing algorithm of detecting vehicles based on deep learning on platform of NVIDIA Jetson TX1.At the same time,it is explored of the method that numbers of progresses and communication among progresses are organized by ROS system.Realizes the functions that counting numbers of vehicles and detecting vehicles'positions in the video dynamically and reliably by this system.The frame rate is 14 fps.

Aerial Photography;Video Stabilization;Deep Learning;ROS

成都市科技惠民項目（No.2015-HM01-00293-SF）

1007-1423（2017）32-0058-07

10.3969/j.issn.1007-1423.2017.32.014

韓杰（1990-），男，碩士研究生，研究方向為多媒體通信與信息系統

卿粼波（1982-），男，博士，副教授，研究方向為信號與信號系統、圖像處理、圖像通信

熊淑華（1969-），女，博士，副教授，研究方向為多媒體通信與信息系統

何小海（1964-），男，教授，研究方向為圖像處理與信息系統、機器視覺與智能系統

2017-09-12

2017-10-20