自然場景下的挖掘機實時監測方法

毛亮，薛月菊，朱婷婷，魏穎慧，何俊樂，朱勛沐

自然場景下的挖掘機實時監測方法

毛亮1,2，薛月菊1※，朱婷婷3，魏穎慧3，何俊樂3，朱勛沐1

（1. 華南農業大學電子工程學院，廣州 510642；2. 深圳職業技術學院粵港澳大灣區人工智能應用技術研究院，深圳 518055；3. 高新興科技集團股份有限公司中央研究院，廣州 510530）

為實時監測違法用地現象，對作業挖掘機等施工機械進行實時監測至關重要。針對自然場景下由于背景復雜、光照不均勻及遮擋等導致作業挖掘機難以準確檢測出的問題，該文采用類似SSD（Single Shot Detector）方法的網絡結構，提出一種自然場景下的挖掘機實時監測方法。該方法采用堆疊DDB（Depthwise Dense Block）模塊組成基礎網絡，實現淺層特征提取，并與高層特征融合，提高網絡模型的特征表達能力；在MobileNetV2網絡的基礎上進行改進，設計 BDM（Bottleneck Down-Sampling Module）模塊構成多尺度特征提取網絡，使模型參數數量和計算量減少為SSD的68.4%。構建不同視角和場景下的挖掘機目標數據集，共計18 537張，其中15 009張作為訓練集，3 528張作為測試集，并在主流Jetson TX1嵌入式硬件平臺進行網絡模型移植和驗證。試驗表明，該文方法的mAP（Mean Average Precision）為90.6%，其檢測精度優于SSD和MobileNetV2SSD的90.2%；模型大小為4.2 MB，分別減小為SSD和MobileNetV2SSD的1/25和1/4，每幀檢測耗時145.2 ms，相比SSD和MobileNetV2SSD分別提高了122.7%和28.2%，可以較好地部署在嵌入式硬件平臺上，為現場及時發現違法用地作業提供有效手段。

農業機械；監測；模型；SSD；MobileNetV2；自然場景；挖掘機；嵌入式硬件

0 引 言

為實現現場實時監測違法用地現象，2011年開始，國土資源部在15個地級市、縣（市、區）開展土地視頻監控試點，對重點違法用地易發區域進行了視頻監控。挖掘機是工程建設中最主要的工程機械之一，對土地間的挖掘機目標進行快速檢測是及時發現違法用地現象的重要手段，并能夠為工程項目管理人員及時提供施工現場的重要管理信息。

目前，利用視頻圖像來檢測挖掘機的相關研究較少。李源等[1]通過對挖掘機圖像的RGB顏色特征分析，提出一種基于顏色信息的挖掘機圖像分割算法，該算法只利用顏色特征，無法對背景復雜的挖掘機圖像進行有效分割。于華琛等[2]用幀差法和高斯混合建模法，研究了挖掘機鏟斗的檢測方法。該方法只適應單一場景下的運動目標檢測，無法對復雜場景且靜止的挖掘機目標進行檢測。近年來，基于深度學習的目標檢測方法由于直接通過深層卷積網絡結構自動學習圖像的高階特征，極大地提升了對象檢測的精度。基于深度學習的目標檢測方法一般分為基于候選區域和基于回歸2種方法。其中基于候選區域的方法主要包括Fast R-CNN[3]、Faster R-CNN[4]和R-FCN[5]，這種方法雖然準確，但計算成本很高，檢測速度慢；基于回歸的方法主要包括YOLO（You Only Look Once）[6]和SSD（Single Shot Detector）[7]，這種方法具有較好的檢測速度和精度，得到廣泛的應用。

但現有SSD方法的模型參數數量和計算量大，在嵌入式硬件上實時性差，許多研究人員提出了一系列的輕量化目標檢測方法，如MobileNetV1SSD[8]、MobileNetV2SSD[9]、Tiny-DSOD[10]、Pelee[11]、TinySSD[12]Fire SSD[13]和 MobileNetV3SSD[14]等。雖然這些方法取得了較好的成果，但只是對公共數據集PASCAL VOC2007在手機端或工作站上進行檢測性能驗證，暫未在嵌入式芯片上對于自然場景下的作業挖掘機進行檢測結果。

實際作業中，作業挖掘機圖像中存在背景復雜、光照不均勻及遮擋等因素，導致目標難以被準確檢測到；同時由于重點違法用地區域分布地域廣，造成視頻圖像遠程傳輸代價大、實現困難，挖掘機檢測需要在前端有限計算資源的嵌入式芯片上完成。因此，本文在構建各類場景下的挖掘機目標數據集的基礎上，設計與SSD方法類似的目標檢測網絡，采用堆疊DDB（Depthwise Dense Block）模塊的網絡進行淺層特征提取，并與高層特征融合，再采用BDM（Bottleneck Down-Sampling Module）模塊實現多尺度特征提取，利用逐漸變小的卷積層，獲取不同尺度下的目標特征，同時將網絡的通道數擴增為輸入的2倍，保持網絡的特征表達能力同時減少網絡參數數量和計算量。訓練時，采用遷移學習對訓練好的網絡模型進行調優，以提高收斂速度，減少訓練時間。最后，在公共數據集PASCAL VOC2007和挖掘機目標數據集上，以嵌入式Jetson TX1硬件平臺為測試平臺，對本文方法進行驗證。本文在嵌入式芯片上采用深度學習方法對田間的挖掘機目標進行檢測，以期為現場及時發現違法用地現象提供有效手段。

1 試驗數據

1.1 試驗數據采集

試驗數據來源于互聯網和監控攝像機拍攝的挖掘機圖像，包括大量建筑工地中白天場景下各種視角的常用履帶式反鏟挖掘機視頻，主要以小松、日立、卡特、神鋼、凱斯和沃爾沃等品牌為主，共28種型號。總共采集到110段視頻，其分辨率為1 920像素×1 080像素，幀率為每秒25幀。當獲取挖掘機目標的視頻圖像時，由于挖掘機存在不同工作狀態，所以挖掘機目標在視頻圖像中可呈現出4個方向的視角，即正面、側面、斜面和背面[15]。挖掘機正面圖像中挖掘機鏟斗不僅容易與其他物體粘連，也會受到其他物體的遮擋；而背面中挖掘機動臂容易受到自身的遮擋，且工作時動臂的姿態變化較大。

1.2 訓練集和測試集準備

為避免時序相關性，對采集的挖掘機視頻片段進行隨機抽取并獲取挖掘機靜態圖像，然后采用人工方式標注挖掘機邊界框，形成挖掘機數據集，共有18 537張，從挖掘機數據集中隨機選擇3 528張作為測試集，用于目標檢測模型的性能評價，其余15 009張作為原始訓練集。對原始訓練集的目標圖像隨機進行水平鏡像、垂直鏡像翻轉以及順時針90°、180°和270°旋轉擴增，形成擴增訓練集，共計45 246張。

2 挖掘機目標檢測方法

2.1 網絡結構

SSD方法中使用VGG（Visual Geometry Group）[16]作為基礎網絡，但該網絡參數眾多，導致特征提取過程占用大部分運行時間，不適合在移動設備或嵌入式芯片上運行[17]。而DDB（Depthwise Dense Block）模塊因模型小，計算速度快，且特征提取能力強，非常適合應用到存儲和計算資源都非常有限的移動設備或嵌入式芯片中[10]。因此，本文以DDB模塊構建基礎網絡，融合下采樣的特征，再與多尺度特征提取網絡BDM（Bottleneck Down-Sampling Module）組合，對目標生成一系列固定大小的檢測框，并輸出這些檢測框中包含某類物體實例的得分，然后通過改進的非極大值抑制，輸出最終檢測結果。

如圖1所示，本文的基礎網絡由4個密集階段的網絡結構構成，每個階段堆疊不同數量的DDB網絡模塊[10]，第1個密集階段中堆疊4個DDB模塊，在第2至第4個密集階段分別堆疊6個DDB模塊，每個密集階段中對通道數進行不同比例的壓縮，第1至第4階段的通道數分別為32、48、64和80。密集階段中DDB模塊的通道數隨網絡深度的加深而增加。DDB模塊對輸入的特征圖，首先進行1×1標準卷積處理，并對不同密集階段通道數進行壓縮，然后通過3×3 深度可分離卷積進行特征提取，最后直接與輸入的特征圖進行特征映射合并階段輸出。相鄰密集階段的DDB模塊通過傳遞層進行連接，其中第1個和第2個階段的傳遞層中使用1×1卷積處理，將特征圖的通道數由256壓縮到128，然后使用2×2最大池化層降低特征圖的分辨率為38×38；在第3和第4個階段的傳遞層使用1×1卷積層將特征圖的通道數由512壓縮到256，同時保持特征圖的分辨率19×19不變。

另外，基礎網絡中的下采樣模塊由一個雙分支結構構成，分別采用3×3標準卷積和3×3深度可分離卷積處理，然后進行塊歸一化和非線性處理；另一路分支先進行最大池化操作，將特征圖的分辨率和通道數分別降為19×19和64，然后用1×1標準卷積處理，再進行塊歸一化和非線性處理。最后，將2路分支的輸出采用特征映射的方式合并后進行輸出。

在多尺度特征提取網絡部分，本文在基礎網絡中Conv7層的后面，增加由4個不同尺度BDM（Bottleneck Down-Sampling Module）網絡結構成的特征提取網絡，其中每個BDM的特征圖尺寸為10×10、5×5、3×3和1×1。最后，采用6個特征網絡層作為目標檢測的輸出，分別為Conv5、Conv7、BDM1、BDM2、BDM3和BDM4，其特征圖的分辨率為38×38、19×19、10×10、5×5、3×3和1×1。

2.2 BDM模塊

由于MobileNetV2網絡[9]使用3×3深度可分離卷積，使得計算量降低為標準卷積的1/8~1/9，而檢測精度損失很少[8]，因此BDM模塊在MobileNetV2網絡結構進行改進。如圖2所示。在圖2b中，對每個非線性ReLU層加上BN（Batch Normalization）層[18]，這樣不僅增大了梯度、避免了梯度消失問題，同時加快了學習收斂速度，解決了隨著網絡深度加深訓練速度下降的問題[9]。

首先采用1×1的標準卷積進行處理，將特征圖的通道數=128擴充到=256，然后用卷積核大小為3×3、步長=2的深度可分離卷積進行特征提取，再用1×1標準卷積進行處理，重新構建特征空間，將特征圖的通道數=256縮減為=128，并傳遞到更深層的網絡。

BDM模塊的參數數量和計算量的計算方法如表1所示。假設輸入圖像塊為，輸入通道數為0，輸出通道數為1，通道擴增系數為，卷積核大小為、步長，則BDM的參數數量為0(01)，SSD的多尺度特征提取網絡部分中相同模塊的參數數量為0(1)如假定BDM模塊輸入圖像塊為10×10，輸入通道為128，輸出通道數為128，通道擴增系數為2，卷積核大小為3×3、步長為2，則BDM的參數數量為8 422 400，SSD相同模塊的參數數量為26 675 200，比SSD減小了68.4%。因此，本文使用BDM模塊，將大大地減少參數數量和計算量，可較好地解決因使用標準卷積導致其參數數量和運算量較高的問題。

注：Conv1～Conv7為卷積層；DW-Conv1和 DW-Conv2為深度可分離卷積層；Pool1、Pool2、Pool3為最大池化層；64、128、256、416、512、736為卷積層的輸出通道數；DDB×4、DDB×6為堆疊DDB模塊；BDM1～BDM4為瓶頸下采樣模塊；ReLU和ReLU6為非線性變換層；BatchNorm為批歸一化層；S為卷積操作的步長；C為卷積層的通道數。下同。

注：Conv 1×1為1×1卷積核的卷積層；DW Conv 3×3為卷積核的深度可分離卷積層。下同。

2.3 損失函數

表1 BDM參數數量和計算量計算方法

注：為輸入圖像塊分辨率的大小；為通道擴增系數。

Note:is the size of input image block resolution;is the coefficient of the enlarged channels.

3 網絡模型訓練與移植

3.1 試驗平臺

試驗訓練平臺采用32 GB內存、Geforce GTX 1080 GPU、Intel I7-7700 CPU的硬件平臺和Ubuntu16.04 LTS操作系統，在深度學習框架Caffe[19]上，采用Python作為編程語言實現本文方法。試驗測試平臺采用Jetson TX1[20]嵌入式硬件平臺，其硬件配置為CPU為1.8 GHz ，內建256個CUDA核心的NVIDIA Maxwell GPU，計算能力超過1T FLOP，內存為4 GB和Ubuntu16.04 LTS操作系統，在OpenCV2.4.11[21]、CUDA8.0、Cudnn5.1和Caffe等開源軟件基礎上，采用C++語言實現本文方法并進行測試。

3.2 模型訓練

在算法實現過程中，由于采用隨機初始化權值需要花費大量的時間將模型損失值收斂于穩定值，因此本文在模型初始化中，共享卷積層以Xavier進行隨機初始化[22]，以降低隨機設置初始權值帶來的網絡不穩定性[23]。

為了進一步降低訓練耗時和資源，本文采用遷移學習方法，利用在公共數據集PASCAL VOC上已預訓練好的DDB模型[10]，遷移到挖掘機目標數據集上進行微調，不僅可以克服不同數據集之間的差異性，還會快速收斂至鄰域很小的損失值。然后使用隨機梯度下降法[24]，對網絡模型以端到端的方式進行訓練。網絡訓練的具體參數為：對不同尺度的特征圖使用與SSD方法類似的錨點框選擇策略[7]，默認使用4種固定長寬比的邊界框，具體為{1，1，2，1/2｝，mini-batch大小為20，沖量為0.9，權值的衰減系數為0.000 5，最大迭代次數為16萬次，其中前4萬次學習率為10–2，5~8萬次學習率為10–3，再次以學習率為10–4迭代4萬次，最后以10–5的學習率迭代4萬次，最終選取訓練中精度最高的模型。

3.3 模型移植

在嵌入式Jetson TX1硬件平臺上實現本文方法，需進行系統配置和深度學習框架安裝，具體步驟為：首先通過路由器將一臺裝有Ubuntu16.04 LTS操作系統的主機與Jetson TX1嵌入式硬件平臺進行連接，并利用NVIDIA Jet Pack 給Jetson TX1嵌入式硬件平臺安裝Ubuntu16.04 LTS操作系統映像、開發工具和用于啟動的開發環境等；然后安裝NVIDIA_CUDA 8.0并行計算框架、cudnn5.1深度神經網絡加速庫以及Python2.7開發平臺；最后安裝Caffe框架并利用Python編寫本文方法的測試程序并執行。

3.4 評價指標

通常目標檢測的評價指標包括：檢測精度、每幀檢測的時間和模型大小等。本文采用平均精度的平均值mAP（Mean Average Precision）、每幀檢測時間Time（ms）和模型大小Model Size（MB）為評價指標。

4 結果與分析

4.1 PASCAL VOC2007測試集檢測結果與分析

為了驗證本文方法在公共數據集PASCAL VOC[25]上的檢測性能，選用PASCAL VOC2007訓練集和PASCAL VOC2012訓練集綜合后的數據作為訓練集及驗證集，共16 551張圖像，包括20種不同類別的目標；PASCAL VOC2007測試集共4 952張圖像。檢測結果如表2所示，本文方法的mAP為69.5%，比SSD和MobileNetV2SSD分別降低了7.3%和1%，而輕量化的MobileNetV2SSD方法比SSD降低了6.3%，這說明對網絡模型進行輕量化處理，會對網絡的檢測精度會造成一定的損失。本文方法的模型大小為4.5 MB，每幀耗時為250 ms，相比SSD和MobileNetV2SSD的模型分別減小了100.7和9.2MB，每幀檢測耗時都縮短了約1倍，具有較大的優越性。權衡以上方法，在精度損失1%的條件下，本文方法的模型大小減少到MobileNetV2SSD的1/3，檢測效率提升了1倍。由于本文方法針對挖掘機特點設計，且需要移植到嵌入式系統，并非針對通用目標的，所以在公共數據集上，雖然模型大小和檢測效率上優于以MobileNetV2為基礎網絡的SSD，但是檢測精度略低1個百分點。

表2 不同方法對PASCAL VOC2007測試集的檢測性能對比

4.2 挖掘機數據集檢測結果與分析

在挖掘機測試集上，分別對本文方法、SSD和MobileNetV2SSD進行測試，并統計其檢測精度、模型大小和每幀檢測耗時，結果如表3所示。由表3可知，本文方法的檢測精度mAP為90.6%，相比其他2種方法都提高了0.4個百分點。通過對網絡模型的改進使得網絡模型參數數量和計算量大大減少，其模型大小為4.2 MB，約為SSD和MobileNetV2SSD模型大小的1/25和1/4，每幀檢測耗時145.2 ms，比SSD和MobileNetV2SSD提高了122.7%和28.2%，使得網絡模型更適合在嵌入式芯片上部署，具有更好的實時性。

對挖掘機測試集的目標檢測結果，如圖3所示。對圖3a中正面視角的挖掘機圖像，所有方法都能很好的檢測到目標；圖3b側面視角的挖掘機圖像由于背景較復雜，且存在同類目標的情況，本文方法可檢測到目標，而其他2種方法出現了漏檢情況；圖3c斜面視角的挖掘機圖像中，目標姿態變化較大，且存在局部遮擋情況，本文方法和MobileNetV2SSD都可檢測到目標，而SSD出現漏檢情況；圖3d背面視角的挖掘機圖像，目標被其他物體遮擋了部分特征，且背景存在同類目標的干擾，本文方法和SSD都可檢測到目標，而MobileNetV2SSD出現漏檢情況。因此，本文方法對自然場景下不同視角和背景較復雜的挖掘機目標檢測具有較好的魯棒性。

表3 不同方法對測試集挖掘機圖像的檢測性能對比

注：紅色框、藍色框和綠色框分別表示本文方法、SSD和MobileNetV2SSD的檢測結果。下同。

4.3 局部遮擋情況下的檢測結果

自然場景下挖掘機目標容易受到其他物體和自身遮擋，因此，本文針對不同情況的局部遮擋數據進行了對比測試，結果如圖4所示。由圖可知，圖4a正面視角的挖掘機圖像中存在自身遮擋目標，所有方法同樣都能檢測到目標。圖4b側面視角的挖掘機圖像被其他物體遮擋，所有方法都可以檢測到目標；圖4c斜面視角的挖掘機圖像被其他物體遮擋，本文方法和SSD都可以檢測到目標，但MobileNetV2SSD在圖4c中出現檢測框過大的現象，所得檢測區域受到其他物體的干擾；圖4d背面視角的挖掘機圖像中，背景較復雜，存在光照不均勻和自身遮擋，所有方法都可以檢測到目標，但SSD和MobileNetV2SSD在圖4d中出現了誤檢情況。試驗表明，本文方法對自然場景下2種局部遮擋的挖掘機目標都能檢測到，且未出現誤檢和漏檢，說明該方法比其他2種方法的魯棒性更好。

圖4 本文方法、SSD和MobileNetV2SSD對局部遮擋情況的挖掘機檢測結果

5 結 論

本文采用類似SSD的網絡結構，利用堆疊DDB模塊組成基礎網絡，在MobileNetV2基礎上進行改進的BDM模塊構成多尺度特征提取網絡，以自然場景下的挖掘機目標為研究對象，構建了不同視角和場景下的作業挖掘機數據集，實現挖掘機目標檢測，并在嵌入式Jetson TX1硬件平臺進行模型移植，主要結論如下：

1）在MobileNetV2基礎上改進BDM模塊，其參數數量和計算量相比標準卷積降低了68.4%。

2）通過遷移學習技術，利用公共數據集上已預訓練好的DDB模型，遷移到挖掘機目標數據集上進行微調，大大縮短了訓練時間，并簡化訓練過程。

3）以嵌入式Jetson TX1硬件平臺為測試平臺，在挖掘機數據集上進行檢測。試驗表明，本文方法的檢測精度mAP為90.6%，比SSD和MobileNetV2SSD提高了0.4個百分點；模型大小4.2 MB，約為SSD和MobileNetV2SSD的1/25和1/4，每幀檢測耗時為145.2 ms，比SSD方法和MobileNetV2SSD方法提高了122.7%和28.2%。具有模型參數數量和計算量都較小的優點，適合部署在嵌入式硬件平臺上。

本文研究可為作業挖掘機目標檢測提供方法和思路，為后續針對嵌入式硬件平臺實現作業挖掘機狀態識別奠定基礎。

[1] 李源，何榮開，王慶，等. 基于顏色及投影特征的挖掘機圖像分割算法[J]. 小型微型計算機系統，2013，34(11)：2635-2638. Li Yuan, He Rong-kai, Wang Qing, et al. Segmentation algorithm of the excavator image based on color and projection characteristics[J]. Journal of Chinese Computer Systems, 2013, 34(11): 2635-2638. (in Chinese with English abstract)

[2] 于華琛，袁祖強. 基于機器視覺的鏟斗目標檢測[J]. 機械制造與自動化，2016(4)：165-167. Yu Huachen, Yuan Zuqiang. Bucket target detection based on machine vision[J]. Machine Building & Automation, 2016(4): 165-167. (in Chinese with English abstract)

[3] Girshick Ross. Fast R-CNN[C]//IEEE International Conference on Computer Vision. 2015: 1440-1448.

[4] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]// International Conference on Neural Information Processing Systems. 2015: 91－99.

[5] Dai Jifeng, Li Yi, He Kaiming, et al. R-FCN: Object detection via region-based fully convolutional networks[C] //The 30th International Conference on Neural Information Processing Systems. 2016: 379-387.

[6] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2016: 779-788.

[7] Liu Wei, Anguelov Dragomir, Erhan Dumitru, et al. SSD: Single shot multiBox detector[J]. European Conference on Computer Vision. 2016(5): 21-37.

[8] Howard Andrew G, Zhu Menglong, Chen Bo, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[EB/OL].2019-07-25[2017-04-17]. https://arxiv.org/abs/1704.04861v1.

[9] Sandler Mark, Howard Andrew, Zhu Menglong, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2018.

[10] Li Yuxi, Li Jiuwei, Lin Weiyao, et al. Tiny-DSOD: Lightweight object detection for resource-restricted usages[EB/OL]. 2019-07-26[2018-07-29]. https: //arxiv. org/abs/1807. 11013v1.

[11] Wang Robert J, Li Xiang, Ling Charles X. Pelee: A real-time object detection system on mobile devices[EB/OL]. 2019-07-26[2018-04-18]. https: //arxiv. org/abs/1804. 06882v3.

[12] Alexander Wong, Mohammad Javad Shafiee, Francis Li, et al. Tiny SSD: A tiny single-shot detection deep convolutional neural network for real-time embedded object detection[EB/OL]. 2019-07-25[2018-02-19]. https: //arxiv. org/abs/1802.06488.

[13] Hengfui Liau, Nimmagadda Yamini, YengLiong Wong. Fire SSD: Wide fire modules based single shot detector on edge device[EB/OL]. 2019-07-26[2018-07-14]. https: //arxiv. org/abs/ 1806.05363v1.

[14] Andrew Howard, Mark Sandler, Grace Chu, et al. Searching for mobileNetV3[EB/OL]. 2019-07-26[2019-05-06]. https:// arxiv.org/ abs /1905.02244.

[15] 毛亮，薛月菊，林煥凱，等. 一種基于視頻圖像的挖掘機工作狀態識別方法[J]. 系統工程理論與實踐，2019，39(3)：797-804. Mao Liang, Xue Yueju, Lin Huankai, et al. A method of excavator working state identification based on video image[J]. Systems Engineering-Theory & Practice, 2019, 39(3): 797-804. (in Chinese with English abstract)

[16] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2014: 1-14.

[17] 劉慧，張禮帥，沈躍，等. 基于改進SSD的果園行人實時檢測方法[J]. 農業機械學報，2019，50(4)：29-35. Liu Hui, Zhang Lishuai, Shen Yue, et al. Real-time pedestrian detection in orchard based on improved SSD[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(4): 29-35. (in Chinese with English abstract)

[18] Ioffe S, Szegedy C. Batch Normalization: Accelerating deep network training by reducing internal covariate Shift[C]//International Conference on International Conference on Machine Learning. JMLR. org, 2015.

[19] Jia Yangqing, Shelhamer E, Donahue J, et al. Caffe: Convolutional architecture for fast feature embedding[J]. ACM International Conference on Multimedia, 2014: 675-678.

[20] Nvidia. Autonomous Machine. Jetson Download Center Archive[EB/OL]. 2019-07-27[2017-07-20]. https://developer. nvidia. com/embedded/downloads/archive/Jetson_TX1_and_ TX2_Developer_Kits_User_Guide.

[21] BRADSKI G, AEHLER A. Learning OpenCV: Computer vision with the OpenCV library[M]. Sebastopol, CA: O'Reilly Media Inc, 2008: 442.

[22] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[J]. Journal of Machine Learning Research, 2010, 9: 249－256.

[23] 彭紅星，黃博，邵園園，等. 自然環境下多類水果采摘目標識別的通用改進SSD模型[J]. 農業工程學報，2018，34(16)：155-162. Peng Hongxing, Huang Bo, Shao Yuanyuan, et al. General improved SSD model for picking object recognition of multiple fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(16): 155-162. (in Chinese with English abstract)

[24] Léon Bottou, Olivier Bousquet. Learning using large datasets, mining massive datasets for security[M]. NATOASI Workshop Series, IOS Press, Amsterdam, 2008:15?26.

[25] Everingham M, Gool L V, Williams C K I, et al. The pascal visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338.

Method for the real-time monitoring of the excavator in natural scene

Mao Liang1,2, Xue Yueju1※, Zhu Tingting3, Wei Yinghui3, He Junle3, Zhu Xunmu1

(1.,,510642,;2.,,518055,; 3.,,510530,)

In order to monitor illegal land use in real time, video surveillance technology was used to monitor the vulnerable areas of illegal land use. Excavator was one of the most important construction machinery in the engineering construction, an automatic real-time detection of excavator could provide important information for non-contact field monitoring of illegal land. But it was difficult to accurately detect the excavator due to the complex background, uneven illumination and partial occlusion in natural scene, This paper proposed a real-time excavator detection algorithm in natural scene based on the SSD-like (Single Shot Detector). Specifically, the lightweight network DDB (Depthwise Dense Block) was used as the basic network to extract shallow feature and fuse with high-level features in the excavator objection model to enhance the feature representation capability. Meanwhile, the BDM (Bottleneck Down-sampling Module) which was designed based on the lightweight network MobileNetV2 was used as the multi-scale feature extraction network to reduce the parameter quantity and computation. The data sets included 18 537 images of excavators with different shooting angles and natural scenes, 15 009 images were used as training set and 3 528 images were chosen as test set randomly. To enhance the diversity of training data, data set expansion methods such as rotation and image were adopted. Based on the Caffe deep learning framework, the proposed model in this paper was trained with end-to-end approximate joint methods and the model weight was fine-tuned by using SGD (Stochastic Gradient Descent) algorithm. The DDB module of the network was initialized with the weights pre-trained on the PASCAL VOC dataset, and the training time and resources were further reduced by transferring learning. Then the model pre-trained on the large data sets was transplanted to excavator object detection by transfer learning. The proposed method was transplanted and performed on the mainstream Jetson TX1 embedded hardware platform, and experiments on the actual data set of detecting excavator object at different angles of view and natural scenes. Experiment results showed that the parameter quantity and computational complexity of proposed model with BDM was reduced by 68.4% compared to SSD, the mAP (Mean Average Precision) of proposed method reached 90.6% on the testing set, which was 0.4% and 0.4% higher than that of SSD based on VGG16 basic net and MobileNetV2SSD based on MobileNetV2 basic net, respectively. The model size of propose method was 4.2 MB, which was about 1/25 and 1/4 of SSD and mobilenetv2ssd, respectively, and the time-consuming of each frame was 145.2 ms, which was 122.7% and 28.2% faster than SSD and MobileNetV2SSD, respectively. The proposed method not only had better generalization and robustness, but also can be better deployed on the embedded hardware platform which demonstrated the feasibility of real-time monitoring of the excavator at site of illegal land use.

agricultural machinery; monitoring; models; SSD; MobileNetV2; natural scene; excavator; embedded hardware

毛亮，薛月菊，朱婷婷，等. 自然場景下的挖掘機實時監測方法[J]. 農業工程學報，2020，36(9)：214-220.doi：10.11975/j.issn.1002-6819.2020.09.024 http://www.tcsae.org

Mao Liang, Xue Yueju, Zhu Tingting, et al. Method for the real-time monitoring of the excavator in natural scene[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(9): 214-220. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.09.024 http://www.tcsae.org

2019-08-02

2020-04-29

國家科技支撐計劃（2015BAD06B03-3）

毛亮，博士，副研究員，主要研究領域為計算機視覺與深度學習。Email：maoliangscau@163.com

薛月菊，教授，博士生導師，主要研究領域為機器視覺與圖像處理。Email：xueyueju@163.com

10.11975/j.issn.1002-6819.2020.09.024

TP391

A

1002-6819(2020)-09-0214-07