基于深度學習的草坪樹木檢測方法研究*

王新彥，呂峰，易政洋

(江蘇科技大學機械工程學院，江蘇鎮江，212100)

0 引言

近年來隨著草坪綠化水平越來越受重視[1]，對草坪割草設備的要求也越來越高。而坐騎式割草機翻滾對駕駛員帶來的損傷使得割草機器人的研發勢在必行[2]，而本項目的視覺感知技術研究是實現割草機器人智能化的前提。

計算機視覺技術發展至今已為生產發展提供了諸多解決方案[3-7]，在樹木檢測方法研究中，也涌現出了大量研究成果。馬繼東等[8]利用HALCON軟件對標定的樹木進行幾何參數測量，但該方法智能化程度低，檢測時需要人工對單張圖片進行標定，無法實現自動測量，且無法在嵌入式設備上運行。馮運發等[9]采用基于顏色空間和動態閾值分割的方法，生成外接矩形來實現樹干的檢測，但該方法無法在單張圖片中實現多種類樹木檢測。張燁等[10]基于Hough變化和Sobel算子提出了輸電線路下的樹木檢測方法，但該方法通過導線定位感興趣的區域(Region of Interest, ROI)，無法實現無參照定位，且該方法中圖片背景單一，不適用于背景復雜的草坪環境。葉陽等[11]提出了一種基于主動輪廓演變模型的遙感影像單棵樹木檢測方法，該方法不足之處在于無法實現多目標多種類樹木檢測。

上述研究推動了樹木檢測技術的發展，具有重要的指導意義，但是現有的方法大多都是針對一般環境下的樹木特征，草坪樹木不同于一般的樹木，其形狀與紋理特征有其特殊性。已有的樹木檢測方法智能化、輕量化程度較低。一方面無法實現多種類、多目標的樹木檢測，另一方面計算依賴于個人電腦與特有的軟件，難以部署在算力有限的嵌入式割草機器人上。為了解決這一問題，本文實地制作了草坪樹木數據集；基于YOLO(You Only Look Once)系列算法[12-15]思想，提出了基于優化Tiny YOLOV4算法的草坪樹木檢測算法，從而解決了草坪樹木數據集缺失、樹木檢測方法智能化程度低與YOLO系列算法輕量化程度低的問題，為草坪環境樹木檢測提供了一種新的思路。

1 草坪樹木數據集

由于缺乏公共的草坪樹木數據集，通過智能手機在草坪環境實地采集了具有代表性的兩類樹木特征，樹干(Trunk)和球狀樹木(Spherical Tree)，如圖1所示。

(a) 樹干樣本

(b) 球狀樹木樣本圖1 數據集中草坪樹木類別Fig. 1 Classes of lawn trees in the dataset

樹干和球狀樹木樣本總數為8 489張，按照3∶1的比例劃分為訓練集和測試集，且相互獨立，并標注成YOLO格式的文本文檔。其中每個類別包含的樣本數量如表1所示。在數據集上使用kmeans++算法聚類出6類先驗框(Anchor Box)，尺寸分別為(10×43)，(22×88),(38×174)，(91×102)，(68×323)和(111×338)。

表1 樣本情況統計表Tab. 1 Sample situation Statistical table

2 原Tiny YOLOV4網絡結構分析

原Tiny YOLOV4網絡整體結構如圖2所示。虛線框內為網絡特征提取的骨干部分，在網絡淺層通過步長為2的3×3卷積對輸入圖像進行下采樣和特征提取。通過縮放模塊將輸入特征圖分成兩組，對其中一組進行卷積操作，在降低計算量的情況下提取特征信息；最后通過拼接操作，進行通道擴張。對骨干網絡的輸出采用一系列卷積操作，最終對13×13的特征圖進行樹木目標檢測。通過對13×13的特征圖上采樣與網絡前部的26×26的特征圖拼接進行分辨率的擴張，最終對26×26的特征圖進行目標檢測。

圖2 原Tiny YOLOV4網絡結構Fig. 2 Original Tiny YOLOV4 network structure

3 優化Tiny YOLOV4網絡改進設計

3.1 卷積運算原理

原算法采用大量3×3的卷積層提取特征，卷積運算原理如圖3所示，卷積核在通道數為N的輸入特征圖上由左上角沿橫向和縱向滑動至右下角的過程中，卷積核與特征圖重合部分每個像素值對應相乘并對乘積求和得到輸出特征圖像素值，通過M個卷積核的共同作用，形成通道數為M的輸出特征圖。其中，卷積核通道數和輸入特征圖通道數相等，卷積核個數與輸出特征圖通道數相等。

圖3 卷積運算原理Fig. 3 Convolution operation theory

一個N通道的輸入張量與K×K的卷積核進行卷積運算，輸出M通道張量，卷積所需要的參數量

c=K2NM

(1)

式中：c——卷積所需要的參數數量；

K2——卷積核尺寸；

N——輸入張量通道數；

M——輸出張量通道數。

因此，卷積參數數量與卷積核尺寸、輸入特征圖通道數和輸出特征圖通道數有關。在神經網絡中，卷積參數即為網絡學習的參數，因此卷積參數數量對神經網絡的訓練時長、運算速度和輕量化程度有著重大影響。

3.2 增強模塊與輕量模塊設計

增強模塊與輕量模塊的設計如圖4所示。

圖4 增強模塊與輕量模塊結構Fig. 4 Enhanced module and lightweight module structure

為了增強網絡的特征提取能力，進行通道多尺度變化，將原網絡的縮放模塊2和縮放模塊3的第一層卷積層在通道拆分之前，經過一個1×1的點卷積層進行通道像素之間的線性組合和通道壓縮；再經過一個3×3的卷積層增強網絡對特征信息的提取能力，同時將通道數擴張至原值形成增強模塊。為了降低網絡卷積運算的參數數量，根據式(1)對縮放模塊1進行輕量化處理，將縮放模塊1的第一層卷積層替換為1×1和3×3的卷積層，即由原3×3、輸出通道為2b的卷積層替換為先經過1×1、將通道數壓縮至b的點卷積層，再經過3×3、將通道由b擴張為2b的卷積層進行特征提取的方式形成輕量模塊，降低卷積運算的參數量。通過通道多尺度變化，原縮放模塊可優化為具備更強學習能力的增強模塊，也可優化為具備更少計算參數的輕量模塊。

3.3 多分辨率融合模塊設計

一方面，增強模塊通過增加1×1和3×3的卷積層，提高了網絡的特征提取能力，同時也增加了卷積運算的參數量；另一方面，輸入圖像經過一系列卷積層和池化層之后，分辨率越來越小，深層的卷積層提取到高度抽象的特征信息，由于淺層的卷積層通常對目標的局部或者小目標較為敏感[16]，因此，原Tiny YOLOV4網絡缺乏與網絡淺層信息的融合，對小目標的檢測能力不足。為了解決上述問題，同時提高網絡淺層信息的利用率，采用多分辨率融合的設計方案。多分辨率融合模塊設計如圖5所示。將最大池化層2輸出的分辨率為26×26的特征圖經過步長為2的3×3卷積層進行下采樣，得到13×13分辨率的特征圖；將該特征圖與最大池化層3輸出的13×13的特征圖拼接，形成分辨率為13×13，通道數為640的特征圖，替換原Tiny YOLOV4骨干網絡中卷積層3，即計算量和參數數量最多的卷積層，形成多分辨率融合模塊，降低整體網絡的卷積參數數量，提高網絡的輕量化程度和多分辨率融合能力，進而提高網絡對較小目標的檢測能力。

圖5 多分辨率融合設計Fig. 5 Multi-resolution fusion design

3.4 網絡總體結構

優化后的Tiny YOLOV4網絡總體結構如圖6所示。虛線框內為骨干網絡，其余部分與原Tiny YOLOV4網絡相同。將輸入圖像經過兩層步長為2的3×3卷積層，降低尺寸，擴張通道，快速學習特征信息。用輕量模塊替換縮放模塊1，增強模塊1和增強模塊2分別替換縮放模塊2和縮放模塊3。輕量模塊用于降低3×3卷積的計算量和計算參數，增強模塊用于強化優化Tiny YOLOV4骨干網絡的特征提取能力。最大池化層用于快速降低特征圖的分辨率，多分辨率融合模塊一方面用來抵消增強模塊增加的參數和計算量，另一方面用于加強網絡深層對淺層高分辨率信息的融合能力，提高骨干網絡對局部特征和較小目標的檢測精度。

圖6 優化Tiny YOLOV4網絡結構Fig. 6 Optimized Tiny YOLOV4 network structure

4 試驗結果與分析

為定性評價本文提出的草坪樹木檢測算法的檢測效果，用訓練集對本文算法進行訓練。操作系統為 Windows10；CPU為Intel i7-9700KF，3.4 GHz；內存大小為16 G；GPU為NVIDIA GEFORCE RTX 2070 Super 8 GB顯卡；深度學習框架為AlexeyAB-Darknet；編譯環境為 Visual Studio 2015 C/C++語言。

網絡訓練參數與原Tiny YOLOV4一致。隨機從測試集圖像中選取草坪樹木圖像進行檢測，檢測效果如圖7所示。

(a) 草坪樹木原圖1

(b) 草坪樹木檢測效果1

(c) 草坪樹木原圖2

(d) 草坪樹木檢測效果2

(e) 草坪樹木原圖3

(f) 草坪樹木檢測效果3圖7 本文算法草坪樹木檢測Fig. 7 Lawn trees detection based on this algorithm

圖7(b)表明，本文提出的基于優化Tiny YOLOV4算法的草坪樹木檢測算法較好地完成了草坪環境圖像中樹木的檢測，并且檢測框與樹木主體輪廓基本一致，且可以檢測出邊緣處較小的目標特征。圖7(d)表明，本文算法可以檢測出擁擠且有遮擋的球狀樹木和分支較多的樹干特征。圖7(f)表明，本文算法可以檢測出擁擠且目標較小的無分支樹干，證明了本算法的有效性。

為定量評價本文提出的草坪樹木檢測算法的檢測準確率，將本文算法與Tiny YOLOV3、原Tiny YOLOV4算法輕量化和精度的各項指標在測試集上進行對比，單類別檢測精度的衡量指標為平均精度AP，總體檢測精度的衡量指標為平均精度均值mAP，對比結果如表2所示。

表2 草坪樹木檢測結果統計表Tab. 2 Lawn Tree Detection Results Statistics Table

從表2可以看出，本文提出的優化Tiny YOLOV4草坪樹木檢測算法精度的各項指標均優于其余兩種算法。與Tiny YOLOV3和Tiny YOLOV4相比，mAP值分別提高了6.18%和0.61%，樹干的AP值分別提高了2.33%和0.22%，球狀樹木的AP值分別提高了10.04%和1.00%。模型大小為16.19 MB，輕量化程度分別提高了51.10%和27.85%。

5 結論

為實現割草機器人在草坪環境下的樹木檢測，本文提出了一種基于優化Tiny YOLOV4算法的草坪樹木檢測算法。

1) 根據割草機器人的應用場景，在草坪環境用手機實地拍攝制作了包含樹干和球狀樹木的草坪樹木數據集。對原Tiny YOLOV4算法進行了輕量化改進，通過通道多尺度變換設計了增強模塊與輕量模塊，用來增強網絡的特征提取能力；提出了多分辨率融合模塊，用以提高網絡的輕量化程度。將數據集中的訓練集用于訓練優化Tiny YOLOV4算法，在測試集上進行了試驗，試驗結果表明本文的樹木檢測算法平均精度均值為80.59%，模型大小為16.19 MB。

2) 本文算法與Tiny YOLOV3、原Tiny YOLOV4算法在測試集上的對比試驗結果表明，本文的優化Tiny YOLOV4算法樹干和球狀樹木的mAP值分別提高了6.18%和0.61%，樹干的AP值分別提高了2.33%和0.22%，球狀樹木的AP值分別提高了10.04%和1.00%，輕量化程度分別提高了51.10%和27.85%，在嵌入式設備上具備較高的可移植性。