基于改進YOLOv3的單木樹冠檢測算法

王麗文，朱正禮，云 挺

(南京林業大學信息科學技術學院，江蘇 南京 210037)

1 引言

通過提供儲存碳、預防洪水、防治荒漠化、提供生物棲息地和參與大氣循環等一系列生態服務，樹木在生態系統的良性循環中發揮著重要作用[1]。單株樹是城市樹木組成的基本單元，有效地定位和檢測單木樹冠已成為實時監測和管理城市樹木資源的首要任務[2]。傳統的樹冠檢測算法主要基于數字地表模型和冠層高度模型，利用邊緣檢測、區域生長和分水嶺等算法對樹冠進行識別[2，3]。受樹冠形狀大小的不均勻性以及復雜的紋理、形態、結構特征的影響[4]，傳統算法在檢測單木樹冠時仍存在很大的局限性。

近年來，基于深度學習的目標檢測算法迅速發展，并在不同的研究領域中得到了廣泛的應用。通過在多層神經網絡中進行非線性映射，深度學習網絡提供了復雜圖像特征的分布式表示[5]。深度學習網絡能夠精確高效地學習圖像的語義和特征，其中淺層卷積神經網絡(Convolutional Neural Networks，CNN)學習目標的紋理、形狀、顏色等特征，中層CNN進一步學習目標的抽象屬性，高層CNN的所學特征近似于人腦的對目標特征的理解[6]。現有的基于深度學習的目標檢測算法包括以圖像為輸入數據的二維檢測算法和以點云為輸入數據的三維檢測算法。二維檢測算法主要分為單級目標檢測算法和兩級目標檢測算法，常見的單級目標檢測算法如單目多目標檢測器(Single Shot Multibox Detector，SSD)[7]和YOLO系列算法[8-10]，兩級目標檢測算法如快速區域CNN(Fast Region-Based CNN，Fast R-CNN)[11]和更快速區域CNN(Faster R-CNN)[12]。三維檢測算法主要包括多視角CNN(Multi-view CNN)[13]、PointNet[14]和PointNet++[15]。雖然三維檢測算法可以直接從目標的三維表示中提取特征，但由于三維數據具有數據量大、稀疏性、空間復雜度高和各向異性形狀等特點[13-15]，面向三維的目標檢測算法在提取目標結構特征和選擇最佳特征組合方面受到了很大限制。因此，選擇對面向圖像的YOLOv3目標檢測算法進行改進。作為一種單級目標檢測算法，YOLOv3較兩級目標檢測算法具有更簡單的網絡結構和學習策略，能夠只使用一個損失函數對整個網絡進行端到端的訓練和測試，大大提升了檢測效率。與其它先進的目標檢測算法相比，YOLOv3檢測算法不僅保持著高精度和實時性，而且表現出更優的魯棒性和穩定性[10]。

結合航拍圖像數據集與改進的YOLOv3算法，本文提出一種基于計算機視覺的單木樹冠自動檢測算法。該算法使用ResNeXt-50模型和ResNeXt塊改進YOLOv3的網絡結構，采用Mish激活函數優化網絡的非線性表達，在減小網絡復雜度的同時，有效提升了對單木樹冠檢測的準確率。

2 YOLOv3算法

YOLOv3算法的整體網絡結構如圖1所示，包括Darknet-53模型和YOLO檢測兩部分。

Darknet-53模型實現了圖像基礎特征的提取，由5個下采樣卷積層和23個殘差塊組成。下采樣操作直接由大小為3×3、步長為2的卷積核實現，為特征圖提供了更多的語義信息。

圖1 YOLOv3網絡結構

YOLO檢測部分進一步提取圖像更高層次的特征信息，并依據輸出特征圖來預測檢測框、置信度和目標類別，主要包括6個殘差塊、11個卷積層和2次上采樣操作。通過兩次對上采樣輸出的特征圖與更淺層卷積輸出的特征圖進行張量相加，網絡構造了3種不同尺度(16像素×16像素、32像素×32像素、64像素×64像素)的輸出張量，能夠精準地識別和預測不同大小的樹冠。上采樣處理為特征圖提供深層次卷積提取的高級語義信息，更淺層卷積為特征圖提供更細粒度的特征信息，網絡的輸出張量可表示為：S×S×[3×(4+1+1)]。其中，S×S為輸出特征圖的尺度大小，3×(4+1+1)表示網絡為輸出特征圖的每個網格預測3個檢測框，并預測每個檢測框的4個檢測框參數(即中心位置和寬高)、1個置信度參數和1個類別參數。

YOLOv3調用sigmoid函數回歸輸出特征圖中檢測框的中心位置，并采用k-means聚類方法對訓練集中所有樣本的標記信息進行聚類，自動生成用于回歸檢測框寬高的先驗框[16]。YOLOv3算法為3個尺度上輸出特征圖的每個網格單元預測3個檢測框，對每個檢測框的中心位置、寬高的初始預測為(tx，ty，tw，th)，最終預測(mx，my，mw，mh)則采用以下公式轉化獲得

mx=σ1(tx)+gx

(1)

my=σ1(ty)+gy

(2)

mw=awetw

(3)

mh=aheth

(4)

其中，σ1(tx)和σ1(ty)分別為檢測框的中心位置相對于當前預測網格左上角的橫向和縱向偏移，gx和gy分別為當前預測網格左上角相對于圖像左上角的橫向和縱向偏移，e為常數(約2.72)，aw和ah分別為用于回歸當前檢測框寬高的先驗框的寬度和高度，σ1(·)為sigmoid函數，計算公式如下

(5)

通過計算檢測框與真實框之間面積的交并比(Intersection over Union，IoU)，YOLOv3網絡對每個檢測框的置信度進行預測。對于任意的檢測框u，其置信度Con的計算公式為

Con(u)=D(u)×IoUu

(6)

其中，D(u)表示是否有真實框的中心落在預測檢測框u的網格單元內，若網格內存在真實框的中心，則D(u)取值為1，否則取值為0，IoUu表示依次計算檢測框u與樣本內所有真實框的交并比時獲取的最大IoU值。

3 改進YOLOv3算法

3.1 改進網絡結構

為了保證更好的性能，目前計算機視覺領域趨向于訓練更深層或多模型集成的深度網絡[9]，但更深層次的卷積網絡意味著學習難度及訓練誤差增大，且卷積深度達到某一程度時，網絡性能可能在準確率飽和后出現退化趨勢而不是被優化[17]。針對這些問題，YOLOv3在構造Darknet-53模型時采用大量殘差塊代替原始卷積層提取特征信息，引入殘差結構使疊加的卷積層在融合更高層特征的同時能夠降低訓練誤差，避免網絡性能退化。但由于傳統殘差塊內卷積層之間采用較大的卷積核進行卷積變換，網絡復雜度較高，占用更多的計算資源。為此，本文采用聚合同構分支的ResNeXt塊改進YOLOv3算法的堆疊模塊單元，以降低網絡復雜度。

受Inception模塊中卷積層間稀疏連接的啟發[18]，ResNeXt塊采用同構多分支的“降維、變換、聚合”策略，將較大卷積核的卷積變換分解為多分支上更小卷積核的聚合變換，減小計算復雜度，提升了模塊的表征能力[19]。分支間共享相同拓撲結構的設計使模塊更簡潔、易于擴展，提升網絡的泛化性能，同時優化了超參數的選擇。一般深度神經網絡在調節超參數時，主要通過增加卷積層深度或卷積核寬度提升網絡性能，而ResNeXt塊中提供了一種新的基本超參數：基數C(Cardinality)，C表示模塊中變換集的大小。不同于增加深度和寬度的方法，增加基數不會導致模型的參數量和計算量增大，能夠在保持復雜度的前提下有效地提升檢測精度。

需要注意的是，ResNeXt塊具有三種嚴格等價的表現形式，本文中選用的是更簡單、快速、易于實現的分組卷積形式的ResNeXt塊。通過將分組卷積層的輸入映射到低維嵌入上，執行C組同構的3×3卷積變換，并聚合分組卷積的輸出，ResNeXt塊實現了卷積層之間的稀疏連接。ResNeXt塊的具體結構如圖2所示。

從圖2可以看出，輸入x經過連續的1×1卷積變換、32組3×3聚合變換及1×1卷積變換后與x的恒等映射張量相加，得到ResNeXt模塊的輸出y=x+F(x)。可跨層傳輸的Shortcut連接實現了輸入x的恒等映射，而張量相加則使卷積層的擬合函數F(x)成為輸出y與輸入x之間的殘差。在訓練過程中，若堆疊ResNeXt模塊中的卷積層后網絡訓練誤差增大，則可通過擬合殘差映射F(x)為0，使ResNeXt模塊的輸出近似于x的恒等映射，從而避免因卷積層數加深引起的網絡性能退化[17]。

圖2 ResNeXt模塊結構

考慮到YOLOv3算法在運行時占用的存儲空間較大，且時間復雜度較高，本文基于先進的網絡模型ResNeXt-50設計了一種改進的YOLOv3算法，其整體網絡結構如圖3所示。由圖3可以看出，改進的YOLOv3算法由ResNeXt-50模型和改進的YOLO檢測兩部分組成，是一種高度模塊化的目標檢測網絡。其中，ResNeXt-50模型由一個7×7卷積層、1個最大池化層、13個ResNeXt＿B1模塊和3個ResNeXt＿B2模塊組成。ResNeXt＿B1模塊與ResNeXt＿B2模塊具有相同的拓撲結構，但不同的是ResNeXt＿B2模型中將3×3分組卷積的步長設置為2，以實現對特征圖的2倍下采樣。改進的YOLO檢測部分主要包括3個ResNeXt＿B1模塊、11個卷積層和2次上采樣操作，最終生成維度為18，尺度大小為16×16、32×32和64×64的輸出特征圖。對于網絡結構中的每一個隱藏層，在卷積之后進行批標準化處理，并使用激活函數對批標準化結果進行線性或非線性映射，使輸入激活函數的數值分布遠離導數飽和區，加快模型收斂速度，同時避免訓練過程中可能出現的梯度消失/爆炸問題[20]。

3.2 優化激活函數

YOLOv3算法采用非飽和的帶泄露整流(Leaky Rectified Linear Unit，Leaky ReLU)函數對每個隱藏層的輸出值進行非線性映射。Leaky ReLU激活函數σ2(·)的表達式如下

(7)

由式(7)可知，Leaky ReLU激活函數在正區間上梯度保持不變(一階導數等于1)，有效避免因導數趨于飽和引起的收斂速度減慢問題；在負區間上保留較小的梯度(一階導數

等于0.1)，消除了訓練過程可能出現的dying neurons。但Leaky ReLU激活函數在x=0兩側存在跳躍的梯度變化，對應局部梯度變化較大的目標函數，降低網絡的泛化性和穩定性。因此，本文采用梯度連續變化的Mish函數代替Leaky ReLU函數，處理改進YOLOv3網絡結構中獨立卷積層及所有ResNeXt模塊前兩層卷積層所提取的樣本特征。函數Mish在定義域內連續可微，對應更平滑且易于優化的目標函數輪廓[21]。Mish激活函數σ3(·)的表達式如下

圖3 改進YOLOv3網絡結構

σ3(x)=xtanh(softplus(x))

(8)

激活函數Mish和Leaky ReLU的函數圖像如圖4所示。從圖4可以看出，正區間上Mish函數的斜率在Leaky ReLU函數的斜率附近連續變化，負區間上凹函數Mish保留了較小的負值與負權重，能夠改善網絡的表達能力與信息流通效果，并且有下界的特性使Mish函數實現了自正則。

圖4 激活函數圖像

4 模型訓練與測試

考慮到遷移具有泛化特征的模型能夠有效提高目標網絡的訓練效率、收斂性能和泛化性能[22]，本文首先將ResNeXt-50網絡模型在ImageNet數據集上預訓練的權重遷移到改進YOLOv3算法中，初始化目標網絡的權值參數。

訓練過程中，將訓練樣本批量地輸入已遷移學習的目標網絡，迭代地進行端到端前向與反向傳播。前向傳播過程即向前逐層計算網絡自輸入層到輸出層中每個卷積層的輸出值，并根據輸出張量回歸樣本中單木樹冠的預測值。反向傳播過程即反向逐層計算損失函數關于網絡自輸出層到第一個隱藏層中每個激活函數輸入值的梯度，并采用自適應矩估計(Adaptive Moment Estimation，Adam)優化器優化小批量梯度下降法，依次更新每個卷積層的權值參數。

測試過程中，網絡調用best.weights文件，對逐個讀入的測試樣本進行一次前向傳播，并對輸出張量的預測進行非極大值抑制，推理出測試樣本中單木樹冠的檢測結果。

5 實驗結果與分析

5.1 數據集獲取

2018年10月，使用無人機DJI FC6310搭載的數碼相機以垂直于地面的角度在江蘇省南京林業大學(32.07°N，118.78°W)校內采集航拍圖像。無人機飛行高度約150米，飛行速度約20米/秒。

為使調整大小后的輸入圖像保留更多的樹冠特征信息，對已獲取的航拍圖像進行樹冠區域截取。實驗從初始的航拍圖像中共截取1620張圖像作為樣本集，其中每張小圖像內均包含1～12個形狀完整的樹冠。接著，利用圖像標記工具LabelImg標記樣本集中的所有圖像，并保存每張圖像的標記信息(即歸一化的真實框頂點坐標)。最后，按照比例8：1：1隨機劃分所有樣本，分別構成網絡的訓練集、驗證集和測試集。

5.2 環境配置與參數設置

本文實驗的硬件環境為Intel I7-8750H、NVIDIA GTX1050TI、16.0 GB內存，軟件環境為Windows 10 64 bit操作系統、CMAKE 3.8.3、CUDA 10.2、CUDNN 10.2、OPENCV 3.4.6和Visual Studio 2019。

訓練過程中相關網絡參數大小的設置如表1所示。為取得精度與速度的折衷，將樣本大小統一調整為合適的輸入尺度：512像素×512像素。通過將批處理和分步參數均設置為64，更充分地使用平臺內存。由于損失的收斂速度主要取決于學習率的設置，本文設置初始學習率為0.001，迭代4 000次后將學習率減小為0.000 1，迭代4 500次以后將學習率降為0.000 01，使訓練損失先快后慢的收斂到最優值。

表1 訓練過程中相關網絡參數的設置

5.3 結果分析

本文采用改進YOLOv3算法對測試樣本進行推理預測，部分樹冠樣本的預測結果如圖5所示。從圖5可以看出，改進的YOLOv3算法在檢測形態結構差異較大的樹冠時具有較好的魯棒性。

訓練損失曲線反映訓練過程中網絡的收斂性能，良好的收斂性意味著網絡更容易訓練和優化。本文算法與YOLOv3算法的訓練損失曲線對比如圖6所示。

圖5 改進YOLOv3算法的部分檢測結果

從圖6可以看出，兩種算法的訓練損失曲線具有相似的走向，在100至1 500次迭代過程中訓練損失迅速收斂，并在1 500次迭代后逐漸趨于平緩。相比YOLOv3算法，本文算法的收斂速度更快，最終訓練損失更小，具有更優的收斂效果。

圖6 訓練損失曲線

表2對比了改進前后YOLOv3算法的模型內存和計算量。相比原YOLOv3算法，改進YOLOv3算法的模型內存約減少26%，總體計算量約減少48%，有效降低了算法的時空復雜度。

表2 對比改進前后YOLOv3的模型內存與計算量

為體現不同改進措施的有效性，表3對比了Darknet-53 YOLO(①+②)、ResNeXt-50 YOLO(③+②)、ResNeXt-50 改進YOLO(③+④)和ResNeXt-50 改進YOLO Mish優化(③+④+⑤)4組算法在航拍樹冠數據集上的實驗結果，并采用mAP@50和召回率兩項指標評估算法檢測的準確率。其中，mAP@50表示 閾值設置為0.5時，所有目標類別的平均精度均值，反映算法的總體檢測精度。召回率(也即單木樹冠檢出率)表示網絡正確預測的樹冠數占樣本樹冠總數的比例。

表3 原始算法與改進算法的檢測性能對比

由表3可以看出，相比原YOLOv3算法，基于ResNeXt-50的YOLO算法具有更高的mAP@50值和召回率，這是由于ResNeXt-50模型能夠使網絡在保持較低計算復雜度的同時，具備更好的推理性能。結合ResNeXt-50模型和由ResNeXt塊改進的YOLO檢測模塊后，模型的檢測效果進一步提升，說明基于殘差結構的ResNeXt塊能夠使YOLO檢測模塊中疊加的卷積層更充分地優化擬合函數。4組算法中，采用本文算法檢測單木樹冠時檢測精度最高，說明使用Mish激活函數能夠有效改善網絡的泛化性和收斂性，從而提升檢測準確率。相比原YOLOv3算法，本文算法的mAP@50值和召回率分別提高了9.07%和10.22%，這表明本文提出的改進方法能夠有效地提升算法的檢測性能。

表4對比了其它目標檢測算法與本文算法在航拍樹冠數據集上的檢測準確率。從表4可以看出，相比同類型的檢測算法，本文算法取得了更高的mAP@50值和召回率，分別達到74.14%和86.52%，說明使用本文算法檢測單木樹冠更有優勢。

表4 本文算法與其它算法的檢測性能對比

6 結束語

本文提出一種基于YOLOv3的單木樹冠自動檢測算法。該算法采用ResNeXt-50模型作為基礎特征提取器，并基于ResNeXt塊進一步優化YOLO檢測模塊的網絡結構，在降低網絡模型內存和計算量的同時提高了單木樹冠檢測精度。通過采用Mish激活函數代替Leaky ReLU激活函數對部分卷積層的輸出值進行非線性映射，進一步提升了網絡的泛化性能和檢測精度。實驗結果表明，改進的YOLOv3算法能夠有效地提取樣本中樹冠結構特征和語義信息，具有較高的單木樹冠檢測準確率。下一步將結合不同的網絡模型和損失函數繼續優化網絡，使目標網絡在維持高精度的同時更輕量、計算量更小。