基于深度學習的小目標受災樹木檢測方法*

周 焱 劉文萍 駱有慶 宗世祥

1. 北京林業大學信息學院 北京 100083； 2. 北京林業大學林學院 北京 100083)

森林作為陸地生態系統的主體，其覆蓋面積、植被種類和數量以及健康程度的變化對環境和生態具有巨大影響。我國林業有害生物種類有8 000多種，經常造成危害的有200多種，林業有害生物不僅影響著森林的生態恢復和環境建設，還對森林的可持續性發展帶來嚴重威脅，是危害森林健康的重要因素。實現對林業有害生物災害區域的快速、準確檢測及監測，在林業有害生物防治和災害損失評估中具有重要意義。

無人機具有時效性強、機動性好、方便靈活、巡查范圍廣等優點，能快速獲取小范圍林區的高分辨率圖像(Gambellaetal.， 2016)，將無人機應用于森林病蟲害監測，是有效提高林業有害生物防治工作效率的途徑之一。隨著計算機技術不斷發展，無人機森林圖像結合圖像分析、機器學習、模式識別等算法實現植被分類和樹木檢測，被廣泛應用于森林防護、林業資產評估、精細分類樹種識別等領域。但相比地面拍攝圖像，無人機圖像因受災樹木尺度小、樹木分布密集而難以識別，且無人機圖像一般分辨率較高，批處理需要大量時間。因此如何精確、快速地識別定位無人機圖像中小目標受災樹木是亟待解決的問題。

目前，應用于無人機森林圖像樹木檢測的計算機方法主要建立在圖像分析算法及人工設計特征和分類器的基礎上(Koc-Sanetal.， 2018； Maleketal.， 2014； Zhongetal.， 2017； 費運巧等， 2017a； 林志瑋等， 2018)，現有計算機識別病蟲害算法存在以下問題：1)無人機采集圖像后，需在第二現場使用工作站進行算法設計和分析，導致監測流程和檢測周期較長，無人機機組針對性較差，監測成本較高；2)已有識別算法大多采用CPU計算，運算能力較低，無法直接用于大量的完整無人機圖像；3)圖像分析算法通常對圖像光影條件要求較高，識別精確度依賴圖像預處理； 4)對于較高空無人機圖像中分布密集、不規律的小目標樹木，當多株受災樹木集聚時無法準確定位每株受災樹木；5)部分方法還需結合人眼觀察和數據統計等后續工作，不能實現自動化檢測。

近年來，隨著深度學習的迅猛發展，基于深度學習的目標檢測方法已成為計算機視覺領域的主流，該方法無需人工設計特征和分類器，可不依賴預處理，自動完成精確目標檢測，其中，輕量級目標檢測框架SSD(single shot multibox detector)因檢測精確度高、速度快等優點得到廣泛應用。SSD300使用NVIDIA TITAN X顯卡，檢測速度為59 fps(每秒傳輸幀數)，遠快于重量級目標檢測框架Faster R-CNN(7 fps)，且SSD300檢測框架在PASCAL VOC2007數據集測試的平均準確度達74.3%，比Faster R-CNN高1.1%(Everinghametal.， 2015)。然而，作為一種多尺度目標檢測網絡框架，SSD放棄了含有豐富位置信息的底層特征，對小目標的魯棒性較低；且由于小目標所在區域較小，可提取的相關特征較少，不利于對小目標的檢測。針對這一問題，Li等 (2017)、Liu等 (2018)采用ResNet101(Heetal.， 2016)作為基礎特征提取器，分別提出特征融合模塊、RFB (receptive field block)結構方法，以增強網絡對小目標的檢測能力。盡管改變網絡基礎特征提取器可提升檢測精度，但在一定程度上增加了模型參數量，降低了檢測速度，且以上改進方法只針對PASCAL VOC和MSCOCO(Linetal.， 2014)等通用數據集，偏向檢測大中尺寸目標，無法準確檢測無人機圖像中的小目標樹木。

基于深度學習的圖像識別、目標檢測等方法在遙感圖像植被識別領域取得了一定進展：Li等(2016)設計了一種針對油棕(Elaeisguineensis)遙感圖像的深度學習目標檢測框架； Guirado等(2017)基于卷積神經網絡識別Google Earth圖像中植被覆蓋區域； Baeta等(2017)采用多尺度特征卷積神經網絡定位遙感圖像中的咖啡(Coffeaarabica)作物。但是，上述方法主要針對高空遙感圖像中大范圍區域檢測以及規則排列的農作物和人工林識別，且為提高檢測精度,在訓練模型前還采用多種方法對數據進行預處理，而這不足以支持彩色高分辨率無人機森林圖像中分布不規律、生長密集的每株小目標受災樹木檢測。鑒于此，本研究以受紅脂大小蠹(Dendroctonusvalens)侵害的油松(Pinustabulaeformis)林為研究對象，利用無人機采集可見光圖像，針對無人機森林圖像中樹木尺度小、生長密集以及分布不規律等問題，提出一種基于深度學習的小目標受災樹木檢測方法(small infected trees detector，SITD)，以準確識別和定位高分辨率無人機森林圖像中的小尺度受災樹木。

1 試驗數據

1.1 數據采集

以遼寧省凌源縣受紅脂大小蠹侵害的油松林無人機圖像為數據源，采集時間為2017年8月。采用DJI Inspire2四旋翼航拍機(表1)，搭載DJI X5S云臺相機，航拍鏡頭為奧林巴斯50 mm F1.8定焦鏡頭。無人機飛行高度為180 ～240 m，掃描拍攝1—6號樣地。

表1 DJI Inspire2無人機和 X5S云臺相機主要參數

圖1 數據集中圖像及標注文件格式

1.2 無人機森林蟲害數據集建立

無人機森林蟲害數據集以3—6號樣地無人機圖像為訓練集，1、2號樣地無人機圖像為測試集，圖1a、b分別為1號樣地185 m飛行高度和5號樣地240 m飛行高度拍攝的無人機圖像示例，待檢測目標尺度較小。油松受災后，老葉先失綠變黃，當年夏天呈紅褐色，次年變暗，最后凋落(吳建功等， 2002)。針對受災油松針葉變色特點，本研究以受災變色油松為檢測目標。為保證圖像中各目標完整，利用LabelImg開源軟件對無人機圖像中受災樹木進行標注，標注內容為受災樹木矩形包圍框坐標，存儲為文本文件用于檢測模型訓練和測試，標注文件格式如圖1c所示。由于本研究采集的原始圖像分辨率為5 280×3 956像素，無法直接用于訓練目標檢測框架，為減小運算量、加快訓練速度，在構建數據集階段，將圖像長、寬各縮小一半，并裁剪圖像為1 024×1 024像素，裁剪步長為512像素。在裁剪過程中，如果待檢測樹木被裁為多個部分，則計算每部分與原始面積的比值：

(1)

式中，Ao為該樹包圍框的面積；ai為裁剪后各部分包圍框的面積，i取值為 (1，2)。如果Ui<0.7，則該部分標記為困難樣本。數據集中原始圖像共95張，受災樹木總數11 678株，裁剪后圖像共1 261張，其中訓練集圖像947張、驗證集圖像314張。

本研究采用待檢測目標包圍框的高度評估圖像中目標大小(Yangetal.， 2016)，并將目標尺度劃分為50像素以下、50～300像素和300像素以上3類，50像素以下為小目標。無人機森林圖像數據集和常見通用數據集中目標大小占比如表2所示，無人機森林圖像數據集的目標集中在0～50像素，相比通用數據集PASCAL VOC和MSCOCO其小目標更多，可見通用目標檢測模型并不適用于本研究數據集中小尺度受災樹木檢測。

表2 不同數據集中目標大小占比

圖2 SITD模型訓練過程及基于SITD的森林蟲害監測流程

2 研究方法

針對無人機森林圖像中樹林尺度小、生長密集以及分布不規律等問題，本研究提出一種基于深度學習的小目標樹木檢測方法(SITD)。SITD主要針對180～240 m拍攝高度的無人機圖像中尺度較小的受災樹木，框架設計基于SSD。為提升模型對小目標受災樹木的識別和定位能力，框架結合默認框優化、特征金字塔和空洞卷積網絡等技術，訓練過程采用雙層損失函數以增強模型學習能力。檢測模型訓練和監測系統實現流程如圖2所示，分為訓練階段和林區現場測試階段。

在訓練階段，對訓練圖像中檢測目標的分類和位置進行標注后，將圖像和標注數據輸入到SITD模型，通過網絡正向傳播，預測目標是否為受災樹木和該目標包圍框坐標，再由損失函數計算人工標注與預測類別和定位之間的誤差，通過網絡反向傳播進行參數更新，多次迭代該過程，直到損失函數值穩定，即完成受災樹木檢測模型的訓練。在測試集上進行測試，將選出的最優模型部署至移動圖形工作站。

在林區現場測試階段，現場系統包括無人機、連接安卓移動設備的無人機遙控器、部署檢測模型的移動圖形工作站和遠端監測服務器。首先，無人機在180～240 m高度巡航拍攝圖像，并通過局域網將圖像傳輸至遙控器上的安卓移動設備； 然后，傳輸至本地移動圖形工作站；調用工作站的受災樹木檢測模型，檢測圖像中的小目標受災樹木，并統計受災數量；最后將受災數量、無人機拍攝GPS坐標和拍攝時間等信息上傳至云服務器數據庫，位于森防站和實驗室的遠端監測服務器可讀取數據庫信息，并在地圖上可視化受災區域，展示受災信息，完成無人機森林蟲害遠程監測過程。該系統可提升外業機組針對性，緊密結合外業機組和森防站工作, 提高林業有害生物監測效率。

2.1 SITD框架結構

SSD300框架結構如圖3a所示，輸入圖像分辨率為300×300像素，在基礎特征提取器VGG16(Renetal.， 2015)后添加分辨率更小、語義特征更強的卷積層conv6_2、conv7_2、conv8_2，conv9_2，與VGG16的高層特征圖conv4_3、conv_fc7組成多尺度金字塔形預測模塊b1—b6，并以特征圖的每個單元為中心，生成不同尺寸默認框，用于檢測不同大小的目標。

SITD基于SSD框架，結構如圖3b所示。為提升框架對小尺度目標的檢測能力，保留VGG16的conv1_1—conv5_3，將fc6和fc7層轉化為卷積層，并將輸入圖像分辨率擴大至640×640像素。同時，為了盡可能利用網絡空間信息，保證生成默認框覆蓋更多的小目標樹木，SITD從conv3_3開始構建預測模塊。受拍攝高度、鏡頭焦距和樹木冠幅約束，本研究數據集的樹木目標尺寸范圍相對固定。如圖4a所示，特征圖b5、bM6默認框尺寸遠大于圖3b和圖4c中無人機圖像的樹木目標，因此SITD不再添加卷積層，選擇b1—b4(conv3_3、conv4_3、conv5_3，conv_fc7)構建基礎預測模塊,對輸入圖像進行第一次基礎預測，各層分辨率分別為160×160和80×80和40×40和20×20像素。

此外，本研究設計特征增強模塊，強化網絡對小目標樹木的識別能力。將基礎特征圖b1—b4轉化為增強特征圖e1—e4，構建增強預測模塊，進行第二次增強預測。增強特征圖分辨率與對應基礎特征圖相同，但包含更豐富的語義信息。訓練過程結合2次預測，每次預測生成1組默認框，測試過程只利用增強預測，以避免產生額外計算量。

圖3 SSD300和SITD框架結構對比

默認框生成設置如表3所示，其中默認框生成步長決定相鄰默認框在輸入圖像上的間隔。為保證網絡對小尺寸樹木的敏感性，根據相等比例間隔原則(Zhangetal.， 2017)，設置默認框像素大小為步長的4倍，以保證不同尺寸樹木可匹配到的默認框數近似相等。如圖4d所示，白色虛線框為人工標注框，黃色和藍色實線框為2個不同分辨率特征圖生成的默認框，分別與不同尺寸樹木相匹配。當默認框為n×n像素時，步長為n/4； 當默認框為n/2×n/2時，步長為n/8，此時2株樹木均匹配到3個默認框。增強特征圖e1—e4默認框大小為16～128像素，相比同等級的增強特征圖，基礎特征圖用于分類的語義信息較少，但含有更多的空間信息，對小目標位置更敏感，因此b1—b4默認框設為e1—e4的0.5倍，范圍為8～64像素。由于無人機圖像中樹冠包圍框的長寬比近似為1，故設置特征圖每個單元格只對應1個正方形默認框，即長寬比為1。2組默認框總數為68 000個，可有效覆蓋圖中待檢測小尺度目標。

圖4 不同基礎特征圖生成默認框示意及默認框在輸入圖像中分布對比

表3 基礎和增強預測模塊特征圖及默認框屬性

2.2 特征增強模塊

為豐富原始特征圖的語義信息，保證網絡對小目標樹木精確定位的同時提高網絡識別能力，本研究設計一種結合特征金字塔網絡與空洞卷積的特征增強模塊。

特征金字塔網絡利用標準卷積和側面連接組成自頂向下結構，通過融合低層特征和上采樣后的高層特征，使低層特征含有語義更強的高級特征。頂層b4特征層中目標樹木較小，作為特征金字塔會產生較多噪聲，且模糊的小尺寸樹木與清晰的大尺寸樹木紋理特征差別較大，使用頂層特征增強小目標檢測并不合理。因此，特征增強模塊利用低層特征金字塔網絡 (low-level feature pyramid network，LFPN)(Tangetal., 2018)結構方式，對特征圖b1—b3構建特征金字塔。

相比普通卷積，空洞卷積(Chenetal.， 2018)可在保證網絡參數量相等的前提下得到分辨率更高、語義信息更豐富的特征圖。故本研究在b1—b3特征金字塔網絡后構建多分支空洞卷積網絡，以增大網絡寬度、提高檢測準確度。

圖5 特征增強模塊結構

b1—b3的特征增強模塊結構如圖5所示。首先對基礎特征圖bi+1進行1×1卷積，輸出通道數為Ci；然后對該特征圖進行上采樣，擴大分辨率至B×B，并與1×1卷積平滑后的bi逐像素點相加得到融合特征圖；接著將融合特征圖送入多分支空洞卷積網絡，空洞卷積次數分別為0、1、2，卷積核k為3，步長s為1，膨脹系數d為2，輸入通道數為Ci，輸出分別為256、128、128； 最后拼接各分支輸出，生成通道數為512的增強特征圖ei。b4的特征增強模塊只采用多分支空洞卷積網絡。

2.3 雙層損失函數

SITD模型訓練采用雙層損失函數(L)，即基礎預測損失函數 (Lb)與增強預測損失函數 (Le)的加和：

L=Lb+Le。

(2)

Lb和Le為基于默認框的多任務損失函數(Liuetal., 2016)，由分類損失 (Lc)和位置損失 (Ll)組成：

(3)

(4)

Lloc為預測框與標注框之間的smoothL1損失(Ross, 2015)，定義為：

(5)

式中：(x,y)、w和h分別為包圍框的中心坐標、寬和高。

分類損失Lconf為背景與受災樹木間的softmax損失，定義為：

(6)

背景分類記為0，受災樹木分類記為1。

3 結果與分析

3.1 試驗環境與評價指標

本研究訓練模型的深度學習服務器安裝Ubuntu 16.04 64位系統，使用PyTorch深度學習開源框架，服務器搭載Intel CPU (64 GB 內存)NVIDIA GTX 1080TI GPU (11GB 顯存)。訓練階段設置初始學習率為0.001，批量大小為8，選擇動量為0.9的隨機梯度下降算法進行優化。模型共訓練150輪，學習率在120輪下降為原來的0.1倍。數據擴充方法與SSD目標檢測框架相同。

測試階段采用PASCAL VOC標準的平均查準率 (average precision，AP)評價受災樹木檢測精確度。AP是深度學習目標檢測通用評價指標，可評價分類和定位準確率，分類即判斷預測是否為受災樹木，定位即判斷模型預測框與人工標注框之間的IoU是否符合要求。AP為召回率(Recall)和精確率 (Precision)曲線下的面積(Everinghametal.， 2015),精確率和召回率定義為:

(7)

(8)

式中：Tp為檢測結果中的真正類 (true positive)個數，即預測框與標注框類別相同且IoU > 0.5;Nd為非極大值抑制后檢測框個數;Ng為標注框個數。

3.2 試驗分析

不同檢測模型在無人機森林圖像數據集上的檢測精確度如表4所示。模型0、1的預測模塊均使用基礎特征圖，模型1只保留b1—b4，以減少運算量和參數量，測試AP為90.42%，相比模型0幾乎沒有降低。模型2加入特征增強模塊，預測模塊采用增強特征圖e1—e4，比模型1測試AP提高0.5%。模型3采用雙預測模塊，AP提高至92.62%。模型4以ResNet101為基礎特征提取器，相比模型3測試AP降低0.33%，原因可能如下： 1) ResNet101第一個卷積層下采樣操作導致網絡丟失部分空間信息，降低了網絡對小目標的檢測能力。2) ResNet101使用批歸一化 (batch normalization，BN)(Ioffeetal.， 2015)，而BN的性能依賴于批量大小 (通常為32)，批量減小將增大BN預測誤差(Wuetal.， 2018)，ResNet101訓練需大顯存。本試驗受服務器顯存限制，在模型4訓練過程中批量最大為4，從而導致測試AP較低。

表4 不同SITD檢測模型的測試AP

SITD和已有目標檢測框架在無人機森林圖像數據集上的Precision-Recall曲線如圖6所示。各檢測框架基礎特征提取器均為VGG16，訓練批量為8，后綴300和512表示輸入圖像大小分別為300×300像素和512×512像素。在SSD300、SSD512、FSSD512和RFBNet512檢測框架中，RFBNet512框架表現最好，在數據集上的測試AP為71.81%，SITD框架的測試AP比RFBNet提高21.51%，比SSD300提高69.71%。由此可見，相較于面向通用數據集的目標檢測框架，更適用于無人機圖像中的小目標樹木檢測。

3.3 檢測結果與錯誤分析

完整無人機森林圖像中樹木密度較大，且生長在坡地的樹木圖像邊緣存在畸變。圖7a、b所示為受災樹木分布密集區域檢測結果，SITD框架可準確識別和定位其中單株受災樹木。此外SITD框架對區域1中位于圖像邊緣的側視受災樹木也有較高檢測能力，可準確辨別較大樹木的樹枝和較小樹木(圖7c)。綜上，SITD框架能夠實現無人機森林圖像中受災樹木的數量統計和定位。影響檢測精度的主要原因如下： 1) 特殊姿態的樹木由于訓練樣本較少，不易檢測而導致漏檢，如圖7b所示，區域2中被漏檢的左右2株分別為已落葉枯死木倒伏木；2) 位于圖像邊緣的不完整樹木不易檢測而導致漏檢，如圖7d所示。

4 討論

針對現有無人機森林圖像識別方法效率低、無法直接處理高分辨率圖像以及難以檢測生長密集、尺度較小的樹木等問題，本研究提出一種基于深度學習的小目標受災樹木檢測方法(SITD)。SITD框架在SSD目標檢測框架基礎上增大輸入圖像和分辨率，從conv3_3開始構建預測模塊，精簡基礎特征圖為b1—b4，并優化特征圖的默認框生成方式； 此外，通過特征增強模塊將基礎特征圖轉化為增強特征圖，在模型訓練中結合基礎特征圖進行2次預測，生成2組默認框； 模型訓練采用雙層損失函數，以提升網絡的特征學習能力。

相比已有利用圖像顏色特征(呂曉君等， 2016)檢測受災樹木的方法，SITD無需人工目視判斷樹木受災情況，且可準確區分顏色相近的道路、裸地和屋頂等干擾因素。同時，利用圖像分析技術(費運巧等， 2017b)進行受災樹木檢測，需針對不同試驗數據設計算法，耗時較久，且該技術對無人機圖像中小尺度目標識別和定位效果較差，通常只能分割受災區域，難以定位受災單株。而SITD可面向不同數據，無需進行大量圖像預處理，結合移動圖形工作站可實現林區現場受災樹木實時檢測，極大縮短了森林蟲害監測流程；此外，與目前通用的深度學習目標檢測框架相比，SITD檢測準確度提升較大，可更為精確地識別和定位小尺度受災單株。

SITD只能識別是否受災，無法對受災等級進行分類；且除蟲害外，干旱、病害等其他因素也可造成松樹顏色變化。因此，下一步究將圍繞樹木受災階段及不同災害原因分類識別展開。

5 結論

本研究基于深度學習目標檢測方法，提出一種面向高分辨率無人機森林圖像的小目標受災樹木檢測框架(SITD)，該框架平均查準率達92.62%，相比原始SSD300框架提升69.71%，可快速、準確地對小目標受災樹木進行檢測，與已有無人機森林圖像檢測方法相比具有明顯優勢，結合無人機機組林區現場巡航、云服務器數據庫存儲和地圖可視化等技術，能夠簡化林業有害生物監測流程，提升對森林蟲害的預警能力。