自然環境下單木檢測方法研究
——基于改進Faster-RCNN網絡

張宇棠，謝曉春

（贛南師范大學物理與電子信息學院，江西贛州 341000）

0 引言

江西省贛南地區是全國最大的臍橙主產區，種植面積世界第一。在實際的果林監管規劃工作中仍停留在傳統的人工實地統計，其過程費時、耗力、周期長、成本高，果林智能產業化信息化建設明顯滯后，嚴重阻滯了果林業的快速發展。遙感數據具有范圍廣、成本低、可滿足實時監測果林分布等優點，對果林的單木檢測能夠高效統計種植面積，定位每一株單木在谷歌地圖上的實際地理坐標，幫助政府及農場主更加精細化的管理果林種植，為管理者提供有效的決策依據。在果林目標檢測過程中存在的難點主要包括目標之間的遮擋與覆蓋問題，不同自然條件下的成像光譜問題等。

Shafri等[1]提出通過光譜分析、紋理分析、邊緣增強、圖像分割、形態分析等多個環節，對油棕櫚樹提取計數，這種模板匹配的方法不適用于果園樹種中存在多個樹冠重疊密集的情況。林怡等[2]通過對林場的LiDAR點云數據進行分析處理，結合K近鄰算法、圓回歸、聚類等進行單木提取。Puliti等[3]使用機器學習的方法搭載無人機直接檢測樹樁并通過圖像分割檢測出樹樁是否腐爛；李東洋等[4]通過激光點云數據獲取地面樹木分布情況，結合形態學冠層控制的分水嶺方法進行單木提取，最終結果一般。甄貞等[5]通過標記控制區域生長法對LiDAR數據進行單木樹冠提取，LiDAR對樹木的垂直結構有很強的獲取能力，針對垂直高度差異大、樹種間差異明顯的森林樹種有較好的檢測效果，但不同果園的管理需求不同，對樹木的裁剪情況不同，導致樹高的不確定性，很難通過這種方法獲得一個良好的檢測效果。Li等[6]基于CNN的特征提取對近萬張大樣本遙感數據檢測，能夠獲得一個較好的結果。張杰等[7]采用ENVI新發布的數據分析工具包Crop Science對衛星拍攝的林地高分影像進行單木提取；Zheng等[8]改進了Faster-RCNN網絡中的RPN網絡對油棕樹進行了單木檢測，F1平均數達到了94.99%；Dong等[9]提出了一種殘留通道注意網絡優化了對油棕數據的分割結果。上述研究的檢測效果仍存在提升空間，對不同數據集的樹冠高度、類間差異、疏密程度、覆蓋遮擋等都存在一定的局限性，其中部分研究直接針對一片區域進行單木提取，無法區分果樹與雜樹，這對一些特殊需求的管理統計會造成很大的誤差。

本研究以贛南地區信豐縣臍橙園、贛縣林地為研究區，以研究區內典型的臍橙樹、松樹為研究對象，首先對原始數據預處理得到瓦片正射影像，對獲取到的遙感數據做DSM等影像預處理，通過K-means[10]算法對樣本中待測目標聚類分析先驗初始化anchor，保證網絡能夠獲取到理想的感受野[11]。再提出一種改進的Faster-RCNN[12]網絡結構提取目標特征、迭代訓練數據并遷移學習[13]微調分類器，最終通過交叉驗證以及實地檢測驗證模型精度給出目標檢測結果圖。

1 研究區概況與數據預處理

1.1 研究區概況

研究區位于贛州市南部信豐縣(114°87’E，25°46’N)，海拔變化范圍0～100 m，屬于亞熱帶季風性濕潤氣候，年均溫度18.9℃，最高氣溫39℃，最低氣溫1℃，年均濕度80%，年均降水量1680.2 mm。贛南地區果園以臍橙種植最為出名，多為山地種植，特選此作為本次實驗對象，以達到大范圍監測統計、精準定位的目的。

1.2 數據來源及預處理

分別以2019年8月、2019年11月通過無人機飛馬D200機載Sony ILCE6000鏡頭分別采集研究區域在不同高度、不同天氣下的高分影像作為數據源，以此保證數據的廣泛性，提升實驗結果的泛化能力。實驗數據采集設備如圖1所示。在航拍臍橙果樹前初始化無人機各級參數獲取其重疊度，經Pix4Dmapper軟件預設測區地理參考匹配值，經過加密點云LAS和三維網格紋理處理，對無人機的多組數據做空中三角測量計算（圖2），對空中三角測量的計算結果做建模處理，獲取到其清晰的三維模型（圖3），繼而可獲取所需的柵格數字表面模型(DSM)以及正射影像圖，并轉換輸出對應的谷歌地圖瓦片作為實驗數據。瓦片尺寸為2048像素×2048像素，共拍攝1000張圖像，并選取具有訓練價值、圖像完整、清晰的單木遙感圖800張，由于每張圖像中的可檢測的單木數量在10～200個不等，待訓練樣本充足。選取600張作為訓練集，剩余200張為測試集。

圖1 實驗數據采集設備

圖2 空中三角測量

圖3 建模后的三維模型

現有的臍橙果林目標檢測數據集并不常見，大多無法滿足實際自然條件下的復雜背景以及人為導致的目標分布密度不同的識別要求。在開始實驗之前需要對采集的圖片進行目標位置標注。

由于數據集中每張圖片內的目標數量過多，為減輕人工標記的工作量，通過模板匹配的方法來預標記待訓練數據，即以模板圖片作為搜索依據，在較大圖像中進行滑動查找和位置搜索，將模板圖像在待測圖像上由左至右、由上至下的滑動檢測，每次匹配的目標框大小恒等于模板圖像的尺寸，進而進行像素比較運算，在像素比較運算過程中，采用標準（歸一化）相關系數匹配方法，如式(1)～(3)。

式中，R(x,y)表示像素對比運算結果的儲存矩陣，T(x’,y’)表示模板圖像矩陣，I(x,y)表示待匹配的源圖像矩陣，

標準相關系數匹配方法主要是將模板矩陣均值的相對值與待匹配源圖像矩陣均值的相對值進行匹配，并測量其相關系數，匹配結果取值范圍為[-1,1]，1表示匹配度最高，0表示毫無相關性，-1表示最差匹配結果。

如圖4所示，隨機選取一顆樹作為模板進行模板匹配計算，在匹配閾值為0.4的情況下經過NMS非極大值抑制算法得到的匹配目標框，經過人工篩選不符合期望的誤識別，重新作為新的模板進行迭代匹配第2輪，模板匹配過程共耗時384.8 s，最終經過多輪迭代及人工少量篩選得到帶有標簽的訓練樣本數據。

圖4 模板匹配標記數據過程圖

2 研究方法

在深度學習目標檢測領域中，Faster-RCNN在最初RCNN的基礎上加入了一個新的網絡——RPN，又在原有網絡上增加了一個ROI池化層。整個網絡模型主要基于卷積神經網絡構建，Faster-RCNN通過卷積層得到特征圖，滑動窗口對特征圖上每一個位置根據不同的縱橫比和尺寸映射回原圖生成多個錨點(anchor)，為降低后續計算量龐大的問題，由RPN網絡對這些錨點進行預提取。ROI池化層可接收任意尺度的輸入，并固定尺度輸出與后續全連接層相連，最終送入分類器和邊框回歸層，即可得到最終的檢測結果。

Faster RCNN中用于提取特征的基礎網絡是vgg16和ResNet101，這2種基礎網絡無論在VOC2007還是coco數據集上都取得了較高的檢測精度和速度。但在小型密集的目標檢測實驗中發現，vgg16和ResNet101作為基礎網絡存在小目標大批量漏檢與誤檢等缺點，考慮到是由于基礎網絡的特征提取利用相對不足，本研究借鑒了DeneseNet的密集連接思想，提出了Des Faster-RCNN網絡結構，并結合K-means聚類分析先驗數據分布，提高算法性能、減小運算成本。

2.1 輸入數據尺度變換

由于計算設備存在顯存上的限制，卷積神經網絡的設計對圖像的輸入尺寸也存在一定要求，故需要對實驗數據的瓦片進行尺度變換至適宜的尺寸。考慮到需要保有圖像的紋理特征，采用雙三次插值法[14]對圖像進行尺度變換。Parker等[15]對比分析了幾種經典的空間插值方法，對比結果證實該類方法能夠有效保有像素間的特征信息，縮放處理速度較快。

雙三次內插值法屬于立方卷積插值，相較于雙線性插值[16]不僅加權計算了直接相鄰4個點的像素貢獻，還加入了直接相鄰點以外的像素值變化率的影響，更多地考慮了圖像縮放中每一個像素點周圍的特征信息，如圖5所示，對需要進行縮放的每一個像素點所在的4×4的矩形網格內進行采樣并加權平均，采用BiCublic插值函數計算這16個像素的貢獻權重因子。

圖5 雙三次內插值法示意圖

BiCubic插值基函數如圖6所示，該函數連續。BiCubic基函數如式(4)。

圖6 Bicublic函數在a的不同取值下的函數圖像變化情況

式中，a常取-1～-0.5，由函數圖像（圖6）可知，a取值越小，計算后的圖像內不同坐標位置下的貢獻權重值的差距越明顯，W(x)為貢獻權重，根據不同位置求得的不同權重系數帶入到雙三次內插值的計算公式中[式(5)]。

式中，(xi,yj)為圖5中相較于目標像素點P的坐標位置，i、j屬于[-1,2]。在水平和豎直方向上進行多項式3次插值，完成圖像的尺度變換縮放。

多種圖像尺度變換的實驗方法對比如圖7所示。通過對比4種常見的圖像尺度變換方法（雙三次插值、最近鄰插值、Pillow庫中resize方法、雙線性插值），將一幅512×512的圖像縮放至256×256。從圖像效果上看，雙三次插值、最近鄰插值[17]在細節保留上較為完整，PIL中resize方法和雙線性插值對于細節較為模糊。表1為縮放后的文件大小。通過實驗對比，最終選用雙三次插值做為全局圖像尺度縮放變換的唯一方法。

圖7 圖像在不同尺度變換方法下的效果細節圖

表1 不同縮放方法下的圖像文件大小

2.2 ResNet和DenseNet

在深度學習中，網絡的深度決定了網絡的性能。加深網絡深度對圖像的特征提取能力也會增加，但是也會面臨梯度爆炸、網絡退化等問題。為解決網絡堆疊所帶來的一系列問題，何凱明等[18]提出殘差網絡(ResNet)結構，該網絡結構由多個殘差單元組成，其中一個殘差單元如圖8所示，整個結構也稱為“bottleneck design”，這種結構可以有效降低參數量，更容易實現梯度的反向傳播，該殘差單元的定義如式(6)。

圖8 一個殘差單元的基本模塊

式中，xi為第i層的輸出，xi+1為第i+1層的輸出，?表示對x的一系列組合操作，包括ReLu(Rectified linear unit，ReLu)激活函數，一般為修正線性單元、Pooling池化操作、多個Conv層卷積操作、Batch Normalization批量歸一化操作。在訓練過程中，網絡只需學習輸出xi+1與輸入xi的差?(xi)即殘差即可。當網絡學習達到最優狀態，該結構會直接通過恒等映射向下方傳遞輸入，即可保證網絡始終處于最優狀態，不會因為層數的加深導致網絡的退化。

ResNet能夠有效改善網絡加深梯度導致的爆炸彌散等問題。為進一步降低網絡訓練參數、提高特征及原始樣本的利用率，在實際檢測任務中，遇到目標在整幅圖像中占比較小時，由于多層卷積會導致目標信息丟失，通過密集連接網絡(DenseNet)[19]的網絡結構改善算法，通過多層特征融合復用的思想，嘗試提高網絡對于小型密集目標的學習能力。

如圖9所示，DenseNet由多個密集連接塊(DenseBlock)組成，每個DenseBlock內部包含多個層間變換，如式(7)。

圖9 Densnet中一個模塊的網絡結構圖

式中，x0為DenseBlock中的特征圖輸入，xi為經過層間變換后的第i層輸出，Hi為非線性變換函數組(BN、ReLU、Conv(1,1)、BN、ReLU、Conv(3,3))。[x0,x1,x2,…,xi-1]表示依照圖9中的方式連接，表示根據深度對特征圖的通道(chanel)維度直接連接。

2個相鄰的DenseBlock之間通過Transition相連，Transition層包括BN、ReLU、Conv(1,1)、AvgPooling(2,2)，其主要目的是降低特征圖的大小、壓縮模型參數。

3 K-means

為獲得符合目標樹種z的長寬比形態學特征上的初始目標候選框，可通過機器學習中的聚類算法對樣本目標的長寬值進行聚類分析統計，得出最優的目標候選框的長寬比。在機器學習算法中K-means聚類屬于無監督算法，根據給定數據集間的特征關系，按照樣本間的實際距離將其聚類為K個簇，保證簇內的距離最小、簇間距離最大。通過計算評價聚類結果中各簇內部的緊密程度與簇間的分離程度關系Mean IoU（Mean IoU表示所有簇下的anchor與目標邊框的IoU均值）來確定最佳聚類中心個數K的取值。為保證送入后續網絡中anchor值初始化的合理性，需對樣本數據做標準化處理，將其目標邊框作為聚類特征數據輸入，目標邊框尺寸的大致分布如圖10所示，待測目標分布較為集中，但由于實際大小不一，存在尺度差異。經多次迭代計算，計算多組K值下的Mean IoU如表2所示。簇的數量Clusters與其目標邊框的IoU結果呈正比。由表2繪制圖11，Clusters的數量與Mean IoU的增幅呈反比并伴隨著龐大的計算量，給后續網絡計算增加負擔。

表2 K-means中不同簇心取值下目標邊框的IoU均值

圖10 經過標準化處理后目標邊框的尺寸分布

圖11 Mean IOU隨K值變化曲線

改進的Faster-RCNN算法結構如圖12所示。在深度學習目標檢測領域中，Faster-RCNN在最初RCNN的基礎上加入了一個新的網絡——RPN，又在原有網絡上增加了一個ROI池化層。整個網絡模型主要基于卷積神經網絡構建，Faster-RCNN通過卷積層得到特征圖，滑動窗口對特征圖上每一個位置根據不同的縱橫比和尺寸映射回原圖生成多個錨點(anchor)，為降低后續計算量龐大的問題，由RPN網絡對這些錨點進行預提取。ROI池化層可接收任意尺度的輸入，并固定尺度輸出與后續全連接層相連。最終送入分類器和邊框回歸層，即可得到最終的檢測結果。筆者提出一種基于K-means聚類分析的算法改進RPN網絡中anchor的初始化機制，以及網絡最后4層的權重結構來提升模型對自然環境下目標樹種的檢測能力并加快收斂。

圖12 基于K-means聚類分析改進的Faster-RCNN算法結構圖

在目標檢測任務中主要通過平均精度mean Average Precision(mAP)來衡量一個檢測結果的優劣。根據不同的類別繪制出對應每一類的recall和precision曲線，AP即單類別檢測曲線下的面積，mAP為多類別AP和的平均值。recall代表召回率，即預測結果中預測為正的正樣本數量Tp與原樣本空間中所有正樣本數量Tp+FN的比值，其表達式如式(8)。precision代表準確率，即預測結果中預測為正的正樣本數量Tp與預測結果中預測為正的樣本數量Tp+Fp的比值，其表達式如式(9)。在評估過程中，期望P和R的值均能更高，加入F1來綜合兩者的評估指標，其表達式如式(10)。檢測過程中對于一個目標會生成多個預測框，提出IoU作為檢測結果中目標框準確度的衡量標準。即預測框與目標標簽框選區域的交并比的值稱為IoU，通常IoU的值大于閾值被認為是一個正確的預測框，反之為一個錯誤的預測框。閾值可人為設定，IoU具體表達式如式(11)。

4 實驗

4.1 實驗環境

實驗軟件平臺采用Linux Ubuntu 16.04 LTS系統、labelImage 1.8.3、OpenCV 4.1.2、tensorflow 1.14.0、CUDA 10.0.130，Cudnn 7.4.2計算機配備了32 GB內存，Intel(R)Xeon(R)CPU E5-2620 v4@2.10 GHz，4張GeForce RTX2080ti顯卡。

初始學習率為0.0001，訓練15000次后學習率降低為0.001；動量因子為0.9；迭代訓練20000次；每批次處理的數據量為128；采用L1平滑損失函數[20]處理數據中的異常值，模型優化器為SGD[21]；訓練前，通過改變亮度、對比度、飽和度等增強訓練樣本，提升檢測模型在面對不同環境下數據集的魯棒性，最終通過遷移學習微調提升網絡性能。

4.2 實驗方法與結果

4.2.1 實驗一 經過改進骨干網絡后的Faster-RCNN模型與當下較為流行的其他3種模型做了檢測性能對比（表3）。Des Faster-RCNN由于在特征圖卷積過程中依然保留先前的特征進行學習，所以精度更高，網絡模型體積相較于其他模型更小，檢測速度相較于原本的Faster-RCNN更快。表明Des Faster-RCNN網絡能夠在壓縮模型體積的基礎上，進一步提升檢測精度及速度。

表3 不同網絡模型下對臍橙單木數據集的檢測結果對比

4.2.2 實驗二 表4為在Des Faster-RCNN的基礎上，加入K-means聚類分析的改進實驗，根據訓練經驗擬定生成的anchors數量為9設計實驗，圖13為Clusters數量為9時K-means聚類分析輸出的樣本分布圖，height和width表示anchor相較于原圖寬高縮放后的尺寸，N表示在不同尺寸anchor下待檢測的目標數量。設定相同數量下不同尺寸的anchor，對比最終檢測精度，其中(0.03,0.05,0.07)為加入K-means聚類輸出的結果，其他anchor尺寸為人工預設的多組對照實驗。結果表明，相較于人工預設的anchor值，加入K-means聚類分析后的anchor尺寸可提高Faster-RCNN的檢測精度并加速網絡收斂。

表4 相同數量不同尺寸的anchor對檢測結果的影響

圖13 K-means輸出的樣本分布圖

4.2.3 實驗三 基于實驗二的結論設計實驗三。anchor尺寸全部經過K-means聚類分析，即在不同Clusters數量下的聚類結果，取消人工預設anchor尺寸。表5結果表明，Clusters數量為9時，Des Faster-RCNN的檢測結果精度最高，并驗證了隨著Clusters的增加，anchor數量冗余導致計算量倍增，不利于網絡收斂，檢測精度降低。

表5 anchor尺寸經過K-means聚類輸出的結果值

4.3 遷移學習及網絡微調

遷移學習即將其他領域中學習到的知識或模型應用到不同但相關的領域中。卷積神經網絡中，隨著模型的層數復雜度的增加，模型的學習能力會有所提高。表6為在對Des Faster-RCNN訓練的過程中，凍結骨干網絡的特征提取層，調節后續網絡結構。設計實驗對比淺調網絡模型的最后2層（分類得分層、邊框回歸層）、深調網絡模型的最后4層（分類得分層、邊框回歸層、全連接一層、全連接二層）。經過遷移學習深調后，網絡能夠更有效地利用特征信息，對分類器以及回歸精度有4個百分點的提升，整個訓練過程中的各項損失值也更加收斂。

表6 經過微調前后模型的各項評估值

4.4 測試地塊結果圖

經過K-means改進的Des Faster-RCNN網絡在實地自然復雜環境下的臍橙果樹檢測效果如圖14所示。

圖14 Des Faster-RCNN網絡檢測細節圖

選取贛南地區寧都縣果園作為無人機航測地塊進行實地檢測，結果如圖15所示。并將其上傳至已經構建的江西臍橙產業大數據平臺中。

圖15 實地航拍原圖及其檢測結果

在實地檢測任務中，由圖14a～b可知，陰天和晴天即使對無人機拍攝的成像效果存在較大的明暗差別，但檢測效果較為準確，由圖14c可知，雖然臍橙在不同生長時期、不同樹齡的果樹大小不一，在無人機拍攝成像效果上的像素占比不同，但依然可通過本研究提出的改進方法達到較為準確的檢測效果，由圖

14d可知，臍橙果樹大都較為粘連、密集，為遙感俯視圖中的檢測任務帶來難題，本研究提出的網絡改進方法可有效解決密集、粘連的臍橙果樹檢測計數問題。由圖15可知，經過批量的瓦片識別后，根據瓦片的坐標信息轉換成谷歌坐標格式，根據坐標信息上傳拼接至谷歌底圖，從而實現直觀的審閱統計，將數據坐標信息儲存到云數據庫中，完成構建江西省臍橙產業大數據平臺。

5 結語

針對臍橙果林統計在自然復雜環境下單木提取準確率較低的問題，提出了一種改進的多尺度卷積骨干網絡Des-Faster-RCNN，并加入了K-means聚類分析改進網絡參數設置，訓練過程結合遷移學習的思想進行微調，實現對臍橙果樹在不同自然環境、不同生長時期以及不同長勢下的檢測與檢測，最終在測試集上的平均精度為97.6%，并與當下較為前沿的YOLOv3、Faster-RCNN、SSD檢測模型相比，均有不同程度的提升。

為驗證提出的改進算法的有效性及可行性，筆者設計了3組實驗，對不同條件下的改進策略進行檢測性能的對比。結果表明，改進的Des Faster-RCNN網絡能夠有效提高網絡在卷積過程中對其特征的利用率，加強對密集粘連目標以及小目標的檢測能力，通過縮減網絡結構中卷積層的數量，充分壓縮網絡模型；加入K-means聚類分析改進網絡預設參數，提高網絡的收斂能力；在訓練過程中結合遷移學習的思想，微調網絡結構中的分類器以及全連接層；結合以上改進，最終提升模型的檢測精度和速度。

將筆者提出的算法用于工業實地檢測，并保存于構建的江西省臍橙產業大數據平臺，為果林智能化管理提供必要幫助。未來將結合高光譜數據在果林病蟲害檢測方向上展開進一步研究。