基于語義分割的矮化密植棗樹修剪枝識別與骨架提取

馬保建 鄢金山 王 樂 蔣煥煜,3

(1.浙江大學生物系統工程與食品科學學院， 杭州 310058; 2.新疆理工學院機械電氣工程學院， 阿克蘇 843100；3.浙江省農業智能裝備與機器人重點實驗室， 杭州 310058)

0 引言

近年來，紅棗的種植面積和產量逐年增加，但在棗園的管理過程中，棗樹的春季修剪(集中在1—3月)仍以人工作業為主[1]。棗樹的春季修剪通過去除多余或過長的樹枝控制樹形結構，達到增加紅棗產量的目的[2]。隨著棗樹的種植模式向矮化密植方向發展，并且其樹形結構主要包括小冠疏層形和開心形結構，這種樹形結構為機械化修剪作業提供了可能性[3]。目前，棗樹修剪機械的研制還處于探索階段，劉玉冬[4]研制的仿形修剪裝置對矮化密植棗樹進行整株幾何修剪，達到了粗剪的目的，但錯剪、漏剪較嚴重。而采用自動選擇性修剪方式可以極大提高剪枝效率并且能夠避免大量有用枝條被誤剪，從而提高果樹產量[5-6]。

對于自動選擇性修剪研究的關鍵部分是果樹的枝干識別[7]。近年來對于果樹枝干識別的研究取得較大進展。文獻[8-12]主要是針對果樹的主干進行識別分割，而對于果樹修剪枝識別并未涉及。

MAJEED等[13]利用SegNet深度學習網絡對單主干蘋果樹的樹枝和樹干進行識別，為自動壓枝機器人研制提供依據，同時對比分析去背景與未去背景蘋果樹枝干的分割精度，結果表明去除復雜背景后的蘋果樹枝干分割精度得到提升。FERNANDES等[14]利用實例分割算法Mask R-CNN對樹形較簡單的葡萄樹潛在的修剪點進行識別，并結合圖論算法最終確定枝條的修剪位置。KARKEE等[15]通過搭建的視覺系統獲取無葉單主干蘋果樹的點云信息，利用20幀點云重建其三維模型，結合特定的鄰域規則對枝干進行分割，修剪枝識別精度為77%，該研究的重建過程較復雜，并且識別精度需進一步提高。BOTTERILL等[16]利用多視圖幾何的方法重建葡萄樹枝干三維模型，結合SVM算法識別葡萄樹枝條的修剪位置，同時進行了田間試驗，結果表明修剪一棵葡萄樹需要2 min。雖然文獻[13-16]對果樹樹枝識別分割進行了探索，但是主要集中在國外單主干的蘋果樹和樹形較簡單的葡萄樹方面，而對于我國樹形結構較復雜的開心形棗樹修剪枝識別有待深入研究。

本文利用RGB-D深度相機搭建的感知平臺獲取休眠期矮化密植開心形棗樹的枝干彩色點云信息，并根據距離閾值去除復雜的棗樹背景，以消除復雜背景對棗樹枝干識別的影響，結合語義分割網絡對去背景的棗樹圖像進行分割，探討不同天氣情況下枝干識別準確率。然后提取修剪枝的掩膜并對其二值化，依據二值圖計算各連通域面積去除噪聲，同時對連通域標記，提取修剪枝骨架，最后確定修剪枝數量，并建立修剪枝數量真實值與預測值的相關性，以期為提取修剪枝長度參數并依據其長度進一步確定剪枝點位置提供依據。

1 材料與方法

1.1 試驗場地與數據獲取

試驗場地位于浙江省義烏市星凱農場大棚內，大棚的主要目的是防止梅雨季節對棗樹開花和結果的影響，且棚內無人工光源，在其內種植的棗樹為5～6年生矮化密植開心形樹形結構，由二次枝(修剪枝)和主干組成(圖1a)，樹高為1.8～2.2 m，株距為1.5 m，行距為1.8 m。利用前期研究搭建的系統平臺[17]距離棗樹主干1.1～1.3 m的位置獲取棗樹的枝干信息，如圖1b所示(拍攝于2020年1月)。在2020年1—3月和2021年1—3月期間，獲取不同光照條件下(晴天、陰天、夜間、遮光)休眠期的棗樹枝干彩色點云(圖1c～1e)。晴天時，數據采集時間為08:30—11:30，夜間采集時間為19:00—21:30，采集矮化密植開心形棗樹彩色點云圖像共1 032幅。

1.2 數據預處理與數據集構建

由于彩色點云是由RGB圖像和深度圖像通過深度相機內部參數的映射關系得到，因此利用深度信息即距離閾值為1.2 m(圖2b，為顯示清楚對其渲染)去除復雜的棗樹背景(圖2a)，得到其前景圖像(圖2c)。棗樹前景圖像采用Labelme軟件[18]人工標注，標注完成后得到每幅圖像的json格式數據(圖2d)，然后把數據變換成PASCAL VOC數據集格式，并獲取對應的掩膜圖像，圖2e中綠色標簽為主干、紅色標簽為修剪枝、其余部分為背景，將標注完的1 032幅前景棗樹圖像，按照比例8∶2分為訓練集和驗證集(隨意選擇825幅圖像用于模型訓練，207幅圖像用于測試)，用于模型的有監督訓練。

圖2 數據集構建過程Fig.2 Process of dataset construction

1.3 DeepLabV3+語義分割模型

本研究需要從復雜棗樹樹形結構中準確地識別出修剪枝，修剪枝和樹干的顏色特征沒有差異，但是在幾何特征上存在一定的區別(大部分主干都朝一個方向，而修剪枝以一定傾斜角度分布在主干兩側)，因此，利用數據驅動的方式學習棗樹枝干之間幾何特征的差異。CHEN等[19]利用DeepLabV3深度學習模型對部分有遮擋的蘋果樹(V型結構)主干進行分割，并取得較好的結果，而DeepLabV3+深度學習模型[20]在DeepLabV3框架[21]基礎上增加了解碼結構，進一步提升圖像的語義分割精度，在PASCAL VOC 2012數據集挑戰中取得了良好的結果。因此，利用DeepLabV3+模型對棗樹的枝干進行分割。DeepLabV3+整體模型框架是一個帶空洞卷積的編碼-解碼結構，如圖3所示，其中不同的顏色代表不同的特征，該模型利用了空洞卷積金字塔池化機制(ASPP)進行多尺度的學習圖像語義特征。為了得到參數量較少以及較好的分割模型，利用MobileNet V2和ResNet-50特征提取網絡[22-23]分別對棗樹圖像特征提取，得到圖像的高語義信息特征和低語義信息特征。在模型編碼階段，利用并行的空洞卷積金字塔池化(包括1×1卷積層、不同膨脹率的3×3卷積層和全局平均池化層)對高語義信息進一步提取，并把提取的特征圖融合在一起，經過一個1×1卷積層調整融合特征圖的通道數并輸出到模型解碼階段，輸出的特征圖利用雙線性差值的方法上采樣4倍，然后與低語義信息特征經1×1卷積層提取的特征融合在一起，最后利用3×3卷積層和簡單的上采樣層完成模型解碼過程，實現圖像的語義分割。

圖3 DeepLabV3+分割過程Fig.3 Segmentation process of DeepLabV3+

1.4 模型訓練與參數設置

為了進一步提升模型訓練效率，減少訓練時間，利用數據集(VOC12+SBD)的預訓練模型，共享權重參數，對模型進行微調。具體步驟：①利用預訓練權重對DeepLabV3+模型進行初始化。②凍結特征提取網絡的權值，并設置學習率為0.02對后端網絡進行訓練。③改變學習率為0.002，對整個模型的權值參數進行微調訓練。經過多次試驗，最后確定DeepLabV3+模型的訓練參數，如表1所示。DeepLabV3+模型訓練計算機處理器為Intel Core i7-6700，內存為24 GB，以及NVIDIA 12 GB 1080Ti GPU，操作系統為Ubuntu 18.04。軟件包括CUDA 10.0、CUDNN 9.1和 Python 3.7，模型訓練利用的深度學習框架為Pytorch 1.3。

表1 模型訓練主要參數Tab.1 Main training parameters of model

1.5 修剪枝骨架提取

在實現開心形棗樹語義分割之后，進一步利用圖像形態學的方法提取修剪枝條的骨架，以便后期提取修剪枝條長度參數。首先提取棗樹修剪枝的掩膜并進行灰度化處理，采用最大類間方差法(Otsu)對棗樹灰度圖像二值化處理，利用8鄰域方式對二值圖像進行連通域標記，計算每個連通域面積，面積小于200個像素即被判定為噪聲點并去除，大于該值則保留，同時對去噪后的連通域隨機配色，最后利用文獻[24]提出的骨架算法對修剪枝骨架進行提取，該方法在提取骨架過程中，不僅速度快，無毛刺生成而且細化后的骨架線連通性好[25]。算法迭代過程2個步驟為：

(1)遍歷修剪枝所有前景像素點(其中1代表前景，0代表背景)，x1～x9像素位置分布如圖4所示。滿足像素點標記為刪除點的條件為

圖4 x1像素點8鄰域分布Fig.4 Eight-adjacent neighborhood of x1 pixel

式中，N(x1)表示與中心像素點x1臨近的8個像素中前景像素的個數；S(x1)表示按照順時針從x2～x9～x2過程中出現0～1累計次數總和。

(2)與步驟(1)相似，不斷循環此步驟，直到沒有滿足條件的像素點為止，結果輸出修剪枝的骨架。對符合以下條件的修剪枝前景像素點也標記為刪除點。

1.6 評估指標

利用像素準確率(Pixel accuracy，PA)、交并比(Intersection-over-union，IoU)、平均像素準確率(Mean pixel accuracy，mPA)、平均交并比(Mean intersection-over-union，mIoU)對模型進行評估。

同時，還利用決定系數(R2)和均方根誤差(RMSE)對在不同天氣情況下提取的修剪枝骨架個數進行分析。

2 試驗與結果分析

2.1 DeepLabV3+模型訓練評估

不同特征提取網絡(MobileNet V2和ResNet-50)的DeepLabV3+模型在訓練集和驗證集上的損失值曲線，如圖5所示。模型迭代訓練100次后已收斂，利用MobileNet V2網絡的DeepLabV3+模型的損失值在訓練集和驗證集(MobileNet v2-val)分別是0.21和0.20，而ResNet-50網絡的損失值在訓練集和驗證集(ResNet-50-val)分別是0.16和0.17，并且比MobileNet V2特征提取網絡收斂速度更快，表明該特征提取網絡具有更好的性能，同時也表明DeepLabV3+模型在訓練過程中沒有出現過擬合現象。

圖5 DeepLabV3+模型損失值曲線Fig.5 Loss curves of DeepLabV3+ model

2.2 不同特征提取網絡性能評估

利用不同的特征提取網絡對DeepLabV3+模型訓練，得到不同的訓練權重，分別在整個驗證數據集上(訓練過程中沒有出現過的數據)測試，結果表明：利用基于ResNet-50網絡作為特征提取的DeepLabV3+模型在驗證集上的性能表現優于基于MobileNet V2作為特征提取網絡的模型，如表2所示。同時也對比了另外一個語義分割PSPNet模型[26]在驗證集上的性能表現，該模型與DeepLabV3+模型一樣也采用了空間金字塔池化層對圖像進行多尺度特征學習，在圖像分割任務中也有較高的分割精度，因此利用該模型與本文模型做對比。PSPNet模型對輸入的棗樹前景圖像利用MobileNet V2或ResNet-50網絡提取其特征，在特征圖上利用空間金字塔池化模塊(4層金字塔結構)多尺度收集圖像的語義信息，最后把特征網絡提取的特征與金字塔模塊提取的特征融合在一起，并再經過一個卷積層輸出圖像的分割結果。而該模型最高的mPA和mIoU均低于DeepLabV3+模型的結果。

表2 在驗證集上的性能評估Tab.2 Performance evaluation on validation dataset

2.3 棗樹枝干分割結果分析

利用DeepLabV3+模型得到的語義分割結果，如圖6所示，其中圖6a為不同天氣(晴天、陰天、夜間)情況下的棗樹前景圖像，圖6b為棗樹圖像的真實標簽，圖6c、6d為利用不同特征提取網絡的分割結果。其中紅色代表棗樹修剪枝，綠色代表棗樹的主干。在圖6c的分割結果中，有部分棗樹主干被錯誤分割為修剪枝，而且部分修剪枝沒有被完全分割。在圖6d的分割結果中有較小的修剪枝和噪聲被識別，盡管在真實標簽中這些都被標注為背景信息。

圖6 不同天氣條件下的棗樹分割結果Fig.6 Segmentation results of jujube tree under different environments

進一步分析棗樹主干、修剪枝和背景的分割精度，對于棗樹主干的識別結果PA和IoU高于修剪枝的識別結果，如圖7所示。原因在于：①修剪枝相對于主干較細和短小，分割難度更大。②在棗樹前景圖像中，主干的像素多于修剪枝的像素，在訓練過程中，被網絡學到更多的語義特征信息。③由于開心形棗樹樹形結構復雜，在圖像真實標簽標注過程中，有些枝條不能被準確判斷為是主干還是修剪枝引起歧義判斷(藍色圓圈內)，如圖8所示，也會對網絡模型訓練過程造成影響。對于提高修剪枝的識別精度，可以通過進一步規范或統一棗樹的樹形結構(在保證棗樹產量時，統一棗樹主干的數量，同時使主干往同一方向生長，避免主干之間過多的交叉重疊)和增加訓練數據集來解決。

圖8 歧義標注Fig.8 Ambiguous annotation

同時，為了分析不同天氣條件下對棗樹枝干分割結果的影響，后續又構建了3種天氣下的數據集(60棵棗樹)，包括晴天、陰天和夜間各20棵棗樹數據。不同天氣情況下識別精度如圖9所示。其中晴天的mPA略高于陰天和夜間，而夜間mIoU略高于晴天和陰天。結果表明DeepLabV3+深度學習模型對自然環境條件下的棗樹分割具有很好的魯棒性。

圖9 3種典型天氣下的分割精度Fig.9 Segmentation accuracy under three weather conditions

2.4 修剪枝骨架提取分析

棗樹修剪枝骨架提取過程如圖10所示。同時把棗樹主干標記配色RGB為(0,0,0)，然后和提取的修剪枝骨架進行與運算，處理得到的結果如圖11所示。為了分析不同天氣對骨架提取的影響，利用2.3節所構建的60棵棗樹數據集，對不同天氣下的棗樹進行修剪枝骨架提取，以確定修剪枝個數，并與真實修剪枝數量進行相關性分析，如圖12所示。結果表明，晴天時修剪枝決定系數高于陰天和夜間，同時晴天時的均方根誤差相比于陰天和夜間也最小。原因在于：①晴天時修剪枝的分割精度略高于陰天和夜間。②夜間獲取的點云數據噪聲最大，導致更多修剪枝粘連在一起，使得修剪枝預測值與真實值差距較大。

圖10 修剪枝骨架提取過程Fig.10 Process of skeleton extraction

圖11 修剪枝識別和骨架提取Fig.11 Example of identification of pruning branch and skeleton extraction

圖12 不同光照條件修剪枝預測值與真實值Fig.12 Analysis between predicted and ground truth values under different conditions

3 結論

(1)利用RGB-D相機搭建的視覺系統獲取棗樹枝干信息，并建立了開心形棗樹前景圖像數據集，利用語義分割網絡能夠較準確分割自然環境下的復雜樹形結構的棗樹枝干，在DeepLabV3+分割模型中棗樹主干、修剪枝2個類別的像素準確率(PA)和交并比(IoU)分別為90.36%和80.98%、 80.34%和66.69%。通過規范粗放式的棗園管理以及擴增訓練數據集的數量，可進一步提高修剪枝的分割準確率。

(2)與PSPNet模型相比，基于ResNet-50特征提取網絡的DeepLabV3+模型分割結果較好，利用該模型分析了不同天氣下對棗樹枝干分割結果，表明該模型在自然環境下具有很好的魯棒性。

(3)晴天時修剪枝骨架提取的數量與真實值的決定系數最高，R2為 0.869 9，并且均方根誤差也最小，為1.161 8。為研究利用骨架線提取修剪枝長度參數并依據其長度進一步確定剪枝點位置提供數據基礎。