基于半監督學習的松林變色疫木檢測方法

趙 昊，劉文萍，周 焱，駱有慶，宗世祥，任利利

基于半監督學習的松林變色疫木檢測方法

趙 昊1，劉文萍1※，周 焱1，駱有慶2，宗世祥2，任利利2

（1. 北京林業大學信息學院，北京 100083；2. 北京林業大學林學院，北京 100083）

針對模型訓練中數據標注成本過高的問題，提出一種基于無人機圖像分析的半監督變色疫木目標檢測方法。該方法提出級聯抗噪聲半監督目標檢測模型（Cascade Noise-Resistant Semi-supervised object detection，CNRS），使用抗噪聲學習提升模型對偽標簽的學習質量；通過級聯網絡解決訓練中正負樣本的分布問題；使用ResNet50和特征金字塔網絡結構增強模型對多尺寸和小目標疫木的識別能力；在監督學習階段使用FocalLoss，提升網絡對邊緣目標和早期疫木等困難樣本的學習，使用SmoothL1Loss保證梯度相對穩定；在RCNN階段使用軟化非極大抑制軟化檢測框剔除過程。該文提出的半監督目標檢測模型CNRS使用訓練集中半數標注的數據進行訓練，試驗結果表明，最優模型在測試集上的平均精度（Average Precision，AP）可達87.7%，與Faster RCNN使用完全標注數據相比，標注量減少了50%，且AP提升了2.3個百分點，與同時期最先進的半監督模型Combating Noise相比，AP提升了1.6個百分點。該方法在準確檢出多種不同形態疫木的基礎上，大幅度降低了數據標注成本，為農林病蟲害防治提供了可靠的數據支持。

無人機；圖像識別；松林疫木檢測；半監督學習；目標檢測

0 引 言

森林在保障物種多樣性、調節氣候等方面起著重要作用。林業病蟲害每年給中國帶來的經濟損失已超2 000億。隨著經濟全球化發展進程的加快，突發性的外來入侵也變得更加普遍，對于生物多樣性較低的人工松林，病蟲害入侵所帶來的危害性更大[1]。傳統監測和治理手段大多依靠人工，效率極低且效果不佳。基于遙感圖像的監測手段，如商業衛星、無人機航拍等，可實現對松林受災情況的粗略統計[2]。近年來，隨著民用無人機的普及，其相較于商業衛星更具有便攜性、易用性和準確性等優勢，更適用于林區的信息采集和監測任務[3]。但是，在數據統計過程中仍存在許多不便，需依靠大量人工進行目視解意。

隨著計算機科技的不斷發展，科研工作者們將圖像處理和人工智能應用于松林疫木檢測當中。主要方式有：1）傳統圖像分析，如采用線性譜聚類實現對枯死木的識別[4]。2）BP神經網絡，根據疫木光譜信息和其他生態因子的相關關系建立預測模型[5]。3）深度學習，使用卷積神經網絡對標注圖像進行卷積操作，提取深層次特征，并進行目標識別和分類[6]。傳統圖像分析和BP神經網絡相對復雜，在實際應用過程中較為困難。因此，將深度學習應用于松林疫木檢測[7]-[10]成為一種主流。

基于無人機航拍圖像的松林疫木檢測流程主要包括：無人機采集試驗數據、數據標注、數據預處理、模型改進及訓練、對圖像進行檢測并輸出結果。將深度學習應用于單株疫木檢測的研究尚停留在全監督階段，全監督主要分為單階段模型和兩階段模型[11]。兩階段模型相較于單階段模型增加了區域候選框，其準確率更高，但速度較慢，代表性的模型有RCNN[12]、Faster RCNN[13]等。單階段模型只需提取一次特征，不再使用候選區域網絡，所以速度更快，但是精度有所損失，代表性的模型有YOLO系列[14]-[17]、SSD[18]和CornerNet[19]等。由于全監督模型的數據標注成本過高，數據集普遍較小，這導致模型的泛化能力較差。降低標注成本，擴大數據集規模成為提升模型綜合性能的迫切需求。

弱監督和半監督學習是解決數據標注問題的兩個研究方向，但是弱監督目標檢測所依賴的標簽量極其龐大，甚至遠超全監督模型，并且其性能相對有限[20]-[23]。半監督目標檢測模型分為一致性學習[24]-[27]和偽標簽[28-30]，但本質上均為基于偽標簽的學習。該模型只需少量標注，即可與大量未標注數據共同進行訓練，其檢測精度超越全監督模型，并且泛化能力更強。半監督學習中的偽標簽由教師模型產生，該過程會摻雜大量的噪聲標簽，隨著模型對噪聲標簽的擬合，檢測精度會受到較大的影響。在最先進的半監督目標檢測模型中，很少有針對偽標簽進行噪聲過濾的研究。Combating Noise是較為先進的半監督目標檢測模型，其對噪聲進行評估，并依據量化指標提取偽標簽中的高質量軟目標進行半監督訓練，在COCO數據集上的平均精度均值（mean Average Precision，mAP）達到了43.2%，該結果超越了大多數全監督模型精度[31]。

本文以松材線蟲（）和紅脂大小蠹（）侵染的紅松林和油松林為研究對象，使用無人機航拍采集數據，并對Combating Noise半監督目標檢測模型進一步改進，提出級聯抗噪聲半監督目標檢測模型（Cascade Noise-Resistant Semi-supervised object detection，CNRS）。

1 數據材料

1.1 研究區域及數據集采集

本文試驗數據集涵蓋：遼寧省撫順市、建平縣、阜新市，內蒙古自治區黑里河鎮和廣東省始興縣。受災區域由當地林場進行初步判定，獲取原始數據后再由林業專家和護林員進行復審。撫順市和始興縣為松材線蟲病受災區域，建平縣、阜新市和黑里河鎮為紅脂大小蠹受災區域。數據集中的疫木形態主要包含圖1中所示的幾種。

圖1 數據集樣例

1.2 數據采集

本文將松材線蟲和紅脂大小蠹侵染的紅松和油松作為研究對象，數據采集時間為2019年7月、2020年8月和2021年5月3個時間點。分別使用大疆精靈4和大疆御Mavic Air 2無人機（表1），飛行高度為80～150 m，飛行速度為5 m/s，采用垂直正射的形式進行拍攝。相鄰航片的重疊度設置為50%，在100 m的飛行高度上單張圖像覆蓋面積約為7 200 m2。

1.3 建立數據集

數據集的質量在很大程度上決定了模型的好壞，本文數據集涉及3個省份，5個區域，6種疫木形態，采用VOC格式進行標注，標注形式為完全覆蓋整棵疫木，共8 589個標注框，平均每張圖35.79個；共有1個分類，為'infect'。通過隨機裁剪、水平翻轉、隨機旋轉等操作對標注后的數據進行離線增廣，增廣后的訓練集為2 160張，測試集為240張。在所有標注框中最小為22×23像素，最大為500×632像素。本文依照像素面積對目標進行劃分[32]，可知小目標占1.9%（0～2 500像素點），中等目標占95.9%（2 500～90 000像素點），大目標占2.2%（90 000像素點以上）。標注框數據分布與VOC數據集較為相似，因此更適用于在使用VOC標準數據集的模型上進行改進。

表1 無人機及相機主要參數

2 檢測方法

2.1 模型訓練及檢測流程

基于半監督學習的松林變色疫木檢測方法由數據采集、半監督模型訓練和算法檢測3個步驟組成，具體流程如圖2所示：使用無人機對松林疫區進行航線掃描構建數據集，通過標注工具LabelImg對隨機選取的半數圖像進行疫木標記；將標注數據送入監督網絡進行學習，使用訓練得到的監督模型為半監督學習生成偽標簽，將偽標簽和真實標簽一同送入網絡進行半監督學習，綜合平均精度和F-Score選取最優模型。

圖2 基于偽標簽的半監督目標檢測流程

為解決檢測過程中航線重疊度的問題，可使用圖像拼接軟件對航線掃描區域進行圖像拼接，拼接完畢后對圖像進行水平裁剪。最后，使用疫木檢測軟件對裁剪后的圖像進行檢測并輸出結果。檢測軟件需在帶有圖像處理單元的本地便攜式服務器中運行，以此加速檢測速度。該流程無需使用網絡，更適用于林場、山區等網絡信號不佳的地區。

2.2 基于半監督學習的松林變色疫木檢測模型構建

2.2.1 改進半監督目標檢測模型CNRS的框架結構

Combating Noise的檢測器由閾值界定正負樣本，當區域建議的交并比（Intersection over Union，IoU）與設置的閾值相近時檢測結果會更優，但是該閾值難以界定，當閾值為0.5時會產生較多誤檢，閾值增加到0.7時正樣本會隨之減少，易造成過擬合。因此，本文提出的CNRS半監督目標檢測模型將檢測器的RCNN網絡替換為級聯網絡[33]，如圖3所示。級聯網絡相較于原網絡增加了兩個RCNN階段，上一階段的輸出作為下一階段的輸入，從H1至H3的IoU閾值依次遞增，分別設置為{0.5,0.6,0.7}，以此逐步過濾誤檢框，均衡精度和過擬合問題。

CNRS替換為級聯網絡后檢測器框架與Combating Noise保持一致，相較于原始Faster RCNN有如下改進：1）將基礎特征提取器由VGG16[34]替換為ResNet50[35]，ResNet50通過殘差結構進一步提取更加抽象和豐富的語義信息，其在精度和速度上處于更加領先的地位。2）添加了特征金字塔網絡（Feature Pyramid Network，FPN）[36]，數據集中部分疫木目標較小，通過卷積操作后，空間信息將大量丟失，該網絡能夠融合淺層空間信息和深層高級語義提升模型對多尺寸和小目標的檢測能力。3）將原網絡中的RoI Pooling替換為RoI Align[37]，RoI Pooling需進行兩次量化取整操作，會帶來一定的精度損失，而RoI Align取消量化操作，采用雙線性插值的方法將特征聚集轉化為連續操作，克服了RoI Pooling帶來的區域不匹配問題。

注：“C2～C5”為基礎特征；“P2～P6”為特征圖；“H1～H3”為網絡頭；“Cl1～Cl3”為分類信息；“B1～B3”為回歸框；“FPN”為特征金字塔網絡；“RPN”為區域建議網絡；“設置為背景”表示將區域建議中的“負面建議”和“錯誤的正面建議”設置為背景。

2.2.2 CNRS模型引入抗噪聲學習

抗噪聲學習主要改進了RCNN階段的感興趣區域頭（Region of interest head，RoI head）。CNRS在改變網絡結構后，需要在每個RCNN階段的RoI head中構建軟目標，并使用SoftFocalLoss和添加了不確定性指標的L1Loss提高對偽標簽的學習質量。SoftFocalLoss和改進L1Loss定義如下：

2.2.3 優化損失函數

2.2.4 軟化非極大抑制

數據集中的疫木密集程度較高，標注框會出現大量重疊，式（8）傳統非極大抑制（Non-Maximum Suppression，NMS）會將IoU大于閾值的檢測框全部設為0，這將導致檢測框中某個IoU較小的臨近目標被過濾掉，造成模型準確率下降。所以，CNRS將RCNN階段的NMS替換為式（9）軟化非極大抑制（Soft Non-Maximum Suppression，Soft-NMS），Soft-NMS采用線性加權的方式降低置信度，以此來軟化檢測框剔除過程，定義如下

2.3 評價指標

本文使用平均精度（Average Precision，AP）和F-Score作為模型的評價指標，AP為精準率（Precision）和召回率（Recall）曲線下方面積[38]，公式定義如下：

2.4 試驗環境與參數設置

模型訓練采用Colab云服務器，操作系統為Ubuntu18.04，使用基于Pytorch的開源框架MMdetection2.18版本。圖形處理器為16 GB顯存的NVIDIA Tesla P100，CPU為4核Intel Xeon，CUDA版本為10.2。

監督和半監督學習的優化器均采用0.9動量，0.000 1衰減權重的“SGD”類型。模型的最大學習率為0.01，最大epoch為150，設置{8,98}兩個學習率衰減起止回合。RCNN測試階段的Soft-NMS閾值均設置0.45。監督學習中FocalLoss的損失權重設置為1.0，半監督學習中SoftFocalLoss的損失權重為15.0。半監督學習的學習率設置為線性預熱策略，初始學習率為0.001，預熱600次迭代后達到最大學習率，隨后保持0.01的學習率至第8個epoch。此外在第8個epoch后抗噪聲損失中的動態指數將由0.2調整為0.3。監督和半監督學習均使用8個GPU線程將8張圖片為一個批次進行訓練。

在線數據增強采用隨機翻轉和隨機剪裁相組合的方式。監督學習階段使用1號數據集，訓練集為1 080張，因此一個epoch包含135次迭代。圖像被隨機剪裁后，像素大小為769×1 368，經縮放后，送入模型的像素大小均為1 120.01×640.01。半監督階段使用1號數據集和2號數據集的偽標簽進行訓練，訓練集共2 160張，一個epoch包含270次迭代。

3 試驗結果與分析

3.1 不同模型試驗對比

由表2可知，單階段檢測器SSD300在該數據集上的平均精度為64.2%，不適用于改進半監督，Faster RCNN的平均精度為85.4%，相比SSD300提升了21.2個百分點，更適合作為半監督目標檢測模型的檢測器。CNRS最優模型在測試集上的AP為87.7%，F-Score為0.669，與Faster RCNN相比AP提升了2.3個百分點，F-Score提升了0.03，與Combating Noise相比AP提升了1.6個百分點，F-Score提升了0.071。綜合表2和圖4可知，CNRS在與之對比的所有模型中精度最高。由檢測速度和模型大小可知，CNRS雖能滿足使用需求，但未來將嘗試進一步壓縮模型和提升檢測速度。

為了驗證級聯網絡、抗噪聲學習、優化損失函數和軟化非極大抑制在CNRS中的有效性，表2中Model1和Model2為級聯抗噪聲半監督目標檢測模型不同配置下的試驗結果。Model1添加級聯網絡后，在使用RoI Pooling的情況下將AP提升了0.3個百分點。因RoI Pooling對分類結果影響較小，但其量化偏差對位置精度影響較大，所以Model2在Model1的基礎上改用RoI Align后AP進一步提升了0.3個百分點。因圖像中遮擋目標和邊緣困難樣本較多，所以CNRS監督學習階段優化損失函數和使用Soft NMS后AP進一步提升了1個百分點。由Model1、Model2和CNRS與其監督學習階段的模型對比可知，抗噪聲學習能夠有效提取偽標簽中的信息。

表2 不同模型平均精度及F-Score

注：以sup結尾的模型為半監督模型的監督學習階段。

Note: The model ending with “sup” is the supervised learning phase of the semi-supervised model.

圖4 不同模型PR曲線

3.2 檢測結果與誤檢分析

本文使用CNRS的最優模型對24張測試圖像進行檢測，結果如圖5所示。CNRS可準確檢出小目標疫木、邊緣疫木、枯死疫木、早期疫木、過火疫木和紫色疫木，由檢測結果可知：復雜多樣的數據集能夠使模型的泛化能力更強，可檢出多種地形中不同形態的疫木。

本文還對4個不同模型進行了錯檢和漏檢對比，其中測試圖像的真實疫木數量為841株，統計結果如表3所示。半監督目標檢測模型Combating Noise和CNRS在只進行50%數據標注的情況下，錯檢率和漏檢率仍得到穩步下降。本文提出的CNRS模型與同時期最先進的半監督目標檢測模型Combating Noise相比，錯檢率和漏檢率分別下降了1.6和1.9個百分點。由表中數據可知CNRS的檢測效果最佳。

圖5 CNRS檢測結果示例

表3 不同模型檢測結果對比

CNRS的檢測結果中仍存在錯檢和漏檢情況，因此，本文對其進行了誤檢分析，如圖6所示。典型錯誤有：因畸變造成的漏檢、個別早期疫木的漏檢、遮擋造成的漏檢、因強光造成的錯檢。錯檢和漏檢的主要原因有以下幾點：1）離中心點較遠區域存在側視疫木。2）疫木形態較多，未進行詳細分類。3）處于早期感染階段的疫木特征不明顯。4）出現坡地時，樹木形態存在畸變。5）數據采集時光照較強。

圖6 誤檢樣例

4 結 論

本文針對深度學習中松林疫木檢測模型數據標注成本過高的問題，提出了一種級聯抗噪聲半監督目標檢測模型CNRS，通過使用抗噪聲損失函數提升偽標簽學習質量，降低了數據標注量。在此基礎上，對模型框架進行優化，通過試驗對比選取最優改進模型，進一步提高了模型的檢測精度。

1）CNRS最優模型的平均精度為87.7%，F-Score為0.669，與Faster RCNN和SSD300相比數據標注成本降低了50%，與同時期最先進的半監督目標檢測模型Combating Noise相比平均精度提升了1.6個百分點。該結果表明，本文提出的檢測方法能夠有效降低數據標注成本，在半監督松林變色疫木檢測精度上處于領先地位。

2）檢測結果顯示，CNRS能夠準確檢出上述6種疫木。因此，多樣的數據能夠使模型的泛化能力更強。

3）CNRS的錯檢率為12.3%，漏檢率為6.8%，該結果在4個模型中表現最優。但其檢測結果中仍存在較多漏檢和誤檢。此外，現有研究中半監督目標檢測模型多基于兩階段檢測器，不能滿足實時檢測的需求。

未來，將進一步擴大數據集規模，并根據疫木形態對數據集進行詳細劃分，在提升模型精度的同時將嘗試使用單階段檢測器進一步提升檢測速度。

[1] 李東. 無公害防治技術在林業病蟲害防治中的應用[J]. 南方農業，2021，15(35)：12-14.

[2] 張曉東，楊皓博，蔡佩華，等. 松材線蟲病遙感監測研究進展及方法述評[J]. 農業工程學報，2022，38(18)：184-194.

Zhang Xiaodong, Yang Haobo, Cai Peihua, et al. Research progress on remote sensing monitoring of Pine Wilt Disease[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(18): 184-194.(in Chinese with English abstract)

[3] 張軍國，馮文釗，胡春鶴，等. 無人機航拍林業蟲害圖像分割復合梯度分水嶺算法[J]. 農業工程學報，2017，33(14)：93-99.

Zhang Junguo, Feng Wenzhao, Hu Chunhe, et al. Image segmentation method for forestry unmanned aerial vehicle pest monitoring based on composite gradient watershed algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 93-99.(in Chinese with English abstract)

[4] 宋以寧，劉文萍，駱有慶，等. 基于線性譜聚類的林地圖像中枯死樹監測[J]. 林業科學，2019，55(4)：187-195.

Song Yining, Liu Wenping, Luo Youqing, et al. Monitoring of dead trees in forest images based on linear spectral clustering[J]. Scientia Silvae Sinicae, 2019, 55(4): 187-195. (in Chinese with English abstract)

[5] 張田，張曉麗，劉紅偉，等. 遙感在森林病蟲害監測中的應用研究[J]. 安徽農業科學，2010，38(21)：11604-11607.

Zhang Tian, Zhang Xiaoli, Liu Hongwei, et al. Application of remote sensing technology in monitoring forest diseases and pests[J]. Journal of Anhui Agricultural Sciences, 2010, 38(21): 11604-11607.(in Chinese with English abstract)

[6] 溫長吉，王啟銳，陳洪銳，等. 面向大規模多類別的病蟲害識別模型[J]. 農業工程學報，2022，38(8)：169-177.

Wen Changji, Wang Qirui, Chen Hongrui, et al. Model for the recognition of large-scale multi-class diseases and pests[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 169-177.(in Chinese with English abstract)

[7] 孫鈺，周焱，袁明帥，等. 基于深度學習的森林蟲害無人機實時監測方法[J]. 農業工程學報，2018，34(21)：74-81.

Sun Yu, Zhou Yan, Yuan Mingshuai, et al. UAV real-time monitoring for forest pest based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 74-81. (in Chinese with English abstract)

[8] 周焱，劉文萍，駱有慶，等. 基于深度學習的小目標受災樹木檢測方法[J]. 林業科學，2021，57(3)：98-107.

Zhou Yan, Liu Wenping, Luo Youqing, et al. Small object detection for infected trees based on the deep learning method[J]. Scientia Silvae Sinicae, 2021, 57(3): 98-107. (in Chinese with English abstract)

[9] 賈少鵬，高紅菊，杭瀟. 基于深度學習的農作物病蟲害圖像識別技術研究進展[J]. 農業機械學報，2019，50(S1)：313-317.

Jia Shaopeng, Gao Hongju, Hang Xiao. Research progress on image recognition technology of crop pests and diseases based on deep learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(S1): 313-317. (in Chinese with English abstract)

[10] 黃麗明，王懿祥，徐琪，等. 采用YOLO算法和無人機影像的松材線蟲病異常變色木識別[J]. 農業工程學報，2021，37(14)：197-203.

Huang Liming, Wang Yixiang, Xi Qi, et al. Recognition of abnormally discolored trees caused by pine wilt disease using YOLO algorithm and UAV images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(14): 197-203.(in Chinese with English abstract)

[11] Zaidi S S A, Ansari M S, Aslam A, et al. A survey of modern deep learning based object detection models[J]. Digital Signal Processing, 2022: 103514.

[12] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. Boston: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2014: 580-587.

[13] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell, 2017, 39(6): 1137-1149.

[14] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]. Las Vegas: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2016: 779-788.

[15] Redmon J, Farhadi A. YOLO9000: Better, faster, stronger[C]. Honolulu: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2017: 7263-7271.

[16] Farhadi A, Redmon J. Yolov3: An incremental improvement[C]. Salt Lake City: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2018: 1804-2767.

[17] Bochkovskiy A, Wang C Y, Liao H Y M. Yolov4: Optimal speed and accuracy of object detection[EB/OL] (2020-4-23) [2022-07-26]. https: //arxiv. org/abs/2004.10934.

[18] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]. Amsterdam: European Conference on Computer Vision(ECCV). 2016: 21-37.

[19] Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]. Munich: Proceedings of the European Conference on Computer Vision(ECCV). 2018: 734-750.

[20] Shao F, Chen L, Shao J, et al. Deep Learning for weakly-supervised object detection and localization: A survey[J]. Neurocomputing, 2022: 192-207.

[21] Li X, Kan M, Shan S, et al. Weakly supervised object detection with segmentation collaboration[C]. Seoul: Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV). 2019: 9735-9744.

[22] Zhang D, Han J, Cheng G, et al. Weakly supervised object localization and detection: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(9): 5866-5885.

[23] Zhou B, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization[C]. Las Vegas: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2016: 2921-2929.

[24] 周明非，汪西莉. 弱監督深層神經網絡遙感圖像目標檢測模型[J]. 中國科學：信息科學，2018，48(8)：1022-1034.

Zhou Mingfei, Wang Xili, Object detection models of remote sensing images using deep neural networks with weakly supervised training method[J]. In Journal of Scientia Sinica Informationis, 2018, 48(8): 1022-1034.

[25] Liu Y C, Ma C Y, He Z, et al. Unbiased teacher for semi-supervised object detection[EB/OL] (2021-2-18) [2022-07-26]. https: //arxiv. org/abs/2102. 09480.

[26] Zhang Y, Yao X, Liu C, et al. S4OD: Semi-Supervised learning for Single-Stage Object Detection[EB/OL]. https:// arxiv. org/abs/2204. 04492, 2022-4-9.

[27] Xu M, Zhang Z, Hu H, et al. End-to-end semi-supervised object detection with soft teacher[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision(ICCV). 2021: 3060-3069.

[28] Chen B, Li P, Chen X, et al. Dense Learning based Semi-Supervised Object Detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). 2022: 4815-4824.

[29] Meethal A, Pedersoli M, Zhu Z, et al. Semi-Weakly Supervised Object Detection by Sampling Pseudo Ground-Truth Boxes[EB/OL] (2022-6-16) [2022-07-26]. https: //arxiv. org/abs/2204. 00147.

[30] Yang Q, Wei X, Wang B, et al. Interactive self-training with mean teachers for semi-supervised object detection[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). 2021: 5941-5950.

[31] Wang Z, Li Y L, Guo Y, et al. Combating Noise: Semi-supervised Learning by Region Uncertainty Quantification[J]. Advances in Neural Information Processing Systems, 2021, 34: 9534-9545.

[32] Yang S, Luo P, Loy C C, et al. Wider face: A face detection benchmark[C]. Las Vegas: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2016: 5525-5533.

[33] Cai Z, Vasconcelos N. Cascade r-cnn: Delving into high quality object detection[C]. Salt Lake City: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2018: 6154-6162.

[34] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2015-4-10) [2022-07-26]. https: //arxiv. org/abs/1409.1556.

[35] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Las Vegas: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2016: 770-778.

[36] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]. Honolulu: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2017: 2117-2125.

[37] He K, Gkioxari G, Dollár P, et al. Mask r-cnn[C]. Venice: Proceedings of the IEEE International Conference on Computer Vision(ICCV). 2017: 2961-2969.

[38] Everingham M, Eslami S M A, Gool L V, et al. The pascal visual object classes challenge: A retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

Method for detecting pine forest discoloured epidemic wood based on semi-supervised learning

Zhao Hao1, Liu Wenping1※, Zhou Yan1, Luo Youqing2, Zong Shixiang2, Ren Lili2

(1.,,100083,; 2.,,100083,)

Deep learning has been a promising technology for epidemic tree detection in recent years. However, the expensive data annotation has posed a great challenge to the discolored epidemic wood detection in the pine forest. Particularly, some difficulties are still found in the dataset expansion, model generalization ability, and the presence of samples with obscured or small objects during detection. In this study, target detection was proposed for the discolored epidemic wood using semi-supervised learning and Unmanned Aerial Vehicle (UAV) image analysis. The specific procedure mainly included the dataset for the pine forest epidemic wood, semi-supervised model training, and algorithm detection. The dataset was collected from three provinces in China, especially with a total of six epidemic wood forms. Two datasets were randomly and equally divided for the training and testing in the supervised and semi-supervised learning stages, respectively. 2 160 training and 240 testing sets were available after data augmentation. The anti-noise loss (SoftFocalLoss and L1Loss) was classified with the uncertainty indicator for the data distillation. Among them, combating Noise was the most advanced semi-supervised target detection model in the same period. As such, the quality of pseudo labeling was improved effectively. The following improvements were achieved in the Cascade Noise-Resistant Semi-supervised (CNRS) object detection model, compared with the Combating Noise. 1) A cascade network was added to balance the distribution of positive and negative samples during training, in order to equalize the accuracy and over-fitting. 2) The FocalLoss was used to mine the difficult samples in the phase of supervised learning. The improved learning of the model was achieved in the difficult objects, such as the edge objects and early epidemic wood. 3) SmoothL1Loss was used to ensure a relatively stable gradient, particularly for the large difference between the true and the predicted value. 4) Soft-Non-Maximum Suppression (Soft-NMS) was used to soften the rejection process of the detection frame in the RCNN stage, in order to prevent the near targets from being filtered. The experiments were conducted on Ubuntu 18.04 operating system using NVIDIA Tesla P100 graphics processor. The experimental results show that the Average Precision (AP) values were 64.2%, and 85.4%, respectively, for the single-stage detector SSD300 and the two-stage detector Faster RCNN using fully labeled data. 50% of the labeled data was also selected in the semi-supervised model. Both AP values were higher than the fully supervised model, indicating that the anti-noise learning effectively extracted the semantic information from the pseudo labels. The ablation model of CNRS Model1 improved the AP by 0.3 percentage points, where a cascade network was added with the RoI Pooling. Model2 further improved the AP by 0.3 percentage points after the RoI Align. The AP of the optimal model on the test set was 87.7% with an F-Score of 0.669. A comparison was also made on the detection of the four models using 24 test images. The error detection rate of CNRS was compared with the fully supervised network model, and Faster RCNN using fully labeled data. The CNRS presented a 50% reduction in the labeling, and a 2.3 percentage point increase in the AP, which was 1.6 percentage points higher than that of the semi-supervised network Combating Noise. This improved model can also provide reliable data support for pest control in agriculture and forestry. An accurate detection can be achieved in many different forms of epidemic trees and a significant reduction in the data labeling cost.

unmanned aerial vehicle; image recognition; pine forest epidemic wood detection; semi-supervised learning; object detection

10.11975/j.issn.1002-6819.2022.20.019

TP391.41

A

1002-6819(2022)-20-0164-07

趙昊，劉文萍，周焱，等. 基于半監督學習的松林變色疫木檢測方法[J]. 農業工程學報，2022，38(20)：164-170.doi：10.11975/j.issn.1002-6819.2022.20.019 http://www.tcsae.org

Zhao Hao, Liu Wenping, Zhou Yan, et al. Method for detecting pine forest discoloured epidemic wood based on semi-supervised learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 164-170. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.019 http://www.tcsae.org

2022-07-26

2022-09-23

國家林業和草原局重大應急科技項目“松材線蟲病防控關鍵技術研究與示范”項目（ZD202001-05）；國家重點研發計劃“松材線蟲病災變機制與可持續防控技術研究”項目（2021YFD1400901）

趙昊，研究方向為圖像處理與圖像識別。Email：zhlistudy@163.com

劉文萍，教授，博士生導師，研究方向為計算機圖像及視頻分析與處理、模式識別與人工智能。Email：wendyl@vip.163.com