融合FPN的Faster R-CNN復雜背景下棉田雜草高效識別方法

彭明霞，夏俊芳，彭 輝

融合FPN的Faster R-CNN復雜背景下棉田雜草高效識別方法

彭明霞1，夏俊芳2※，彭 輝1

（1. 華中農業大學信息學院，武漢 430070； 2. 華中農業大學工學院，武漢 430070）

為實現田間條件下快速、準確識別棉花與雜草，該文以自然光照下田間棉花與雜草為研究對象，采用垂直向下拍攝的方式獲取棉花雜草視頻，按1幀/s的速率從視頻中提取圖像，在人工去除冗余度過多的圖片后，建立1 000幅圖片的數據集。對比了Faster R-CNN和YOLOv32種典型卷積神經網絡，將Faster R-CNN卷積神經網絡的深度學習模型引入到棉花雜草圖像識別中，并提出一種結構優化的方法，使之適用于復雜背景下的棉田雜草識別。該文選用殘差卷積網絡提取圖像特征，Max-pooling 為下采樣方法，RPN網絡中引入特征金字塔網絡生成目標候選框，對卷積神經網絡結構進行優化。在使用700幅圖片進行訓練后，通過200 幅田間棉花雜草圖像識別測試，結果表明：該方法的平均目標識別準確率達95.5%，識別單幅圖像的平均耗時為1.51 s，采用GPU 硬件加速后識別單幅圖像的平均耗時縮短為0.09 s。優化后的Faster R-CNN卷積神經網絡相對于YOLOv3平均正確率MAP高0.3以上。特別是對于小目標對象，其平均正確率之差接近0.6。所提方法對復雜背景下棉花雜草有較好的檢測效果，可為精確除草提供參考。

棉花；卷積神經網絡；機器視覺；深度學習；圖像識別；雜草識別；Faster R-CNN

0 引 言

棉花是中國重要的經濟作物之一，其生長過程常會遭遇病、蟲和雜草危害等生物逆境。雜草會與棉花競爭營養、水分、光照和生長發育空間，并且傳播病蟲害，常年造成的損失達到14%～16%，嚴重影響棉花的優質、高效生產[1]。及時有效地去除棉花幼苗期雜草是保證棉花高產穩產的一項重要措施，目前采用的除草方法有人工除草、機械除草和化學除草。化學除草由于其高效性，已成為國內外田間除草的主要方式，但會對生態環境造成危害。2013年農業部明確了通過技術手段和管理方式來治理農業面源污染[2]，實現農業的可持續發展。在技術上，研究人員針對粗放噴灑所引起的浪費和殘留問題提出了變量噴藥的概念，并進行了相關的試驗和研究[3]。變量噴藥是基于精準農業發展起來的一種技術，根據雜草在田間的位置、種類和密度，對除草劑噴灑的時機和劑量進行變量調節，從而達到減少除草劑用量，提高雜草去除率的效果[4]。要實現變量噴藥，需要解決的一個關鍵問題是如何實現作物和雜草的實時精確識別。

早期的雜草識別研究主要從圖像中提取顏色、紋理和形態等特征，根據作物和雜草在圖像中的不同特征對各類目標進行區分[5-8]。這些方法準確率較低，雖然基本實現了作物與雜草的識別，但難以實際應用。

隨著機器學習技術的發展，一些具有數據學習能力的網絡模型被引入到雜草識別研究中。如神經網絡、遺傳算法、決策樹和支持向量機等。該類方法先對圖像進行預處理，從背景中分離出目標作物和雜草，以向量的形式記錄顏色、紋理、形態、光譜等特征，然后選擇適當的分類器進行訓練及檢測[9-14]。特征的選取和圖像的預處理效果決定了這類方法的識別效果，在雜草與作物密集分布、強光及陰影等情況下，準確率仍然不高。

相比上述方法，近幾年興起的深度學習方法對圖像具有極強的數據表達能力。深度學習已在人體行為識別以及農作物果實識別和雜草識別等方面，獲得了較好的效果。傅隆生等[15]基于卷積神經網絡的田間多簇獼猴桃圖像識別方法表明，卷積神經網絡在田間果實識別方面具有良好的應用前景?；诰矸e神經網絡、哈希碼以及多尺度分層特征識別玉米雜草等證明了CNN（convolutional neural networks）在田間雜草圖像識別上的有效性[16-17]；熊俊濤等[18]利用深度卷積網絡對自然環境下綠色柑橘進行有效識別；王生生等[19]提出一種以小批量數據作為輸入的輕量和積網絡，結合均值聚類算法應用于無人機圖像中的雜草識別，取得了良好的效果。以上研究的開展為CNN 應用于田間作物雜草識別提供了參考和可行性依據，同時也表明CNN 在圖像識別中可以克服傳統方法的不足。

棉花與其他作物的田間雜草種類不同，植株形態具有明顯差異，實驗室測試結果表明，現有方法應用于棉田雜草時效果并不理想。目前尚未有CNN網絡用于棉花田間雜草識別的相關報導。本文以2～5葉期棉花和雜草為研究對象，提出基于Faster R-CNN模型的棉花雜草識別算法。該研究依賴于目標檢測的深度學習框架，在采集大量棉花田間樣本圖像的基礎上，通過建立深度卷積網絡ResNet50對復雜背景下的棉田雜草進行特征提取，避免人為主觀選取目標特征影響識別結果。然后在ImageNet預訓練的多層卷積神經網絡基礎上進行參數微調，生成棉花和雜草的目標識別模型，最后利用訓練后的模型對棉花雜草圖像進行測試，對每張圖像上的雜草和棉花目標標注類別、具體位置以及置信度，從而建立一個基于Faster R-CNN的棉田雜草圖像識別系統，以實現自然光照環境下背景較為復雜的棉田雜草快速有效識別。

1 材料與方法

1.1 圖像采集

該研究以棉花及其伴生雜草作為研究對象進行識別試驗，并分析棉田雜草識別系統性能。圖像采集工作于2015 年6 月在華中農業大學試驗田中完成，采集設備為普通相機，主要參數為：CCD傳感器，最大分辨率1 920×1 080 像素，幀率25幀/s，USB3.0 接口。相機距地面80 cm，采用垂直方式采集視頻圖像。當棉花幼苗處于2～5葉期間進行4次圖像采集，所采集的樣本圖像為幼苗期棉花及此階段常見的伴生雜草，包括馬齒莧、馬唐、馬蘭、牛筋草、反枝莧、香附子和藎草等。每次圖像采集均在晴天、陰天不同光線狀態下進行，代表田間除草作業時可能的環境條件。初始采集到的原始視頻圖像分辨率為1 920×1 080像素。本文建立的樣本集均從真實棉田環境中采集，棉花及雜草生長位置復雜，采集的大部分圖像中包含復雜背景、棉花和雜草的多個目標，這與實際應用情況相同，如圖1所示。

a. 晴天a. Sunnyb. 陰天b. Cloudy

1.2 樣本數據集與試驗方法

按1幀/s的間隔從采集的視頻中提取出5 000幅靜態圖像。為使訓練集樣本圖像多樣化，避免圖像冗余，盡量減少過擬合，加強模型的穩定性，人工對靜態圖像進行篩選，建立一個1 000幅圖片的樣本集。

由于卷積殘差網絡ResNet50能夠自動從不同尺寸圖像中提取特征，所以樣本圖像可直接用于本文方法的訓練與測試，不需要進行縮放等預處理操作。直接采用LabelImg按照PASCAL VOC2007的格式手工標注圖片中的棉花和雜草目標，獲得每幅樣本圖像的標簽矩陣，在實際使用時根據不同框架支持的標注格式進行轉換。

將全部圖像樣本分成訓練集、驗證集和測試集。其中訓練集700張照片，測試集200張，驗證集100張。這幾個集合中的圖片互不重疊，訓練集用于訓練模型參數，測試集用于訓練完成后評估模型對樣本的泛化誤差，驗證集用于訓練過程中對模型的超參數進行調優。

試驗完成后，采用深度學習在目標識別領域應用典型評測指標來衡量模型檢測器性能。涉及到的指標有平均準確率AP、平均召回率AR、精度損失曲線（F值曲線）、檢測時間等。

1.3 基于Faster R-CNN模型的棉花雜草網絡

目標檢測模型分為兩類。一類是將物體識別和物體定位分2個步驟完成，這一類的典型代表是R-CNN, Fast R-CNN, FasterR-CNN家族。該類框架識別錯誤率低，漏識率也低，且可以滿足實時檢測場景。另一類典型代表是YOLO(you only look once)，SSD(single shot multibox detector)，YOLOv2，YOLOv3[20-23]等將物體分類和物體定位在一個步驟中完成。YOLO直接在輸出層回歸目標的位置和所屬類別，可實現45幀/s的運算速度。盡管這些方法識別速度很快，但是準確率比Faster R-CNN要低。因此本文選取Faster R-CNN模型框架進行棉花雜草圖像的識別。

目前Faster R-CNN[24]在目標檢測領域被廣泛應用于車輛識別和人體姿態行為監測等方面。本文對其重要結構參數和訓練策略進行優化，獲得適合棉花雜草圖像識別的模型架構。試驗目的是在圖像中識別出棉花與雜草、標定其在圖像上的位置并給出類別置信度的預測。

1.3.1 Faster R-CNN模型的棉花雜草網絡結構

Faster R-CNN主要由候選區域的深度全卷積網路RPN（region proposal network）和快速區域卷積神經網絡（Fast R-CNN）2個模塊組成?；贔aster R-CNN的棉花雜草識別檢測由以下4個部分組成：棉花雜草候選區域生成、棉花雜草特征提取、棉花雜草分類和邊框回歸。圖2為本文Faster R-CNN算法原理圖。

首先，對于任意大小的棉花雜草圖像將其歸一化大小為1 000×600像素。然后，通過CNN中的卷積層和池化層產生特征映射圖（feature map）。本研究中，為了提高圖像中雜草和棉花目標識別精度，沒有選取VGG16網絡作為基礎特征網絡提取圖像特征。在目標檢測、圖像分割、視頻分析和識別等其他領域，將Faster-RCNN中的VGG16替換成殘差網絡（ResNet）可以提高系統性能。PASCAL VOC2007數據集上，通過將VGG16替換成ResNet101，MAP從73.2%提高到76.4%，PASACAL VOC 2012上從70.4%提高到73.8%[25]。由于棉花雜草圖像中目標類別和數量不是很多，故選取ResNet50網絡提取圖像特征。在所有Feature Map上通過候選區域生成網絡RPN和FPN（feature pyramid networks）網絡提取前景目標候選區域（region of interest，ROI）和區域得分，得分最高的區域作為最終的棉花和雜草候選區域。

圖2 Faster R-CNN的算法原理圖

任意一個目標候選區域經過ROIAlign層映射到Feature Map的相應位置上，并對該區域下采樣成7×7大小的特征圖，然后對每個輸入的特征圖通過全連接層提取成7×7×256維度的特征向量。最后將這個特征向量輸入到2個同級的輸出層：一個是分類層，判斷目標是否是棉花或雜草；另一個是邊界回歸層，主要對ROI邊框位置和大小進行微調。

在整個過程中，使用的Feature Map根據物體尺寸的不同而改變。物體尺寸較大時，采用高層的特征（C4, C5），而物體尺寸較小時則采用底層的特征（C1, C2）。

1.3.2 候選區域的深度全卷積網絡RPN

1）RPN（region proposal network）

RPN是一個全卷積網絡，經過端到端的訓練，生成高質量的棉花雜草前景目標候選框，同時完成棉花雜草在每個位置的目標邊界以及目標分數預測，該網絡與棉花雜草檢測網絡共享圖像的卷積特征?；赗esNet50的殘差網絡和Faster R-CNN模型共享C2到C5的卷積層。

2）FPN（feature pyramid network）

2017年Lin等[26]提出的特征金字塔網絡算法大大提高了目標檢測精度。FPN算法同時利用低層特征高分辨率和高層特征的高語義信息，通過融合這些不同層的特征達到預測的效果。為了提高棉花雜草圖像中目標檢測的精度，本文在RPN網絡中采用FPN融合不同層的特征生成感興趣的目標候選框。FPN把特征圖設計成多尺度的金字塔結構，每一層金字塔應用單一尺度的錨（anchor），對應ResNet50每一層金字塔{P2, P3, P4, P5, P6}分別對應的anchor尺度為{32×32, 64×64, 128×128, 256×256, 512×512}，使用3種比例{1:2, 1:1, 2:1}，共用15種類型的Anchor對棉花雜草圖像中的目標對象和背景進行預測，生成感興趣的目標（棉花，雜草）候選框。RPN框架如圖3所示。

圖3 RPN框架

3）RoI Align模塊

實際棉田雜草圖像中存在大量目標偏小的雜草，為了提高棉花和雜草目標的識別精度，本文沒有采用FasterR-CNN原文中使用的ROI Pooling。ROI Pooling根據輸入的image，將ROI映射到feature map對應的位置；將映射后的區域劃分為相同大小的sections，其數量和輸出的維度相同。對每個section進行max pooling操作；在此過程中經過2次量化操作。該量化操作使得候選框和最開始回歸出來的位置有一定的偏差，這個偏差會影響檢測準確度。本文采用ROI Align取消量化操作，使用雙線性內插的方法獲得坐標為浮點數的像素點上的圖像數值，解決ROI Pooling操作中2次量化造成的區域不匹配的問題[27]。

RPN的結果輸入ROI Align層，映射成7×7的特征。然后所有輸出經過2個全連接層(Fully-connected Layer)，再經分類層和邊界回歸層得到最終結果。分類層給出候選區域中的物體是棉花和雜草的概率，邊界回歸層給出棉花和雜草候選區域的坐標。

2 基于Faster R-CNN棉花雜草圖像識別

2.1 試驗軟件及硬件

本文利用Pytorch以及香港中文大學提供的mmdetection開源框架，在Ubuntu16.04系統下進行試驗。試驗所用機器的配置為：處理器為Intel(R) Core(TM) i7-7700K，主頻4.20GHz，硬盤8T，內存32G，顯卡NVIDIA TITAN Xp (12GB)。所用軟件環境為：ubuntu16.04，Pytorch1.0.0，Python3.6。

2.2 網絡模型的試驗方法

2.2.1 模型訓練

首先配置mmdetection的運行環境，并將篩選出來的棉花雜草圖像數據按照PASCAL VOC2007標準進行標注和存儲。在訓練模型和優化參數之前，選擇模型訓練方式，并修改相應配置文件。

Faster R-CNN的訓練方式主要有2種：交替訓練和近似聯合訓練。交替訓練方式訓練2個網絡，一個是RPN，一個是Fast-RCNN，總計2個階段，每個階段各訓練1次RPN和Fast-RCNN。近似聯合訓練過程中僅訓練1個權重網絡，需要的顯存略少，該訓練方式比交替訓練法節約25%～50%訓練時間，而2 種訓練方式精度相近[24]，所以選取近似聯合訓練方式。

本文訓練的棉花雜草圖像數據集不是很大，所以選擇隨機梯度下降法對Faster R-CNN以端對端的聯合方式進行訓練，用均值為0、標準差為0.01的高斯分布隨機初始化所有新加入層的權重，其余層用預訓練好的ImageNet分類模型的參數初始化。設置學習率為0.005，動量為0.9，權值的衰減系數為0.000 1，epoch為1 500，迭代次數為550 000次，每迭代一個epoch保存一次模型，最終選取精度最高的模型。在此過程中，使用驗證集中的圖片對訓練效果進行評估并進行參數調優。系統的超參數學習率采用熱身策略[28-30]，即一開始用比較小的學習率，慢慢增大學習率。這種方法可以獲得很高的準確率，又可避免模型訓練不收斂。訓練時學習率從初始的0.001 99逐漸增大，采用線性增加策略，迭代500次后，增加到0.005。

2.2.2 非極大值抑制算法

非極大值抑制[31]（non-maximum suppression，NMS）是一種去除非極大值的算法，可以去掉目標檢測任務的重復檢測框，找到最佳目標檢測位置。Faster R-CNN訓練過程中，利用NMS算法對生成的大量棉花和雜草候選框進行后處理，去除冗余候選框，得到最具代表性的結果，以加快目標檢測的效率和提高檢測精度。

RPN利用 Anchor Target Creator訓練自身的同時，還提供RoIs（region of interests）給檢測部分RoI Head作為訓練樣本。只有當棉花和雜草的候選框和真實目標的實際包圍框的邊框重疊度（intersection over union, IoU）最大或者大于0.7的候選框標記為正樣本。如果一個候選框和實際包圍框的IoU值小于0.3，該候選框標記為負樣本（背景）。一幅棉花雜草圖像RPN網絡得到大約2萬個錨，利用NMS算法選出概率最大的2 000個RoIs，由分別對應feature map不同大小的區域。利用Proposal Target Creator 挑選出128個RoIs, 然后使用ROI Align 將這些不同尺寸的區域全部池化到同一個尺度（7×7）上。

2.2.3 損失函數

本文檢測對象類型有3類，分別為棉花、雜草和背景。Faster R-CNN的損失函數由分類損失和回歸損失組成。對于分類部分直接利用交叉熵損失，對于邊框位置回歸損失采用Smooth_L1Loss。對于每一個區域候選框其損失函數為

式中是一個小批量數據中的候選框索引，p是候選框作為目標的預測概率，如果候選框為正樣本，真實標簽p=1，如果候選框為負樣本，則p=0。為平衡權重歸一化值，默認情況下，設置=10。t={t,t,t,t}表示預測邊界框4個參數化坐標的向量，t是與正樣本相關的真實邊界框的向量。N為訓練過程中mini-batch數量。N為候選框數量。L為回歸損失函數。L是兩個類別上的對數損失：

回歸損失函數L為

其中smooth函數定義如下：

式中為邊框預測的誤差，參數用來控制平滑的區域，本文取值為3。

3 結果與分析

3.1 訓練誤差

采用上文描述的Faster R-CNN結構，使用700幅訓練集樣本數據進行訓練，對上述訓練集進行1 500次迭代。訓練700幅圖像，耗時30 h，其訓練精度損失曲線如圖4所示。

圖4 訓練損失曲線

結果表明，隨著迭代次數不斷增加，訓練集產生的精度損失逐漸降低，當迭代到1 000次后，精度損失降至4%，說明模型訓練效果良好。訓練損失基本收斂到穩定值，表明Faster R-CNN達到預期訓練效果。

3.2 模型的效果驗證

為了驗證模型的可靠性與穩定性，在訓練完成后，對測試集的200幅田間棉花雜草圖像進行識別。選用平均正確率MAP(mean average precision)，平均召回率（average recall）,平均準確率AP（average precision）作為試驗結果有效性的評價指標，使用平均處理時間評價識別的速度。

識別結果如表1所示。識別對象分為棉花和雜草2種類別，當IoU閾值取典型值0.5時，2種類別的平均正確率為0.955。單幅圖像的平均處理時間為1.51 s。

由表1可知，棉花的平均召回率與平均準確率指標均高于雜草，其原因主要有：一是棉花在圖像中目標尺度通常大于雜草；二是棉田中雜草種類繁多，樣本標注沒有對各類雜草類別進行分別標注，雜草特征呈現多樣性，棉花特征相對單一；三是自然光照下實際農田環境復雜，株間雜草容易因遮擋未被識別；四是田間背景環境和雜草相似時，難以識別。

表1 棉花雜草識別結果

在試驗中發現，遮擋和背景相似度是影響雜草識別的主要原因。如圖5a所示，圓圈中的雜草由于部分被棉花葉片遮擋導致未正確識別。如圖5b所示，方框中的雜草由于目標很小且隱藏在與背景相似的環境下導致無法正確識別。而影響棉花識別的主要因素則是陽光直射。如圖5c所示，圓圈中標識的棉花由于陽光直射時形成強烈反光，導致該區域未能正確識別。

圖5 棉花及雜草識別效果圖

3.3 ROI Pooling效果對比

為了提高小尺寸雜草的識別精度，本文沒有采用FasterR-CNN原文中使用的ROI Pooling，而是使用了ROI Align（表1）。表2給出了使用ROI Pooling，IoU閾值取0.5時的識別結果。

表2 使用ROI Pooling棉花雜草識別結果

和表1中的數據進行比較后可以發現，使用ROI Pooling的方式對棉花這種大尺度的目標影響較小，但對于雜草這種尺度變化較大的目標識別率較低。

3.4 Faster R-CNN模型與YOLOv3模型效果對比

為了驗證FasterR-CNN模型與YOLOv3模型的效果差異，本文選取相同樣本數據集分別用YOLOv3和Faster R-CNN進行模型訓練，YOLOv3同樣使用ImageNet數據集初始化網絡參數，最后使用評價指標AP，AR和值對比測試效果。

AP和AR兩個指標評測的核心是實際真實對象和預測對象之間的相似性度量。在進行目標對象檢測時，借助IoU定義真實對象與預測對象之間的匹配度，通過計算繪制PR(precision-recall) 精度召回曲線。表3給出了YOLOv3和Faster R-CNN相同樣本數據集下的檢測結果，圖6a給出了棉花在2種模型下的精度召回曲線，圖6b給出了雜草在2種模型下的精度召回曲線。

圖6 棉花和雜草的精度召回曲線

平均準確率AP衡量的是模型在所有目標類別上的性能，分析表3到表5的數據可以發現，Faster R-CNN相對于YOLOv3來說，當IoU取值為0.5:0.95,0.5和0.75時，平均準確率AP高出0.3以上。特別是對于小目標對象，其平均準確率之差接近0.6。平均召回率AR是在每幅圖像中檢測到固定目標的召回率，在目標類別和IoU域內上取平均值。Faster R-CNN性能優于YOLOv3模型。

表3 在參數 area= all, max Dets=100時AP值比較

表4 在參數 max Dets=100, IoU=0.50:0.95時AP值比較

表5 在參數 max Dets=100, IoU=0.50:0.95時AR值比較

在表3～表5中，area指被檢測對象的圖像面積，當此值為all時表示統計時不區分圖像面積。max Dets為每個圖像的最大檢測閾值。

精度召回曲線圖直觀顯示出學習器在樣本總體上的查全率和查準率。在進行比較時，當一個學習器的P-R曲線完全被另一個學習器的曲線完全“包住”，就說明后者的性能優于前者。觀察圖6的精度召回曲線可以發現，Faster R-CNN的精度召回曲線可以完全包圍YOLOv3的精度召回曲線。仔細觀察發現當召回率為0.6時，此時，Faster R-CNN中的棉花和雜草的精度達到99%以上，而YOLOv3中雜草識別的精度下降到50%，棉花識別精度接近95%。隨著召回率的增加，Faster R-CNN模型中準確率一直維持在一個很高的水平，而性能比較差YOLOv3模型需要損失較大精度才能換來召回率的提高。

準確率和召回率指標在某些情況下出現矛盾情況，所以需要綜合考慮。為此，本文選用值進行衡量。值是和加權調和平均，計算公式為

迭代次數與F值的關系曲線如圖7所示。

觀察圖7可知，Faster R-CNN方法的值曲線始終處于上方，說明FasterR-CNN試驗方法比較理想。

綜上所述，試驗結果證明了Faster R-CNN模型對復雜環境下棉田雜草圖像檢測的有效性，該方法對于雜草和棉花的識別效果優于YOLOv3模型，尤其在識別尺度較小的雜草目標對象時Faster R-CNN模型性能遠超YOLOv3模型。

3.5 Faster R-CNN模型與YOLOv3時間對比

選取相同的700幅樣本圖像分別用YOLOv3和FasterR-CNN進行模型訓練，再用200幅測試圖像進行識別測試，表6給出2種模型的運行時間比較，從表中數據可知，YOLOv3的訓練時長要高于Faster R-CNN，但識別速度并沒有明顯差異。

表6 Faster R-CNN與YOLOv3運行時間比較

4 結 論

本研究將Faster R-CNN和YOLOv3引入到棉田雜草的識別中，比較了2種方法的優劣，并對Faster R-CNN的關鍵參數進行了優化，使之更適合復雜背景下的棉田雜草識別。

1）建立ResNet50網絡模型從原始圖像中提取棉花和雜草特征。該模型不依賴于圖像預處理和數據轉換，可通過學習自主提取棉花和雜草的特征表達，與人工設計提取的多種特征相比，能更準確地反映出棉花與雜草圖像的有效識別信息。試驗結果表明，該方法的平均目標識別準確率達95.5%，具有優秀的實際泛化性能，獲得了穩定的高識別準確率。

2）本文提出的改進Faster R-CNN識別棉田雜草方法，與YOLOv3相比更適用于復雜背景下的棉田雜草識別，試驗結果表明平均正確率MAP高出0.3以上。特別是對于小目標對象，其平均正確率之差接近0.6。

3）基于FasterR-CNN模型識別棉田雜草方法識別方法具有較強的實時性。試驗結果表明，使用CPU識別一幀圖像僅需1.51 s。采用GPU硬件代替CPU運算還可進一步提升本文方法的實時性，識別單幅圖像的平均耗時僅為0.09 s。

本研究提出的FasterR-CNN模型識別棉田雜草方法能夠獲得較高的準確率和實時性，可為變量噴藥等精準農業技術提供有益的參考。不足之處在于Faster R-CNN模型所需的訓練時間較長，訓練需要在GPU顯存大于8G的條件下訓練數據。但訓練好后不影響實際測試的識別速度。在下一步的研究工作中還需要在識別雜草的基礎上進一步識別確定雜草的種類。

[1] 張樹珍. 棉田雜草的發生與防治措施[J]. 現代農業科技，2017(7)：136－139.

[2] 楊林章，馮彥房，施衛明，等. 我國農業面源污染治理技術研究進展[J]. 中國生態農業學報，2013，21(1)：96－101.

Yang Linzhang, Feng Yanfang, Shi Weiming, et al. Review of the advances and development trends in agricultural non-pointsource pollution control in China[J]. Chinese Journal of Eco-Agriculture, 2013, 21(1): 96－101. (in Chinese with English abstract)

[3] 牛叢，徐麗明，馬帥，等. 變量噴藥技術的應用現狀與發展[J]. 農業裝備與車輛工程，2018，56(12)：1－4.

Niu Cong, Xu Liming, Ma Shuai, et al. Application and development of variable spray technology[J]. Agricultural Equipment & Vehicle Engineering, 2018, 56(12): 1－4. (in Chinese with English abstract)

[4] 尹東富，陳樹人，毛罕平，等. 基于模糊控制的棉田變量對靶噴藥除草系統設計[J]. 農業機械學報，2011，42(4)：179－183.

Yin Dongfu, Chen Shuren, Mao Hanping, et al. Weed control system for variable target spraying based on fuzzycontrol[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(4): 179－183. (in Chinese with English abstract)

[5] Bakhshipour A, Jafari A, Nassiri S M, et al. Weedsegmentation using texture features extracted from wavelet sub-images[J]. Biosystems Engineering, 2017, 157: 1－12.

[6] 張小龍，謝正春，張念生，等. 豌豆苗期田間雜草識別與變量噴灑控制系統[J]. 農業機械學報，2012，43(11)：220－225，73.

Zhang Xiaolong, Xie Zhengchun, Zhang Niansheng, et al. Weed recognition from pea seedling images and variablespraying control system[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(11): 220-225, 73. (in Chinese with English abstract)

[7] 李先鋒，朱偉興，紀濱，等. 基于圖像處理和蟻群優化的形狀特征選擇與雜草識別[J]. 農業工程學報，2010，26(10)：178－182.

Li Xianfeng, Zhu Weixing, Ji Bin, et al. Shape featureselection and weed recognition based on image processingand ant colony optimization[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(10): 178－182. (in Chinese with English abstract)

[8] Zheng Y, Zhu Q, Huang M, et al. Maize and weedclassification using color indices with support vector datadescription in outdoor fields[J]. Computers and Electronics in Agriculture, 2017, 141: 215－222.

[9] 李穎，張立福，嚴薇，等. 地面成像光譜數據的田間雜草識別[J]. 遙感學報，2013，17(4)：863－871.

Li Ying, Zhang Lifu, Yan Wei, et al. Weed identification using imaging spectrometer data[J]. Journal of Remote Sensing, 2013, 17(4): 863－871. (in Chinese with English abstract)

[10] 趙鵬，韋興竹. 基于多特征融合的田間雜草分類識別[J].農業機械學報，2014，45(3)：275－281.

Zhao Peng, Wei Xingzhu. Weed recognition in agricultural field using multiple feature fusions[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(3): 275－281. (in Chinese with English abstract)

[11] 何東健，喬永亮，李攀，等. 基于SVM-DS多特征融合的雜草識別[J]. 農業機械學報，2013，44(2)：182－187.

He Dongjian, Qiao Yongliang, Li Pan, et al. Weed recognition based on SVM-DS multi-feature fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(2): 182－187. (in Chinese with English abstract)

[12] 朱鳳武，楊建姣，齊跡. 基于遺傳算法的田間生物環境系統的研究[J]. 中國農機化學報，2016，37(12)：157－160.

Zhu Fengwu, Yang Jianjiao, Qi Ji. Study of field biological environment system based on genetic algorithm[J]. Journal of Chinese Agricultural Mechanization, 2016, 37(12): 157－161. (in Chinese with English abstract)

[13] 權龍哲，肖云瀚，王建宇，等. 智能除草裝備苗草模式識別方法研究[J]. 東北農業大學學報，2018,49(9): 79－87.

Quan Longzhe, Xiao Yunhan, Wang Jianyu, et al. Study on pattern recognition method of intelligent weeding equipment[J]. Journal of Northeast Agricultural University, 2018, 49(9): 79－87. (in Chinese with English abstract)

[14] 吳蘭蘭，徐愷，熊利榮. 基于視覺注意模型的苗期油菜田間雜草檢測[J]. 華中農業大學學報，2018，37(2)：96－102.

Wu Lanlan, Xu Kai, Xiong Lirong. Detecting weed in seedling rapeseed oil field based on visual-attention model[J]. Journal of Huazhong Agricultural University, 2018, 37(2): 96－102. (in Chinese with English abstract)

[15] 傅隆生，馮亞利，Elkamil Tola，等. 基于卷積神經網絡的田間多簇獼猴桃圖像識別方法[J]. 農業工程學報，2018，34(2)：205－211.

Fu Longsheng, Feng Yali, Elkamil Tola, et al. Image recognition method of multi-cluster kiwifruit infield based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205－211. (in Chinese with English abstract)

[16] 王璨，武新慧，李志偉. 基于卷積神經網絡提取多尺度分層特征識別玉米雜草[J]. 農業工程學報，2018，34(5)：144－151.

Wang Can, Wu Xinhui, Li Zhiwei. Recognition of maize and weed based on multi-scale hierarchical features extracted byconvolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(5): 144－151. (in Chinese with English abstract)

[17] 姜紅花，王鵬飛，張昭，等. 基于卷積網絡和哈希碼的玉米田間雜草快速識別方法[J]. 農業機械學報，2018，49(11)：30－38.

Jiang Honghua, Wang Pengfei, Zhang Zhao, et al. Fast identification of field weeds based on deep convolutional network and binary hash code[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(11): 30－38. (in Chinese with English abstract)

[18] 熊俊濤，劉振湯，林越，等. 自然環境下綠色柑橘視覺檢測技術研究[J]. 農業機械學報，2018，49(4)：45－52.

Xiong Juntao, Liu Zhentang, Lin Yue, et al.Visual detection technology of green citrus under natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(4): 45－52. (in Chinese with English abstract)

[19] 王生生，王順，張航，等. 基于輕量和積網絡及無人機遙感圖像的大豆田雜草識別[J]. 農業工程學報，2019，35(6)：81－89.

Wang Shengsheng, Wang Shun, Zhang Hang, et al. Soybean field weed recognition based on light sum-productnetworks and UAV remote sensing images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactionsof the CSAE), 2019, 35(6): 81－89. (in Chinese with English abstract)

[20] Liu Wei, Anguelov Dragomir, Erhan Dumitru, et al. SSD: single shot multibox detector[C]. Computer Vision ECCV 2016, Springer, Cham, 2016(C): 21－37.

[21] Redmon, Joseph. You only look once: unified, real-time object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016: 779－788.

[22] Redmon, Joseph. YOLO9000: Better, Faster, Stronger[J]. arXiv, 2016,1612.08242.

[23] Joseph Redmon, Ali Farhadi. YOLOv3: An incremental improvement[J]. arXiv, 2018,1804.02767.

[24] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016: 770－778.

[25] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137－1149.

[26] Lin T, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, Hawaii, USA, 2017: 936－944.

[27] He Kaiming, Gkioxari Georgia, Dollar Piotr, et al. Mask R-CNN[C]. IEEE International Conference on Computer Vision, Venice, Italy, 2017: 2980－2988.

[28] Yang You, Igor Gitman, Boris Ginsburg. Large batch training of convolutional networks[J]. arXiv, 2017, 1708.03888.

[29] Yang You, Zhao Zhang, Cho-Jui Hsieh, et al. ImageNet Training in Minutes[J]. arXiv, 2018,1709.05011.

[30] Chao Peng, Tete Xiao, Zeming Li, et al. MegDet: A large mini-batch object detector[C]. IEEE Conference on Computer Vision and Pattern Recognition, UTAH, USA, 2018: 6181－6189.

[31] Jan Hosang, Rodrigo Benenson, BerntSchiele. Learning non-maximum suppression[C]. IEEE Conference on Computer Visionand Pattern Recognition. HI, USA, 2017: 6469－6477.

Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN

Peng Mingxia1, Xia Junfang2※, Peng Hui1

(1.4300070; 2.4300070)

Cotton (Gossypium hirsutum) is one of the most important cash crops in China, The timely and effective removal of weeds in cotton seedling stage is an important measure to ensure high and stable yield of cotton. Nowadays, weed recognition based on machine vision is widely used. The fast and effective recognition of crop and weed in the field under natural illumination is one of the key technologies for the development of intelligent mechanization weeding pattern. In the one hand, cotton and weeds have similar color feature in the field. Feature presentation of the natural property of target is difficult to be obtained by the hand-engineered feature extractor. The spatial consistency of the obtained features is not good, and the real-time performance of recognition system is reduced for the complex feature extraction algorithm. On the other hand, the effect of image preprocessing has important influence on recognition results. In order to solve the main problems in the current research, we explored the way to improve the recognition accuracy, stability and real-time performance, and a recognition method of crop and weed based on Faster R-CNN．In this paper, cotton seedling at 2-5 leaves stages and weeding during the same stage were used as research objects under natural illumination. Weed identification from digital images taken under natural illumination at field level is still challenging in agricultural image processing applications, though a lot of research has been conducted related to this topic. To address this problem, images including cottons and weeds were taken vertically from top to bottom. A method based on Faster R-CNN convolutional neural network was proposed to identify weeds from cotton plants more accurately and quickly. The residual network was used to extract image features, with ReLU as the activation function and Max-pooling as the down-sampling method. In the region of proposal network, feature pyramid network was introduced to generate target candidate frame, and Softmax regression classifier was utilized to optimize the CNN network. The proposed methodology was implemented on 200 digital images taken under natural illumination. The experimental results demonstrated that, the average accuracy of weed identification reached 95.5%, and the average time for individual weed plant identification was 1.51 s, which was reduced to 0.09 s by using GPU. To test the efficiency of the proposed methodology, YOLOv3method was also carried out on the same training and test datasets. The weed identification results were assessed by mean average precision and average precision. The experimental results showed that better performance was achieved by using our proposed methodology, and better identification accuracy was reached as well. This indicated that the proposed method had a good effect on weed detection under natural illumination, and it will greatly promote the development of precise weed control.

cotton; convolutional neural network; machine vision; deep learning; image recognition; weed recognition; Faster R-CNN

彭明霞，夏俊芳，彭 輝. 融合FPN的Faster R-CNN復雜背景下棉田雜草高效識別方法[J]. 農業工程學報，2019，35(20)：202－209.doi：10.11975/j.issn.1002-6819.2019.20.025 http://www.tcsae.org

Peng Mingxia, Xia Junfang, Peng Hui. Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(20): 202－209. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.20.025 http://www.tcsae.org

2019-04-17

2019-09-24

國家重點專項項目（2017YFD0301303）；公益性行業（農業）科研專項項目（201503136）

彭明霞，博士生，主要從事農業信息技術集應用研究。Email：skymingxia@mail.hzau.edu.cn

夏俊芳，教授，博士生導師，主要從事農業精細農業裝備和機械設計技術。Email：xjf@mai.hzau.edu.cn

10.11975/j.issn.1002-6819.2019.20.025

TP274; TP391.41

A

1002-6819(2019)-20-0202-08