基于Faster R-CNN的枸杞開花期與果實成熟期識別技術*

朱永寧，周 望，楊 洋，李劍萍，李萬春，金紅偉，房 峰

基于Faster R-CNN的枸杞開花期與果實成熟期識別技術*

朱永寧1，3，4，周 望2**，楊 洋1，3，4，李劍萍1，3，4，李萬春1，3，4，金紅偉2，房 峰2

（1.中國氣象局旱區特色農業氣象災害監測預警與風險管理重點實驗室，銀川 750002；2.航天新氣象科技有限公司，無錫 214000；3.寧夏氣象防災減災重點實驗室，銀川 750002；4.寧夏氣象科學研究所，銀川 750002）

以寧夏16套枸杞農田實景監測系統2018年和2019年拍攝的圖像作為資料，結合枸杞開花期和果實成熟期的植物學特征，利用更快速的基于區域的卷積神經網絡（Faster R-CNN）方法對圖像進行訓練、分類，構建枸杞開花期和果實成熟期的識別算法，以平均精確率（AP）和平均精度均值（mAP）作為模型的評價指標，并將自動識別結果與專家目視判斷結果和田間觀測記錄進行對比。結果表明：當網絡結構中重要超參數批尺寸（batch size）和迭代次數（iterations）分別取值64和20000時，mAP值達到0.74，在測試集上對花和果實的識別效果好于其它參數。基于Faster R-CNN判識的枸杞開花期和果實成熟期與專家目視判斷的差異在2～5d，這兩種方法的判斷對象和判斷標準一致，可比性強，專家目視判斷的結果可以作為自動識別技術的驗證標準，用來優化并調整算法。自動識別結果與同期田間觀測記錄的差異在0～12d，差異的主要原因是這兩種方法的判識對象和標準不一致，難以利用田間觀測的結果優化自動識別算法。

枸杞；開花期識別；果實成熟期識別；發育期識別；Faster R-CNN；圖像識別

作物觀測是農業氣象觀測的重要組成部分，主要包括發育期、生長狀況、產量結構以及病蟲害等，發育期作為諸多農業氣象指標的分界線[1]，是氣象為農服務的基礎信息。根據現行的農業氣象觀測規范，要求對作物環境的物理要素（氣象要素、田間土壤濕度等）和作物要素（發育期、生長狀況、產量等）進行平行觀測[2]。氣象要素觀測從2020年4月即實現了全面自動化，目前土壤水分的監測也有了自動土壤水分站，但作物要素的觀測仍然依靠人工和簡單的儀器進行實地測量[3]，長期以來農業氣象觀測耗費人力、時效性不足，另外要求具有豐富經驗的專業人員，難以普及[4]，現行的觀測方法已不能滿足業務服務發展的需求。

近年來隨著物聯網、計算機硬件尤其是圖形處理器（GPU）的出現以及深度學習等技術的發展，基于圖像的作物分類、作物發育期以及病蟲害識別等均取得了不少研究成果。李濤等利用卷積神經網絡（CNN）進行訓練，對玉米雄穗進行識別進而對玉米抽雄期進行判識，其識別率、精確度和召回率分別達到了99.42%、99.53%和99.37%[5]，陸明等分別用RGB和HSL顏色空間提取綠色和黃色像素占整幅圖像的比例對夏玉米發育期進行判定，識別正確率達到了94.24%，其中播種期、出苗期、三葉期和七葉期的識別正確率達到100%[6]。劉闐宇等通過Faster R-CNN方法準確定位圖像中的葡萄葉片，提出了一種基于卷積神經網絡的病害檢測算法，對6種常見葡萄病害的平均精度值達到66.47%，其中褐斑病與白粉病的平均精度值超過70%[7]。劉永娟利用計算機視覺技術對玉米發育期識別進行了研究，其結果與人工觀測結果誤差在2d以內[8]。熊俊濤等利用Mask R-CNN模型對大豆葉片生長期葉片缺素癥狀的檢測方法進行了研究，訓練的模型在測試機上的分類準確率為89.42%[9]。張博等將空間金字塔池化與改進的YOLOv3深度卷積神經網絡相結合，提出了一種農作物害蟲種類識別算法，該算法在實際場景下對20類害蟲進行了識別測試，識別精度均值達到88.07%[10]。多位學者的研究表明，圖像識別技術在作物發育期、病蟲害等方面的識別均有良好的應用前景和可行性[11-12]，其優勢在于省時、高效且能克服人工觀測的主觀性。

由于卷積神經網絡（CNN）具有局部連接，權重共享以及匯聚的特性，這些特性使其具有一定程度上的平移、縮放和旋轉不變形，在圖像和視頻分析任務上表現突出[13]。近年來發展出了包括R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、YOLO以及SSD算法等，其中YOLO和SSD作為一階檢測器，其效率更高，在實時目標檢測方面具有更強的適用性。而R-CNN、Fast R-CNN以及Faster R-CNN是基于候選區域的卷積神經網絡，其檢測性能更優，在公開基準上取得了更好的結果。Faster R-CNN模型由區域建議網絡和Fast R-CNN結合而成，用區域建議網絡代替選擇性搜索算法，解決了技術區域建議時間開銷大的瓶頸問題，在識別速度和精度上都進一步提高[14]，被廣泛用于作物特征識別[15-19]、雜草識別[20-22]以及遙感、醫學等多個領域的研究[23-24]。

2018年，在寧夏農業氣象服務體系和農村氣象災害防御體系項目的支持下，建成了16套枸杞農田實景監測系統。為了充分利用圖像資料，研究枸杞發育期的自動識別算法，逐步實現發育期的自動觀測，本研究探索了枸杞開花期和果實成熟期的識別技術，由于發育期的觀測無需做到實時檢測，只需要對圖像中的目標特征進行高精度的檢測，因此選擇Faster R-CNN技術。

1 資料與方法

1.1 資料

枸杞圖像資料來自2018-2019年寧夏16套枸杞農田小氣候站上的實景監測系統，該系統采用高清攝像機DH-SD-6A9630U，攝像頭有效像素為500萬，可以實現360°水平旋轉、0～90°垂直旋轉和變焦拍攝。每套監測系統于枸杞生長季（4月1日-11月15日）每天拍攝10張圖像，圖像拍攝高度為6m，圖像分辨率為2560×1920，圖像文件為24位RGB真彩色JPG格式。拍攝到枸杞開花期和果實成熟期特征圖像共3000余張，去除鏡頭污損、拍攝視場角度不理想的圖像，最后剩余圖像樣本數為1210張。為避免參與訓練的某類別圖像數目過少或過多而出現欠擬合或過擬合現象，采用旋轉、裁剪、翻轉的方法進行數據增強，保證枸杞開花期和果實成熟期兩個類別的圖像樣本數量均衡，最后得到試驗樣本共7260張，其中訓練集圖像5808張，測試集圖像1452張。將數據增強后的樣本按照PASCAL VOC2007數據集格式進行劃分，圖像分辨率為2560×1920，圖像文件為24位RGB真彩色JPG格式。根據枸杞開花期和果實成熟期具有的顯著圖像特征，利用labelImg標簽工具將所有圖像樣本中的花和果實作為標簽對象，共標出12100朵“花”的標簽和11602個“果實”標簽（圖1）。

1.2 研究方法

攝像頭控制。在攝像頭的有效拍攝范圍內選定兩個區域，每個區域選定連續排列的5棵枸杞樹，設定攝像頭拍攝角度，每次拍攝時都按照設定的角度對每棵枸杞樹樹冠進行拍攝，每天拍攝1次，每次拍攝10張圖像。

開花期和果實成熟期資料的獲取采用3種方法。

（1）田間觀測法。參照《農業氣象觀測規范枸杞》[25]，2019年在銀川枸杞研究所觀測站（Y0200）和中寧石喇叭村觀測站（Y0211）于枸杞生長季同步進行田間觀測。田間觀測選擇與攝像頭拍攝相同的10棵枸杞樹，在每個觀測植株上選定2個枝條作為觀測枝條。當觀測枝條上出現某一發育期的特征時，即認為該枝條進入此發育期，地段內枸杞群體進入發育期的時間，按照觀測的總枝條數中進入發育期的枝條數所占的百分率確定，≥50%即為進入普遍期。枸杞的發育期中包含開花與果實成熟特征的主要發育期有6個，即老眼枝開花期（老眼枝上有花開放）、老眼枝果實成熟期（老眼枝上的青果迅速膨大，變成鮮紅色，有光澤）、夏果枝開花期（夏果枝上有花開放）、夏果成熟期（夏果枝上的青果迅速膨大，變成鮮紅色，有光澤）、秋梢開花期（秋果枝上有花開放）以及秋果成熟期（秋果枝上的青果變紅）。

圖1 枸杞“花”和“果實”的特征標簽

（2）專家目視判斷法。選取Y0200和Y0211兩個站點的全部圖像，由5名經驗豐富的專家對圖像進行目視判斷，判斷標準是一張圖像中出現某一發育期的特征達到5個，則認為這一棵枸杞樹達到了這一發育期的普遍期，某一天的10張圖像中有5張達到普遍期，則認為地段內的枸杞群體進入該發育期，綜合各位專家的意見給出專家目視判斷的結果。

（3）自動判識法。利用Faster R-CNN對訓練集圖像進行訓練，構建枸杞開花期和果實成熟期自動識別算法，根據算法對圖像中開花和果實成熟的特征進行標注。該方法的仿真實驗平臺為GPU服務器，處理器為Intel Broadwell E5-2650 v4，主頻2.2GHz，128GB內存，4TB硬盤，GPU采用NVIDIA Titan XP，運行環境為Ubuntu 16.04.9，Python 2.7，數學內核庫MKL 2017版，CUDA 8.0與cuDNN 8.0深層神經網絡庫，深度學習框架采用Caffe。

根據觀測經驗，枸杞樹冠一般修剪為兩層，每層平均10個枝條，攝像頭由于俯拍的原因能夠拍攝到第一層的10個枝條。按照觀測總枝條的50%出現某發育期的特征作為進入普遍期的原則，規定當一張圖像中出現5個特征點即認定這幅圖像拍攝的這棵枸杞樹進入了普遍期。拍攝的10幅圖像中，有5幅圖像達到普遍期即算作觀測的田塊達到了普遍期。

由于枸杞的發育期中，具有開花特征和果實成熟特征的各有3個發育期，利用Faster R-CNN構建的開花期和果實成熟期識別算法，只能對特征進行識別，但無法識別出是屬于老眼枝的花（或果實）還是春梢或者秋梢的花（或果實）。根據枸杞發育特征，在判斷不同階段的開花或果實成熟時引入時間序列判斷。從有圖像開始逐日判識，將第一次判識出開花普遍期的時間認定為老眼枝開花普遍期，將10張圖像中開花特征為0的時間作為第一個節點，再往后判斷出現開花普遍期時，認定為夏果枝開花普遍期，至10張圖像中開花特征為0的時間作為第二個節點，再往后判斷出現開花普遍期時，則作為秋梢開花普遍期。同樣的方式用以判斷果實成熟期的日期。

2 結果與分析

2.1 基于Faster R-CNN進行枸杞開花期和果實成熟期判斷的關鍵技術

2.1.1 Faster R-CNN整體流程

Faster R-CNN主要由RPN網絡和Fast R-CNN目標檢測組成[26]，VGG16網絡用于提取候選圖像的特征圖，RPN網絡用于生成區域候選框。Fast R-CNN基于RPN提取的候選框檢測并識別候選區域中的目標。Faster R-CNN的整體流程共有4個環節（圖2）。

圖2 Faster R-CNN的目標檢測結構

（1）特征提取：Faster R-CNN首先使用VGG16網絡提取候選圖像的特征圖，該特征圖被共享用于后續RPN層和全連接層。

（2）RPN網絡：RPN網絡用于生成候選區域框。該層通過判斷錨點屬于前景或者背景，再利用邊界框回歸修正錨框獲得精確的候選框。

（3）ROI池化：該層收集輸入的特征圖和候選的目標區域，綜合這些信息后提取目標區域的特征圖，送入后續全連接層判定目標類別。

（4）目標分類和回歸：利用目標區域特征圖計算目標區域的類別，同時再次利用邊界框回歸獲得檢測框最終的精確位置。

2.1.2 VGG16網絡模型

特征圖的提取對最后的結果準確與否至關重要，VGG16的卷積層和池化層均采用相同的卷積核參數和池化核參數，模型由若干卷積層和池化層堆疊的方式構成，比較容易形成較深的網絡結構，具有很強的特征提取能力[27]。該網絡具有13個卷積層、13個激勵層和4個池化層（圖3）。其中卷積操作的步長為1，邊界填充為1，卷積核寬、高為3×3，既保證了卷積前后圖像寬高不變，又可以在提升網絡深度的同時避免權重參數過多。池化層采用2×2且步長為2的最大池化，池化層不影響圖像的通道數目，但每次池化過后圖像的寬高都將減半。卷積的通道數有64、128、256、512個等級別，通道數量表示圖像經卷積提取特征后的特征圖數量。每個卷積層之后用ReLu激活函數進行非線性變換，此操作不影響特征的寬高及通道數目。通過參數設置，輸入圖像經過13層卷積和4層池化后得到的輸出特征圖的寬高變為原圖像的1/16，通道數目由RGB三通道變為512。

圖3 VGG16網絡結構

2.1.3 試驗指標評價

為了客觀評價訓練模型的優劣，選用平均精確率（AP）和平均精度均值（mAP）作為模型性能的評價指標。AP是P-R曲線下面的面積，P為精確率，R為召回率。AP是針對單個類別，AP值越高分類器分類效果越好。mAP是多個類別AP的平均值，mAP的取值范圍為[0，1]，mAP越大，說明訓練出來的識別模型目標檢測效果越好。P和R的計算式為

式中，TP為被正確劃分為正樣本的數量，FP為被錯誤劃分為正樣本的數量，FN為被錯誤劃分為負樣本的數量。

2.1.4 網絡訓練

在數據集固定的情況下，深度學習模型的最終效果取決于超參數調節的好壞。超參數優化是一個組合優化問題，無法像一般參數通過自我學習不斷調整，需要進行人工或優化算法進行設置。使用網格搜索的方式來調整優化超參數。為了保證實際環境中拍攝的圖像與訓練圖像樣本保持一致性，在訓練數據時，對前80% epoch進行所有數據的訓練，后面20% epoch只訓練原始數據。在學習率固定的情況下，選取重要超參數batch size和iterations按照網格搜索方式尋找最佳參數組合。其中，學習率為0.001，batch size取值范圍為[32，64]，迭代次數為[10000，20000，30000]。測試時，將枸杞開花和果實成熟特征的提取和分類加載到訓練好的神經網絡結構中，將分辨率為2560×1920的24位RGB真彩色的枸杞生長圖像輸入進行卷積運算，進行端到端處理，利用評價指標對不同參數測試結果進行評價，結果見表1。

由表1可知，基于本研究采用的試驗仿真平臺，在使用VGG16作為特征提取網絡的基礎上，當學習率為0.001，網絡重要超參數batch size和iterations分別取值64和20000時，在測試集上對花和果實的識別效果好于其它參數。

表1 不同超參數組合在測試集上的測試結果

注：AP 是平均精確率，mAP是平均精度均值。

Note: AP is Average Precision，mAP is mean Average Precision.

2.2 Faster R-CNN自動識別與田間觀測結果對比分析

對比2019年Faster R-CNN自動識別的枸杞開花和果實成熟普遍期結果與田間觀測結果（表2），由表2可知，Y0200站自動識別結果比田間觀測結果整體偏晚2～11d，差異最大的是夏果枝開花期，差異最小的為老眼枝開花期和秋果成熟期。而Y0211站的情況正好相反，自動識別的結果比田間觀測記錄結果整體偏早0～12d，差異最大的是夏果枝開花期，差異最小的為老眼枝果實成熟期。可見，基于Faster R-CNN判識的結果與田間觀測結果在不同發育期和不同站點表現不一致。分析導致差異的原因，一是判識對象不一致，田間觀測時不僅明確了每棵枸杞樹，同時明確了每個枝條，觀測不會因遮擋、隱藏影響觀測結果。自動識別算法的判識對象是圖像，由于是二維信息無法解決遮擋的問題，當出現的特征被遮擋、隱藏無法拍攝到時，自動判識結果比田間觀測結果偏晚。二是判識標準不一致，田間觀測以出現發育期特征的枝條數占觀測總枝條數的百分比作為標準，圖像識別中以一副圖像中出現5個特征點為標準，兩種方式的可對比性不強。

表2 2019年枸杞開花期和果實成熟普遍期自動識別結果與田間觀測結果對比

注：Y0200為銀川枸杞研究所觀測站，Y0211為中寧石喇叭村觀測站。P1、P2、P3、P4、P5和P6分別為老眼枝開花期、老眼枝果實成熟期、夏果枝開花期、夏果成熟期、秋梢開花期和秋果成熟期。“-”表示沒有得到對應的發育期日期。下同。

Note: Y0200 is the code of YinchuanResearch Institute Observation Station, Y0211 is the code of Zhongning Shilabacun Observation Station. P1,P2,P3,P4,P5 and P6 are flowering period on the first fruit bearing shoot, fruit maturity on the first fruit bearing shoot, flowering period on the summer fruit bearing shoot, fruit maturity on the summer fruit bearing shoot, flowering period on the autumn fruit bearing shoot, fruit maturity on the autumn fruit bearing shoot, respectively. - means that the corresponding developmental date has not been obtained.The same as below.

由于2019年9月的連陰、降雨天氣導致Y0211站花蕾嚴重受損，后期未觀測到秋梢開花普遍期和秋果成熟普遍期，自動識別技術也未識別到這兩個發育期，兩種方法結果一致。

2.3 Faster R-CNN自動識別與專家目視判斷結果對比分析

對比2019年Faster R-CNN自動識別的枸杞開花期和果實成熟普遍期結果與專家目視判斷結果（表3），由表3可知，Y0200站自動識別結果與田間觀測結果整體相差2～4d，差異最大的是夏果枝開花期，差異最小的是老眼枝開花期和秋果成熟期。Y0211站自動識別結果與專家目視判斷結果相差3～5d。Y0211站由于天氣原因未出現秋梢開花普遍期和秋果成熟普遍期，自動識別技術也未識別到這兩個發育期，結果一致。整體上看，自動識別結果與專家目視判斷的結果差異明顯縮小，主要原因首先是觀測對象一致，兩種方法均從圖像中獲取信息，如果完全遮擋，自動識別和專家目視均無法判斷，另外，兩種方法的觀測標準一致。二者依然存在差異的原因是圖像中開花和果實成熟特征部分被遮擋，專家認為是開花或果實成熟特征，但自動識別會遺漏，這一點專家的判斷結果明顯好于自動識別（圖4），自動識別算法在這一點上還需完善。圖4a中，專家目視判斷出的開花特征共6個，自動識別結果為4個，圖4b中，專家目視判斷出的果實成熟特征共5個，自動識別結果為3個。造成差異的原因都是特征被樹葉或枝條遮擋，自動識別算法未提取到，可見利用VGG16提取的特征還存在缺陷，需要進一步完善。

表3 2019年枸杞開花期和果實成熟普遍期自動識別結果與專家目視判斷結果對比

圖4 Faster R-CNN自動識別與專家目視判斷開花特征和果實成熟特征結果

注：紅色邊框為專家目視判斷結果，綠色錨點為自動判斷結果。

Note: Red frame is the result of expert visual judgment, green anchor point is the result of automatic judgment.

3 結論與討論

3.1 結論

（1）在學習率固定的情況下，選取重要超參數batch size和iterations，按照網格搜索方式尋找最佳參數組合，當batch size和iterations分別取值64和20000時，在測試集上對枸杞花和果實的識別效果好于其它參數。

（2）基于Faster R-CNN自動識別的枸杞開花和果實成熟普遍期結果與田間觀測結果相差0～12d，導致差異較大的原因一是兩種方法的判識對象不同，二是觀測標準不一致。由于差異無法從根本上避免，所以難以利用田間觀測結果對自動識別算法進行調整或優化。

（3）基于Faster R-CNN自動識別結果與專家目視判斷結果相差2～5d，兩種方式都以圖像作為判識對象，在判斷標準上也一致，具有更強的可比性，存在差異的主要原因是自動識別算法提取的特征存在缺陷，可以用專家目視判斷的結果加以優化。

3.2 討論

隨著服務需求的變化和各項技術的發展，自動觀測將是農業氣象觀測發展的一個趨勢。基于圖像識別技術的發育期自動判識如果想要代替現有的田間觀測，首先需要足夠準確的算法，還同時需要一套不同于田間觀測的規范和標準。從本研究結果看，田間觀測和圖像識別的結果有著難以解決的差異，后期應該在開展識別技術研究的同時推進規范和標準的制定。

判斷一幅圖像是否達到某發育期時，本研究設定當一幅圖像中具有5個特征點時即算作達到了普遍期，這一點是根據前期的觀測經驗給出的標準，該標準的適用性還需進一步討論。另外，本研究認為現行的田間觀測規范中判斷地段作物群體進入發育期的原則在自動觀測中仍然可以遵循，以觀測的總圖像數中進入發育普遍期的圖像數所占的百分率確定。

[1]王純枝,毛留喜,楊曉光,等.黃淮海地區冬小麥農業氣象指標體系的構建[J].氣象與環境科學,2019,42(1):3-10.

Wang C Z,Mao L X,Yang X G,et al.Construction of agrometeorological index system for winter wheat in HuangHuaiHai region[J].Meteorological and Environmental Sciences,2019,42(1):3-10.(in Chinese)

[2]中國氣象局.農業氣象觀測規范[M].北京:氣象出版社,1993:9-10.

China Meteorological Administration.Specification for agrometeorological observation[M].Beijing:China Meteorological Press,1993:9-10. (in Chinese)

[3]胡萌琦.普及型生態:農業氣象自動觀測方法研究與應用[D].南京:南京農業大學,2011.

Hu M Q.Study of universal eco-meteorological and agro-meteorological automatic observation method[D]. Nanjing:Nanjing Agriculture University,2011.(in Chinese)

[4]張雪芬,薛紅喜,孫涵,等.自動農業氣象觀測系統功能與設計[J].應用氣象學報,2012,23(1):105-112.

Zhang X F,Xue H X,Sun H,et al.Function and designing of automatic system for agro-meteorology[J].Journal of Applied Meteorological Science,2012,23(1):105-112.(in Chinese)

[5]李濤,吳東麗,胡錦濤,等.基于深度學習的玉米抽雄期判識[J].電子測量技術,2019,42(11):102-106.

Li T,Wu D L,Hu J T,et al.Maize tasseling period recognition based on deep learning[J].Electronic Measurement Technology,2019,42(11):102-106.(in Chinese)

[6]陸明,申雙和,王春艷,等.基于圖像識別技術的夏玉米生育期識別方法初探[J].中國農業氣象,2011,32(3):423-429.

Lu M,Shen S H,Wang C Y,et al.Initial exploration of maize phenological stage based on image recognition[J].Chinese Journal of Agrometeorology,2011,32(3):423-429.(in Chinese)

[7]劉闐宇,馮全,楊森.基于卷積神經網絡的葡萄葉片病害檢測方法[J].東北農業大學學報,2018,49(3):73-83.

Liu T Y,Feng Q,Yang S.Detecting grape diseases based on convolutional neural network[J].Journal of Northeast Agricultural University,2018,49(3):73-83.(in Chinese)

[8]劉永娟.基于計算機視覺技術的玉米生育期識別研究[D].無錫:江南大學,2017.

Liy Y J.Research on recognition of corn growth period based on computer vision technology[D].Wuxi:Jiangnan University,2017.(in Chinese)

[9]熊俊濤,戴森鑫,區炯洪,等.基于深度學習的大豆生長期葉片缺素癥狀檢測方法研究[J/OL].農業機械學報,http://kns.cnki.net/kcms/detail/11.1964.S.20191112.0943.004.html.

Xiong J T,Dai S X,Qu J H,et al.Leaf deficiency symptoms detection of soybean based on deep learning[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,http://kns.cnki.net/kcms/detail/11.1964.S.20191112.0943.004.html.(in Chinese)

[10]張博,張苗輝,陳運忠.基于空間金字塔池化和深度卷積神經網絡的作物害蟲識別[J].農業工程學報,2019,35(19): 209-215.

Zhang B,Zhang M H,Chen Y Z.Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J].Transactions of the CSAE,2019,35(19): 209-215.(in Chinese)

[11]王彥翔,張艷,楊成婭,等.基于深度學習的農作物病害圖像識別技術進展[J].浙江農業學報,2019,31(4):669-676.

Wang Y X,Zhang Y,Yang C Y,et al.Advances in new nondestructive detection and identification techniques of crop diseases based on deep learning[J].Acta Agriculturae Zhejiangensis,2019,31(4):669-676.(in Chinese)

[12]梁胤豪,陳全,董彩霞,等.基于深度學習和無人機遙感技術的玉米雄穗檢測研究[J].福建農業學報,2020,35(4): 456-464.

Liang Y H,Chen Q,Dong C X,et al.Application of deep-learning and UAV for field surveying corn tassel[J].Fujian Journal of Agricultural,2020,35(4):456-464. (in Chinese)

[13]邱錫鵬.神經網絡與深度學習[M].北京:機械工業出版社,2020:114.

Qiu X P.Neural networks and deep learning[M].Beijing: China Machine Press,2020:114.(in Chinese)

[14]陳思聰.深度學習技術及在花卉識別中的應用[J].信息與電腦,2019(21):70-72.

Chen S C.Deep learning technology and its application in flower recognition[J].China Computer & Communication, 2019(21):70-72.(in Chinese)

[15]孫哲,張春龍,葛魯鎮,等.基于Faster R-CNN的田間西蘭花幼苗圖像檢測方法[J].農業機械學報,2019,50(7): 216-221.

Sun Z,Zhang C L,Ge L Z,et al.Image detection method for broccoli seedlings in field based on faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery,2019,50(7):216-221.(in Chinese)

[16]席芮,姜凱,張萬枝,等.基于改進Faster R-CNN的馬鈴薯芽眼識別方法[J].農業機械學報,2020,51(4):216-223.

Xi R,Jiang K,Zhang W Z.et al.Recognition method for potato buds based on improved faster R-CNN[J]. Transactions of the Chinese Society for Agricultural Machinery,2020, 51(4):216-223. (in Chinese)

[17]王靜濤,宋文龍,李克新,等.依據Faster R-CNN的活體植株葉片氣孔檢測方法[J].東北林業大學學報,2020,48(2): 34-39.

Wang J T,Song W L,Li K X,et al.A Stoma detection method for living plant leaves with faster R-CNN[J]. Journal of Northeast Forestry University,2020,48(2):34-39. (in Chinese)

[18]Shu Q T,Jing P,Hao F L,et al.Passion fruit detection and counting based on multiple scale Faster R-CNN using RGB-D images[J].Agriculture Week,2020,21(11):1072-1091.

[19]李就好,林樂堅,田凱,等.改進Faster R-CNN的田間苦瓜葉部病害檢測[J].農業工程學報,2020,36(12):179-185.

Li J H,Lin L J,Tian K,et al.Detection of leaf diseases of balsam pear in the field based on improved Faster R-CNN[J].Transactions of the CSAE,2020,36(12):179-185. (in Chinese)

[20]李春明,逯杉婷,遠松靈,等.基于Faster R-CNN的除草機器人雜草識別算法[J].中國農機化學報,2019,40(12): 171-176.

Li C M,Lu S T,Yuan S L,et al.Weed identification algorithm of weeding robot based on Faster R-CNN[J]. Journal of Chinese Agricultural Mechanization,2019, 40(12):171-176.(in Chinese)

[21]張樂,金秀,傅雷揚,等.基于Faster R-CNN深度網絡的油菜田間雜草識別方法[J].激光與光電子學進展,2020, 57(2): 304-312.

Zhang L,Jin X,Fu L Y,et al.Recognition approaches of weeds in rapeseed field based on Faster R-CNN deep network[J].Laser & Optoelectronics Progress,2020,57(2): 304-312.(in Chinese)

[22]彭明霞,夏俊芳,彭輝.融合FPN的Faster R-CNN復雜背景下棉田雜草高效識別方法[J].農業工程學報,2019, 35(20):202-209.

Peng M X,Xia J F,Peng H.Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN[J].Transactions of the CSAE,2019,35(20):202-209.(in Chinese)

[23]Wang J W,Luo H B,Yu P F,et al.Small objects detection in UAV aerial images based on improved Faster R-CNN[J]. Journal of Measurement Science and Instrumentation, 2020,1(11):11-16.

[24]周兵,李潤鑫,尚振宏,等.基于改進的Faster R-CNN目標檢測算法[J].激光與光電子學進展,2020,57(10):105-112.

Zhou B,Li R X,Shang Z H,et al.Object detection algorithm based on improved Faster R-CNN[J].Laser & Optoelectronics Progress,2020,57(10):105-112.(in Chinese)

[25]劉靜,馬力文,李潤懷,等.農業氣象觀測規范枸杞:QX/T 282-2015[S].中國氣象局,2015.

Liu J,Ma L W,Li R H,et al.Specification for agrometeorological observation:QX/T 282-2015[S].China Meteorological Administration,2015. (in Chinese)

[26]Ren S Q,He K M,Girshick R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[J]. Transactions on Pattern Analysis and Machine Intelligence, 2017,39(6):1137-1149.

[27]Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[J/OL]. ComputerScience,2014 [2014-09-01]. https://arxiv.org/abs/ 1409.1556.

Automatic Identification Technology ofFlowering Period and Fruit Ripening Period Based on Faster R-CNN

ZHU Yong-ning1，3，4, ZHOU Wang2, YANG Yang1，3，4, LI Jian-ping1，3，4, LI ,Wan-chun1，3，4, JIN Hong-wei2, FANG Feng2

（1.Key Laboratory for Meteorological Disaster Monitoring and Early Warning and Risk Management of Characteristic Agriculture in Arid Regions, CMA, Ningxia Yinchuan 750002, China; 2. Aerospace Newsky Technology Co.Ltd, Wuxi 214000; 3. Key Laboratory of Meteorological Disaster Prevention and Reduction of Ningxia, Yinchuan 750002; 4.Ningxia Meteorological Science Institute, Yinchuan 750002）

From 2018 to 2019, 16 sets offarmland monitoring systems had been built in Ningxia. Each system took 10 images every day, and over 30,000 images of the growth oftrees were taken in two years. To study the recognition technology of the flowering period and fruit ripening period ofbased on these images, three methods were used in this paper to judge the developmental stage of. The first one was the field observation method. In this method, two fields where the real-life monitoring system was installed were selected, and thetrees in the two fields were manually observed once in every two days during the growing season. Thetrees selected by manual observation should be consistent with the ones photographed by the farmland monitoring systems. The second method was expert visual judgment, in which 5 experienced experts were invited to judge all the images. The judgment standard was as follows. If there were 5 features in a certain developmental period in an image, it was considered that thistree had reached the universal period of this developmental period. If 5 out of 10 images on a certain day reached the universal period of this developmental period, it was considered that thepopulation in the filed had entered this developmental period. Based on the opinions of the experts, the result of the expert visual judgment was given. The third method is the automatic recognition method. In this method, more than 3000 images with characteristics offlowering and fruit ripening were screened out from all the images. Removed the images with lens fouling or unsatisfactory field of view, and finally, the number of remaining image samples was 1210. To avoid the phenomenon of underfitting or overfitting due to too few or too many images of a certain category involved in training, rotation, cropping and flipping were used for data enhancement. The data enhanced samples were divided according to the format of the PASCAL VOC2007 data set. Finally, a total of 7260 experimental samples were obtained, including 5808 images in the training set and 1452 images in the test set. According to the significant image characteristics ofin the flowering and fruit ripening periods, the labelImg label tool was used to label all the flowers and fruits in the image samples, marking 12100 ‘flower’ labels and 11602 ‘fruit’ labels. Then, faster region-based convolutional neural network (Faster R-CNN) was utilized to train and classify the selected images, and to construct the algorithm for identifying the flowering period and fruit ripening period of. In the constructed algorithm, the judgment standard was the same as that in the second method, and the time series judgment was introduced when judging the different stages of flowering or fruit ripening. Taking AP and mAP as the evaluation indicators of the automatic recognition model, the results showed that the mAP value could reach 0.74 on the test set when the important hyperparameters batch size and the number of iterations in the network structure were set to be 64 and 20000 respectively, which outperforms other hyperparameters setting. Comparing the results of the three methods, it could be found that the difference between the automatic recognition results and the field observation records during the same period was 0-12 days. The main reason for the difference was that the observation objects and standards of the two methods were inconsistent. The observation object of the automatic recognition method was a two-dimensional image, and it could not be judged when the feature was occluded. The object of field observation is thetree, which is not affected by occlusion. Besides, the standards of these two methods were different. The standard of the automatic recognition method was based on the number of feature points observed in the image, while the field observation method was based on the ratio of the observed feature points to the expected feature points of thetree that could not be obtained in the automatic recognition method. The difference between the two methods could not be eliminated fundamentally, so it was difficult to optimize the automatic recognition algorithm using the results of the field observations method. The comparison results also showed that the difference between the automatic recognition results and the expert visual judgments was within 2-5d. The judgment objects and standards of these two methods were consistent, so the results were highly comparable. The results of expert visual judgment could be used as the verification standard to optimize and adjust the automatic recognition method.

；Flowering period recognition; Fruit ripening period recognition; Growth stages recognition；Faster R-CNN；Automatic image recognition

10.3969/j.issn.1000-6362.2020.10.006

朱永寧,周望,楊洋,等.基于Faster R-CNN的枸杞開花期與果實成熟期識別技術[J].中國農業氣象,2020,41(10):668-677

2020-05-20

周望，E-mail：zhou.wang@js1959.com

中國氣象局旱區特色農業氣象災害監測預警與風險管理重點實驗室開放研究基金（CAMF-201813）；第四批寧夏青年科技人才托舉工程項目（TJGC2019058）；寧夏回族自治區重點研發計劃（2019BEH03008）；寧夏回族自治區重點研發項目（2017BY080）

朱永寧，E-mail：zhuyongning.007@163.com