基于實例分割的柑橘花朵識別及花量統計

鄧 穎，吳華瑞，朱華吉

（1. 國家農業信息化工程技術研究中心，北京 100097；2. 北京市農業信息技術研究中心，北京 100097；3. 農業農村部農業信息軟硬件產品質量檢測重點實驗室，北京 100097）

0 引 言

柑橘是隔年結果，花量決定果量，越早的進行花朵負載監測，就能越早進行生產決策調整：柑橘定植后1至3 年期間應重點增加樹冠面積，盡量少開花甚至不開；進入結果期的衰弱樹也要少開花；進入結果期樹枝生長勢旺、開花少的樹要進行促花。因此，柑橘種植若要獲得優質高產，需科學合理的調節花量。柑橘樹開花數量多，單株花量達數千至數萬朵不等，不論是人工統計還是機器識別都無法做到精確地統計柑橘花量，目前通常是果農用肉眼和經驗進行大致的花量預估。

國內外開展了很多柑橘植株負載監測的研究，其方法大多使用顏色特征、超聲波、航空圖像等對柑橘果實進行測量。Ye 等[1]利用航空高光譜圖像來測量柑橘果實數量，采集4、5、6 月份的共72 張柑橘樹圖像，利用BP 神經網絡分析柑橘果實量與樹冠平均反射率的關系，神經網絡訓練結果表明5 月份采集的柑橘圖像和柑橘果實量之間的相關性好于4 月和6 月。Annamalai等[2]設計了一個基于機器視覺的實時柑橘果實檢測系統，在RGB 顏色模型中，通過閾值分割法將柑橘從背景中分離出來，然后分析柑橘識別個數與果實數量的關系，因為僅使用了一個閾值，并不能適應自然條件下的復雜圖像，柑橘識別數量與實際數量之間的相關系數較低，僅為0.79。張亞靜等[3]利用顏色信息對自然條件下的樹上柑橘果實進行識別試驗，并分析果實個數、總面積、總周長與果實數量的關系。上述研究均應用于柑橘結果期對果實的數量計算與統計，但不能在花期進行負載監測。近年來，中國智慧農業發展迅猛，已有高新技術企業利用梨樹的樹冠垂直拍攝面識別梨花，進而統計梨花數量。通常情況下，柑橘樹的掛花數量遠高于梨樹，且梨樹花期幾乎無樹葉遮擋，柑橘則存在樹葉和花朵之間的互相遮擋、重疊等情況，在開花數計算難度上遠高于梨樹。

本研究利用圖像實例分割技術對柑橘樹照片進行花朵識別與標記，解決了小尺度花朵目標識別難的問題，通過獲取實例分割邊框（Bounding Box）中的柑橘花朵和柑橘花苞2 個類型的實例總數，做到高精度低時耗的局部樹冠圖像花量計算，為柑橘植株發育期的花量科學管控提供智能決策依據。

1 實物分割方法

在計算機視覺領域中，圖像處理網絡模型眾多，本研究選取基于實例分割（Instance Segmentation）[4-6]技術的掩膜區域卷積神經網絡（Mask R-CNN）網絡框架進行花朵識別和花量計算[7-10]。若要從圖像中得到柑橘花朵數量，首先需對圖像中的各實體類別進行逐一識別，并計算識別出的柑橘花朵實體的個數，該問題可以歸為目標檢測問題。經研究驗證，在目標檢測中，進行實例分割的掩膜區域卷積神經網絡模型平均精度（Average Precision，AP）[10]高于物體檢測（Object Detection）模型[11-13]，且物體檢測模型對密集小畫面物體識別度不高，應用在柑橘花朵識別上效果欠佳，因此本研究采用實例分割思想。基于Mask R-CNN 的網絡框架，將復雜的物體分割問題通過相對簡單的物體檢測技術進行簡化，從而使分割變得更加容易。由于Mask R-CNN 多層多分支的網絡結構使模型的訓練和驗證時間都相對較長，本研究將對此進行優化，在保證柑橘花朵高識別率的基礎上提升時間效率。

1.1 花朵識別模型設計

如圖1 所示，柑橘花朵識別網絡從結構上分為卷積主干、特征圖處理、掩膜計算、邊框回歸、類別預測等模塊。首先，卷積主干通過卷積運算對輸入圖像進行特征提取、通過候選區域推薦（region proposal）計算得到柑橘花朵的候選區域范圍，通過特征金字塔生成不同尺度的特征圖；然后，特征圖處理模塊針對各特征圖尺度不同的情況進行尺度標準化計算，生成固定大小的特征圖組；最后，特征圖組傳入網絡頭部，頭部包含3 個分支，通過掩膜分支計算每個興趣區域內花朵實例的二維掩碼，邊框回歸分支確定柑橘花朵的邊框范圍，類別預測分支進行實例分類預測。

圖1 柑橘花朵識別網絡結構 Fig.1 Framework of citrus flower recognition network

1.1.1 卷積計算

模型的最底部是卷積主干部分，進行輸入圖像的特征提取，必須經過卷積計算才能進行后續的分類、掩膜和邊框計算。隨著卷積網絡隨層數的增加，其特征表達能力增強，但卻同時面臨梯度消失的問題。因為普通神經網絡的層數越深，初始化參數更接近于0，由于神經網絡的訓練通常采用反向傳播算法進行鏈式乘積求導，在更新淺層參數時，隨著信息往前傳播，淺層的梯度就越趨于0，最終出現梯度的消失，導致網絡層數增加到一定限度，模型的精度不增反降。

殘差卷積網絡（ResNet）[14-16]通過引入殘差模塊，有效避免了梯度消失的問題，實現對模型精度的提升。公式（1）為殘差模塊的數學表示：將殘差塊的輸入數據xi，通過捷徑鏈接（shortcut connection）進行恒等映射Wixi（不需要做維度轉換的情況下W=1），同時將xi進行卷積并通過線性修正單元（rectified linear unit，ReLU）進行激活運算Gi，輸出殘差值F（xi，Gi）。

式中xi為第i 層殘差塊的數據輸入；Gi為激活函數；F(xi，Gi)為殘差值；W 為捷徑鏈接的恒等映射參數（通常情況下為常數1）；xi+1為i+1 層殘差塊的輸入。

任意比xi層數更深的xk均可由xi表示，見公式（2）；損失函數對于xi的梯度為dl/dxi可表示為公式（3），將W 取1。

式中xk為第k 層（k＞i）的殘差塊輸入值；xj為i 層到k-1層的殘差值；Gj為i 層到k-1 層的激活函數；F（xj，Gj）為i 層到k-1 層的殘差值。

公式（2）代入公式（3）可得公式（4）。由公式（4）可知，較深層xk的梯度可以傳遞到比其淺的任意層xi，且由于括號內有常數1 的存在，且傳導過程中的乘積計算變為相加，因此不論網絡層數多深，它的梯度始終不會消失。

1.1.2 多尺度處理

圖像中物體離鏡頭的遠近影響它們的成像大小，而成像小于卷積網絡步幅的物體會被忽略而得不到有效識別，這樣的問題稱為多尺度問題[21-22]。柑橘花朵在日常生產監測圖像中大多以小尺度的形式存在，為了更好的捕捉花朵的形狀、顏色特征，通常會拍攝一定數量的大尺度花朵特寫照片進行識別模型的訓練，因此在訓練和識別2 種場景下存在明顯的多尺度問題。采用快速區域卷積神經網絡（fast R-CNN）[19-20]的特征金字塔網絡（Feature Pyramid Networks，FPN）[23-25]可以使多尺度問題得到有效解決。如圖2 所示，FPN 采用雙金字塔結構，左側金字塔為常規的特征圖卷積網絡，特征圖隨著卷積次數逐層縮小；中間金字塔則從上至下對卷積后的圖像進行反向采樣，通過將上層右側的特征圖進行放大（放大倍數與左側卷積縮小倍數成倒數關系），進而與下一層左側的特征圖各像素點進行元素相加，在不增加運算量的基礎上，增強了金子塔右側每一層在不同尺度下空間信息和語義信息的表達能力，以便小尺度目標的檢測。由此可見，在進行柑橘花朵識別的場景中，FPN 網絡能發揮其多尺度識別的優勢，增加對圖像中尺度細小且排布密集的柑橘花朵目標的檢測幾率。

圖2 FPN 結構圖 Fig.2 FPN structure

1.1.3 特征圖處理

經過殘差卷積網絡和金字塔網絡之后，原始圖像被轉化為多尺度特征圖，再由區域推薦網絡（Region Proposal Network，RPN）對其興趣區域（Region of Interest，RoI）進行篩選，進而對篩選后的RoI 進行池化。對于如何進行池化，Girshick[19]在fast CNN 中提出興趣區域池化（RoI Pooling）—采用最近鄰插值（Nearest Neighbor Interpolation）[26]法將縮放后的非整數采樣點坐標作四舍五入取整，等同于選取最近的整數坐標點替代離實際采樣點，這樣會因取整損失小數點后的精度，導致縮放前后圖像的空間對稱性的缺失。He 等[7]提出興趣區域對齊法（RoI Align），用雙線性插值（bilinear interpolation）進行采樣點坐標計算，保留采樣點坐標的小數值以提高池化精度。因此，在特征圖處理模塊中，本研究以興趣區域對齊法替代興趣區域池化法，可有效減少特征圖尺度標準化過程中的精度損失。

圖3 為興趣區域對齊法進行特征圖尺度標準化的原理示例。假設將一張大小為150×100 的圖像縮放為原大小的1/4，形成大小為75×50 的特征圖；將特征圖進行橫向與縱向的5 等分，形成25 個等面積矩形；圖3 右側紅色方框是特征圖左上紅色等面積矩形的放大圖，對紅色方框進行x 等分，并取每個等分中心為采樣點，通常采用4 等分，即對紅色方框4 個等分中心P1、P2、P3、P4 進行采樣；P1 坐標為（3.75，47.5），它最鄰近4 個整數坐標點為Q1（3，48）、Q2（4，48）、Q3（3，47）、Q4（4，47），用雙線性插值[27]法通過Q1，Q2，Q3，Q4 的像素值計算出P1 的像素值；以此類推計算出4 個采樣點的像素值，并進行最大池化（max pooling）得到紅色等面矩形的池化輸出值。由此可見，在整個特征圖池化過程中，興趣區域對齊法始終保持坐標的完整性，避免了取整導致的采樣點位置偏移，因此本研究以興趣區域對齊法作為特征圖尺度標準化方法。

圖3 興趣區域對齊法示例 Fig.3 Region of interest align example

1.1.4 損失值計算

經過特征區域篩選，網絡頭部將對各特征區域進行掩膜、邊框和分類計算，試驗證明[7]在多個數據集的模型訓練中，選擇采用分類、邊框和掩膜三者的損失之和（如公式5）作為整體的損失值，都能取得很好的效果。

式中Lcls為分類計算損失值；Lbox為邊框計算損失值，Lmask為掩膜計算損失值，L 為網絡整體損失值。

1.2 網絡優化設計

1.2.1 網絡卷積主干優化

ResNet-50和ResNet-101是由殘差塊簡單串聯而成的深度殘差卷積網絡，其層數分別為50 層和101 層。已有的研究表明[14]，ResNet 的精度隨層數增加而增加，消耗的計算資源也隨之遞增。后續提出的多維殘差網絡（Next Dimension ResNet，ResNeXt）[17-18]在網絡上結構上對ResNet 進行了優化，通過多分支卷積網絡（multi-branch convolutional networks）分組卷積（group convolution）結構進一步提高了網絡的精度，同時降低了運算量。Xie 等[17]通過試驗證明，獨立的ResNeXt50 的平均精度值高于ResNet50 稍低于ResNet101，且速度最快。

He 等[7]在 Mask R-CNN 中采用 ResNet50、ResNeXt101 和ResNet101 作為卷積主干，分別進行對比試驗，證明ResNet101 的平均精度（AP 值）為35.4，高于ResNet50 的33.6，但低于ResNeXt101 的36.7。

相同的網絡結構下，層數越深的殘差卷積網絡特征表達能力越強，準確度也越高，但在柑橘花朵識別場景下，需識別的目標類型只有花朵和花苞2 個類別，訓練數據集數量有限，可提取的特征數也相對較少，理論上此時101 層卷積與50 層卷的積準確度差距將縮小，且網絡的層數越少時間效率越高。本研究將在Mask R-CNN中采用ResNeXt50/101和Resnet50/101作為卷積主體進行試驗分析，確定在柑橘花朵識別場景下，受自身數據集大小限制下進行識別的最優卷積主干選擇。

1.2.2 掩膜分支優化

Mask R-CNN 論文基于MS COCO 數據集（Microsoft common objects in context）8 萬訓練數據集和3 萬5 千驗證數據集進行80 種物體分類切割，而Mask R-CNN 中的掩膜分支的結果是m×m×k 的（m 通常為14 或者28，k為實例類別個數，即k 為80），代表每個類別經過掩膜分支網絡都會生成一個m×m 的掩膜，這樣的目標檢測是已知分類（class-specific/class-aware）的。鑒于在Mask R-CNN 中，分類分支已經預測出物體類別[28]，并不需要考慮其他類別的掩膜，所以只需輸出一個m×m 的掩膜即可，即為未知分類（class-agnostic）的目標檢測模式。理論上未知分類模式通過大幅減少邊框回歸參數量，可大量減少掩膜分支的計算量，在對實際精準度影響不大的前提下能夠節省訓練和檢測時間，本研究將使用柑橘花朵數據集對此進行試驗和分析驗證。

1.2.3 訓練模式的優化

在原Mask R-CNN 網絡上，區域推薦網絡和網絡頭部是按照先后順序（stage-wise）分開進行訓練的，其采用同樣的卷積主干但是彼此不共享數據特征。而研究證明，相對按照先后順序分開訓練，將區域推薦網絡和網絡頭部（掩膜、邊框及分類分支）合并起來進行端到端（end-to-end）的訓練在目標圖像分割方面能提升0.6 的平均精度，在目標分類識別方面能提升1.2 的平均精度[7]，本研究在改進后的網絡上采用此訓練模式進行試驗和分析驗證。

2 性能評價指標

平均精度（Average Precision，AP）指標可以全面地表達圖像分割模型的分類器性能，是準確率和召回值的綜合體現，已被廣泛應用到目標檢測方法的評價當中[29-30]。本研究采取平均精度和誤差率（Error Rate，ER）作為花朵識別和花量統計的性能評價指標。圖像分割的評估指標是從文本檢索演變而來的。將圖像分割的像素點屬于RoI 的可能性與文本的相關性相關聯，就能將文本檢索中性能評價指標體系代入圖像分割中來。

文本檢索評價體系中2 個重要的評價指標分別是準確率和召回率。準確率和召回率可由判斷正確的正例數（True Positives，TP）、判斷錯誤的正例數（False Positives，FP）、判斷錯誤的負例數（False Negatives，FN）、判斷正確的負例數（True Negatives，TN）4 個參數表示

式中p 為準確率；r 為召回率。

式中AP 為平均精度。可以看出平均精度是準確率在召回率上的積分，通常AP 值越高，分類器性能越好。

圖像分割中，每一類都可以計算出對應的AP 值，分類器能識別的所有類的AP 值取算術平均即為平均準確度均值（Mean Average Precision，mAP），如式（9）所示。

式中Q 為類別數。

在物體數量計算模型的工程應用中，整體的誤差率ER，即數量的預測值和實際值的偏差更具有實際意義。本研究在采用mAP 作為模型評價指標的同時也將對誤差率進行對比分析。如公式10 所示，誤差率ER 為n 個測試樣本中每個樣本i 的實際值reali和預測值predicti差值的絕對值與實際值所成比例的算術平均。

3 試驗設計

3.1 樣本采集和處理

3.1.1 訓練樣本

用NIKON D90 相機采集椪柑花、溫州蜜柑花、柚子花的照片各500 張（共1 500 張）4 288×2 848 像素的照片，包括花朵及花苞不同角度，不同遮擋程度，不同遠近程度。照片統一縮小至430×285 像素，用labelme[31]圖像標注工具添加掩膜標簽，并生成模型訓練所需的掩膜圖片、8 位掩碼標簽圖片（原始圖片與掩膜相結合），如圖4 所示。

圖4 柑橘花朵原始圖片、掩膜圖片及其8 位掩碼標簽圖片示例 Fig.4 Sample of original picture, mask picture and 8-digital mask label picture of citrus flower

3.1.2 測試樣本

通過手機、相機、物聯網攝像頭拍攝不同大小和清晰度的柑橘花朵照片200 張，用于模型性能驗證。人工統計每張測試圖像中柑橘花朵和花苞個數，200 張測試樣本中包含1 031 個目標實體，其中花朵506 個和花苞525 個。

3.2 環境參數與對比模型

1）環境配置Python3 + Keras + TensorFlow - GPU + CUDA + CUDNN 框架中構建Mask R-CNN 模型。

2）參數設置GPU 個數1；單GPU 同時處理圖片數1；分類個數1（背景類）+2（花朵、花苞）；圖片最小邊像素320，圖片最大邊像素512（最小最大邊像素大于樣本圖片歸一化處理后的285、430，多余部分用空白填充）；RPN 錨大小8、16、32、64、128；每個圖片訓練的興趣區域個數（RoIs）為64 個（其中正樣本區域個數/負樣本區域個數為1/3，即正樣本數為總RoIs 的25%—16 個）；每個迭代步數設為20；驗證步數20；加載COCO 數據集默認權重；網絡頭部的迭代數10，learning_rate 為0.001，其他部分迭代數100，learning_rate為0.000 1。

3）卷積主干對比試驗：對卷積主干進行對比測試，分別 以 ResNet-101+ FPN 、ResNet-50+FPN 、ResNeXt- 101+FPN、ResNeXt- 50+FPN 作為Mask R-CNN 的卷積主干網絡進行模型訓練和驗證。首先確定卷積主干是否在當前樣本條件下可用，即通過損失曲線是否收斂判斷它們的泛化擬合能力；確認適用之后，對比它們的平均精度、誤差率及時間效率，選擇出最優主干網絡。

4）掩膜計算對比試驗：在第（3）步的基礎上，以性能較高的兩種卷積網絡為主干網絡模，分別采用已知分類和未知分類的掩膜計算對掩膜分支進行優化測試，即掩膜層分別取28×28×82（80 種COCO 數據集已有的80 類物體和新增花苞、花朵2 類物體，背景類不參與掩膜計算）和28×28×1，對比采用2 種方法的模型平均精度、誤差率及時間效率，選擇更適用于本應用場景的掩膜計算方法。

5）訓練模式對比實驗：分別用“先后順序”和“端到端模式”訓練上述經過調優的實例分割模型，對2 種訓練模式下的平均精度、誤差率及時間效率進行對比。

4 結果驗證分析

4.1 主體卷積網絡性能分析

將ResNet-101、ResNet-50、ResNeXt-101、ResNeXt-50分別作為卷積主干，對Mask R-CNN 模型進行訓練和驗證，結果表明：4 個模型在訓練和驗證的迭代過程中，分類、邊框和掩膜的訓練及驗證損失值都呈整體降低趨勢（圖5），均能在100 次迭代之前達到收斂，并隨著迭代次數增加保持在（0，0.2）區間之內，從圖形趨勢上看4條曲線相差不大。證明4 種卷積主干網絡組成的實例分割模型均有較強的擬合及泛化能力。

經過擬合泛化能力的確認，可知4 種卷積主干對本模型和樣本有效可用。在此基礎上，需要通過對比它們對模型整體的性能影響以得到最優選擇。由于本模型需要識別柑橘花朵和花苞2 種物體類型，因此mAP=AP(花朵)+AP(花苞))/2。表1 是不同主體卷積網絡的AP（IoU取0.5～0.95 閾值下的平均值）、AP50（IoU 取0.50）、AP75（IoU 取0.75）及ER 值的對比。ResNeXt101 作為主干具有最高的精準度和最低的誤差率，其次為本研究采用的ResNeXt50，它們的AP 值僅相差0.8，ER 相差0.4%，而ResNet101 稍低于ResNeXt50，遠高于ResNet50。在NVIDIA Quadro M4000 顯卡逐一處理圖片的條件下，AP 值較高的ResNeXt50 和ResNeXt101 耗時分別為104分鐘和170 min，識別單張圖像平均耗時分別為8 和25 s。ResNeXt50 的訓練耗時和識別耗時分別為ResNeXt101 的61%和53%，極大程度的提升了花朵圖像的識別處理速率。耗時較少的ResNet50 和ResNeXt50 相比，雖然訓練時間和驗證時間ResNet50 都少于ResNeXt50，但差距不大，且ResNeXt50 的精度和誤差率明顯高于ResNet50。因此，可以優先采用精度相差不大但耗時更短的ResNeXt50 作為卷積主干網絡。

圖5 訓練及驗證的掩膜損失曲線圖 Fig.5 Training and validation curves of mask loss

表1 柑橘花朵識別模型中不同卷積網絡性能試驗結果對比 T able 1 Comparisons of performance of different convolution networks in citrus flower recognition model

4.2 掩膜分支性能分析

在AP、ER 和時間效率的對比分析后可以確認ResNeXt50 和ResNeXt101 都是本研究場景下較優的卷積主干網絡，具有較高的精度和較低的錯誤率，因此在掩膜分支性能分析中，采用這2 種網絡作為對照。掩膜分支采用已知分類和未知分類的方法進行試驗，并對模型的精度、誤差率及時耗性能差異進行對比分析，見表2。此時ResNeXt101和ResNeXt50 的AP 分別為36.6 和35.8，訓練時間消耗為170 和104 min，驗證時間消耗為15 和8 s，識別的花朵總數分別為907和903朵，漏數124朵和128朵，占實際總數1 031的12.0%和12.4%，即ER 分別為12.0%和12.4%。改為采用未知分類的掩膜分支之后，ResNeXt101 的AP 與改進前相比降低了0.1，ResNeXt50 的AP 與改進之前相同，ResNeXt101和ResNeXt50 的誤差數為125 和129，ER 為12.1%和12.5%，較改進前誤差率僅相差1/1031 即不到0.1%；且訓練時間消耗為159 和92 min，較之前降低了6.5%和11.5%，驗證時間消耗為15 和8 s，與改進前幾乎相同。本方法采用ResNeXt50作為其主干網絡并且在掩膜分支中采用未知分類的訓練方法，只輸出1 個掩膜為結果，在幾乎不損失準確率、且不增加誤差率的同時提高了模型訓練和圖像處理速率，更具有生產應用價值。

表2 柑橘花朵識別模型中不同掩膜分支性能試驗結果對比 Table 2 Comparisons of performance of different masks in citrus flower recognition model

4.3 端到端訓練性能分析

通過上述分析，以ResNeXt-50-FPN 為卷積主干網絡，以未知分類的掩膜計算法構建的實例分割網絡具有最優化的平均精度、誤差率和時間效率，因而本研究以此為訓練目標，采用不同的訓練模式進行訓練，并對比分析生成的花朵識別模型性能。在模型結構上，區域推薦網絡和網絡頭部擁有同樣的卷積主干，因此可以進行特征共享。本試驗對上述對照試驗中的最優組合（ResNeXt50 + class-agnostic mask）依次進行非共享特征的先后順序分開訓練（stage-wise training）和二者結合的端到端訓練（end-to-end training）。結果如表3 所示，端到端訓練模型平均精度提高了0.5，誤差率減少了0.6%，訓練時間消耗減少了16.3%，在時間效率和識別精度上都有較大提升。由于該模式沒有改變模型本身的結構，因此驗證效率沒有改變，仍為8 s。

表3 柑橘花朵識別模型中不同訓練模式的性能差異對比 Table 3 Comparisons of performance of different training modes in citrus flower recognition model

優化后的網絡相對ResNet-101 的原網絡模型訓練時間減少了50.6%，驗證集單張圖片處理時間減少了63.6%，采用優化方法對200 張測試圖像進行花量檢測，平均每張照片的處理時間為7 s。

4.4 花量檢測分析

確認了神經網絡的最優組合，并經過端到端的訓練生成柑橘花朵識別與花量計算模型，試驗采用此網絡模型，用花量計算誤差率來評估模型的花量預測效果。圖 6a中，實際花朵數為31，模型計算結果為花朵數為4，花苞數為24，即預測花朵總數為28（圖6b），花量預測誤差率為9.68%。由圖6a 可以看出，花朵和花苞分布密集，有明顯的覆蓋和重疊情況，但模型仍然能得到較高的檢測結果，且漏數的花朵對象即使通過肉眼也很難分辨。利用本方法對200 張測試圖像進行花量檢測，結果如表4，花量預測平均誤差率為11.9%，平均單張識別耗時為7 s，具有一定的實際生產應用可行性。

圖6 柑橘花朵識別模型檢測結果圖 Fig.6 Image output of citrus flower detection model test

表4 花量檢測結果 Table 4 Result of flower quantity counting

5 結 論

本研究基于Mask R-CNN 框架設計了柑橘花朵智能識別方法，并對不同的主體卷積部分、掩膜分支部分以及網絡訓練模式的優化設想進行了對比試驗。經驗證，以ResNeXt50 為主干卷積網絡，采用未知分類的掩膜分支訓練方法，以端到端模式訓練產生的柑橘花朵識別及數量檢測模型，花朵檢測平均精度為36.3，花量計算誤差為11.9%。同樣的訓練集和運算環境下，最終優化后的網絡相對 ResNet-101 的原網絡模型訓練時間從156 min 減少到77 min，減少了50.6%，驗證集單張圖片處理時間從22 s 減少至8 s，減少了63.6%，在保證較低誤差率和較高精確度的同時，有效降低了模型訓練、驗證和測試過程中的時間消耗。

本方法初步實現了對柑橘植株局部圖片的智能花朵識別和花量計算。雖然在識別誤差率上仍需進一步優化，但與之前的研究相比，它突破性實現了大量、密集、高度遮擋的生產場景中柑橘花量的統計，同時降低了圖形運算時間成本，具有較強的實時性，能夠對早期柑橘花量控制提供準確的數據支撐，在柑橘的研究和生產領域具有很高的應用價值。

在未來的研究中，可以通過蒙特卡洛[32-33]等方法以局部圖片的花朵數推測獲得整個植株的花量，還可以采用本方法對柑橘果園地面圖像進行分析，計算實時落花率，為促花保花等生產決策提供數據支撐。

致謝：“本文部分柑橘花朵照片由浙江省農業科學院柑橘研究所徐建國副所長、研究員提供，謹此致謝！”