基于面向通道分組卷積網絡的番茄主要器官實時識別

周云成，許童羽，鄧寒冰，苗 騰

（沈陽農業大學信息與電氣工程學院，沈陽 110866）

0 引 言

因用途不同需要選擇性收獲不同成熟度的番茄果實[1]。為提高座果率，常在花的不同發育時期通過蘸花、涂花、噴灑花穗等手段用生長素處理番茄花蕾。為減低藥物用量，番茄生產中需要根據主莖稈進行精確對靶施藥[2]。采摘、對靶施藥等番茄生產自動化的前提條件之一是實現多種形態的花、果、莖器官的有效識別，屬于典型的計算機視覺問題。從AlexNet[3]開始，卷積神經網絡（convolutional neural network, CNN）在計算機視覺上的應用越來越普遍。為了取得更高的精度，CNN的深度不斷增加，結構也變得越來越復雜[4]，但這與模型大小和計算速度之間產生了矛盾。由于農業機器人等智能裝備的存儲和計算資源受限，在保證精度可靠的前提下，更小的模型和更高的識別速度至關重要。

基于顏色空間特征的圖像分割法[5]和基于特征描述子的模式識別法常被用于目標檢測識別。李寒等[6]用Otsu算法選取歸一化紅綠色差圖像的閾值，對番茄進行分割提取，使用局部極大值法對番茄個數進行估計。梁喜鳳等[7]用圖像灰度均衡化法增強圖像，用基于形態學梯度的邊緣檢測器提取番茄果實串邊緣。Wang等[2]借助紅色吊蔓繩用基于 HIS顏色模型的閾值分割法檢測番茄主莖。熊俊濤等[8]在夜間LED光照下，用YIQ顏色模型進行荔枝果實識別。由于果實成熟度的差異、花齡的不同，番茄器官顏色在生長期內變化頻繁，基于顏色空間特征的圖像分割法識別目標較單一，難以勝任不同類型、不同形態番茄器官的同時檢測。Zhao等[9]用Haar-like提取滑動窗內番茄植株圖像特征，通過訓練好的AdaBoost分類器識別成熟番茄，并進一步用平均像素值消除錯誤識別的目標。Zhu等[10]用尺度不變特征變換算子（scaleinvariant feature transform, SIFT）提取小麥圖像塊的稠密特征，并用 Fisher向量對特征進行編碼，經線性支持向量機分類實現圖像塊內麥穗的識別。由于特征提取的非實時性[11]，基于特征描述子的模式識別法很難實現植株器官的實時檢測。近幾年，隨著深度學習技術的發展，CNN在圖像識別領域受到越來越多的重視。孫俊等[12]在PlantVillage圖片集上使用CNN分類網絡實現植株葉片病害識別。傅隆生等[13]利用CNN網絡對田間多簇獼猴桃圖像進行識別，單個果實識別時間為 0.27 s。周云成等[14]借鑒Fast R-CNN，設計了一個番茄主要器官檢測器，識別一張圖像需要0.357 s，該方法識別速度還無法滿足實時性要求。CNN是一種數據驅動的深度學習方法，通過優化設計[15]和大量樣本訓練，具有實時識別多種目標類型的能力。

鑒于此，本文針對農業機器人等智能裝備對實時性視覺識別的需求及問題，以番茄器官實時檢測為例，借鑒已有研究成果，提出一種基于CNN的番茄主要器官實時識別網絡模型，以特征統計可分性、計算速度、模型大小等為判據，分析典型CNN網絡在番茄器官圖像處理上的性能，并采用啟發式設計策略優化設計識別網絡基礎結構。通過樣本擴增訓練改善基礎網絡的特征提取能力。以提高識別精度、召回率、識別速度，降低模型大小為目標，設計篩選識別網絡總體架構，并在番茄植株圖像上驗證其有效性。

1 番茄圖像數據采集

試驗供試圖像數據于2017年8月—12月采集自沈陽農業大學實驗基地某遼沈IV型節能日光溫室，番茄品種為“瑞特粉娜”，采用吊蔓式栽培方法。用分辨率為1 600×1 200 pixel的Logitech CC2900E高清攝像頭采集花、果、莖3種器官RGB圖像，構建番茄器官圖像數據集。通過拍攝時調整角度、距離和焦距以及后期裁剪，使每幅圖像只包含一種器官，并占據圖像的主要幅面。采集過程中考慮器官的形態和果實成熟度，對現蕾、開花和座果期的花，未熟、轉色、半熟、成熟和完熟期的果[1]，以及莖蔓的上、中、下部等不同形態的番茄器官進行成像，分別采集了花、果、莖圖像4 100、3 850和3 812幅，每類器官的各形態圖像均勻分布。番茄器官圖像數據集主要用于目標識別網絡的基礎結構模型參數的訓練與測試，每次試驗隨機選擇數據集中70%的樣本作為訓練集，10%作為驗證集，剩余20%作為測試集。

同時采集了2 250幅番茄植株圖像，為增加樣本多樣性，用搜索引擎在互聯網上搜集了750幅番茄植株圖像，共同構成番茄植株圖像數據集，該數據集主要用于目標識別網絡的微調與測試，每次試驗隨機選擇 90%的樣本用于網絡微調，剩余10%用于網絡測試。

2 番茄主要器官目標識別網絡模型

2.1 架構設計

綜合借鑒Faster R-CNN[16]錨盒的概念和YOLO[15]、YOLOv2[17]目標回歸預測的思想，設計了一個完全基于CNN的番茄主要器官目標識別網絡（圖1所示），以下簡稱為Y2TNet。該網絡通過圖像特征預測番茄主要器官的邊界及類型。Y2TNet將輸入圖像均勻劃分為 Sr×Sc個網格，并為每個網格輸出B個預測器（B組預測值）。如果圖像中 1個待檢測目標的中心點落入某個網格，則由該網格對應的預測器來負責檢測該目標。每個預測器輸出1個邊界框（預測框 b），由與 b中心點偏移相關的 tx、ty和尺寸相關的tw、th共4個數值構成。預測器同時輸出b中包含待檢測目標的置信度（由與置信度相關的數值 to表示），以及在b包含目標的條件下該目標分別屬于C種分類（所有待識別的目標類型的數量）的類別得分，由C個數值tci，i=1,2,…,C表示。因此，Y2TNet的CNN部分輸出特征圖的維數應為[B×(5+C)]×Sr×Sc，B表示預測器層數，B×(5+C)為特征圖的通道數，Sr×Sc表示高×寬。此處稱Sr、Sc和B為Y2TNet的網絡超參數。

圖1 番茄主要器官目標識別網絡（Y2TNet）架構Fig.1 Architecture of tomato main organs recognition network (Y2TNet)

2.2 目標邊界框的預測

預測器通過輸出預測框b中心點（用bx, by表示）相對于對應圖像網格左上角坐標（cx, cy）的位置偏移來實現位置預測，用歸一化值描述該偏移，即偏移范圍為0~1，通過用Sigmoid函數σ使σ(tx)、σ(ty)落入該范圍。每層預測器關聯1種預定義尺寸（用pw、ph表示寬和高）的錨盒，錨盒尺寸的計算方法與YOLOv2相同。預測器通過預測 b相對于關聯錨盒的非線性縮放因子來間接計算 b的寬和高（用 bw, bh表示），采用 λwσ ( tw)、 λhσ ( th)形式作為橫縱方向上的縮放因子，λw、λh表示輸入圖像和最小錨盒的橫縱比值。網格的左上角坐標用網格編號表示，錨盒尺寸用相對于輸入圖像的歸一化尺寸表示，則 b的歸一 化 坐 標 可 通 過 bx= ( σ(tx) + cx) /Sc、 by=(σ( ty) + cy)/Sr、 bw=pwλwσ (tw)、bh=phλhσ (th)計算得出。

2.3 目標類型的預測

預測器輸出的置信度定義為 P (obj)×IoU(b, obj)，其中P(obj)表示預測框b中包含目標obj的概率，IoU(b, obj)表示b的精度，IoU（intersection over union）指交集面積比上并集面積，反映了預測框和目標真實框的吻合程度。若b中無檢測目標，P(obj)=0，否則P(obj)=1，即置信度范圍為 0～1，Y2TNet用 σ函數使 σ(to)落入該范圍，即P(obj)×IoU(b, obj) = σ (to)。當 P(obj)=1時，Y2TNet用Softmax函數將類別得分 tci轉換為條件類別概率P( ci|obj) = Softmax(tci)，然后用式（1）計算 b包含 ci類型目標的置信度 P ( ci)×IoU(b, obj)。

2.4 網絡訓練目標

通過最小化多目標損失函數實現 Y2TNet參數的優化訓練。設= 1 表示在1幅圖像上第j個目標真實框gj的中心點落入第i個單元格，且與i的第k個預測器的關聯錨盒最佳匹配，即gj與該錨盒的IoU最大，則單元格i的預測器k負責預測真實目標j。網絡訓練的目標之一是使k輸出的預測框逼近gj，該目標用如下的損失函數表示

式中M為當前圖像的實際目標數；λs表示比例調整因子，由 gj的歸一化尺寸（，表示寬、高）決定，即2 -，該因子會對小目標的預測偏差施加更大的懲罰，使預測框能精確覆蓋小目標；、、、表示單元格 i的預測器 k輸出的邊界框預測值； σ ()、σ()是gj中心點相對于單元格i左上角坐標的歸一化偏移， σ ()、 σ)是k的關聯錨盒到gj的非線性縮放因子的組成部分。

網絡訓練的另一目標是使= 1 的預測器的置信度輸出趨近于1，該目標對應的損失函數如下

式中表示單元格i的預測器k輸出的置信度預測值。

同時，= 1 的預測器輸出的條件類別概率的預測值訓練目標用如下損失函數表示

式中 P| o bj） 是預測器 k輸出的概率預測值；P| o bj）表示目標j的實際類別概率，如j的類別為n，則 P| o bj） =1，否則 P| o bj） = 0 。

設= 1表示 i的第 k個預測器沒有需要預測的對象，如k輸出的置信度表明其預測出了對象，則是有問題的，因此另一訓練目標是使k輸出的置信度趨近于0。如果k的預測框與某個目標真實框的IoU大于一定閾值（本文取0.6），則設 pik= 0 ，否則 pik= 1。通過 pik= 0 保留k輸出的置信度，用以說明其輸出的預測框有一定的概率包含對象。該訓練目標用如下損失函數表示

對于= 1的預測器k，為避免其輸出的預測框與關聯錨盒偏差過大，以提高目標召回率，使預測框中心趨近于k對應單元格i的中心，尺寸趨近于k的關聯錨盒的尺寸。該目標用如下損失函數描述

Y2TNet的多目標損失函數L由上述5項構成。

式中{ti}表示網絡預測值集合；λ2、λ5表示權重系數。L各項所占比重不同，由于= 1 的預測器數量有限，且置信度對于表示目標是否存在至關重要，因此設置λ2=5。因= 1的預測器占大多數，且相對于其他目標， L的5重要性較低，如果λ5較大的話，將使整個訓練結果傾向于 L5，因此設置 λ5= 0 .01。

3 Y2TNet基礎結構分析與設計

Y2TNet的特征提取器（圖1虛線框）直接遷移自其他分類CNN網絡的模型參數。通過把已經訓練好的分類CNN網絡的模型參數遷移到新的識別網絡中，并通過微調實現識別任務[15-17]，即遷徙學習，可加快并優化識別網絡的學習效率。因此分類CNN網絡特征提取能力和分類性能的提升，也能促進識別網絡性能的提升[18]。Y2TNet的實時性由其CNN部分的計算速度決定。本文首先用計算速度和特征提取能力等指標篩選、設計分類CNN網絡并通過遷移將其作為Y2TNet的基礎結構。

3.1 特征提取能力度量

分類CNN網絡的分類依據主要是深層卷積提取的圖像語義特征[19]。語義特征可分性越高，語義越明確，分類錯誤率也會越低。top-1、top-5分類錯誤率常作為評判網絡分類性能的指標。由于不同CNN網絡使用的分類器不同，且分類器通常不會被遷移到識別網絡中，所以分類性能不能完全反映網絡的特征提取能力。本文同時采用特征的統計可分性來度量網絡的特征提取能力。類對間的可分性由 2個類別的特征在特征空間中的重疊程度決定[20]，而重疊程度和特征分布之間的統計距離相關，距離越大可分性越強。本文用J-M距離（Jeffries-Matusita distance）和巴氏距離（Bhattacharyya distance）表征類間的統計可分性。設類別 i、j樣本特征屬正態分布，則二者的J-M距離（Jij）如下

式中Bij表示i、j間的巴氏距離，其定義如下

式中μi、μj表示類別i、j的樣本特征均值向量；Σi、Σj表示i、j樣本特征分布的協方差矩陣； Σ = （ Σi+ Σj）/2。Jij＞ 1 .38表示i、j間的統計可分性強。

J-M距離在巴氏距離較大時會趨于飽和，此時巴氏距離可作為 J-M距離的補充。對于任意類別的圖像樣本，輸入分類CNN網絡，將分類器之前的最后一個輸出特征圖作為樣本的特征向量，然后計算不同類別樣本特征向量間的 J-M距離和巴氏距離，以分析類別間的統計可分性，進而度量CNN網絡的特征提取能力。

3.2 基礎結構性能分析與篩選

AlexNet[3]、VGGNet[21]、ResNet[22]、Inception[18,23-25]、Darknet[17]、Xception[26]、IGCNet[27]、DenseNet[28]、MobileNet[4]等是近幾年提出的幾種典型分類 CNN網絡類型，其中Xception、MobileNet可看作IGCNet的特例，DenseNet是 ResNet的進一步發展。因此，本文選擇AlexNet、VGG-16[21]、Inception v2[24]、Darknet-19、IGCNet、DenseNet共6種網絡在番茄器官圖像數據集上進行訓練與測試，分析滿足Y2TNet需求的基礎結構網絡特點。基于微軟深度學習計算框架CNTK2.4[29]，用Python實現這6種網絡。

樣本多樣性對提高CNN特征提取能力和避免網絡過擬合至關重要[3]。由于番茄器官圖像數據集只有 3種類型，為提高網絡特征提取能力，需要對樣本進行擴增，方法為用其他圖像數據集并上番茄器官圖像數據集構成圖像合集，用合集對分類網絡進行訓練。Caltech256的類型和樣本數量適中[30]，選用該數據集和番茄器官圖像數據集構成具有 259個類型的圖像合集。為驗證樣本擴增訓練法的有效性，也便于與 Zeiler等[31]的卷積核可視化結果進行對比，分別用番茄器官圖像數據集和圖像合集對AlexNet進行訓練和測試，網絡輸入為224×224 pixel的RGB圖像，訓練中采用的數據增廣和預處理方法同文獻[14]。在一臺配有1路Intel Xeon E5-2640 CPU、1塊Tesla K40c GPU和16GB內存的服務器上開展訓練和測試試驗，共進行5次交叉留存驗證（下同），AlexNet的2種訓練與測試結果如表1。

表1 樣本多樣性對AlexNet的影響Table 1 Effect of sample diversity on AlexNet

由表1可知，用圖像合集訓練的AlexNet比只用番茄器官圖像數據集訓練的結果在巴氏距離上有極顯著提高（P<0.01），top-1錯誤率也有所下降，說明經樣本擴增訓練的AlexNet所提取的特征具有更高的統計可分性。對2種訓練結果的AlexNet網絡的第1層96個卷積核進行可視化，結果如圖2。

圖2 卷積核可視化Fig.2 Visualization of convolution kernels

經過訓練的CNN網絡會學習出具有方向選擇性和頻率選擇性的卷積核[3,31]。圖 2a表明，經番茄器官圖像數據集訓練的AlexNet的第1層卷積核，除少量外，大部分卷積核沒有表現出選擇性，說明網絡沒有得到充分的訓練，未能學習出有效的過濾器（filter）來提取多樣性的低層圖像特征。圖2b是經圖像合集訓練的卷積核，與Zeiler等[31]的研究結果相近，AlexNet有更多的卷積核表現出了選擇性特征，這些選擇性核可能與圖像的邊緣或方向特征的提取有關。表1和圖2都表明增加樣本的多樣性可顯著提高網絡的特征提取能力，能夠更好地提取番茄主要器官的特征。

用圖像合集分別對AlexNet、VGG-16等6種網絡進行訓練，方法和環境同前，記錄各網絡CNTK模型文件大小。各網絡在番茄器官圖像測試集上的特征可分性、計算速度等結果如表2所示。

由表2可知，6種網絡的輸出特征的J-M距離都已飽和，說明各網絡提取的器官特征均具有高可分性。從巴氏距離可以看出，IGCNet特征提取能力最強，VGG-16最低，其余 4種網絡的特征提取能力也有顯著差異。除VGG-16的top-1錯誤率稍高外，其他5種網絡的錯誤率都相對較低。智能農業裝備的計算和存儲資源有限，AlexNet和VGGNet由于權重參數多，模型大，很難用在存儲資源有限的設備上，也難以實現遠程升級更新[32]。IGCNet的特征提取能力強，但計算速度慢，實時性低。DenseNet速度為38 幀/s左右，在目標識別任務中，輸入圖像通常大于224×224 pixel，計算量更大，因此其不適合作為Y2TNet實時識別的基礎結構。綜合以上分析，本文選擇Inception v2、Darknet-19作為Y2TNet的備選基礎結構。

3.3 面向通道分組卷積網絡設計

由表2可知，IGCNet模型大小是Darknet-19的6.37%，但在番茄器官特征提取能力上顯著高于后者，說明其網絡參數更有效。相較于全連接卷積結構的 Darknet-19，IGCNet由交錯組卷積（interleaved group convolution,IGC）塊構成，通過面向通道的IGC塊降低了網絡參數數量。Inception v2也采用了面向通道的設計思想。Darknet-19比VGG-16更深、更寬，但通過使用1×1卷積核使網絡在增加深度的同時降低了參數數量，模型大小遠小于VGG-16，特征提取能力和分類性能也顯著高于后者。受這些思想的啟發，本文設計了1種面向通道分組卷積模塊（channel wise group convolutional, CWGC），如圖3所示。

表2 各網絡在番茄器官圖像數據集上的性能比較Table 2 Performance comparison of each network on image dataset of tomato organs

圖3 卷積模塊Fig.3 Convolutional block

圖3 a所示的CWGC模塊包括4組等寬卷積組，每組由3層標準卷積層構成，第一層采用1×1卷積核，以壓縮參數數量并增加網絡表達能力[32]，用 2層等寬的 3×1和1×3卷積核表達3×3卷積核，用來增加網絡的深度和語義特征提取能力[18,25]。多個獨立卷積組輸出特征圖合并（Concat）后，經ReLU激活，并由Batch Normalization(BN)[24]歸一化后作為CWGC塊的輸出，其中BN用于加快網絡的訓練速度。與全連接卷積相比，在寬度和深度相同的前提下，CWGC模塊可有效降低參數數量。基于CWGC模塊設計了一個CWGCNet分類網絡（圖4），除CWGC模塊外，網絡的前兩層卷積采用Conv-ReLU- BN結構[27]，用圖像合集對其進行訓練，在番茄器官圖像數據測試集上的測試結果如表3。

圖4 基于CWGC模塊的分類網絡(CWGCNet)Fig.4 CWGC-based classification network (CWGCNet)

表3 CWGCNet網絡在番茄器官圖像數據集上的性能Table 3 CWGCNet performance on image dataset of tomato organs

對比表2、表3，CWGCNet在輸出特征的統計可分性上介于Inception v2和Darknet-19之間，模型大小只有后兩者的39.7%和20.7%，且速度是后兩者的1.9和1.8倍，說明CWGCNet在番茄器官圖像數據集上有良好的圖像特征提取能力和計算速度，該網絡在可分性、模型大小、計算速度等方面有較好的平衡，和 Inception v2、Darknet-19共同作為Y2TNet的備選基礎結構。

4 Y2TNet的訓練與測試

4.1 識別網絡總體結構

分別將完成訓練的 Inception v2、Darknet-19和CWGCNet的分類器部分去除，將卷積部分的模型參數遷移到Y2TNet作為基礎結構，并通過微調實現目標識別。Redmon等[17]研究表明，在遷移其他分類CNN模型參數基礎上添加新的卷積層（附加層），可提高網絡性能。本文采用 2種添加方案，一種和 YOLOv2相同，用 3個conv3×3-1024/1卷積層作為附加層，另一種方案是增加一個dropout-CWGC塊（圖3b所示），塊的配置為CWGC-128-256-256×4，dropout丟棄率設置為50%，以避免網絡過擬合。設置Y2TNet的網絡超參數Sr=Sc=13，B=5。網絡主要識別番茄植株圖像中的花、果、莖目標，即C=3，此時 Y2TNet的輸出特征圖維數為 40×13×13。這要求Y2TNet的CNN部分的最后一個卷積層通道數應為40，因此額外增加一個 conv1×1-40/1結構的卷積層作為輸出層。由此Y2TNet的CNN部分由基礎結構、附加層、輸出層3部分構成。根據Y2TNet的總體結構，當輸出特征圖尺寸為13×13時，其輸入圖像大小為416×416 pixel。

4.2 識別網絡的訓練

Y2TNet在基礎結構（遷移模型參數）基礎上添加了額外的卷積層，需要用番茄植株圖像數據集通過最小化多目標損失函數L來進一步進行微調。基于CNTK2.4，用Python實現YOLOv2和5種結構的Y2TNet（表4所示）。采用手工方式對番茄植株圖像數據集進行標注，用矩形圈選出器官的邊界（真實框）并標注相應類型及形態。隨機選擇 90%的植株圖像作為訓練集，并用帶動量因子的批量梯度下降法[18]訓練各結構識別網絡。每批量樣本數為32，動量因子為0.9，初始學習率為0.01，每過20代迭代訓練，將學習率降低10倍，直到學習率降低到10-6，經過120代迭代訓練，各結構網絡損失均收斂到穩定值。

表4 不同結構的Y2TNet識別網絡Table 4 Y2TNet network with different structures

4.3 識別網絡的測試與分析

用其余 10%的番茄植株圖像測試各結構網絡，運行環境同前。網絡的多個預測器可能會預測同一個目標，用非極大值抑制算法[33]合并預測結果。用召回率和AP(average precision)、mAP(mean of AP)[34]作為網絡性能評價指標。對于一幅植株圖像，如果網絡輸出的目標預測框和目標真實框的IoU大于一定閾值（本文取0.5）且類型相同，即認為目標被召回，被召回的目標數與實際目標數的比值為召回率。結果如表5。

表5 不同結構的Y2TNet和YOLOv2網絡識別性能比較Table 5 Recognition performance comparison between Y2TNet networks with different structures and YOLOv2

由表5可知，5種結構的Y2TNet都具有實時或準實時的處理速度，且具有較高的識別精度。Y2TNet-A和Y2TNet-B的基礎結構相同，區別在附加層，前者的3×{conv3×3-1024/1}附加層參數量達 2.7×107個，網絡過擬合的風險較高，Y2TNet-B的dropout-CWGC參數量為1.625×106，且用dropout來避免過擬合，因此Y2TNet-B的模型大小比 Y2TNet-A小 101.5MB，識別速度顯著提高，精度也高于后者，Y2TNet-B在花、果、莖的召回率上也都顯著高于Y2TNet-A，即Y2TNet-B具有更高的泛化效果。相似結果也表現在Y2TNet-C和Y2TNet-D上，說明相較于 YOLOv2的附加層方案，用 dropout-CWGC做附加層的改進是有效的。

表5的6種結構中，Y2TNet-A和YOLOv2的CNN部分完全相同，區別在錨盒非線性縮放因子形式和多目標損失函數上，為說明Y2TNet的縮放因子和損失函數對訓練過程的影響，對這 2種網絡的訓練誤差降落過程進行了比較（圖 5），結果表明，在學習率相同的情況下，Y2TNet-A在訓練初始階段的誤差降落速度快于YOLOv2，說明Y2TNet-A更容易收斂。同時由表5可知，這 2種網絡的模型大小、召回率、識別精度和速度無顯著差異，表明Y2TNet的縮放因子和多目標損失函數是可行的。

圖5 YOLOv2和Y2TNet-A訓練誤差比較Fig.5 Comparison of training errors between YOLOv2 and Y2TNet-A

由表 5可知，在番茄器官識別任務上，6種網絡中Y2TNet-D模型文件最小，識別精度最高，對花、果、莖的識別精度分別達到96.52%、97.85%和82.62%，識別速度最快，達62 幀/s，對花、果、莖的召回率分別為77.39%、69.33%和64.23%，召回率與Y2TNet-E相比無顯著差異。Y2TNet-D在實時性、精度、模型大小上均有好的體現，與YOLOv2相比，Y2TNet-D的mAP提高了2.51個百分點，召回率提高了14.03個百分點，因此本文選擇該結構模型作為Y2TNet的最終結構，用其分別在番茄植株測試圖像和采樣頻率為60 幀/s的視頻幀上進行測試，效果如圖6。

由圖6可知，Y2TNet-D可有效識別番茄植株圖像中的花、果、莖器官，其輸出的預測框（圖 6中包圍器官的矩形框）能較好的覆蓋所識別的目標對象，且預測框內為對象的概率均在0.54以上。也可以看出，Y2TNet-D不但能夠識別近景目標，對遠景目標和部分被遮擋的器官也具有一定的識別效果。對于采樣頻率為60 幀/s的視頻幀，Y2TNet-D也能夠實時處理。用與表5相同的番茄植株測試圖像分析 Y2TNet-D對不同形態器官的識別效果，結果如表6。

圖6 Y2TNet-D的識別結果示例Fig.6 Y2TNet-D recognition results example

表6 Y2TNet-D對不同形態番茄器官的識別效果Table 6 Recognition effect of Y2TNet-D on different forms of tomato organs

由表6可知，Y2TNet-D可同時識別不同形態的番茄器官，且均具有較高的識別精度。番茄器官的形態、成熟度對識別精度有一定影響，其中開花期的花、完熟期的果和下部莖稈識別效果最好。網絡可召回不同形態的番茄器官，其中對開花期的花檢測效果最好，對完熟期的果也具有較高的召回率。

5 結 論

本文提出一種基于面向通道分組卷積網絡的番茄主要器官實時目標識別網絡模型，以統計可分性、計算速度等為判據，結合樣本擴增訓練，篩選并設計識別網絡基礎結構，經番茄植株圖像和實時視頻幀識別試驗，結果表明：

1）在番茄器官圖像數據集上，用Caltech256對基礎結構網絡進行樣本擴增訓練，可顯著提高網絡的特征提取能力。

2）面向通道的分組卷積模塊能夠顯著提高識別網絡的召回率、識別速度和精度，并能大幅降低模型大小；Sigmoid形式的非線性縮放因子和相應多目標損失函數使識別網絡更容易收斂。

3）所設計的番茄器官識別網絡能識別不同成熟度和不同形態的番茄器官，對花、果、莖的識別精度分別達到96.52%、97.85%和82.62%，召回率分別達到77.39%、69.33%和64.23%，在Tesla K40c GPU上的計算速度達62 幀/s，具有實時識別能力。

4）與 YOLOv2相比，該文識別網絡召回率提高了14.03個百分點，識別精度提高了2.51個百分點。

[1] 尹建軍，毛罕平，王新忠，等. 自然條件下番茄成熟度機器人判別模型[J]. 農業機械學報，2009，40(10)：146－150.Yin Jianjun, Mao Hanping, Wang Xinzhong, et al. Judgement method on maturity of harvesting-tomato for robot under natural conditions[J]. Transactions of the Chinese Society for Agricultural Machinery, 2009, 40(10): 146－150. (in Chinese with English abstract)

[2] Wang Xinzhong, Han Xu, Mao Hanping. Vision-based detection of tomato main stem in greenhouse with red rope[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(21): 135－141. (in English with Chinese abstract)王新忠，韓旭，毛罕平. 基于吊蔓繩的溫室番茄主莖稈視覺識別[J]. 農業工程學報，2012，28(21)：135－141.

[3] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J].Communications of the ACM, 2012, 60(6): 84－90.

[4] Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[EB/OL]. [2018-01-28] https: //arxiv.org/pdf/1704.04861.pdf.

[5] 趙杰文，劉木華，楊國彬. 基于HIS顏色特征的田間成熟番茄識別技術[J]. 農業機械學報，2004，35(5)：122－124.Zhao Jiewen, Liu Muhua, Yang Guobin. Discrimination of mature tomato based on HIS color space in natural outdoor scenes[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 35(5): 122－124. (in Chinese with English abstract)

[6] 李寒，王庫，曹倩，等. 基于機器視覺的番茄多目標提取與匹配[J]. 農業工程學報，2012，28(5)：168－172.Li Han, Wang Ku, Cao Qian, et al. Tomato targets extraction and matching based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2012, 28(5): 168－172. (in Chinese with English abstract)

[7] 梁喜鳳，章艷. 串番茄采摘點的識別方法[J]. 中國農機化學報，2016，37(11)：131－134，149.Liang Xifeng, Zhang Yan. Recognition method of picking point for tomato cluster[J]. Journal of Chinese Agricultural Mechanization, 2016, 37(11): 131－134, 149. (in Chinese with English abstract)

[8] 熊俊濤，林睿，劉振，等. 夜間自然環境下荔枝采摘機器人識別技術[J]. 農業機械學報，2017，48(11)：28－34.Xiong Juntao, Lin Rui, Liu Zhen, et al. Visual technology of picking robot to detect litchi at nighttime under natural environment [J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(11): 28－34. (in Chinese with English abstract)

[9] Zhao Y, Gong L, Zhou B, et al. Detecting tomatoes in greenhouse scenes by combining AdaBoost classifier and colour analysis[J]. Biosystems Engineering, 2016, 148(8):127－137.

[10] Zhu Y, Cao Z, Lu H, et al. In-field automatic observation of wheat heading stage using computer vision[J]. Biosystems Engineering, 2016, 143: 28－41.

[11] 陳天華，王福龍. 實時魯棒的特征點匹配算法[J]. 中國圖象圖形學報，2016，21(9)：1213－1220.Chen Tianhua, Wang Fulong. Real-time robust feature-point matching algorithm[J]. Journal of Image and Graphics, 2016,21(9): 1213－1220. (in Chinese with English abstract)

[12] 孫俊，譚文軍，毛罕平，等. 基于改進卷積神經網絡的多種植物葉片病害識別[J]. 農業工程學報，2017，33(19)：209－215.Sun Jun, Tan Wenjun, Mao Hanping, et al. Recognition of multiple plant leaf diseases based on improved convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,33(19): 209－215. (in Chinese with English abstract)

[13] 傅隆生，馮亞利，Elkamil Tola，等. 基于卷積神經網絡的田間多簇獼猴桃圖像識別方法[J]. 農業工程學報，2018，34(2)：205－211.Fu Longsheng, Feng Yali, Elkamil Tola, et al. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205－211. (in Chinese with English abstract)

[14] 周云成，許童羽，鄭偉，等. 基于深度卷積神經網絡的番茄主要器官分類識別方法[J]. 農業工程學報，2017，33(15)：219－226.Zhou Yuncheng, Xu Tongyu, Zheng Wei, et al. Classification and recognition approaches of tomato main organs based on DCNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,33(15): 219－226. (in Chinese with English abstract)

[15] Redmon J, Divvala S, Girshick R, et al. You only look once:Unified, real-time object detection[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016: 779－788.

[16] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137－1149.

[17] Redmon J, Farhadi A. YOLO9000: Better, faster,stronger[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 6517－6525.

[18] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016: 2818－2826.

[19] Lin T Y, Dollar P, Girshick R, et al. Feature pyramid networks for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017:936－944.

[20] 王長耀，劉正軍，顏春燕. 成像光譜數據特征選擇及小麥品種識別實驗研究[J]. 遙感學報，2006，10(2)：249－255.Wang Changyao, Liu Zhengjun, Yan Chunyan. An experimental study on imaging spectrometer data feature selection and wheat type identification[J]. Journal of Remote Sensing, 2006, 10(2): 249－255. (in Chinese with English abstract)

[21] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL].[2018-01-28] https: //arxiv.org/abs/1409.1556.

[22] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 770－778.

[23] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// Computer Vision and Pattern Recognition.IEEE, 2015: 1－9.

[24] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// In Proceedings of the 32nd International Conference on Machine Learning, 2015: 448－456.

[25] Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4,Inception-ResNet and the impact of residual connections on learning[C]// Proceedings of Thirty-First AAAI Conference on Artificial Intelligence(AAAI-17), 2017.

[26] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 1800－1807.

[27] Zhang T, Qi G J, Xiao B, et al. Interleaved group convolutions for deep neural networks[EB/OL]. [2018-01-28]https: //arxiv.org/abs/1707.02725.

[28] Huang G, Liu Z, Weinberger K Q, et al. Densely connected convolutional networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017:2261－2269.

[29] Agarwal A, Akchurin E, Basoglu C, et al. An introduction to computational networks and the computational network toolkit[EB/OL]. [2018-01-28] https: //www.microsoft.com/en-us/research/wp-content/uploads/2014/08/CNTKBook-201 6027.pdf.

[30] Griffin G, Holub A D, Perona P. The Caltech 256[EB/OL].[2018-01-28] http: //www.vision.caltech.edu/Image_Datasets/Caltech256/

[31] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]// European Conference on Computer Vision. Springer, Cham, 2014: 818－833.

[32] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet:AlexNet-level accuracy with 50x fewer parameters and<0.5MB model size[EB/OL]. [2018-01-28] https: //arxiv.org/abs/1602. 07360.

[33] Neubeck A, Gool L V. Efficient non-maximum suppression[C]// International Conference on Pattern Recognition. IEEE Computer Society, 2006: 850－855.

[34] Everingham M, Gool L V, Williams C K I, et al. The pascal,visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303－338.