基于改進SSD輕量化神經網絡的番茄疏花疏果農事識別方法

陳新 伍萍輝 祖紹穎 徐丹 張云鶴 董靜

摘 要：設施番茄疏花疏果工作多依賴于人工，針對人工逐一判斷、工作量大、移動設備實時性要求高等問題，通過卷積神經網絡進行番茄部分生長參數識別，并結合農事操作經驗進行應用討論。在卷積神經網絡SSD算法中引入輕量化模塊MobileNetV3，提出了基于SSD-MobileNetV3模型的番茄花和果實的識別分析方法。與傳統方法相比，一定程度上克服了重疊及遮擋、光照條件變化、亮度不均等干擾因素的影響。在串開花數、串結果數等生長參數識別基礎上，結合疏花疏果工作進行討論。結果表明，試驗模型對于設施環境下常見干擾因素具有良好的實時性和魯棒性，與SSD算法相比，花果平均識別率為92.57%，提高了7.9%，識別速度為0.079 s，提升了約4倍，識別率和識別速度明顯提高，計算參數減少，基本滿足應用要求。

關鍵詞：番茄;設施栽培;生長監測;疏花疏果;輕量化神經網絡;圖像識別

中圖分類號：S641.2 文獻標志碼：A 文章編號：1673-2871（2021）09-038-07

Study on identification method of thinning flower and fruit of tomato based on improved SSD lightweight neural network

CHEN Xin1，2， WU Pinghui2， ZU Shaoying3， XU Dan4， ZHANG Yunhe1， DONG Jing1

（1. Beijing Agricultural Intelligent Equipment Technology Research Center， Beijing 100097， China; 2. School of Electronic Information Engineering， Hebei University of Technology， Tianjin 300401， China; 3.Tianjin Agricultural Mechanization Technology Test Service Center， Tianjin 301616， China; 4. Beijing Jixing Agriculture Co. LTD， Beijing 101500， China）

Abstract： Aiming at the problems of facility tomato flower thinning and fruit thinning relying on manual judgment one by one， the workload is large， and the real-time requirements of mobile equipment are high， here we use convolutional neural network to identify some tomato growth parameters， and discusses the application based on agricultural operation experience. The lightweight module MobileNetV3 is introduced into the convolutional neural network SSD algorithm， and a method for identifying and analyzing tomato flowers and fruits based on the SSD-MobileNetV3 model is proposed. Compared with the traditional method， it overcomes the influence of interference factors such as overlap and occlusion， changes in lighting conditions， and uneven brightness to a certain extent. On the basis of the identification of growth parameters such as the number of bunches and the number of bunches， the discussion was carried out in conjunction with the work of flower thinning and fruit thinning. The results show that the experimental model has good real-time performance and robustness for common interference factors in the facility environment. Compared with the SSD algorithm， the average recognition rate of flowers and fruits is 92.57%， which is an increase of 7.9%， and the recognition speed is 0.079 s， which is an increase of approximately 4 times， the recognition rate and recognition speed are significantly improved， and the calculation parameters are reduced， which basically meets the application requirements.

Key words： Tomato; Protected Cultivation; Growth monitoring; Sparsely flowered and fruited; Lightweight neural network; Image recognition

設施番茄對于菜農增收和蔬菜產業發展都具有重要意義[1]，疏花疏果是提高設施番茄產量和品質的重要措施，可以保證營養供給，協調植株均衡生長，提高果實商品性，在生產過程中必不可少。在傳統農業生產過程中，疏花疏果工作多依賴于操作人員的經驗積累，勞動強度大，不適于在現代設施環境中的科學管理。農業農村部在《關于加快推進設施種植機械化發展的意見》中明確提出要大力推進設施布局標準化、設施裝備智能化和生產服務社會化，采用圖像識別技術實現包括串開花數、串結果數、果實成熟度等生長參數的準確監測，可以對農事決策的智能化、設施作業機器人的應用提供有效支撐。但在實際生產過程中，作業背景復雜、光照條件變化、枝葉遮擋覆蓋等環境因素，以及小型移動設備本身存在的處理速度、存儲規模等設備因素，都會影響監測結果。

國內外針對作物生長參數的監測已經有廣泛的研究，孫建桐等[2]、車金慶等[3]、 馮瑋等[4]分別通過聚類、形態學、霍夫變換等傳統分割識別算法實現了對作物器官的判斷，但是多針對單一器官或特征進行識別，同一算法中難以同時識別具有不同特征的生長參數，而且這種傳統算法識別率有待提高，易受環境條件影響，而且在遮擋嚴重情況下的效果一般。近年來，隨著信息技術發展，卷積神經網絡被廣泛應用于該領域[5-6]，實現了對不同作物的參數監測。張恩宇等[7]提出基于TensorFlow深度學習框架下訓練的SSD深度學習算法對青蘋果進行識別;岑冠軍等[8]通過Faster R-CNN深度學習模型實現了芒果圖像的識別;孫哲等[9]將Faster R-CNN中的VGG16網絡替換為ResetNet101網絡，以達到提高檢測精度的目標。以上研究可以實現良好的識別效果，但是存在模型復雜度高、檢測時間長、硬件條件要求高等限制，而且少有進一步結合實際農業生產操作的分析。

基于上述研究和應用需求，筆者提出了基于改進的SSD算法，即通過輕量化算法MobileNetV3和SSD目標檢測算法結合，從主干網絡著手，將傳統的VGG-16替換為MobileNetV3，實現對串開花數、串結果數、果實成熟度等生長參數的判斷，模型和參數規模大大減少，達到移動環境下操作條件，并且結合實際生產經驗，進行了在疏花疏果作業中的應用分析。

1 材料與方法

1.1 試驗數據的采集和設備搭建

本試驗中的番茄圖像采集于北京市昌平區小湯山國家精準農業示范研究基地，選取大棚內種植的番茄進行圖像采集，采用CanonEOS 7D單反相機（5184像素×3456像素）進行拍攝，番茄品種為蘇粉14號（江蘇省農業科學院蔬菜研究所），種植于2019年10月3日，大棚長為46 m，寬為10 m，在2019年10月至2020年1月追蹤拍攝番茄的育苗、開花、結果等生長發育過程，其中番茄開花時期圖像1230幅，未成熟番茄果實圖像1524幅，成熟番茄果實圖像1050幅。試驗設備包括用于集成算法和顯示結果的微型計算機和進行遙控巡檢的直線合金鋁雙竹節升降巡檢機器人，兩者通過以太網共同組成智慧聯網系統。如圖1所示，該巡檢機器人為DKY-LZN/TL/SZ-15系列，具備升降平臺，可以通過巡檢配置實現目標位置定時巡視功能。試驗過程中將升降平臺調至1.5 m高度，角度與番茄種植方向平行，通過遙控進行定時巡檢，并通過微型計算機顯示識別效果。

1.2 樣本數據集制作

為增加訓練模型的魯棒性，對數據集進行預處理，通過數據增強處理提高訓練模型的泛化能力。通過labelImg軟件對本試驗采集的3804幅圖像樣本進行標簽制作，本試驗中使用POSCAL VOC2007數據集格式，分為訓練集、驗證集和測試集，其中訓練集是隨機從整體數據集采用獨立同分布采樣得到，為保證后期評價標準的可靠性，測試集要和驗證集互斥。數據集具體類別和分布情況如表1所示。

1.3 SSD-MobileNetv3輕量化番茄識別網絡

1.3.1 SSD目標檢測算法 根據網絡模型結構不同，檢測模型可以分為兩類，以YOLO和SSD為代表的單步檢測算法是將目標檢測當作回歸問題求解，通過端到端的圖像特征提取和預測分類，完成實時性檢測。而以Faster R-CNN等為代表的兩步檢測算法則需對待檢測圖像提取部分可能含有目標的候選區域，然后對候選區域進行分類和坐標修正。考慮農業應用過程中的實際情況，筆者選取了檢測精度和效果更為均衡的單步檢測模型SSD為基礎框架。

Liu等[10]在2016年提出的SSD算法結合了Faster R-CNN[11]和YOLO[12]的優點，網絡結構，包括提取圖像特征的基礎網絡和多尺度檢測網絡。但是對于以VGG-16為基礎骨架的SSD檢測模型而言，擁有大量的權值參數，這需要高性能的硬件設備和穩定的試驗環境[13]。在農業生產過程中，小型移動設備應用非常廣泛，但是其處理器難以達到試驗要求，存在模型存儲和處理速度不夠等問題，傳統SSD檢測模型難以達到應用要求。為解決此類問題，可以替換前端特征提取模型，設計輕量化的網絡模型，減少網絡參數數量和節省運行內存，提高計算速度。

1.3.2 MobileNetV3算法 MobileNetV3綜合了MobileNetV1的深度可分離卷積、MobileNetV2的具有線性瓶頸的逆殘差結構和MnasNet的基于squeeze and excitation結構的輕量級注意力模型等的優點[14]，改進了網絡結構以及引進了h-swish，在保證網絡精度的同時，提升運行速度，節約計算機的計算成本。

（1）網絡建構模塊：深度可分離卷積是輕量級神經網絡發展過程中的一項重要技術，在保證精度降低很小的前提下，大幅度提高網絡運行速度，降低模型參數和運算成本[15]。其基本思想是把區域和通道分開考慮，將標準卷積分解成深度卷積及一個1×1的逐點卷積[16]。深度卷積是用于特征提取，對輸入數據的每個通道應用單個卷積濾波器進行卷積。逐點卷積是對上一步的輸出進行線性組合，得到新的特征。而標準卷積是使用同等深度的卷積核與輸入數據進行卷積并求和運算。對比2種卷積方式，可以發現深度可分離卷積在保證與標準卷積輸出維度相同的前提下具有更加優異的性能。

具有線性瓶頸的反向殘差模塊。由于深度卷積沒有改變輸入通道的能力，所以當通道很少時，深度可分離卷積只能在低維度特征上工作，而通常情況下激活函數在低維度時的非線性變化會導致較大的信息損失，所以在深度卷積之前先經過1×1的卷積來提高提升輸入數據的維度，使其可以在高緯度下提取特征，在深度卷積后再經過一個1×1的卷積用于降維，這樣整個結構與標準殘差結構的先降維再升維相反，所以稱為反向殘差，線性瓶頸是指降維后，將激活函數換成線性。

（2）網絡結構改進：輕量級注意力模型SE。SE模塊思想簡單，易于實現，對卷積后的特征圖進行處理，利用通道的獨立性分別重調通道維度的特征來獲得更好的最終效果，并且比較容易加載到網絡模型框架中。

其中引進了非線性激活函數h-swish，swish具有無上界有下界、平滑、非單調等特點，可以提高神經網絡的精度，且在深度模型方面也優于ReLU，但是計算量很大，所以提出h-swish近似代替swish。h-swish會造成延遲，所以在模型后半部分使用了h-swish。公式1中β為常數或可訓練的參數，公式2中ReLU為修正線性單元。

[（2）]<＼＼LENOVO-FAN＼fapai＼中國瓜菜＼9-瑩瑩-飛翔＼Image＼image5.pdf>[（][）]

1.3.3 SSD-MobileNetv3模型 SSD-MobileNetV3算法結構如圖3所示。筆者改進SSD模型可以分為2個部分，前端的基礎網絡部分主要用于目標特征的提取，用MobileNetV3網絡代替VGG-16，模型后端是不同尺度的特征檢測網絡。該模型結合了Mobilenet和SSD 網絡的優點，可以有效提取待識別目標的信息，準確識別不同類別目標。

1.4 番茄識別試驗

1.4.1 試驗平臺 試驗條件為：Ubuntu 16.04、64位操作系統，Intel（R）Core（TM） i7-8700K處理器，GeForce GTX 1060 6G顯存。采用pytorch框架，Python 3.6語言編程進行網絡模型的訓練和測試。

1.4.2 模型訓練及指標 試驗進行權值訓練的方法采用隨機梯度下降（Stochastic gradient descent，SGD）法，訓練的batchsize為16，初始學習率為0.001，權值衰減為5×10-4，訓練100個大循環（epoch），參數更新方法為引入動量的梯度下降法，動量因子為0.9。

采用精確度（AP）值來評價訓練好的模型，其中AP值計算公式如式5所示，表示如下：

式中P為準確率，R為召回率，TP和FP分別表示正樣本的真實和虛假數量，FN表示虛假的負樣本數量。平均精確度（mAP）值越大，代表模型精度越高，相反則越低（圖4）。

準確率和召回率彼此相互影響，與理想條件下兩者均高不同，在一般條件下兩者呈反比關系。當召回率增加到接近1時，準確率有所下降。

2 結果與分析

2.1 不同算法檢測結果分析

為了定量分析不同檢測模型的平均識別率、模型大小、平均檢測時間，驗證輕量化改進SSD算法的優越性，采用相同的數據集和配置對改進前后SSD算法和FasterR-CNN算法進行對比試驗，結果如表2所示。與SSD模型相比，采用MobileNetV3為基礎網絡的改進SSD模型的平均識別率92.57%，提高了7.9%，識別速度為0.079 s，提升了約4倍，模型大小不足原模型的1/10，改進后的識別準確率和識別速度均得到了顯著提高。與FasterR-CNN算法相比，平均識別率提高了6.16%，識別速度提升了約2倍，模型大小得到明顯的縮減，具有明顯的優勢。

番茄花、成熟果實、未成熟果在不同算法下的平均識別率檢測結果如表3所示。

2.2 不同拍攝距離檢測結果分析

為了分析采集過程中待檢測目標比例大小對識別精度的影響，研究不同遮擋情況下的識別效果變化，以2種不同采集情況下的數據為研究對象進行分析，選取部分數據集進行訓練，以番茄面積的50%為部分遮擋和嚴重遮擋的分界線，以0.2 m拍攝距離為近距離，以將能夠完整拍攝番茄整株情況的距離為遠距離，為1.2 m。

識別效果如圖5所示，對于近距離采集情況下采集的圖像，以未成熟果實為例，其AP值為96.65%，而遠距離采集的情況下采集圖像的AP值為90.59%。可能是以下原因造成這種差異：（1）拍攝距離和角度等因素造成待檢測目標比例變小，由于小目標學習樣本不足，導致部分小目標未能被有效識別;（2）尺寸變化導致圖像中番茄數目增多，枝葉和果實間相互重疊、遮擋的情況加劇，導致嚴重遮擋的番茄數目增加，造成遠距離情況下識別率的下降。

2.3 不同光照條件下檢測結果分析

為準確識別不同的光照情況，選擇亮度直方圖算法對試驗圖像進行檢測，當圖像光照不均勻，即存在高光區域時，圖像亮度直方圖的灰度值分布會出現明顯差異，圖像中出現2個明顯的波峰。

依據亮度直方圖，將圖像分為光照不均和正常兩種情況，不同光照的情況下的識別效果如圖6所示，通過分析亮度直方圖，并從數據集中各選取100張圖像，計算平均識別率和觀察識別效果，具體識別率如表4所示。

由表4可知，不同光照情況對果實識別會產生影響，光照不均則圖像識別率小于正常情況，且光照不均情況下，識別率大于90%的圖像更少，說明對于部分光照不均情況嚴重的圖像，識別效果下降更加明顯，從而影響整體統計結果。為了直觀展示不同光照情況的識別效果，分別選取不同光照情況照片進行展示，如圖6所示，在圖6-b中存在曝光強烈和光線細微的部分區域存在無法識別的情況。可能是以下原因造成這種差異：（1）在光照不均圖像中過分曝光的部分，由于目標區域的過分曝光，果實與背景界限不明顯，丟失部分特征信息，果實邊緣特征提取難度增加，導致該區域部分果實識別率下降;（2）在光照不均圖像中曝光不足的部分，由于曝光不足，出現黑色區域，因此不能真實反應番茄果實特征，造成識別率下降。

3 討論與結論

在現有的番茄識別研究中多針對識別效果進行討論，少有結合農事經驗做進一步分析，筆者提出了一種基于移動環境中的輕量化神經網絡模型對番茄生長參數進行識別，在對串開花數、串結果數進行有效識別的基礎上，嘗試與疏花疏果的農事操作時機相結合進行分析討論。

疏花疏果是調節設施番茄生長和產量的關鍵管理技術之一[17-19]。對于疏花而言，在開2～3朵花后根據實際情況疏花，結合蘸花每穗選留4～6朵正常健壯的花蕾，其余多余的花蕾全部疏掉，這是爭取早熟的關鍵措施;對于疏果而言，在每穗果坐齊后，每穗保留較整齊的3～5個果，保證果實大小的一致性。在對番茄串開花數和串結果數準確識別的前提下，以每穗中6朵花或5個果實為閾值，當圖像中識別參數數目大于閾值時進行統計，以高于閾值數目的植株占大棚內總體采集株數的比例為判斷依據，及時提示農事人員進行疏花疏果操作。在試驗過程中關鍵要素是實現巡檢機器人巡視角度的調控，以實現相關參數的準確采集和識別。

筆者進一步分析了不同算法和不同采集情況下的識別效果，結合疏花疏果技術進行分析，與傳統算法相比，一定程度上克服了環境復雜、枝葉覆蓋遮擋、光照條件變化等方面的影響，具有更好的魯棒性，對多個生長參數的識別進行了有效提升，但是識別率和實際應用效果仍有待進一步提高，具體體現在以下2個方面：

（1）在算法方面，目標檢測算法的性能正隨著不同模型和改進方法的出現變得更加強大，但是在不同環境中的應用效果仍存在差距，光照等環境因素仍是制約算法性能的重要因素。另外，如何在保證算法精度和速度的前提下減少運算規模也是下一步研究的重點。

（2）在應用方面，雖然可以通過自動化機器人實現自動巡視和檢測，但是在農業應用場景中，仍然需要大量試驗對機器人路徑、角度進行調整，以保證檢測質量，使其得到更好的應用。

參考文獻

[1] 王勃穎，宗義湘，董鑫.河北省番茄產業發展現狀及問題分析[J].中國蔬菜，2020（7）：7-12.

[2] 孫建桐，孫意凡，趙然，等.基于幾何形態學與迭代隨機圓的番茄識別方法[J].農業機械學報，2019，50（S1）：22-26.

[3] 車金慶，王帆，呂繼東，等.重疊蘋果果實的分離識別方法[J].江蘇農業學報，2019，35（2）：469-475.

[4] 馮瑋，趙德安.蘋果采摘機器人目標果實的快速跟蹤識別[J].信息技術，2018（5）：5-9.

[5] 王丹丹，何東健.基于 R-FCN 深度卷積神經網絡的機器人疏果前蘋果目標的識別[J].農業工程學報，2019，35（3）：15? ?6-163.

[6] DIAS P A，TABB A，MEDEIROS H.Apple flower detection using deep convolutional networks[J].Computers in Industry，2018，99：17-28.

[7] 張恩宇，成云玲，胡廣銳，等.基于SSD算法的自然條件下青蘋果識別[J].中國科技論文，2020，15（3）：274-281.

[8] 岑冠軍，華俊達，潘怡穎，等.基于深度學習芒果圖像在線識別與計數方法研究[J].熱帶作物學報，2020，41（3）：425-432.

[9] 孫哲，張春龍，葛魯鎮，等.基于Faster R-CNN的田間西蘭花幼苗圖像檢測方法[J].農業機械學報，2019，50（7）：216-221.

[10] LIU W，ANGUELOV D，ERHAN D，et al.Ssd：Single shot multibox detector[C]//European Conference on Computer Vision.Cham：Springer，2016：21-37.

[11] REN S Q，HE K M，GIRSHICK R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[12] REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：779-788.

[13] 吳天舒，張志佳，劉云鵬，等.基于改進SSD的輕量化小目標檢測算法[J].紅外與激光工程，2018，47（7）：47-53.

[14] 宋非洋，吳黎明，鄭耿哲，等.基于MobileNetV3的結構性剪枝優化[J].自動化與信息工程，2019，40（6）：20-25.

[15] 張春堂，管利聰.基于SSD-MobileNet的礦工安保穿戴設備檢測系統[J].工礦自動化，2019，45（6）：96-100.

[16] 沈新烽，姜平，周根榮.改進SSD算法在零部件檢測中的應用研究[J].計算機工程與應用，2021，57（7）：257-262.

[17] 黃國都.藤縣全封閉式大棚越冬茬番茄高效栽培技術[J].長江蔬菜，2016（20）：75-76.

[18] 張智杰，王成云.棚室番茄花果管理技術[J].現代農業科技，2014（3）：113.

[19] 王艷芳，楊夕同，雷喜紅，等.連棟溫室番茄工廠化生產植株精細化管理技術[J].中國蔬菜，2019（1）：85-89.