復雜環境下柿子和蘋果綠色果實的優化SOLO分割算法

賈偉寬，李倩雯，張中華，劉國良，侯素娟，Ji Ze，鄭元杰

復雜環境下柿子和蘋果綠色果實的優化SOLO分割算法

賈偉寬1,2，李倩雯1，張中華1，劉國良3，侯素娟1，Ji Ze4，鄭元杰1※

（1. 山東師范大學信息科學與工程學院，濟南 250358；2. 機械工業設施農業測控技術與裝備重點實驗室，鎮江 212013；3. 山東大學控制科學與工程學院，濟南 250061；4. 卡迪夫大學工程學院，卡迪夫 CF24 3AA，英國）

為了實現果園復雜環境下柿子和蘋果綠色果實的精準分割，該研究提出了一種基于SOLO的綠色果實優化分割算法。首先，利用分離注意力網絡（ResNeSt）設計SOLO算法的主干網絡，用于提取綠色果實特征；其次，為更好地應對綠色果實特征的多尺度問題，引入特征金字塔網絡（Feature Pyramid Networks，FPN），構造ResNeSt+FPN組合結構；最后，將SOLO算法分為類別預測和掩碼生成2個分支，類別預測分支在預測語義類別的同時，掩碼生成分支實現了對綠色果實的實例分割。試驗結果表明，優化SOLO分割算法的平均召回率和精確率分別達到94.84%和96.16%，平均每張綠色果實圖像在圖形處理器（Graphics Processing Unit，GPU）上的分割時間為0.14 s。通過對比試驗可知，優化SOLO分割算法的召回率分別比優化掩膜區域卷積神經網絡算法（Optimized Mask Region Convolutional Neural Network，Optimized Mask R-CNN）、SOLO算法、掩膜區域卷積神經網絡算法（Mask Region Convolutional Neural Network，Mask R-CNN）和全卷積實例感知語義分割算法（Fully Convolutional Instance-aware Semantic Segmentation，FCIS）提高了1.63、1.74、2.23和6.52個百分點，精確率分別提高了1.10、1.47、2.61和6.75個百分點，分割時間縮短了0.06、0.04、0.11和0.13 s。該研究算法可為其他果蔬的果實分割提供理論借鑒，擴展果園測產和機器采摘的應用范圍。

圖像分割；圖像處理；算法；特征金字塔網絡；綠色果實

0 引 言

視覺系統是果蔬采摘機器人的重要組成部分，其分割精度和速度對采摘機器人的效率有很大的影響，實現目標果實的精準分割已成為視覺系統研究的關鍵。然而，實際的果園環境呈現出復雜性和非結構化特點，受相機拍攝角度、果實生長姿態等因素的影響，導致果實的被遮擋或重疊現象；受光照條件和光照角度的變化影響，致使果實圖像的逆光現象；綠色果實跟背景枝葉顏色相近，容易導致果實的漏識。這些因素均影響果實的分割效果，給果實的精準快速分割帶來很大挑戰。盡管如此，該領域仍吸引著國內外一些學者的關注，并取得一定研究進展[1]，如綠色柑橘的自動計數[2-3]、綠色桃子的識別[4]、重疊綠色蘋果的識別等[5]。

傳統機器學習算法在目標果實分割領域做出重要貢獻，Ahmad等[6]提出基于模糊推理系統與模糊C均值的蘋果圖像穩健分割算法，用于蘋果生長期內不同顏色目標果實的分割，提高了分割算法的泛化能力。劉曉洋等[7]提出一種基于超像素特征的蘋果分割算法，解決了著色不均勻果實的識別分割問題，分割準確率達到了0.921 4。Lyu等[8]提出一種套袋綠蘋果圖像分割算法，在提取目標果實正常光照和高亮區域進行組合，實現目標果實的高效分割。Ji等[9]提出區域增長和顏色特征的蘋果圖像分割算法，并設計一種基于支持向量機（Support Vector Machine，SVM）蘋果識別算法，識別成功率約為89%，平均識別時間為0.352 s。姬偉等[10]采用一種基于引導濾波的具有邊緣保持特性的Retinex圖像增強算法分割蘋果目標，為夜間圖像的分割和目標識別提供了保障。上述算法雖在一定的條件下取得了較為理想的分割效果，但由于部分算法學習目標特征時環境條件的要求相對嚴格，然而在面對果園等實際而復雜環境下進行綠色目標果實分割時，這些算法的分割效果略顯不足。

隨著深度學習理論和計算機硬件設備的快速發展，諸多計算機視覺問題開始借助深度神經網絡來解決，其端到端處理方式，大幅提升算法的精度和魯棒性，衍生出的眾多算法廣泛應用在圖像分割領域，并取得較為理想分割效果[11-13]。深度學習理論的快速發展，同樣引起農業領域學者的關注[14-17]，給果實分割帶來新的啟示。Jia等[18]針對重疊蘋果目標果實，提出一種優化掩膜區域卷積神經網絡的目標果實識別算法，融合殘差網絡（ResNet）和密集連接卷積網絡（DenseNet）作為特征提取的主干網絡，提高了重疊及枝葉遮擋環境下蘋果目標的檢測精度。王丹丹等[19]提出基于區域的全卷積網絡的蘋果目標識別方法，設計ResNet-44作為主干網絡，在包含遮擋、模糊、重疊的蘋果目標的測試集上得到95.1%的識別準確率。Kang等[20]優化雙注意力全卷積孿生神經網絡，對樹枝進行語義分割，檢測蘋果的得分為0.83，蘋果和樹枝分割中的得分分別為86.5%和75.5%。Bargoti等[21]利用多尺度多層感知器和卷積神經網絡將蘋果圖像分割，提取出圖像中的蘋果目標，檢測精度達到0.9以上，但無法識別出群集中出現的所有水果。Liu等[22]提出了從圖像序列中識別可見的柑橘和蘋果果實并計數的方法，使用匈牙利算法跟蹤圖像幀中的果實，采用運動恢復結構算法估計果實的三維位置和大小并去除假陽性。面對非結構化的蘋果園，受自然光線、天氣、綠色果實、采集角度、樣本數量等影響，以上算法的精度、魯棒性及適用性相較于傳統機器視覺算法有大幅提升，仍難以滿足果園測產和自動采摘的實時作業需求，在識別精度和運行效率上還有待進一步提升。

綜上，針對果園復雜環境下綠色果實圖像分割難題，本研究分別構建綠色柿子和綠色蘋果數據集，提出優化SOLO分割算法。該算法主要思想在特征提取環節引入綠色果實的位置和大小信息，在分割環節實現類別預測分支與掩碼生成分支同時完成，以提高綠色果實的分割精度和效率。

1 材料與方法

1.1 數據采集及數據集制作

本研究采集綠色柿子和綠色蘋果圖像，采集地點分別為山東師范大學（長清湖校區）后山和山東省煙臺市福山區龍王山蘋果生產基地。采集設備為佳能EOS 80D單反相機（80D，佳能Canon，佳能株式會社，日本），圖像分辨率為6 000×4 000（像素），保存為.jpg格式，24位彩色圖像。在白天（7:00-17:00）自然光下采集和夜晚（19:00-22:00）LED燈光下采集。試驗共采集568張綠色柿子圖像和498張綠色蘋果圖像，具體包括夜間、重疊、逆光、順光、遮擋、雨后等多種情況，如圖 1所示。

不同環境下采集到的綠色果實圖像樣本數量分布如表 1所示。為滿足實時作業需求，減小算法的計算量，將圖像分辨率從6 000×4 000壓縮至600×400（像素）。采用LabelMe軟件標注綠色果實圖像制作為COCO格式數據集[23]，首先將綠色果實的邊緣輪廓使用LabelMe標注點進行標注生成標簽；其次標注點將圖像分為2個部分，其內部為綠色目標果實，外部則為背景；隨后所有的標注信息如標簽、標注點坐標等均保存至與原圖像對應的.json文件中；最后將.json文件使用LabelMe軟件轉換為COCO格式數據集。將柿子數據集和蘋果數據集均按照7∶3的比例劃分訓練集和測試集，其中柿子訓練集為398張圖像，測試集為170張圖像；蘋果訓練集為348張圖像，測試集為150張圖像。

1.2 優化SOLO綠色果實分割算法

圖像的背景越簡單越利于果實分割，然而果園實際環境復雜，采集到的圖像背景較為復雜,果實姿態多變。枝葉遮擋、重疊、逆光、夜間、雨后等，再由于綠色果實和背景間顏色相近，導致果實邊界不清晰，給綠色果實的精準分割帶來一定影響。由于綠色果實的特殊性及果園環境的復雜性，提出一種優化SOLO分割算法，實現綠色果實的高效精準分割。優化SOLO分割算法的主干網絡采用分離注意力網絡（ResNeSt）提取圖像特征，以增強前后層特征傳輸、重用和融合能力。由于果實尺寸不盡相同，在ResNeSt后引入特征金字塔網絡（Feature Pyramid Networks，FPN），將不同尺寸的果實映射到不同層次的特征圖，以解決綠色果實的多尺度問題。將ResNeSt+FPN組合結構獲取到的圖像特征輸入優化SOLO分割算法的2個分支：類別預測分支和掩碼生成分支，類別預測分支預測語義類別，而掩碼生成分支分割對象實例。其核心思想是按照果實位置分割圖像，將圖像劃分為×網格，如果對象的中心落在網格單元中，則該網格單元負責預測語義類別以及分配每像素位置類別，最終得到綠色果實的分割圖。優化SOLO分割算法流程如圖2所示。

1.2.1 主干網絡（ResNeSt）

優化SOLO分割算法采用ResNeSt作為主干網絡，提取圖像中綠色果實的特征，該網絡優于具有類似算法復雜度的其他網絡，可大幅度提高了算法的精度。ResNeSt是一種基于殘差網絡（ResNet）的改進卷積神經網絡（Convolutional Neural Network，CNN），是多個分離注意力模塊的組合，該塊可以跨特征圖組實現信息交互。通過以ResNet樣式堆疊分離注意力模塊得到ResNeSt，保留了完整的ResNet結構。

分離注意力模塊作為計算單元，包括特征映射組和分離注意力操作。特征映射組將特征分成不同的組，特征圖組的數量由基數超參數()給出，將所得的特征圖組稱為基數組。然后，再引入一個基數超參數()，該基數指示基數組內的拆分塊數。最初的輸入特征圖沿著通道維度被劃分為個特征圖小組，對每個單獨的組應用一系列變換{1，2，...G}，然后對于∈{1，2，...}，每個組的中間表示為=()。其中，映射變換由1×1和3×3的卷積操作實現。

隨后進行分離注意力操作，對多個拆分塊元素求和融合，可以獲得每個基數組的組合表示。

第個基數組的表示，如式（1）所示。

最后，將基數組表示沿通道維級聯：=Concat{1,2, …}，其中 Concat表示級聯，1,2, …為基數組表示。與標準殘差塊中一樣，如果輸入和輸出特征圖共享相同的形狀，則使用快捷方式連接生成分離注意力模塊的最終輸出：=+。對于具有跨步的塊，將適當的變換應用于快捷連接以對齊輸出形狀：=+()，其中，為跨步卷積或帶池組合卷積。ResNeSt增強了前后層特征傳輸、重用和融合的能力，同時，還具有減弱過度擬合的能力和極強的泛化能力，可直接用于下游任務，而不會引起額外的計算成本。

綠色果實的淺層特征可以實現果實與背景的區分，然而由于果實尺寸不同，使得果實邊界模糊，需要進一步提取果實的深層特征，以更清晰得到不同尺寸果實的邊界信息。因此，采用ResNeSt初步提取圖像特征后，再結合 FPN網絡，解決綠色果實分割中的多尺度問題。借助FPN定義不同尺度的分配策略，按照果實的尺度將其最優分配到金字塔層級中，大尺度的果實由最頂層的特征圖負責分割，隨著果實尺度的下降，負責分割的金字塔層級也相應下降。采用FPN生成的多層特征圖同時參與綠色果實分割，增強算法對不同尺度果實的分割效果，在一定程度上緩解果實間的重疊問題。

1.2.2 類別預測和掩碼生成

在語義類別預測過程中，對于每個網格，優化SOLO算法均會預測個類別數，用來表示語義類別概率。將輸入綠色果實特征圖劃分為×網格，則輸出空間為××。這里需要假設×網格的每個單元必須屬于一個單獨的實例，且僅屬于一個語義類別。在推理期間，維輸出指示每個對象實例的類概率，即網格（，）落入任何地面真值掩模的中心區域則視為正樣本，否則為負樣本。

在語義類別預測分支工作的同時，掩碼生成分支并行地生成相應綠色果實的實例掩碼。對于輸入圖像的×個網格，則最多生成2個預測掩碼，在輸出張量的第三維（通道）上顯示編碼這些掩碼，即實例掩碼輸出的維數是××2。第個通道負責對網格（，）上的實例進行分割，其中，=iS+。因此，在語義類別和與類相關的掩碼建立一對一對應關系。

實例掩碼預測一般采用全卷積網絡（Fully Convolutional Networks，FCN），包括卷積和反卷積操作，具有平移不變性，然而，本研究的掩碼是基于網格的位置（2個通道）產生，需要平移可變性。借鑒CoordConv操作，解決卷積神經網絡的坐標變換問題，直接將標準化的像素坐標饋送給網絡。創建一個與包含像素坐標的輸入具有相同空間大小的張量，并規范為[-1，1]，將該張量連接到輸入特征并傳遞到下層。通過簡單地賦予卷積對其自身輸入坐標的訪問權，將空間功能添加到傳統的FCN網絡中，生成相應的掩碼。

類別預測和對應的掩碼由參考網格單元（=iS+）自然關聯，在此基礎上，可以直接形成每個網格的最終實例分割結果。原始分割結果就是通過收集所有網格結果生成。每個網格只激活一個實例，多個相鄰掩碼通道可以預測一個實例，采用非最大值抑制（NMS）來抑制冗余掩碼，得到最終的綠色果實分割結果。

1.2.3 損失函數

優化SOLO分割算法的總損失函數計算如式（5）所示。

骰子系數損失定義如式（7）和式（8）所示。

1.3 試驗設計與算法訓練

本試驗運行環境：Ubuntu 16.04操作系統、32GB GPU Tesla V100和v10.0 CUDA環境的服務器，搭建PyTorch深度學習框架，采用Python語言編程實現綠色果實分割算法的訓練和測試。

遷移學習可以降低算法訓練時的過擬合問題和計算量，本試驗采用基于COCO數據集的預訓練算法的初始權重，可以使損失函數盡快趨于穩定值，加快訓練數據。將初始學習率設置為0.01，權重衰減率為0.000 1，動量因子為0.9，最大迭代次數為500，每迭代20次保存1次算法參數。算法的訓練精度隨著迭代次數的增加而迅速升高，且趨于穩定。

1.4 評估指標

本研究采用召回率（Recall，%）和精確率（Precision，%）兩項指標對分割算法進行評估，其具體計算如式（9）和式（10）所示。

式中TP為真實的正樣本數量，FP為虛假的正樣本數量，FN為虛假的負樣本數量。

2 結果與分析

2.1 綠色目標果實分割效果

模擬果園真實采摘場景，采用本研究優化SOLO的綠色果實圖像分割算法，對綠色果實圖像進行分割。由于在實際果園圖像中果實對象的信息往往不同，相應地算法分割效果會受到不同程度地影響，如在果實稀疏完整的圖像中，目標果實比較完整清晰；而在果實重疊遮擋圖像中，有可能存在果實過小、粘連、相互遮擋或被枝葉遮擋等情況，不易分割；在夜間或逆光的圖像中，對目標果實的分割也有一定的難度。本研究算法的果實（綠色柿子和綠色蘋果）分割效果如圖3所示。采集的柿子圖像中的果實較為稠密，果實數目較多；蘋果圖像中的果實相對稀疏，果實數目較少。柿子圖像采集環境明顯比蘋果圖像采集環境復雜。

為更客觀說明優化SOLO分割算法的性能，分別列舉了重疊、順光、雨后、逆光等復雜條件下的柿子圖像和蘋果圖像的召回率和精確率，結果列于表2。在上述復雜條件下，蘋果圖像的召回率比柿子圖像略高0.23～2.01個百分點，蘋果圖像的精確率與柿子圖像相比略高0.26～1.67個百分點。重疊、逆光、夜間和遮擋條件對果實分割造成了一定影響，分割效果略差。柿子圖像在重疊、逆光、夜間和遮擋條件下，召回率在92.00%左右，精確率在94.00%左右。蘋果圖像在重疊、逆光、夜間和遮擋條件下，召回率在94.00%左右，精確率在95.00%以上。順光和雨后下的果實分割效果相對較好。無遮擋或重疊的獨立果實分割效果最好，柿子圖像和蘋果圖像的召回率和精確率達到99.00%以上。

2.2 分割算法對比

為進一步驗證優化SOLO分割算法的性能，與具有代表性的優化掩膜區域卷積神經網絡算法（Optimized Mask Region Convolutional Neural Network，Optimized Mask R-CNN）、SOLO算法、掩膜區域卷積神經網絡算法（Mask Region Convolutional Neural Network，Mask R-CNN）和全卷積實例感知語義分割算法（Fully Convolutional Instance-aware Semantic Segmentation，FCIS）進行對比。計算平均精確率和召回率，結果列于表3。

表2 復雜環境下的綠色柿子和綠色蘋果圖像的分割結果

由表3可知，盡管存在誤識別和漏識別現象，與其他算法相比，本研究算法能夠相對準確地分割出圖像中的綠色果實，優化SOLO分割算法召回率和精確率分別達到了94.84%和96.16%，比其他分割算法的召回率高1.63～6.52個百分點，精確率高1.10～6.75個百分點。除評估優化SOLO分割算法的精度外，還需要考慮算法在實際分割用時，即保證精度的同時降低分割時間。上述算法的在圖形處理器（Graphics Processing Unit，GPU）上平均識別一張圖像的分割時間分別為0.2、0.18、0.25、0.27和0.14 s，本研究算法的分割時間最短。

表3 不同分割算法的分割性能比較

3 結 論

果實的精準分割是果園測產和自動采摘的重要前提，為解決果園復雜環境下綠色果實的分割難題，本研究提出一種優化SOLO分割算法，通過引入果實的位置信息，增強算法對綠色果實的分割性能。

1）優化SOLO分割算法的平均召回率和精確率分別達到94.84%和96.16%，平均每一張綠色果實圖像在GPU上的分割時間為0.14 s。

2）優化SOLO分割算法與傳統的SOLO分割算法相比召回率高1.74個百分點，精確率高1.47個百分點。

3）優化SOLO分割算法對比Optimized Mask R-CNN、Mask R-CNN、FCIS分割算法，召回率分別高出1.63、2.23和6.52個百分點，精確率分別高出1.1，2.61和6.75個百分點。

優化SOLO分割算法可滿足果園復雜環境下綠色果實的實時、精準分割。

[1] Jia W K, Zhang Y, Lian J, et al. Apple harvesting robot under information technology: A review[J/OL]. International Journal of Advanced Robotic Systems, [2020-04-16], https: // www. researchgate. net/publication/342209598_Apple_ harvesting_robot_under_information_technology_A_review.

[2] Maldonado J W, Barbosa J C. Automatic green fruit counting in orange trees using digital images[J]. Computers and Electronics in Agriculture, 2016, 127: 572-581.

[3] Wang C L, Lee W S, Zou X J, et al. Detection and counting of immature green citrus fruit based on the Local Binary Patterns (LBP) feature using illumination-normalized images[J]. Precision Agriculture, 2018, 19: 1062-1083.

[4] 黃小玉，李光林，馬馳，等. 基于改進判別區域特征融合算法的近色背景綠色桃子識別[J]. 農業工程學報，2018， 34(23)：142-148.

Huang Xiaoyu, Li Guanglin, Ma Chi, et al. Green peach recognition based on improved discriminative regional feature integration algorithm in similar background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(23): 142-148. (in Chinese with English abstract)

[5] 李大華，趙輝，于曉. 基于改進譜聚類的重疊綠蘋果識別方法[J]. 光譜學與光譜分析，2019，39(9)：2974-2981.

Li Dahua, Zhao Hui, Yu Xiao. Overlapping green apple recognition based on improved spectral clustering[J]. Spectroscopy and Spectral Analysis, 2019, 39(9): 2974-2981. (in Chinese with English abstract)

[6] Ahmad T, Greenspan M, Asif M, et al. Robust apple segmentation using fuzzy logic[C]//5thInternational Multi-Topic ICT Conference (IMTIC), Karachi: IEEE, 2018.

[7] 劉曉洋，趙德安，賈偉寬，等. 基于超像素特征的蘋果采摘機器人果實分割方法[J]. 農業機械學報，2019，50(11)：15-23.

Liu Xiaoyang, Zhao De’an, Jia Weikuan, et al. Fruits segmentation method based on superpixel features for apple harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11): 15-23. (in Chinese with English abstract).

[8] Lyu J D, Wang F, Xu L M, et al. A segmentation method of bagged green apple image[J]. Scientia Horticulturae, 2019, 246: 411-417.

[9] Ji W, Zhao D A, Cheng F Y, et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering, 2012, 38(5), 1186-1195.

[10] 姬偉，呂興琴，趙德安，等. 蘋果采摘機器人夜間圖像邊緣保持的Retinex增強算法[J]. 農業工程學報，2016，32(6)：189-196.

Ji Wei, Lü Xingqin, Zhao De’an, et al. Edge-preserving Retinex enhancement algorithm of night vision image for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(6): 189-196. (in Chinese with English abstract)

[11] Garcia-Garcia A, Orts-Escolano S, Oprea S, et al. A survey on deep learning techniques for image and video semantic segmentation[J]. Applied Soft Computing, 2018, 70: 41-65.

[12] Minaee S, Boykov Y Y, Porikli F, et al. Image segmentation using deep learning: A survey[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence, [2021-02-17], https: //ieeexplore. ieee. org/abstract/document/9356353

[13] Qi C R, Su H, Mo K C, et al. PointNet: Deep learning on point sets for 3D classification and segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Hawaii: IEEE, 2017.

[14] Hossain M S, Al-Hammadi M, Muhammad G. Automatic fruit classification using deep learning for industrial applications[J]. IEEE Transactions on Industrial Informatics, 2018, 15(2): 1027-1034.

[15] Koirala A, Walsh K B, Wang Z L, et al. Deep learning–Method overview and review of use for fruit detection and yield estimation[J]. Computers and Electronics in Agriculture, 2019, 162: 219-234.

[16] 傅隆生，馮亞利，Tola E. 基于卷積神經網絡的田間多簇獼猴桃圖像識別方法[J]. 農業工程學報，2018， 34(2)：205-211.

Fu Longsheng, Feng Yali, Tola E. Image recognition method of multi-cluster kiwifruit in field based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 205-211. (in Chinese with English abstract)

[17] 孫紅，李松，李民贊，等. 農業信息成像感知與深度學習應用研究進展[J]. 農業機械學報，2020，51(5)：1-17.

Sun Hong, Li Song, Li Minzan, et al. Research progress of image sensing and deep learning in agriculture[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(5): 1-17. (in Chinese with English abstract)

[18] Jia W K, Tian Y Y, Luo R, et al. Detection and segmentation of overlapped fruits based on optimized Mask R-CNN application in apple harvesting robot[J/OL]. Computers and Electronics in Agriculture, [2020-03-18], https: // doi. org/10. 1016/j. compag. 2020. 105380.

[19] 王丹丹，何東健. 基于R-FCN深度卷積神經網絡的機器人疏果前蘋果目標的識別[J]. 農業工程學報，2019，35(3)：156-163.

Wang Dandan, He Dongjian. Recognition of apple targets before fruits thinning by robot based on R-FCN deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 156-163. (in Chinese with English abstract)

[20] Kang H W, Chen C. Fruit detection, segmentation and 3D visualisation of environments in apple orchards[J/OL]. Computers and Electronics in Agriculture, [2020-02-20], https: // doi. org/10. 1016/j. compag. 2020. 105302.

[21] Bargoti S, Underwood J. Deep fruit detection in orchards[C]//IEEE International Conference on Robotics and Automation (ICRA), Singapore: IEEE, 2017.

[22] Liu X, Chen S W, Aditya S, et al. Robust fruit counting: Combining deep learning, tracking, and structure from motion[C]// International Conference on Intelligent Robots and System, Madrid: IEEE, 2018.

[23] Lin T Y, Maire M, Belongie S, et al. Microsoft coco: Common objects in context[C]//European Conference on Computer Vision. Zurich: Springer, 2014.

[24] Wang X L, Kong T, Shen C H, et al. SOLO: Segmenting objects by locations[C]//European Conference on Computer Vision, Glasgow: Springer, 2020.

[25] He K M, Gkioxari G, Dollár P, et al. Mask R-CNN[C]//IEEE International Conference on Computer Vision, Venice: IEEE, 2017.

[26] Li Y, Qi H Z, Dai J F, et al. Fully convolutional instance-Aware semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, Hawaii: IEEE, 2017.

Optimized SOLO segmentation algorithm for the green fruits of persimmons and apples in complex environments

Jia Weikuan1,2, Li Qianwen1, Zhang Zhonghua1, Liu Guoliang3, Hou Sujuan1, Ji Ze4, Zheng Yuanjie1※

(1.,,250358,; 2.,212013,; 3.,,250061,;4.,,CF24 3AA,)

To solve the green fruit recognition problem of persimmons and apples, a green fruit segmentation algorithm based on optimized SOLO (Segmenting Objects by Locations) was proposed in this study to achieve accurate segmentation of green fruits in complex environments. The proposed algorithm was a single-stage instance segmentation method, which avoided the disadvantage that detection before segmentation in two-stage methods relied on detection performance. By introducing the concept of instance category, each pixel in the instance was assigned a category according to the location and size of the instance, therefore, the instance segmentation was transformed into a classification problem. This study takes green persimmons and green apples as the research objects. The image collection locations are Shandong Normal University (Changqing Lake Campus) Houshan and the Longwangshan Apple Production Base in Fushan District, Yantai City, Shandong Province. The acquisition device is a Canon EOS 80D SLR camera with an image resolution of 6 000×4 000 pixels. Collect under natural light during the day (7:00-17:00) and under LED light at night (19:00-22:00). A total of 568 images of green persimmons and 498 images of green apples were collected in the experiment, including nighttime, overlap, backlighting, forward light, blocked, and after rain. The collected images were annotated by LabelMe software and then were made into a dataset in COCO format. Specifically, first, split-attention networks (ResNeSt) were used to extract features of the target fruit as the backbone network of optimized SOLO, which enhanced the transfer, reuse, and fusion of features in the front and back layers. Then ResNeSt and Feature Pyramid Network (FPN) were combined to solve the multi-scale problem of green fruits. Because FPN defined allocation strategies for different scale features and assigned them to the pyramid levels optimally. Finally, the image features extracted by the ResNeSt+FPN structure were utilized for the subsequent prediction. The optimized SOLO segmentation algorithm was divided into two branches: category prediction and mask generation. While the semantic category was predicted by the category prediction branch, the object instance was segmented by the mask generation branch, in this way, the target fruit segmentation was completed. The experimental results showed that the average recall and precision of the optimized SOLO segmentation algorithm reached 94.84% and 96.16%, respectively, with an average segmentation time of 0.14 s per green target fruit image on Graphics Processing Unit (GPU). Besides, compared with four algorithms, which were the optimized Mask R-CNN fruit recognition algorithm, SOLO, Mask Region Convolutional Neural Network (Mask R-CNN), and Fully Convolutional Instance-aware Semantic Segmentation (FCIS), the recall of the optimized SOLO segmentation algorithm in this study was improved by 1.63, 1.74, 2.23, and 6.52 percentage points, the precision was improved by 1.10, 1.47, 2.61, and 6.75 percentage points, respectively, and the segmentation times were reduced by 0.06, 0.04, 0.11, and 0.13 s, respectively. The relevant results show that the green fruit optimization SOLO segmentation algorithm proposed by the study can meet the real-time performance of green fruit segmentation and improve the accuracy of green fruit segmentation. This research algorithm can provide theoretical reference for segmentation of other target fruits and vegetables to extend the application of orchard yield measurement and robot harvesting.

image segmentation; image processing; algorithms; feature pyramid networks; green fruits

賈偉寬，李倩雯，張中華，等. 復雜環境下柿子和蘋果綠色果實的優化SOLO分割算法[J]. 農業工程學報，2021，37(18)：121-127.doi：10.11975/j.issn.1002-6819.2021.18.014 http://www.tcsae.org

Jia Weikuan, Li Qianwen, Zhang Zhonghua, et al.Optimized SOLO segmentation algorithm for the green fruits of persimmons and apples in complex environments[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 121-127. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.014 http://www.tcsae.org

2020-11-30

2021-07-19

國家自然科學基金（62072289，81871508）；山東省自然科學基金（ZR2020MF076，ZR2020MF133）；山東省重點研發計劃項目（2019GNC106115）；山東省泰山學者基金

賈偉寬，博士，副教授，研究方向為人工智能、圖像處理、農業信息技術與裝備。Email：jwk_1982@163.com

鄭元杰，博士，教授，博士生導師，研究方向為人工智能、圖像處理。Email：yjzheng@sdnu.edu.cn

10.11975/j.issn.1002-6819.2021.18.014

TP24；TP391

A

1002-6819(2021)-18-0121-07